Debian 12 生产服务器加固实录:从 SSH 爆破到 Docker 镜像治理的完整闭环

磁盘 92%、214 次 SSH 爆破、安全补丁从未自动更新——一次完整的生产机加固实录,含 8 个踩坑,其中 3 个属于不报错的静默失效。

这是一台跑了两年的 Debian 12 生产机。某天例行体检,三个数字让我决定动手:

  • 磁盘 92%,只剩 36G
  • 24 小时内 214 次 SSH 爆破尝试,来自同一个 IP
  • 安全补丁工具 根本没装,也就是说几年来的补丁从未自动打过

下面是完整的加固过程,中间踩了 8 个坑——其中有几个属于「不报错但已经错了」的静默失效,值得单独写一篇。

一、先体检,不要急着动手

审计脚本一轮扫下来,问题比预想的多。但真正致命的不是表象,是下面这个。

初次体检结果:磁盘 92%、fail2ban 未安装、unattended-upgrades 未启用

三个红色信号:磁盘 92%、fail2ban 缺失、unattended-upgrades 处于 inactive 且未设置开机自启。同时注意到有几个容器镜像已经 2~4 年没更新过。

二、真正的元凶:apt 源是死的

体检时我执行 apt-get update,发现这一行:

Err:2 http://mirrors.163.com/debian bookworm InRelease
Could not connect to mirrors.163.com:80, connection timed out

这才是最要命的。源连不上,apt 会静默退回到本地过期的索引缓存,然后告诉你「0 个包待升级」。你以为自己是最新的,实际上你根本不知道有没有补丁。exit code 甚至还是 0。

apt 源失效:修复前后对比

处理方式很直接,但记得先备份:

# 备份,然后替换失效源
cp -a /etc/apt/sources.list /var/backups/sources.list.bak
sed -i "s|mirrors.163.com/debian|mirrors.tuna.tsinghua.edu.cn/debian|g" /etc/apt/sources.list
apt-get update

换完之后三个仓库全部 Hit,这一步之后系统补丁状态才是真实可信的。

教训:任何 apt-get update 出现 Err: 或 W: Failed to fetch,都不要相信后续的「0 upgraded」。

三、一个 conffile 缺失,拖垮四个包

修好源之后 dpkg --audit 报出 4 个未配置完整的包。根因是一个配置文件被删了:

dpkg 依赖级联:一个缺失的 conffile 导致四个包无法配置

update-alternatives: error: alternative path /etc/mysql/mariadb.cnf doesn't exist

于是形成一条四级依赖链:mariadb-common 配置失败 → libmariadb3 依赖不满足 → mariadb-client-core 配置失败 → mariadb-client 配置失败。任何 apt upgrade 都会因此报错退出。

常规手段全部失效:

  • apt-get install --reinstall mariadb-common → E: Internal Error, No file name for mariadb-common:amd64
  • 直接 dpkg -i 重装 → 同样失败(conffile 缺失时 dpkg 不会自动恢复它)

最终解法是手工把文件从 deb 包里解出来:

apt-get download mariadb-common
dpkg-deb -x mariadb-common_*.deb /tmp/mdbx
cp -a /tmp/mdbx/etc/mysql/mariadb.cnf /etc/mysql/mariadb.cnf
mkdir -p /etc/mysql/conf.d          # 客户端还缺这个 include 目录
dpkg --configure -a                 # 这次干净通过

四、内核瘦身:19 个 → 2 个

apt-get autoremove -y

清掉 17 个历史内核,释放约 7G。apt autoremove 不会删除当前运行的内核,也不会删最新安装的那个,这一步是安全的。

五、防爆破:fail2ban 从零配置(以全新 Debian 13 为例)

5.1 先搞清楚:什么叫”爆破”?

互联网上的公网 IP 会被全世界的扫描器自动发现。有人在不停地尝试 root、admin、ubuntu 这些常见用户名,挨个试常见密码,这叫暴力破解。

我在自己服务器的日志里翻到过这样的记录:

sshd: Invalid user oracle   from 102.220.163.100
sshd: Invalid user ubuntu   from 102.220.163.100
sshd: Invalid user admin    from 102.220.163.100
sshd: Invalid user lenovo   from 102.220.163.100
... 24 小时内 214 次,平均几秒一次

只要你的 SSH 用的是强密码 + 禁用了密码登录,爆破理论上打不进来。但它会带来两个真实麻烦:

  • 日志被刷爆——磁盘和 journald 都被无意义的失败记录占满
  • 浪费你的带宽和 CPU——每次尝试都要走完整的加密握手

fail2ban 的作用就一句话:同一个 IP 失败太多次,就临时把它踢出去,并且自己也别再理它。

5.2 原理:一条规则,两个 jail

fail2ban 的工作方式分三步:

  1. 监视:盯着 sshd 的日志,看有没有失败登录
  2. 计数:按 IP 统计。10 分钟内失败 4 次 就触发
  3. 封禁:往防火墙里插一条规则,把这个 IP 丢掉,默认封 24 小时

它有个很好的设计:封禁规则插在防火墙规则的最前面。这样就算你原来放行了 22 端口,封禁优先生效;等封禁期过了,fail2ban 自动把规则删掉,一切恢复原样——不需要你手工收尾。

所谓「双层 jail」就是:

  • 第一层 [sshd]:处理本次爆破,先封 24 小时
  • 第二层 [recidive]:统计谁”被反复封过”,封一周

第二层解决的是:第一层封 24 小时后对方发现又能试了,再来一轮。两层叠加就是 1 天 + 7 天,成本很低但对自动化扫描器是致命的。

5.3 安装

以一台全新的 Debian 13(trixie)为例:

# 1. 更新软件源索引
apt-get update

# 2. 安装
#    注意:包名是 fail2ban(复数),可执行文件才是 fail2ban-server(单数)
apt-get install -y fail2ban

⚠️ 小白常见错误:apt install fail2ban(少个 b)会报 E: Unable to locate package。包名结尾没有 s。

安装完成后确认它跑起来了:

systemctl status fail2ban --no-pager
# active: active (running)  ← 看到这行就成了

# 再看看已经加载了哪些 jail
fail2ban-client status

新装的系统自带 sshd 这个 jail,输出里应该能看到它:

Status
|- Number of jail:	1
`- Jail list:	sshd

此时它已经在保护你了,只是用的默认参数(10 分钟失败 5 次,封 10 分钟)。下面调成更合理的值。

5.4 配置文件:两个文件,别搞混

fail2ban 有两个配置文件,很重要:

文件 作用 能不能改
/etc/fail2ban/jail.conf 官方默认值,包含全部选项说明 ❌ 不要改,软件升级会覆盖
/etc/fail2ban/jail.local 你自己的覆盖配置 ✅ 就改这个

读取顺序是:先读 jail.conf,再读 jail.local 覆盖同名项。所以你只需要写要改的项,其余保持默认。

5.5 配置内容(逐行解释)

创建 /etc/fail2ban/jail.local:

[DEFAULT]
# 后面的空格分隔多个地址,这些 IP 永远不封
# 一定要把你自己的办公/家庭 IP 加进来,否则你会被自己锁在外面
ignoreip = 127.0.0.1/8 ::1 203.0.113.10

# 用 systemd journal 读日志(现代 Debian 都该这么写)
# 不写的话 fail2ban 会去找 /var/log/auth.log,容器/精简系统里常常没有这个文件
backend = systemd

# 封禁动作:复用你已有的 ufw,不另起一套 iptables 链
# Debian 13 默认走 nftables,如果你没装 ufw 可以删掉这行用默认的 nftables-multiport
banaction = ufw

# 单个 IP 可以占用的封禁规则条数上限(防止规则表爆炸)
banaction_allports = ufw

# 【第一层】处理爆破
[sshd]
enabled  = true
port     = ssh
filter   = sshd
# 10 分钟内失败 4 次就封
findtime = 10m
maxretry = 4
# 封 24 小时
bantime  = 24h

# 【第二层】累犯
[recidive]
enabled  = true
# 监视 fail2ban 自己的日志,而不是 sshd 的
logpath  = /var/log/fail2ban.log
# 1 天内被封 5 次,直接封 1 周
findtime = 1d
maxretry = 5
bantime  = 1w

为什么 maxretry 要比默认小?默认是 5 次/10 分钟。正常用户偶尔敲错密码很正常,4 次足够宽松了,同时又足够严格。

为什么 recidive 要 findtime = 1d 而不是 10 分钟?因为它是用来抓”长期回来骚扰”的,一天的窗口才有意义。

5.6 生效并验证

systemctl restart fail2ban

# 看 sshd jail 的详细状态
fail2ban-client status sshd

输出里几个关键字段:

Status for the jail: sshd
|- Filter
|  |- Currently failed:	0        ← 现在有几个人正在试
|  |- Total failed:	0           ← 累计失败次数
|  `- Journal matches:	_SYSTEMD_UNIT=sshd.service
`- Actions
   |- Currently banned:	0        ← 当前被封的 IP 数
   |- Total banned:	0
   `- Banned IP list:	

5.7 怎么确认它真的在干活?(别只看”active”就放心)

装完最常见的失望是:显示 active,但攻击来了也没反应。原因是过滤规则没匹配上。给你一个不产生真实封禁的离线自测方法:

# 1. 导出最近 24 小时的 SSH 日志
journalctl -u ssh --since "24 hours ago" \
  | grep -E "Invalid user|Failed password|Connection closed by authenticating" \
  > /tmp/sshd_test.log

wc -l /tmp/sshd_test.log

# 2. 拿 fail2ban 自带的离线测试工具跑一遍
fail2ban-regex /tmp/sshd_test.log /etc/fail2ban/filter.d/sshd.conf

结果里重点看这两行:

Lines: 59909 lines, 29168 ignored, 30707 matched, 34 missed
                              ^^^^^^^ 这就是你的规则实际命中了多少条

怎么判断:

  • matched 接近失败总条数 → ✅ 规则正常,真实攻击会被封
  • matched = 0 → ❌ 规则没生效,去看 backend 和 logpath 配对没有

想看被忽略的原始行长什么样:

fail2ban-regex /tmp/sshd_test.log /etc/fail2ban/filter.d/sshd.conf --print-all-matched | head -40

5.8 ⚠️ 万一把自己锁在外面了怎么办

这是新手最怕的场景。先记住这条保命命令——如果你还能操作这台机器的本地终端(云厂商的 VNC 控制台、物理机显示器都行):

# 立刻解除所有封禁
fail2ban-client unban --all

如果你本地终端也没了,只能从云厂商控制台进。进去后:

# 方法一:用 fail2ban 客户端解封
fail2ban-client unban --all

# 方法二:直接把防火墙里的 fail2ban 规则删掉
ufw status numbered          # 找到 DENY 规则编号
ufw delete <编号>

# 方法三:最粗暴但有效的,改配置忽略自己再重启
sed -i "^ignoreip.*/" -i "^ignoreip = 127.0.0.1/8 ::1 <你的IP>" /etc/fail2ban/jail.local
systemctl restart fail2ban

预防永远比解封省事:动手改配置之前,先把你的公网 IP 查出来加进 ignoreip。

# 查自己的公网出口 IP
curl -s ifconfig.me
# 或者
curl -s https://api.ipify.org

💡 家里如果用动态宽带,IP 会变。更稳的做法是在 ignoreip 里加你运营商的整个网段,或者干脆开两次 SSH 连接——第二条能连上就说明没被封。

5.9 举一反三:fail2ban 还能防什么

这套机制和 SSH 完全无关,它本质是「日志匹配 + 自动封禁」。系统里任何会记录失败尝试的服务都可以加 jail。常用清单:

jail 名 防什么 典型场景
nginx-http-auth 网站后台密码爆破 WordPress 后台、API 登录接口
nginx-limit-req CC 攻击 / 高频请求 接口被刷、爬虫
nginx-botsearch 漏洞扫描器 扫描 /.env、/wp-admin 之类
vsftpd / pure-ftpd FTP 密码爆破 开了 FTP 的机器必配
dovecot / postfix-sasl 邮箱账号爆破 自建邮件服务器
recidive 累犯二次封禁 和上面所有 jail 配合使用

开启一个 jail 就是在 jail.local 里加一段,通常两三行:

# 例:保护网站后台登录
[nginx-http-auth]
enabled  = true
port     = http,https
logpath  = /var/log/nginx/error.log
findtime = 10m
maxretry = 5
bantime  = 1d

改完同样 systemctl restart fail2ban,然后用刚才那个 fail2ban-regex 方法验证。

5.10 三个坑

坑 1:jail.local 必须有 section header

我第一次写的时候漏了开头的 [DEFAULT],fail2ban 直接报错退出:

ERROR  Failed during configuration: File contains no section headers.
file: '/etc/fail2ban/jail.local', line: 1

症状是 systemctl status fail2ban 显示 failed,而 fail2ban-client status 全报 socket 找不到。改完记得 restart 而不是 reload。

坑 2:容器/精简系统里没有 /var/log/auth.log

Debian 13 默认用 journald,日志不落文件。此时必须显式写 backend = systemd,否则 fail2ban 会去读一个不存在的文件,看起来”运行正常”但永远匹配不到任何东西。

坑 3:banaction 要和你的防火墙对得上

如果你用的是 ufw 却没写 banaction = ufw,fail2ban 可能去写 iptables 规则,而 ufw 管理的是 nftables,导致封禁完全不生效。Debian 13 已经默认 nftables,这个问题比以前更容易踩。

确认方法:封一个人,然后去防火墙里看规则有没有真的加进去。

# ufw 的话
ufw status | grep -i deny

# 纯 nftables 的话
nft list ruleset | grep -i f2b

5.11 一份可以直接抄的配置

Debian 13 + systemd journal + ufw 环境,下面这份可以直接用(记得把 ignoreip 换成你自己的 IP):

# /etc/fail2ban/jail.local
[DEFAULT]
ignoreip = 127.0.0.1/8 ::1 203.0.113.10
backend  = systemd
banaction = ufw
banaction_allports = ufw

[sshd]
enabled  = true
findtime = 10m
maxretry = 4
bantime  = 24h

[nginx-http-auth]
enabled  = true
findtime = 10m
maxretry = 5
bantime  = 1d

[recidive]
enabled  = true
logpath  = /var/log/fail2ban.log
findtime = 1d
maxretry = 5
bantime  = 1w
systemctl restart fail2ban
fail2ban-client status            # 确认 jail 列表
fail2ban-client status sshd       # 确认 sshd jail 正常

六、自动安全更新:一个静默失效的坑

⚠️ 第二个坑,也是最隐蔽的一个。用 printf 写配置时,shell 会把 ${distro_id} 展开成空字符串:

# 错误写法(实际写进去的内容)
Unattended-Upgrade::Allowed-Origins {
        ":-security";        # ← distro_id 和 codename 都没了
};

结果就是安全源永远匹配不上,自动更新静默不工作,而且不报任何错误。必须用 quoted heredoc:

cat > /etc/apt/apt.conf.d/52unattended-upgrades-local << 'EOF'
Unattended-Upgrade::Allowed-Origins {
        "${distro_id}:${distro_codename}-security";
};
Unattended-Upgrade::Automatic-Reboot "false";
EOF

写完必须验证解析结果:

apt-config dump | grep -A3 "Unattended-Upgrade::Allowed-Origins"
# 应显示 "${distro_id}:${distro_codename}-security" 原文

七、Docker 拉不动镜像:直连被墙 + 代理兜底

生产环境最耗时的一环。先说结论:直连 registry-1.docker.io 是彻底不通的,不是慢。

$ curl https://registry-1.docker.io/v2/
RC=124        # 124 = timeout,不是 403 也不是慢

加了国内 mirror 后小镜像正常,但 478MB 的大镜像要拉 4.7 小时。最后用代理解决,实测带宽约 1–2 MB/s:

mkdir -p /etc/systemd/system/docker.service.d
cat > /etc/systemd/system/docker.service.d/http-proxy.conf << 'EOF'
[Service]
Environment="HTTP_PROXY=http://your-proxy-ip:1082"
Environment="HTTPS_PROXY=http://your-proxy-ip:1082"
Environment="NO_PROXY=localhost,127.0.0.1"
EOF

systemctl daemon-reload
systemctl restart docker

注意:systemctl restart docker 会中断所有容器,而且 restart=no 的容器不会自动拉起,需要手工 docker start 补上。执行前先记录哪些容器没有重启策略。

八、镜像升级的安全姿势

流程固定为:快照 inspect → docker pull → stop/rm → 重建 → 逐字段比对 → 验证健康。

重建时最关键的原则是:只保留你显式设置的部分(容器名、端口、卷、restart 策略),让新镜像自己提供 entrypoint 和默认 env。我一开始犯了这个错,于是出现两个静默 bug:

容器重建漂移检测:两个不报错的静默 bug

坑 1:多元素 entrypoint 被截断

原:    ["/usr/bin/dumb-init", "--"]
重建:  ["/usr/bin/dumb-init"]          # "--" 没了

# 我原来的脚本只取了 ep[0]

坑 2:镜像默认 env 被旧值污染(更隐蔽)

新镜像默认:  NODE_VERSION=22.22.3
我的重建:    NODE_VERSION=20.19.5   ← 旧容器的值覆盖了新镜像默认值

第二个坑特别危险,因为它不会报错:如果只比对 env 的 key 列表,会显示「IDENTICAL」,但值已经错了。

正确做法:docker run 时不要从旧容器拷贝 entrypoint 和镜像默认 env。漂移检测要把 env 的值也纳入比对,不能只比 key。

九、清理与加固

# 只删 dangling 镜像(24 个旧层,回收 1.7G)
docker image prune -f

# 只删已停止的容器,不影响运行中的
docker container prune -f

关于孤立卷要谨慎。我逐个查了 25 个 dangling 卷的实际大小,结果没有一个是 0 字节(最小 4KB,多数是统一的 8KB 目录占用),加起来才 131KB。风险敞口远大于收益,于是全部保留。

另外给唯一没有重启策略的容器补上 restart=always——它一旦崩掉就会一直躺着,不会自愈。

十、最终成果

项目 修复前 修复后
磁盘占用 92%(剩 36G) 90%(剩 43G)
SSH 爆破防护 无 fail2ban 双层 jail,自动封禁
安全补丁 从未自动更新 unattended-upgrades 每日检查
apt 源 失效,静默用过期索引 全部连通
dpkg 状态 4 个包未配置 干净
内核数量 19 个 2 个
旧镜像 最长 4 年未更新 已升级 / 已清理
Docker 拉取 直连超时 走代理,正常

踩坑清单

  1. apt update 静默失败 → 不要相信「0 upgraded」
  2. conffile 缺失时 --reinstall 和 dpkg -i 都无效
  3. 缺 include 目录会导致客户端启动失败,报错信息很有迷惑性
  4. jail.local 缺 [DEFAULT] → 服务直接退出
  5. printf 写 apt 配置会把 ${var} 展开掉 → 静默失效
  6. systemctl restart docker 会让 restart=no 的容器永久停掉
  7. 重建容器时别从旧容器拷 entrypoint(多元素会被截断)
  8. 别从旧容器拷镜像默认 env(会覆盖新版值,且不报错)

最后一条是我自己踩得最深的——它不报错,但服务是错的。做容器升级时,务必把 env 的值也纳入漂移比对。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注