记一次 Kubernetes 集群被入侵，服务器变矿机

简单来讲，就是我们的机器被用来挖矿了…

问题出现后，我们第一时间关闭了 docker，其实应该隔离下环境, 把挖矿程序 dump 下来，以便后续分析。

具体原因排查

iptables 为空

出现了异常进程，肯定是被入侵了，我首先看的是 iptables。果不其然，机器上的 iptables 规则是空的，意味着这台机器在裸奔。

kubelet 裸奔

内部同事提出了有可能是 kubelet 被入侵的问题，检查过其他组件后，开始检查 kubelet 组件

最后检查到 kubelet 日志中有异常：

kubelet 设置不当

确认入侵问题，kubelet 参数设置错误，允许直接访问 kubelet 的 api

发现是 kubelet 的启动项中，该位置被注释掉：

然后文件中禁止匿名访问的配置没有读取

该项配置是由于我操作不当注释掉的

改进方案

其实该问题理论上讲是可以避免的，是因为出现了多层漏洞才会被有心人扫到，我从外到内整理了一下可能改进的策略。

1. 机器防火墙设置，机器防火墙是整个系统最外层，即使机器的防火墙同步失败，也不能默认开放所有端口，而是应该全部关闭，等待管理员连接到 tty 终端上检查。
2. 使用机器时，假如机器不是暴露给外部使用的，公网 IP 可有可无的时候，尽量不要有公网 IP，我们的机器才上线 1 天就被扫描到了漏洞，可想而知，公网上是多么的危险
3. 使用 kubelet 以及其他系统服务时，端口监听方面是不是该有所考量？能不能不监听 0.0.0.0，而是只监听本机的内网 IP。
4. 使用 kubelet 以及其他程序，设计或是搭建系统时, 对于匿名访问时的权限控制, 我们需要考虑到假如端口匿名会出现什么问题，是否应该允许匿名访问，如果不允许匿名访问，那么怎么做一套鉴权系统?
5. 系统管理员操作时，是否有一个比较规范化的流程，是不是该只使用脚本操作线上环境? 手动操作线上环境带来的问题并不好排查和定位。
   我这里不是抛出疑问，只是想告诉大家，考虑系统设计时，有必要考虑下安全性。

总结

文章转载：高效运维
（版权归原作者所有，侵删）