Docker 容器的健康状态检查

80次阅读

共计 4283 个字符，预计需要花费 11 分钟才能阅读完成。

导读	在很多实际场景下，仅使用进程级健康检查机制还远远不够。比如，容器进程虽然依旧运行却由于应用死锁无法继续响应用户请求，这样的问题是无法通过进程监控发现的。

Docker 容器的健康状态检查

Docker 原生健康检查能力

自 1.12 版本之后，Docker 引入了原生的健康检查实现。对于容器而言，最简单的健康检查是进程级的健康检查，即检验进程是否存活。Docker Daemon 会自动监控容器中的 PID1 进程，如果 docker run 命令中指明了 restart policy，可以根据策略自动重启已结束的容器。在很多实际场景下，仅使用进程级健康检查机制还远远不够。比如，容器进程虽然依旧运行却由于应用死锁无法继续响应用户请求，这样的问题是无法通过进程监控发现的。

容器启动之后，初始状态会为 starting (启动中)。Docker Engine 会等待 interval 时间，开始执行健康检查命令，并周期性执行。如果单次检查返回值非 0 或者运行需要比指定 timeout 时间还长，则本次检查被认为失败。如果健康检查连续失败超过了 retries 重试次数，状态就会变为 unhealthy (不健康)。

注：

1. Dockerfile 方式

可以在 Dockerfile 中声明应用自身的健康检测配置。HEALTHCHECK 指令声明了健康检测命令，用这个命令来判断容器主进程的服务状态是否正常，从而比较真实的反应容器实际状态。

HEALTHCHECK 指令格式：

注：在 Dockerfile 中 HEALTHCHECK 只可以出现一次，如果写了多个，只有最后一个生效。

使用包含 HEALTHCHECK 指令的 Dockerfile 构建出来的镜像，在实例化 Docker 容器的时候，就具备了健康状态检查的功能。启动容器后会自动进行健康检查。参数参考：https://docs.docker.com/engine/reference/builder/#healthcheck

HEALTHCHECK 支持下列选项：

参数作用解释如下：

但是，如果在启动期间健康检查成功，则认为容器已启动，所有连续失败的情况都将计算到最大重试次数。

在 HEALTHCHECK [选项] CMD 后面的命令，格式和 ENTRYPOINT 一样，分为 shell 格式，和 exec 格式。命令的返回值决定了该次健康检查的成功与否：

假设有个镜像是个最简单的 Web 服务，我们希望增加健康检查来判断其 Web 服务是否在正常工作，我们可以用 curl 来帮助判断，其 Dockerfile 的 HEALTHCHECK 可以这么写：

FROM nginx:1.23
HEALTHCHECK --interval=5s --timeout=3s  --retries=3 \
   CMD curl -fs http://localhost/ || exit 1

这里设置了每 5 秒检查一次（这里为了试验所以间隔非常短，实际应该相对较长），如果健康检查命令超过 3 秒没响应，并且重试 3 次都没响应就视为失败，并且使用 curl -fs http://localhost/ || exit 1 作为健康检查命令。

使用 docker build 来构建这个镜像：

docker build -t myweb:v1 .

构建好后启动容器：

docker run -d --name web myweb:v1

当运行该镜像后，可以通过 docker container ls 看到最初的状态为(health: starting)：

docker container ls
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS                            PORTS               NAMES
7068d793c6e4        myweb:v1            "/docker-entrypoint.…"   3 seconds ago       Up 2 seconds (health: starting)   80/tcp              web

在等待几秒钟后，再次 docker container ls，就会看到健康状态变化为了(healthy)：

$ docker container ls
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS                    PORTS               NAMES
7068d793c6e4        myweb:v1            "/docker-entrypoint.…"   18 seconds ago      Up 16 seconds (healthy)   80/tcp               web

如果健康检查连续失败超过了重试次数，状态就会变为(unhealthy)。

为了帮助排障，健康检查命令的输出（包括 stdout 以及 stderr）都会被存储于健康状态里，可以用 docker inspect 来查看。

$ docker inspect --format '{{json .State.Health}}' web | python -m json.tool
{
   "FailingStreak": 0,
   "Log": [
       {
           "End": "2022-08-20T14:02:38.19224648+08:00",
           "ExitCode": 0,
           "Output": "xxx",
           "Start": "2022-08-20T14:02:38.116041192+08:00"
       },
       {
           "End": "2022-08-20T14:02:43.271105619+08:00",
           "ExitCode": 0,
           "Output": "xxx",
           "Start": "2022-08-20T14:02:43.200932585+08:00"
       }
   ],
   "Status": "healthy"
}

2. docker run 方式

另外一种方法是在 docker run 命令中，直接指明 healthcheck 相关策略：

$ docker run  -d \
   --name=myweb \
   --health-cmd="curl -fs http://localhost/ || exit 1" \
   --health-interval=5s \
   --health-retries=12 \
   --health-timeout=2s \
   nginx:1.23

通过执行 docker run –help | grep health 命令查看相关的参数及解释如下：

如果是以 supervisor 来管理容器的多个服务，想通过子服务的状态来判断容器的监控状态，可以使用 supervisorctl status 来做判断，比如：

$ docker run --rm -d \
   --name=myweb \
   --health-cmd="supervisorctl status" \
   --health-interval=5s \
   --health-retries=3 \
   --health-timeout=2s \
   nginx:v1

按照此参数的设置，如果 supervisorctl status 检查子服务有一个不为正常的 RUNNING 状态，那么在等待大约 15 秒左右，容器的监控状态就会从 (healthy) 变为(unhealthy)

3. docker-composer 方式

在 docker-composer 中，可以使用以下方式来实现对容器的健康状况检查（以通过 supervisor 管理子进程的容器为例）：

version: '3'
services:
 web:
   image: nginx:v1
   container_name: web
   healthcheck:
     test: ["CMD", "supervisorctl", "status"]
     interval: 5s
     timeout: 2s
     retries: 3

执行成功后，等待数秒查询容器的状态：

$ docker-compose ps
Name              Command                  State                 Ports
--------------------------------------------------------------------------------
web    supervisord -c /etc/superv ...   Up (healthy)   443/tcp, 80/tcp

当通过手动 supervisorctl stop 停掉里面的一些子服务，导致里面的子服务状态不全为 RUNNING 状态时，再查看容器的状态：

# docker-compose ps
Name              Command                   State                  Ports
----------------------------------------------------------------------------------
web    supervisord -c /etc/superv ...   Up (unhealthy)   443/tcp, 80/tcp