Health Check
-
强大的自愈能力是Kubernetes这类容器编排引擎的一个重要特性,自愈的默认实现方式是自动重启发生故障的容器,除此之外,用户还可以利用Liveness和Readiness探测机制设置更精细的健康检查,进而实现如下需求:
- 零停机部署
- 避免部署无效的镜像
- 更加安全的滚动升级
-
默认的健康检查
-
kubernetes默认的健康检查机制:每个容器启动时都会执行一个进程,此进程由Dockerfile的CMD或者entrypoint指定,如果进程退出时返回码非零,则认为容器发生故障,kubernetes就会根据restartPolicy重启容器
-
模拟一个容器发生故障的场景
-
Pod的restartPolicy设置为OnFailure,默认是Always,sleep 10: exit 1,模拟容器启动10s后发生故障,执行kubectl apply创建pod,命名为healthcheck
-
过几分钟查看pod的状态
-
可以看到容器当前已经重启3次了,容器进程返回值非零,kubernetes则认为容器发生故障,需要重启
-
-
-
Liveness探测
-
Liveness探测让用户可以自定义判断容器是否健康的条件,如果探测失败,Kubernetes就会重启容器
-
启动进程首先创建文件/tmp/healthy,30s后删除,在此设定中,如果tmp/healthy文件存在,则认为容器处于正常状态,反之则发生故障
-
livenessProbe部分定义如何执行Liveness探测
-
探测的方法是:通过cat命令检查/tmp/healthy文件是否存在,如果命令执行成功,返回值为零,kubernetes则认为本次Liveness探测成功,如果命令返回值非零,本次Liveness探测失败
-
initialDelaySeconds:10指定容器启动10s之后开始执行Liveness探测,我们一般会根据应用启动的准备时间来设置,比如某个应用正常启动要花30s,那么initialDelaySeconds的值就应该大于30
-
periodSeconds:5指定每5s执行一次Liveness探测,Kubernetes如果连续执行3次Liveness探测均失败,则会杀掉并重启容器
-
创建Pod liveness
-
从配置文件可知,最开始的30s,/tmp/healthy存在,cat命令返回0,Liveness探测成功,这段时间kubectl describe pod liveness的Events部分会显示正常的日志,
-
35秒之后,日志会显示/tmp/healthy已经不存在,Liveness探测失败,再过几十秒,几次探测都失败之后,容器会被重启
-
-
-
Readiness探测
-
除了Liveness探测,Kubernetes Health Check机制还包括Readiness探测,用户通过Liveness探测可以告诉Kubernetes什么时候通过重启容器实现自愈,Readiness探测则是告诉Kubernetes什么时候可以将容器加入到Service负载均衡池中,对外提供服务
-
Readiness探测的配置语法与Liveness探测完全一样
-
创建Pod,查看pod状态
-
Pod readiness的ready状态经历了如下变化:
- 刚被创建时,ready状态为不可用
- 15s后(initialDelaySeconds+periodSeconds),第一次进行Readiness探测并成功返回,设置ready为可用
- 30s秒,/tmp/healthy被删除,连续3次Readiness探测均失败后,ready被设置为不可用
- 通过kubectl describe pod readiness也可以看到Readiness探测失败的日志
-
-
Liveness探测和Readiness探测比较:
- Liveness探测和Readiness探测是两种Health Check机制,如果不特意配置,Kubernetes将对两种探测采取相同的默认行为,即通过判断容器启动进程的返回值是否为零来判断探测是否成功
- 两种探测的配置方法完全一样,支持的配置参数也一样,不同之处在于探测失败后的行为:Liveness探测是重启容器,Readiness探测则是将容器设置为不可用,不接收Service转发的请求
- Liveness探测和Readiness探测是独立执行的,二者之间没有依赖,所以可以单独使用,也可以同时使用,用Liveness探测判断容器是否需要重启以实现自愈,用Readiness探测判断容器是否已经准备好对外提供服务
-
Health Check 在 Scale up中的应用
-
对于多副本应用,当执行Scale Up操作时,新副本会作为backend被添加到Service的负载均衡中,与已有副本一起处理客户的请求,考虑到应用启动通常都需要一个准备阶段,比如加载缓存数据,连接数据库等,从容器启动到真正能够提供服务是需要一段时间的,我们可以通过Readiness探测判断容器是否准备就绪,避免将请求发送到还没有准备好的backend
-
这次使用了不同于exec的另一种探测方法httpGet,kubernetes对于该方法探测成功的判断条件是http请求的返回代码在200-400之间
- schema指定协议,支持HTTP(默认)和HTTPS
- path指定访问路径
- port指定端口
-
配置解析:
- 容器启动10s之后开始探测
- 如果http://[container_ip]:8080/healthy返回代码不是200-400,表示容器没有就绪,不接收Service web-svc的请求
- 每隔5秒探测一次
- 直到返回代码为200-400,表明容器已经就绪,然后将其加入到web-svc的负载均衡中,开始处理客户请求
- 探测会继续以5秒的间隔执行,如果连续发生3次失败,容器又会从负载均衡中移除,直到下次探测成功重新加入
-
对于http://[container_ip]:8080/healthy,应用则可以实现自己的判断逻辑,比如检查所依赖的数据库是否就绪
- 定义/healthy的处理函数
- 连接数据库并执行测试SQL
- 测试成功,正常返回,代码200
- 测试失败,返回错误代码503
- 在8080端口监听
-
对于生产环境中重要的应用,都建议配置Health Check,保证处理客户请求的容器都是准备就绪的Service backend
-
-
Health Check在滚动更新中的应用
-
Health Check另一个重要作用的应用场景是Rolling Update,如果有一个正常运行的多副本应用,接下来对应用进行更新(比如使用更高版本的image),Kubernetes会启动新副本,会发生如下事件:
- 正常情况下新副本需要10秒钟完成准备工作,在此之前无法响应业务请求
- 由于人为配置错误,副本始终无法完成准备工作(比如无法连接后端数据库)
-
如果没有配置Health Check会出现怎么样的情况?
- 因为新副本本身没有异常退出,默认的Health Check机制会认为容器已经就绪,进而会逐步用新副本替换现有的副本,其结果就是:当所有旧副本都被替换后,整个应用将无法处理请求,无法对外提供服务,如果这是发生在重要的生产西永,后果会非常严重
- 如果正确配置了Health Check,新副本只有通过了Readiness探测才会被添加到Service,如果没有通过探测,现有副本不会被全部替换,业务仍然正常运行
-
使用如下配置文件app.v1.yml模拟一个10副本的应用
-
创建Pod,并且10秒后副本能够通过Readiness探测
-
然后滚动更新应用,配置文件app.v2.yml
-
由于新副本中不存在/tmp/healthy,因此无法通过Readiness探测
-
详细解析
- 从kubectl get pod输出看:
- 从Pod的AGE栏可判断,最后5个Pod是新的副本,目前正处于Not ready状态
- 旧副本从最初的10个副本减少到8个
- 从kubectl get deployment app的输出看:
- desired 10表明期望的状态是10个ready的副本
- current 13表示当前副本的总数,即8个旧副本+5个新副本
- up-to-date 5表示当前已经完成更新的副本数,即5个新副本
- available 8 表示当前处于ready状态的副本数,即8个旧副本
- 从kubectl get pod输出看:
-
在设定中,新副本始终无法通过Readiness探测,所以这个状态会一直保持下去,Health Check帮我们屏蔽了有缺陷的副本,同时保留了大部分旧副本,业务没有因为更新失败受到影响
-
为什么新创建的副本数是5个,同时只销毁了2个旧副本?
-
原因是滚动更新通过参数maxSurge和maxUnavailable来控制副本替换的数量
-
maxSurge:
- 此参数控制滚动更新过程中副本总数超过desired的上限,maxSurge可以是具体的整数,比如3,也可以是百分比,向上取整,maxSurge默认值为25%
- 在上面的例子中,desired为10,那么副本总数的最大值为rpundUp(10 + 10 * 25%) = 13,所以我们看到current就是13
-
maxUnavailable:
- 此参数控制滚动更新过程中,不可用的副本数占desired的最大比例,maxUnavailable可以是具体的整数,比如3,也可以是百分比,向下取整,maxUnavailable默认值为25%
- 上面的例子中,desired为10,那么可用的副本数至少为10 - roundDown(10*25%) = 8,所以我们看到的available是8
-
maxSurge值越大,初始创建的新副本数量就越多,maxUnavailable值越大,初始销毁的旧副本数量就越多
-
理想情况下,该案例是这样的:
- 创建3个新副本使副本总数达到13个,
- 销毁2个旧副本可用的副本数降到8个,
- 当2个旧副本成功销毁后,在创建2个新副本,使副本总数保持为13个
- 当新副本通过Readiness探测后,会使可用副本数增加,超过8个
- 进而可以继续销毁更多的旧副本,使可用副本数回到8个
- 旧副本的销毁使副本总数低于13,这样就允许创建更多的新副本
- 这个过程会持续进行,最终所有的旧副本都会被新副本替换,滚动更新完成
- 而我们的实际情况是在第4步卡住,新副本无法通过Readiness探测,这个过程在kubectl describe deployment app的日志部分查看
-
如果滚动更新失败,可以通过kubectl rollout undo回滚到上一个版本
-
如果要定制maxSurge和maxUnavailable,可以进行配置
-
-
原文地址:https://blog.csdn.net/weixin_43924419/article/details/142500181
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!