容器可观测新视角： SysOM延时监控助力定位业务抖动原因

主要观点总结

本文介绍了在云原生场景中，资源超卖策略和混合部署方式可能带来的问题，特别是内核级延迟如CPU延时和内存申请延迟对应用层的影响。文章结合实战案例，介绍如何在Kubernetes环境中使用ack-sysom-monitor Exporter对内核延迟进行可视化分析与定位，帮助快速识别问题根因，并高效缓解由延迟引发的业务抖动。文中还详细解释了各种延迟产生的原因和解决方案，如直接内存回收、内存规整、CPU延时等，并结合SysOM容器系统监控的相关指标进行问题识别和解决。

关键观点总结

关键观点1: 资源超卖和混合部署带来的挑战

云原生场景中，资源超卖策略和混合部署方式虽然能提高集群效率，但也增加了宿主机与容器化应用之间的资源竞争风险，可能导致内核级延迟问题。

关键观点2: 内核级延迟对应用层的影响

CPU延时和内存申请延迟等内核级延迟问题，可能直接传导至应用层，造成响应时间波动，甚至引发业务抖动，对依赖低延迟和稳定性的关键业务性能、用户体验和业务稳定性造成影响。

关键观点3: 使用ack-sysom-monitor Exporter进行可视化分析与定位

通过结合实战案例，介绍如何在Kubernetes环境中使用ack-sysom-monitor Exporter对内核延迟进行可视化分析与定位，帮助工程师快速识别问题根因。

关键观点4: 内存申请延时的原因和解决方案

直接内存回收和直接内存规整是进程在申请内存过程中由于内存紧缺或内存碎片过多而导致的长时间延时。通过看清内存、用好内存的方式来解决，如通过节点/Pod内存全景分析和Koordinator QoS精细化调度功能。

关键观点5: CPU延时监控与问题解决

通过SysOM容器系统监控中的相关指标，如WaitOnRunq Delay和Sched Delay Count，来识别和解决系统调度延时问题。结合阿里云操作系统控制台中的调度抖动诊断进行根因分析。