OpenAI 史上最长宕机：自研 K8s 成“拦路虎”，导致数小时无法修复

主要观点总结

本文介绍了OpenAI旗下AI聊天机器人平台ChatGPT、视频生成工具Sora及其面向开发人员的API自太平洋时间下午3点左右发生的严重中断事件。文章详细分析了故障发生的根本原因，OpenAI的应对措施，以及事后对事件的复盘和预防未来类似事件的措施。

关键观点总结

关键观点1: 故障概况

OpenAI的ChatGPT、Sora及其API发生全球性服务中断，影响用户和使用者，引发社交媒体热议。

关键观点2: 故障原因

新的遥测服务部署导致Kubernetes控制平面陷入瘫痪，是引发此次故障的主要原因。该服务无意间使得每个节点都执行资源密集的Kubernetes API操作，成本随集群规模扩大而增加，导致Kubernetes API服务器不堪重负。

关键观点3: 故障影响

故障在社交媒体上引起广泛关注，有人戏谑建议尝试传统的电脑维修方法，也反映出人们对AI工具的依赖程度日益加深。OpenAI承认问题的存在并着手修复，但耗费约三个小时才顺利恢复所有服务。

关键观点4: OpenAI的应对措施

OpenAI在事后承认了问题的存在并进行了复盘，分析了事件的影响。为了防止未来再次发生类似事件，他们提出了多项预防措施，包括改进登台发布机制、进行故障注入测试、建立应急Kubernetes控制平面访问、解耦Kubernetes数据平面与控制平面以及加快恢复速度等。

关键观点5: 推荐阅读

文章最后提供了一些推荐阅读，如Chrome全面拥抱AI、极狐GitLab架构师爆料和公司向免费版用户发送告知函等。