首页 > 开源 > 微软将大规模服务中断归咎于 7 月份修复程序中引入的软件缺陷

微软将大规模服务中断归咎于 7 月份修复程序中引入的软件缺陷

OSChina资讯 2026-11-18 16:58 17 阅读 查看原文

微软给出的解释,最值得看的是这一句:他们的负载测试「偏向使用核心数更少的较弱硬件」。

这话出自 11 月 15 日发布的初步事故报告。报告说,11 月 12 日那场让 Exchange Online 全球宕机近一天的故障,根子埋在 7 月。当时那个改动针对微软 365 的网络网关服务器,通过了负载测试,上线后也没出问题。它一直在那儿等着。

修 bug 的补丁自己带了个 bug。缺陷导致「内部 Windows 进程中的锁争用,进而耗尽机器的 CPU 和内存」。关键就在那句补充:「争用问题在核心更多、硬件更新的机器上更严重。」测试跑的都是小机器,生产跑的是大机器,这个差值让缺陷躲过了所有验证。

引爆需要两件事同时发生。一件是 Teams 切换到支撑 Exchange Online 的「主」网关,负载陡增——但微软说这种量级本身不算异常。另一件是网络网关约 14% 的服务器容量恰好下线,这单看也不是问题,微软表示「服务有足够的容量余量」。两件事凑一块,网关就撞进了那个缺陷。

接下来是标准的级联失效。一台服务器失联,流量被路由到下一个健康节点,那个节点遇到同样的问题,再往下转。两小时内,缺陷扩散到整个机群。报告的原话是:「最低谷时,超过 80% 的服务器无响应。」

重启不管用。服务器拉起来就立刻被压垮,再倒下去。系统里那些自动恢复流程也没辙——「我们的常规自动化恢复流程并非为从这种大面积无响应状态中恢复而设计」。回滚同样走不通,因为缺陷已经是几个月前埋下的,回滚点早就没了。

于是工程师做了件不太常见的事:给补丁打补丁。用微软的话说,是「一个把代码路径恢复到 Windows 先前已知良好状态的更新」,分组施加,服务逐步恢复。

时间线把这场折磨摊得很清楚。Teams 切换发生在 11 月 12 日 01:07 UTC。白天负载一路爬升,到 16:03 UTC,连通性异常检测才识别出问题。16:33 UTC,第一个支持工单进来。接下来 15 小时,所有尝试都没能解决——期间所有部署和配置变更被暂停,加了额外容量,重路由了流量,服务器还是照倒。

到 11 月 13 日 00:30 UTC,微软才定位到连接协商是主因,判断是进程间竞争导致连接无法处理。真正打上缓解措施是 07:20 UTC。16:10 UTC 确认恢复正常。11 月 14 日 04:15 UTC 发出最后一条客户更新。

为什么只有 Exchange Online 这么惨,报告也解释了:Teams、OneDrive、SharePoint、Office 这些服务「能够从故障的网络网关基础设施中脱离出去」,但 Exchange Online 出于规模原因做不到。

微软的最终事故报告定在 11 月 20 日发布。初步报告本身已经说明了一件事:三个月前的一次上线,能让 Exchange Online 在全球范围失灵一整天,而负载测试覆盖的场景,恰恰是微软自己可控却没覆盖全的。

参考来源: