
2026/11/16 22:18
Microsoft is attributing the massive email outage to a software bug introduced in its July update.
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
マイクロソフトは、先週発生した大規模な世界的障害の原因として、2026 年 7 月に導入された休眠状態のコード変更を特定した。このコード変更は、Teams のフェイルオーバー後に負荷が急増し、その後トラフィックが主要ゲートウェイに迂回した際にトリガーされた。核心となる問題は、よりコア数が多い最新サーバー上の内部 Windows プロセス内の過剰な「ロック競合」であった。この欠陥は、初期テストで旧式のハードウェア(コア数が少ないもの)を使用したため検出されていなかった。一度トリガーされると、障害はサービスタウン全体に波及し、80 強のサーバーが応答不能となり、大規模な崩壊とコードの古さにより単純なロールバックも不可能であり、自動復旧も失敗した。エンジニアたちは解決に至らずに 15 時間にわたり苦戦し、マイクロソフトはすべての更新を一時停止し、欠陥のある変更を元に戻す複雑な「パッチのためのパッチ」を展開した。11 月 14 日までにサービスが健全であると確認され、インシデント後報告書は 11 月 20 日に公開予定である。
本文
マイクロソフト大規模障害:夏場のコード変更が秋の混乱を引き起こした内幕
マイクロソフトは先週発生した大規模サービス停止の原因を、2024 年 7 月に実装されたコード変更にあると特定しました。この変更はネットワークゲートウェイサーバー内に「潜伏」し、負荷急増と容量低下の相乗効果によって欠陥を発現させました。結果として、Microsoft 365 ユーザーは一日分のメール利用を喪う事態に直面しました。
障害の原因と技術的詳細
マイクロソフトの事前事後報告書(11 月 15 日公開)によると、以下のような要因が複合的に働きました。
- 欠陥の潜伏期間
- 問題のあるコードは 2024 年 7 月 に導入されました。
- 当時は正常に見え、負荷テストも通過して影響なしと判断されていましたが、テストの質が不足していました。
- 根本原因:ハードウェア依存のロック競合
- 「負荷テストは、コア数が少ない弱みのあるハードウェアに重点を置いていた」。
- 欠陥は「内部の Windows プロセス内でロック競合を引き起こし、サーバーのリソース(CPU およびメモリ)が枯渇」しました。
- 重要:この競合問題は、より多くのコアを備えたマシンや最新式ハードウェアにおいて悪化する傾向があります。
障害シナリオとカスケード効果
欠陥を含む修正プログラムは、Microsoft 365 のネットワークゲートウェイサーバーに特化して適用されました。その直後に以下の二つの事象が同時に発生し、システム全体を混乱へ追い込みました。
- Teams のフェイルオーバー
- Teams が Exchange Online を支援する「プライマリ」ゲートウェイに切り替わりました。
- 負荷増自体は異常なほどではありませんでしたが、急激な負荷増加を引き起こしました。
- 容量低下
- ネットワークゲートウェイサーバーの容量のほぼ 14% がサービス不能状態となりました。
- 単独では問題なかったものの、回復プロセス中でした。
これにより、以下のような**カスケード障害(連鎖故障)**が起きました。
- サーバーが接続を失うと、トラフィックは次なる健全なエンドポイントへルーターされます。
- しかしそこでも同様の問題が発生するため、再度リダイレクトが行われます。
- この「ドミノ倒し」により状況は制御不能となりました。
報告書によれば、最低限度で 80% 以上のサーバーが無反応の状態となりました。
復旧の難局と対策
通常の自動化された回復プロセスでは即座に再発するため、特殊な対応が必要でした。
- ロールバックの不可能性
- 欠陥は数カ月前から存在していたため、単純なロールバック(変更の取り消し)はできませんでした。
- サーバーを戻しても過負荷状態となり、すぐにダウンしていました。
- 「パッチに対するパッチ」の開発
- エンジニアたちは、Windows のコードパスを健全な状態に戻すためのアップデートを開発しました。
- これはサーバーグループ単位で適用され、サービスを段階的に復旧させることを可能にしました。
事象の時系列と顧客への影響
以下の日時是客户が感じた苦痛と、エンジニアチームの奮闘の過程です。
| 日時 (UTC) | 発生した事象 |
|---|---|
| 2024/11/12 01:07 | 結果的に障害の原因となった Teams のフェイルオーバー。 |
| 同日 昼間 - 16:03 | 負荷増加。16:03 に接続異常検知モニターが問題を検出。 |
| 16:33 | 最初のサポートケースが流入。 |
| 約 15 時間後 | すべての解決策が無効。エンジニアは極限のストレス下で稼働。 |
| 同日 24:00 | サービス再活性化を試みるも、サーバーは依然ダウン。追加容量導入やトラフィック再ルーティングも失敗。 |
| 11/13 00:30 | マイクロソフト:接続交渉のアクセス失敗を原因特定。競合プロセスが処理を防いでいると結論。 |
| 07:20 | 軽減策(欠陥のある変更を元に戻すアップデート)を適用開始。 |
| 16:10 | マイクロソフト:状況が再び健全な状態であることを確認。 |
| 11/14 04:15 | 最終的な顧客向け更新発表。 |
| 11/20 | 事後報告書の最終版公開予定。 |
なぜ Exchange Online は長期間利用不能だったのか?
- Teams、OneDrive、SharePoint など、回復可能なサービスは不良なネットワークゲートウェイインフラから失敗しました。
- しかし、Exchange Online(Outlook)などはスケーラビリティの理由から、このネットワークゲートウェイを経由せずに動作させることができなかったため、長期間利用不能となりました。
考察と教訓
今回の障害は、3 ヶ月前に適用されたアップデートがグローバル規模の混乱を引き起こした事実自体に重みが伴います。負荷テストも現実を反映していないことが浮き彫りになりました。
- エンジニアへの評価:熱心に復旧に取り組んだエンジニアたちには称賛を送るべきです。
- 改善への課題:潜在的な欠陥を含むアップデートが生産環境へ到達するプロセスについて、長期的で慎重な見直しが必要です。
負荷テストの基準を高め、現実的なシナリオを考慮した検証体制の強化が今後の最重要課題となります。