Microsoft is attributing the massive email outage to a software bug introduced in its July update.

2026/11/16 22:18

Microsoft is attributing the massive email outage to a software bug introduced in its July update.

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

マイクロソフトは、先週発生した大規模な世界的障害の原因として、2026 年 7 月に導入された休眠状態のコード変更を特定した。このコード変更は、Teams のフェイルオーバー後に負荷が急増し、その後トラフィックが主要ゲートウェイに迂回した際にトリガーされた。核心となる問題は、よりコア数が多い最新サーバー上の内部 Windows プロセス内の過剰な「ロック競合」であった。この欠陥は、初期テストで旧式のハードウェア(コア数が少ないもの)を使用したため検出されていなかった。一度トリガーされると、障害はサービスタウン全体に波及し、80 強のサーバーが応答不能となり、大規模な崩壊とコードの古さにより単純なロールバックも不可能であり、自動復旧も失敗した。エンジニアたちは解決に至らずに 15 時間にわたり苦戦し、マイクロソフトはすべての更新を一時停止し、欠陥のある変更を元に戻す複雑な「パッチのためのパッチ」を展開した。11 月 14 日までにサービスが健全であると確認され、インシデント後報告書は 11 月 20 日に公開予定である。

本文

マイクロソフト大規模障害:夏場のコード変更が秋の混乱を引き起こした内幕

マイクロソフトは先週発生した大規模サービス停止の原因を、2024 年 7 月に実装されたコード変更にあると特定しました。この変更はネットワークゲートウェイサーバー内に「潜伏」し、負荷急増と容量低下の相乗効果によって欠陥を発現させました。結果として、Microsoft 365 ユーザーは一日分のメール利用を喪う事態に直面しました。

障害の原因と技術的詳細

マイクロソフトの事前事後報告書(11 月 15 日公開)によると、以下のような要因が複合的に働きました。

  • 欠陥の潜伏期間
    • 問題のあるコードは 2024 年 7 月 に導入されました。
    • 当時は正常に見え、負荷テストも通過して影響なしと判断されていましたが、テストの質が不足していました。
  • 根本原因:ハードウェア依存のロック競合
    • 「負荷テストは、コア数が少ない弱みのあるハードウェアに重点を置いていた」。
    • 欠陥は「内部の Windows プロセス内でロック競合を引き起こし、サーバーのリソース(CPU およびメモリ)が枯渇」しました。
    • 重要:この競合問題は、より多くのコアを備えたマシンや最新式ハードウェアにおいて悪化する傾向があります。

障害シナリオとカスケード効果

欠陥を含む修正プログラムは、Microsoft 365 のネットワークゲートウェイサーバーに特化して適用されました。その直後に以下の二つの事象が同時に発生し、システム全体を混乱へ追い込みました。

  • Teams のフェイルオーバー
    • Teams が Exchange Online を支援する「プライマリ」ゲートウェイに切り替わりました。
    • 負荷増自体は異常なほどではありませんでしたが、急激な負荷増加を引き起こしました。
  • 容量低下
    • ネットワークゲートウェイサーバーの容量のほぼ 14% がサービス不能状態となりました。
    • 単独では問題なかったものの、回復プロセス中でした。

これにより、以下のような**カスケード障害(連鎖故障)**が起きました。

  1. サーバーが接続を失うと、トラフィックは次なる健全なエンドポイントへルーターされます。
  2. しかしそこでも同様の問題が発生するため、再度リダイレクトが行われます。
  3. この「ドミノ倒し」により状況は制御不能となりました。

報告書によれば、最低限度で 80% 以上のサーバーが無反応の状態となりました。

復旧の難局と対策

通常の自動化された回復プロセスでは即座に再発するため、特殊な対応が必要でした。

  • ロールバックの不可能性
    • 欠陥は数カ月前から存在していたため、単純なロールバック(変更の取り消し)はできませんでした。
    • サーバーを戻しても過負荷状態となり、すぐにダウンしていました。
  • 「パッチに対するパッチ」の開発
    • エンジニアたちは、Windows のコードパスを健全な状態に戻すためのアップデートを開発しました。
    • これはサーバーグループ単位で適用され、サービスを段階的に復旧させることを可能にしました。

事象の時系列と顧客への影響

以下の日時是客户が感じた苦痛と、エンジニアチームの奮闘の過程です。

日時 (UTC)発生した事象
2024/11/12 01:07結果的に障害の原因となった Teams のフェイルオーバー。
同日 昼間 - 16:03負荷増加。16:03 に接続異常検知モニターが問題を検出。
16:33最初のサポートケースが流入。
約 15 時間後すべての解決策が無効。エンジニアは極限のストレス下で稼働。
同日 24:00サービス再活性化を試みるも、サーバーは依然ダウン。追加容量導入やトラフィック再ルーティングも失敗。
11/13 00:30マイクロソフト:接続交渉のアクセス失敗を原因特定。競合プロセスが処理を防いでいると結論。
07:20軽減策(欠陥のある変更を元に戻すアップデート)を適用開始。
16:10マイクロソフト:状況が再び健全な状態であることを確認。
11/14 04:15最終的な顧客向け更新発表。
11/20事後報告書の最終版公開予定。

なぜ Exchange Online は長期間利用不能だったのか?

  • Teams、OneDrive、SharePoint など、回復可能なサービスは不良なネットワークゲートウェイインフラから失敗しました。
  • しかし、Exchange Online(Outlook)などはスケーラビリティの理由から、このネットワークゲートウェイを経由せずに動作させることができなかったため、長期間利用不能となりました。

考察と教訓

今回の障害は、3 ヶ月前に適用されたアップデートがグローバル規模の混乱を引き起こした事実自体に重みが伴います。負荷テストも現実を反映していないことが浮き彫りになりました。

  • エンジニアへの評価:熱心に復旧に取り組んだエンジニアたちには称賛を送るべきです。
  • 改善への課題:潜在的な欠陥を含むアップデートが生産環境へ到達するプロセスについて、長期的で慎重な見直しが必要です。

負荷テストの基準を高め、現実的なシナリオを考慮した検証体制の強化が今後の最重要課題となります。

同じ日のほかのニュース

一覧に戻る →

2026/11/17 5:43

カーネギーメロン大学がコンピューターサイエンスの授業を無料でYouTube で配信

## Japanese Translation: カールンギーメロン大学(CMU)は、CS Learn という無料プラットフォームを通じてコンピュータサイエンス教育を民主化しています。同プラットフォームは YouTube にて 11 月 10 日に公開され、入学者制限のない開かれた教員主導の講義と自己ペースのカリキュラムを提供します。7 の部署が AI、ロボティクス、システム、生物学など重要な分野において開設されます。初期コースには「大規模データセットを用いた機械学習」(11 月 10 日公開)が含まれ、その後に計算の原則、ソフトウェア構築の原則、機械学習システム、ソフトウェアアーキテクチャ、品質管理、AI エージェント、実装中の機械学習などの科目が 11 月 17 日から 19 日に次々と公開されます。これらの科目は CMU の教員により講じられます。将来のモジュールでは即時フィードバック機能、デジタルバッジ、個別サポートのための AI 補習授業などが追加される予定です。2027 年 1 月のカリキュラムでは確率と計算、マルチモーダル機械学習、プロダクト管理の必須知識、組み込みシステムの要件など他の必須科目も含まれるよう拡大されます。CS Learn は、組み込みシステムから品質管理まで、高い水準の技術的知識が世界的に入手可能で、財政的または制度的な障壁をなくすことを保証しています。キャンパス内にいる学習者にとっては、ピッツバーグ校ケネス・C・グリフィンコンピュータサイエンス学校において正課学生として登録することもできます。CS Learn は学生により構築され、ScottyLabs の支援を得て開発されました。

2026/11/17 5:16

Rust が私の開発者の心を変えました。

## Japanese Translation: 著者は、6 年以上の経験(そのうち 4 年はプロフェッショナルとして)に基づき、Rust の核心的な設計思想——具体的には厳格な「所有権規則」とサムの型(enum)——が、従来のオブジェクト指向プログラミングに比べて優れたアーキテクチャ的明確性とパフォーマンスを提供すると主張している。動的ディスパッチ言語である Python と異なり、Rust は静的な enum 照合(`match`)を活用し、コンパイラーによる網羅的なケース処理を強制することで実行時のオーバーヘッドを排除し、遅い実行時チェックや不安全な可変参照を使用せずにメモリエラーを防ぐ。また、「タイプ駆動開発」を通じて型システムが API デザインを導く(自動化されたテストに類似する仕組み)ことや、マクロを活用したコンパイル時コード生成(例:`serde`、`clap`)により、複雑なデータ操作においても高い速度を実現している。著者はさらに、Rust のデフォルトの所有権が循環参照を抑制する傾向があるが、「アリーナベースのパターン」を使うことでインデックス経由で安全にそのような構造を取り扱うことができ、優れたキャッシュ局所性によってメモリエフィシエンシーを最大化できると強調している。結局のところ、このアプローチは巨大な量の JSON をメモリに保存して瞬時にアクセスするという新たなアーキテクチャ的可能性を開くなど、不安全な変異をデフォルトで防ぎながら高いパフォーマンスを維持する、よりクリーンで堅牢なシステムを実現へと導く。

2026/11/17 6:47

スパムハウスが11月に新しい電子メール送信者要件を導入

## Japanese Translation: **要約:** 2026 年 11 月から、新規の厳格な規則が導入され、すべての電子メールにおいて発信者識別を厳格に検証することでスパムをほぼ排除することを目的としています。発信者は、有効な HELO/EHLO ホスト名、同じ IP に逆方向に解決する PTR レコード(FCrDNS)、ドメイン名と一致する A レコードという 3 つの技術記録の組み合わせによって自身の出所を証明する必要があります。この厳格な整合性は、スパムが誤設定された署名や緩慢なセットアップを利用して正当な組織をなりすますのを防ぎます。 これらの技術的要請に加え、すべての送信者は購読者に対して「確認済みオプトイン(COI)」を使用しなければなりません。未確認の宛先への送信はスパムトラップに引っかかるリスクがあります。IPv6 に特化した場合、割り当ては /64 またそれ以上で有効な逆方向 DNS が必要であり、小さなブロックはスパムによって頻繁に悪用されるためです。また、すべての送信ドメインは SPF レコードおよび DMARC レコードを公開し、DKIM を使用してアウトバウンドメッセージに署名し、署名ドメインが RFC 5322 の From アドレスと一致することを確保する必要があります。 この環境における運用上の成功には、基盤を極度の注意を持って扱うことが必要であり、特に ESP や共有ネットワーク事業者は、プラットフォームを通じて送信されたコンテンツについて引き続き責任を負う必要があります。発信者は新規 IP を徐々に「ウォームアップ」し、一貫したボリュームを維持し、信頼できるリンクを使用し、明確なオプトアウト方法を提供する必要があります。これらの基準(適切な SPF/DKIM や有効な HELO セットアップなど)を実施しない場合、メールは受信トレイに到達する前に拒否される可能性が高くなります。結局のところ、清潔なデジタル評判を維持することはオプションではなく、配送失敗やプラットフォームのブロックを回避するために不可欠です。

Microsoft is attributing the massive email outage to a software bug introduced in its July update. | そっか~ニュース