AV Chaos Monkey – 分散型カオスエンジニアリングプラットフォーム

概要

1500 以上の WebRTC パーティシパント（H.264 ビデオ + Opus オーディオ）をシミュレートし、ネットワーク上にカオスを注入してビデオ会議システムの耐久性を検証するロードテストフレームワークです。

アーキテクチャ

メディア処理パイプライン

コントロールプレーン

• HTTP サーバー (

  :8080

  ) – テストライフサイクル用 REST API
• Spike Scheduler – カオスイベントを配布（均等、ランダム、前方集中・後方集中、レガシー）
• Network Degrader – パケットロス (1–25 %)、ジッタ (10–50 ms)、ビットレート低減 (30–80 %)、フレームドロップ (10–60 %) を適用

パーティシパントプール

• ポッドごとに自動分割:

  participant_id % total_partitions = partition_id

• 各パーティシパントは RTP (

  PT=96

  ビデオ、

  PT=111

  オーディオ) をストリームし、RTP 拡張ヘッダーに ID を埋め込み (

  ID=1

  )
• プールサイズ – 1–100（ローカル）、100–500（Docker）、500–1500（Kubernetes）

Kubernetes 自動構成

orchestrator-3 → PARTITION_ID=3

base_port + (partition_id × 10000) + participant_index

UDP Relay チェーン (Kubernetes 専用)

Orchestrator Pods (10×) → UDP :5000
→ Length‑Prefixed TCP :5001
→ kubectl port‑forward 15001:5001
→ tools/udp-relay (Go) → UDP :5002

理由:

kubectl port-forward

WebRTC インフラストラクチャ

port 3478

webrtc/webrtc123

クライアント統合

• UDP Receiver – Relay チェーン経由で全パーティシパントの RTP ストリームを集約。
• WebRTC Receiver – TURN を通じて 1:1 WebRTC 接続を確立し、最大150 パーティシパントに対応。

両者とも受信メディアをテスト対象（SFU/MCU/Mesh）へ転送します。

観測スタック (オプション)

/metrics

admin/admin

:30090

:30030

メトリクスにはパーティシパント数、送信パケット数、バイト数、アクティブな spike 数、パケットロス率、ジッタ、MOS スコア等が含まれます。

コアコンセプト

パーティシパントシミュレーション

• ビデオ: 実際のビデオファイルから H.264 NAL ユニットを生成し、RFC 6184 に従ってパケット化
• オーディオ: Ogg コンテナから Opus フレームを抽出し、RFC 7587 に従ってパケット化
• RTP ヘッダーにパーティシパント ID 拡張を付与
• フレーム単位の正確なタイミング（30 fps ビデオ、20 ms オーディオ）

カオス注入

rtp_packet_loss

loss_percentage

network_jitter

base_latency_ms

jitter_std_dev_ms

bitrate_reduce

new_bitrate_kbps

frame_drop

drop_percentage

bandwidth_limit

bandwidth_kbps

配布戦略

• Even – 一様に間隔を空け、ジッタ付き
• Random – 予測不可能なタイミング
• Front‑loaded – 初期段階で密集した spike
• Back‑loaded – ベースライン後にカオス
• Legacy – 固定間隔のティック

システム実行方法

1. ローカル開発 (ネイティブ Go)

デバッグや小規模テスト（1–100 パーティシパント）に最適。

# オーケストレータ起動
go run cmd/main.go

# 別ターミナルで UDP 受信機
go run examples/go/udp_receiver.go 5002

# config/config.json を編集 (num_participants: 10)
# カオステスト実行
go run tools/chaos-test/main.go -config config/config.json

config/config.json

の例

{
  "base_url": "http://localhost:8080",
  "media_path": "public/rick-roll.mp4",
  "num_participants": 10,
  "duration_seconds": 300,
  "spikes": {
    "count": 20,
    "interval_seconds": 5,
    "types": {
      "rtp_packet_loss": { /* params */ },
      "network_jitter":   { /* params */ }
    }
  },
  "spike_distribution": {
    "strategy": "random",
    "min_spacing_seconds": 5,
    "jitter_percent": 15
  }
}

2. Docker Compose (コンテナ化)

単体でのテスト、CI/CD、ミドルスケール（100–500 パーティシパント）に最適。

# オーケストレータコンテナをビルド＆起動
./scripts/start_everything.sh build

# 別ターミナルで UDP 受信機
go run examples/go/udp_receiver.go 5002

# config/config.json を編集 (num_participants: 100)
# コンテナ対象にカオステスト実行
go run tools/chaos-test/main.go -config config/config.json

docker-compose.yaml

のリソース制限例

services:
  orchestrator:
    deploy:
      resources:
        limits:
          cpus: "14.0"
          memory: 6G   # より多くのパーティシパントが必要な場合は増量

3. Kubernetes + Nix (本番規模)

大規模テスト（500–1500 パーティシパント）に最適。

# Nix 環境へ入る
nix develop

# Kubernetes にデプロイ（システムリソースを自動検知）
./scripts/start_everything.sh run -config config/config.json

Go ツールチェーンで Docker イメージをビルド → kind クラスター → 10 オーケストレータポッド + UDP リレー → port‑forward → ローカル TCP→UDP リレー。

集約ストリームの受信

# UDP 受信機（Kubernetes 推奨）
go run ./examples/go/udp_receiver.go 5002

# WebRTC 受信機（最大150 パーティシパント）
go run ./examples/go/webrtc_receiver.go http://localhost:8080 <test_id> 150

API リファレンス

テストライフサイクル

/api/v1/test/create

test_id

/api/v1/test/{test_id}/start

/api/v1/test/{test_id}/metrics

/api/v1/test/{test_id}/stop

WebRTC シグナリング

/api/v1/test/{test_id}/sdp/{participant_id}

/api/v1/test/{test_id}/sdp/{participant_id}

{ "sdp_answer": "..."} )

カオス注入

POST /api/v1/test/{test_id}/spike
{
  "spike_id": "unique_id",
  "type": "rtp_packet_loss",
  "duration_seconds": 30,
  "participant_ids": [1001, 1002],
  "params": { "loss_percentage": "15" }
}

クライアント統合

UDP Receiver (Go)

go run examples/go/udp_receiver.go 5002

RTP パケットを解析し、統計情報を表示。

WebRTC Receiver (Go)

# 単一パーティシパント
go run ./examples/go/webrtc_receiver.go http://localhost:8080 <test_id>

# 複数パーティシパント（最大150）
go run ./examples/go/webrtc_receiver.go http://localhost:8080 <test_id> 150

パフォーマンス & スケーリング

1 パーティシパントあたり (1280×720 @30fps + Opus): 約 2.6 Mbps、約 140 パケット/秒。

トラブルシューティング

kubectl get pod udp-relay

nc -u -z localhost 5002

coturn-lb

/metrics

ライセンス

BSD 3‑Clause