
2026/08/01 3:06
皆が LLM ルーターを開発している間に、我々は自社の機能を非推奨としました
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Manifest は 6 月に LLM ルーターを非推奨とし、7 万人の利用者がわずか 4 ヶ月間利用した後に 9 月 1 日に恒久停止しました。その理由として、結果のばらつきと重大な GitHub 問題への言及があります。当初、システムはリクエストを「シンプル」「標準」「複雑」「推論」という 4 つの複雑さレベルに分類していましたが、プロンプトの複雑性だけでタスクの難易度を決定することはできず、重要な文脈がツールの呼び出しや Web 検索を通じて後に顕在化するため、失敗しました(例えば、個人用 HTML5 サイトのテスト評価はシンプルですが、Linux カーネルリポジトリの場合は複雑です)。キャッシュ読み取りは非キャッシュ入力で 75% から 90% コスト削減が可能でしたが、Manifest はキャッシュ対応ルーターでは根本的な一貫性問題が解決できないと結論付けました。同社は動的なルーターが動作の一貫性を崩し予測不可能性を生じさせ、エンジニアにエージェント型ワークフローにおける評価、システムプロンプト、可視化のための高コストの維持費を強いると判断しました。その結果、Manifest は開発者に hype 驱动型のルーターを避け、代わりに単純な設定を持つ単一の戦-tested モデルを使用するようアドバイスしており、これは実産環境での理論的な効率向上よりも安定性を優先するという業界の転換を示しています。
本文
モデルルーティングを見直す:なぜ単一モデル固定が最適なのか
現在、リクエストに応じて即座にモデルを選択するAI モデルルーティングの技術は大きな注目を集めています。推論コスト削減を謳う類似製品が続々とローンチされましたが、当社はこれらの機能から撤退し、実績のある単一のモデルを固定するアプローチを採用することを決定しました。
背景と経緯
-
Manifest LLM ルーティングの lifecycle
- 3 月:Manifest LLM ゲートウェイにて「LLM ルーティング」機能をリリース
- 6 月:機能の非推奨化を宣言
- 9 月 1 日:永久停止され、システムから削除された
-
当初の設計思想
- リクエストを「シンプル」「標準」「複雑」「推論」の 4 つの複雑さレベルに分類し、対応するモデルへ振り分ける仕組みでした。
- コスト削減を主目的としていましたが、実運用では期待通りの結果を得られませんでした。
-
実装上の課題
- 7,000 のクラウドユーザーで 4 ヵ月間にわたって検証を行いました。
- 結果は様々であり、GitHub では多数の問題報告や議論が発生しました。
主要な問題点の詳細
プンプトだけでは複雑さを推測できない
- プロンプト単体にはタスク全体の情報が含まれておらず、トリガーに過ぎません。
- 複雑性を決定づける多くの文脈情報は、ツール呼び出しやウェブ検索などの過程を通じて後から明らかになります。
- 例:「レポジトリ $GIT_REPO のテストを評価し、改善する」という指示
- 個人用 HTML5 サイト: 非常に単純なタスク
- Linux カーネルリポジトリ: 極めて複雑なタスク
- 例:「レポジトリ $GIT_REPO のテストを評価し、改善する」という指示
キャッシュ化の方がコスト削減に効果的
- キャッシュ化された読み込みでは、未キャッシュ入力量と比較して**75% から 90%**のコスト削減が実現できます。
- システムプロンプトや会話履歴は多くのトークンを占めるため、プレフィックスキャッシュが特に効果的です。
- 問題点:キャッシュ対応型のルーティングでは、最初に選択されたモデルへの「スタック性(stickiness)」が強制的に加えられ、かえって適切なコスト削減を実現しなくなることがあります。
LLM ルーティングは動作の一貫性を損なう
- 「エンジニアがタスクに適した LLM を選ぶ必要はない」という意見もありますが、それは誤りです。
- 画家が適切な筆を使い分けるように、エンジニアも各モデルのトレードオフやニュアンスを理解する必要があります。
- Manifest での実践: エンジニアが自らの意図に基づき、モデルと努力パラメータを慎重に選択しています。
- ワークセッション中にモデルを頻繁に切り替えると、全体品質が低下し、ツールへの習熟から離れるリスクがあります。
不確実性にはコストが発生する
-
ソフトウェアエンジニアは不確実性を好ましくないとされています。
-
自動的なエージェントワークフローや自律型エージェントにおいて、追加の不確実性層を管理することは、削減できるコストよりも大きな負担となります。
- 評価(evals)の不安定化
- システムプロンプトの崩壊
- 可観測性の確保が困難になる
-
リクエストごとに分離させ、適切なモデル・パラメータ・プロンプトを設定する方が、多くの場合で明かに優れていると言えます。
結論
LLM ルーティングが有効なユースケースは確かに存在し、導入企業の正当性も理解できます。しかし、当社の経験から結論付けるとすれば:
- 大多数のユースケースにおいて、単一のモデルを固定し続けることが最も優れたアプローチです。
- ルーティングへの投資対効果は期待できず、削減された費用分は別の場所(評価コストや品質低下など)で支払われることになります。
- その追加コストは、評価することが難しいのが現実です。