LLMRouter：LLMルーティングのためのオープンソースライブラリ

はじめに

LLMRouterは、タスクの複雑さ・コスト・性能を考慮しながら各クエリに最適なモデルを動的に選択するインテリジェントルーティングシステムです。推論を最適化します。

主な特徴

• スマートルーティング – クエリを自動で最適LLMへ振り分けます。
• 複数のルーターモデル – 4カテゴリ（単一ラウンド、マルチラウンド、エージェンティック、パーソナライズド）に16種類以上。
  戦略はKNN、SVM、MLP、行列分解、Elo Rating、グラフベースルーティング、BERTベースルーティング、ハイブリッド確率手法、変換スコアルーターなど。
• 統一CLI – 学習・推論・対話型チャット（Gradio UI）をサポート。
• データ生成パイプライン – 11のベンチマークデータセットから自動API呼び出し＆評価で学習データを作成。

最近のニュース

• 2025‑12：正式リリース – コスト感知ルーティング、統一CLI、カスタムルーター用プラグインワークフローが追加。

サポートされているルーター

はじめ方

インストール

# クローンして編集モードでインストール
git clone https://github.com/ulab-uiuc/LLMRouter.git
cd LLMRouter
conda create -n llmrouter python=3.10
conda activate llmrouter
pip install -e .

GPUサポート（

vllm==0.6.3

torch==2.4.0

pip install -e ".[router-r1]"

すべてのオプション依存関係:

pip install -e ".[all]"

PyPI からは：

pip install llmrouter-lib

API キー設定

シェルプロファイルに

API_KEYS

export API_KEYS='{"NVIDIA":"nvidia-key-1,nvidia-key-2",
                  "OpenAI":["openai-key-1","openai-key-2"],
                  "Anthropic":"anthropic-key-1"}'

レガシー形式

# 同一プロバイダーのJSON配列
export API_KEYS='["key1","key2"]'

# カンマ区切り
export API_KEYS='key1,key2,key3'

# 単一キー
export API_KEYS='your-api-key'

API エンドポイント設定

エンドポイントは優先順位で解決されます：

1. LLM 候補 JSON の

   api_endpoint

   フィールド（最高優先）。
2. ルーター YAML 設定の

   api_endpoint

   フィールド。

どちらも指定されていない場合、エラーが発生します。

LLM候補JSON例

{
  "qwen2.5-7b-instruct": {
    "service":"NVIDIA",
    "model":"qwen/qwen2.5-7b-instruct",
    "api_endpoint":"https://integrate.api.nvidia.com/v1"
  },
  "gpt-4": {
    "service":"OpenAI",
    "model":"gpt-4",
    "api_endpoint":"https://api.openai.com/v1"
  }
}

ローカルLLMモデルの利用

Ollama、vLLM、SGLang 等のローカルプロバイダーの場合は API キーを空文字に設定します：

export API_KEYS='{"Ollama":""}'
{
  "gemma3":{
    "size":"3B",
    "feature":"Gemma 3B model hosted locally via Ollama",
    "input_price":0.0,
    "output_price":0.0,
    "model":"gemma3",
    "service":"Ollama",
    "api_endpoint":"http://localhost:11434/v1"
  }
}

学習データの準備

データ生成パイプラインは以下の3ステップで構成されます：

1. クエリデータ生成 – クエリを抽出し、train/test JSONL ファイルを作成。
2. LLM埋め込み生成 – LLM 候補用埋め込みを作成。
3. API呼び出し＆評価 – LLM API を呼び出し、応答を評価し統一埋め込みを生成。

# ステップ1
python llmrouter/data/data_generation.py --config llmrouter/data/sample_config.yaml

# ステップ2
python llmrouter/data/generate_llm_embeddings.py --config llmrouter/data/sample_config.yaml

# ステップ3（API_KEYS 必須）
python llmrouter/data/api_calling_evaluation.py \
  --config llmrouter/data/sample_config.yaml \
  --workers 100

出力ファイル

query_data_train.jsonl

query_data_test.jsonl

default_llm_embeddings.json

query_embeddings_longformer.pt

default_routing_train_data.jsonl

default_routing_test_data.jsonl

ルーターの学習

# KNNルーター
llmrouter train --router knnrouter --config configs/model_config_train/knnrouter.yaml

# GPU付きMLPルーター
CUDA_VISIBLE_DEVICES=2 llmrouter train \
  --router mlprouter \
  --config configs/model_config_train/mlprouter.yaml \
  --device cuda

# MFルーターを静かに学習
CUDA_VISIBLE_DEVICES=1 llmrouter train \
  --router mfrouter \
  --config configs/model_config_train/mfrouter.yaml \
  --device cuda \
  --quiet

推論の実行

# 単一クエリ
llmrouter infer --router knnrouter --config config.yaml --query "What is machine learning?"

# ファイルからバッチ推論
llmrouter infer --router knnrouter --config config.yaml \
  --input queries.txt --output results.json

# ルートのみ（API呼び出しなし）
llmrouter infer --router knnrouter --config config.yaml \
  --query "Hello" --route-only

# カスタム生成パラメータ
llmrouter infer --router knnrouter --config config.yaml \
  --query "Explain AI" --temp 0.7 --max-tokens 2048 --verbose

サポートされる入力形式：

.txt

.json

.jsonl

対話型チャットインターフェース

# 基本的なチャット
llmrouter chat --router knnrouter --config config.yaml

# カスタムホスト/ポート
llmrouter chat --router knnrouter --config config.yaml \
  --host 0.0.0.0 --port 7860

# 公開共有リンク
llmrouter chat --router knnrouter --config config.yaml --share

# クエリモードを指定
llmrouter chat --router knnrouter --config config.yaml \
  --mode full_context --top_k 5

クエリモード

• current_only

  – 現在のクエリのみでルーティング（デフォルト）。

• full_context

  – 会話履歴全体を使用。

• retrieval

  – コンテキストとして類似した過去クエリを top‑k 取得。

スクリプト直接実行

# 学習
python -m llmrouter.cli.router_train --router knnrouter --config config.yaml

# 推論
python -m llmrouter.cli.router_inference \
  --router knnrouter --config config.yaml --query "Hello"

# チャット
python -m llmrouter.cli.router_chat --router knnrouter --config config.yaml

独自ルーターの作成

LLMRouter はカスタムルーター用プラグインシステムをサポートします。

1. ディレクトリ作成
   

   mkdir -p custom_routers/my_router

2. ルーター実装 (

   custom_routers/my_router/router.py

   )

from llmrouter.models.meta_router import MetaRouter
import torch.nn as nn

class MyRouter(MetaRouter):
    def __init__(self, yaml_path: str):
        super().__init__(model=nn.Identity(), yaml_path=yaml_path)
        self.llm_names = list(self.llm_data.keys())

    def route_single(self, query_input: dict) -> dict:
        query = query_input['query']
        selected_llm = self.llm_names[0] if len(query) < 50 else self.llm_names[-1]
        return {"query": query, "model_name": selected_llm, "predicted_llm": selected_llm}

    def route_batch(self, batch: list) -> list:
        return [self.route_single(q) for q in batch]

1. 設定ファイル (

   custom_routers/my_router/config.yaml

   )

data_path:
  llm_data: 'data/example_data/llm_candidates/default_llm.json'
hparam: {}
api_endpoint: 'https://integrate.api.nvidia.com/v1'

1. ルーター使用

llmrouter infer --router my_router \
  --config custom_routers/my_router/config.yaml \
  --query "What is machine learning?"

プラグイン検索パス

• ./custom_routers/

  （プロジェクトディレクトリ）

• ~/.llmrouter/plugins/

  （ユーザーホーム）

• $LLMROUTER_PLUGINS

  （コロン区切り）

リポジトリには例として

RandomRouter

ThresholdRouter

独自タスクの追加

カスタムタスクはプロンプトテンプレートと評価指標を新しく定義できます。

1. タスクフォーマッター (

   custom_tasks/my_tasks.py

   )

from llmrouter.utils.prompting import register_prompt
from llmrouter.prompts import load_prompt_template

@register_prompt('my_task', default_metric='my_metric')
def format_my_task_prompt(sample_data):
    system_prompt = load_prompt_template("task_my_task")
    user_query = f"Question: {sample_data.get('query', '')}"
    return {"system": system_prompt, "user": user_query}

1. プロンプトテンプレート (

   custom_tasks/task_prompts/task_my_task.yaml

   )

template: |
  You are an expert at [task description]. [Instructions].

1. カスタムメトリック（任意）

from llmrouter.evaluation import evaluation_metric

@evaluation_metric('my_metric')
def my_metric(prediction: str, ground_truth: str, **kwargs) -> float:
    return 1.0 if prediction == ground_truth else 0.0

1. 使用例

import custom_tasks.my_tasks  # 登録をトリガー

from llmrouter.utils import generate_task_query
from llmrouter.utils.evaluation import calculate_task_performance

prompt = generate_task_query('my_task', {'query': '...'})

score = calculate_task_performance(
    prediction="...",
    ground_truth="...",
    task_name="my_task"
)

TODO

• パーソナライズドルーターの強化（ユーザープロファイリング、コールドスタート、オンラインフィードバック）。
• マルチモーダルルーティング（画像/音声＋テキスト）追加。
• ドメイン漂移に対する継続的／オンライン学習を実装。

謝辞

以下からインスパイアされています：

• RouteLLM, RouterDC, AutoMix, Hybrid LLM, GraphRouter, GMTRouter, Router‑R1, FusionFactory など。

コントリビューション

新しいルーティング戦略、学習パラダイム、評価プロトコルを追加する PR を歓迎します。受理された全ての作業は文書化され、クレジットが付与されます。

引用

@misc{llmrouter2025,
  title        = {LLMRouter: An Open-Source Library for LLM Routing},
  author       = {Tao Feng and Haozhen Zhang and Zijie Lei and Haodong Yue and Chongshan Lin and Jiaxuan You},
  year         = {2025},
  howpublished = {\url{https://github.com/ulab-uiuc/LLMRouter}},
  note         = {GitHub repository}
}