
2026/11/14 4:24
Perplexity Decider v1.3:トレーニング、評価、そして活用事例
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Decider v1.3 およびその軽量版である Flash v1.3 は、前世代モデルの後継として新たにリリースされており、Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API で利用可能です。これらのモデルは Qwen バックボーンを基盤とし、大型モデルには Qwen3.8-27B、Flash v1.3 には Qwen3.5-4B が採用されています。機能面では、改良された双方向注意機構と、コアタスクにおける性能低下を招かずにテキストスパンを抽出する専用機能
locate を備えています。
これらのモデルは、複雑な環境下での正確な意思決定に対するニーズに応えるよう、優れた堅牢性と新機能(名前付き実体認識(NER)、PII 同定)を提供します。ベンチマーク結果によれば、Decider v1.3 は、Jev 1.14 や Qwen3-Reranker-8B などと比較し、クエリ分類(91.6% の精度)、多言語対応精度(88.16%)、および検索(平均 nDCG@10: 83.99)のすべての項目で優位を誇ります。230 万点以上の本番環境での質問に対する実機テストでは、ラベル変換下でも回答変更率は 0.27% と極めて安定した性能が確認されました。
開発の背景には、内部で使用されていたセキュリティルールの自己改善や、数百万回のリクエストに対して低品質コンテンツをフィルタリングするためのツールからのインスピレーションがあります。実運用への導入にあたっては、代表データセットを用いて判断閾値のチューニングを行うことを推奨します。エコシステムとしては、明確な使い分けが提供されています:大型モデル v1.3 は微細な判断を、小型の Flash v1.3 は低遅延・低コストで大量処理に対応し、これにより企業は複雑な意図ルーティングおよび PII 同定において、より高速な処理速度と高い精度を実現できます。
本文
Perplexity 「Decider v1.3」および「Decider Flash v1.3」の発表:汎用分類器としての新基準
私たちは、先行モデル(バージョン 1, 1.1, 1.2 および Flash バージョン 1.2)の後継となる 「Decider v1.3」 と 「Decider Flash v1.3」 を正式に発表いたします。
- Decider Flash v1.3 は、v1.3 の性能を維持しつつ抽出・蒸留されたより軽量なモデルです。
- 両モデルは Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API を通じて利用可能です。
モデルの概要と特徴
Decider は TypeSafe AI の System One Model 「Jev」をインスパイアした汎用分類器です。LLM とタスク固有の分類器の中間に位置し、単一のフォワードパスで入力に対する複数の質問に対する確率分布を返すことで計算資源を共有します。
基本機能
- 二値分類(Yes/No):単純な判定。
- 多クラス分類(Multiple choice):カスタム定義されたラベル。
- スコアリング(Score):順序付けられたレベルの評価。
主な利用シナリオ
- 出力の判定:忠実度、品質、安全性の評価。
- ルーティング:難易度に基づきリクエストを小型・大型モデルへ振り分け。
- モデレーションとセキュリティ:有害コンテンツ、フィッシング、プロンプトインジェクションの検出。
- フィルタリングとタグ付け:大規模なコンテンツコレクションの整理。
- 検索および再ランキング:関連性に基づき検索結果をスコアリング。
新機能:「locate」
命名エンティティ認識(NER)、個人識別情報(PII)の特定、抽出型質問応答において、選択されたコンテンツを**ハイライト表示(抽出)**することを可能にします。
トレーニング方法論
バックボーンモデルへの適応
- 強力な生成型 LLM(Qwen3.8-27B ベース)を基礎模型とし、適応させています。
- 双方向注意機構を採用し、各トークンが入力全体からのコンテキストを取り込めるよう設計しています。
- デフォルトは「孤立した質問(isolated questions)」アプローチを採用し、パフォーマンスと安定性を両立させています。
トレーニングレシピ(3 段階)
- ジェネラリストトレーニング:大規模なクロスエントロピー損失を用いた完全なファインチューニング(特定のベンチマーク排除)。
- LoRA によるドメイン特化:狭い分野でのみ追加し、基盤の一般知識を保ちつつパフォーマンス向上を図る。
- ビジョンステップ:視覚能力の追加とマージ(テキスト指標を優先)。
「locate」機能の追加トレーニング
- 新しい特殊トークン
とスパンヘッドを導入。|locate| - 既存モデルの重みは固定し、新しいアダプターのみを更新することで汎用性を損なわない設計です。
- InfoNCE 損失関数を用いて、正解を閾値以上、不正解を閾値以下に分離させるトレーニングを実施。
評価結果
Hugging Face Decision Index、Vals AI ClaimBench、Artificial Analysis Decision Index などの外部ベンチマークおよび内部スイートで厳密なゼロショット評価が行われました。
| カテゴリ | メトリック / データセット | Decider v1.3 | Decider Flash v1.3 | ベンチマーク比較 (Jev 1.14 など) |
|---|---|---|---|---|
| クエリ分類 | 精度 (63 タスク) (フロントライン LLM で再ラベル化) | 91.6% | - | プロダクションベースラインより +6.54 ポイント |
| ドメイン分類 | 平均精度 (7 ドメイン: 主張検証/ヘルスケア/セキュリティ等) | 首位 | - | 金融分野で Jev 1.14 より +12.9 ポイント 法務分野で +9.3 ポイント |
| 検索・再ランキング | nDCG@10 (72 タスク) (Qwen3-Reranker-8B vs) | 83.99 | - | Qwen3-Reranker-8B より +1.81 ポイント Jev 1.14 より +2.24 ポイント |
| 多言語分類 | 平均タスク精度 (8 ヶ国/19 タスク) | 88.16% | 86.50% | 全カテゴリーで Jev 1.14 を上回る (Flash はその中で 6 ヶ国を制覇) |
| 情報抽出 (NER/PII) | GLiNER/Liquid d1 vs (平均スコア) | 69.0 | 63.6 | Liquid d1 (43.3) / Clairic (41.5) より大幅優位 |
| 画像分類 | 平均精度 (5 タスク) | 76.99% | 72.77% | Jev 1.14 より +1.47 ポイント (小型モデルの視覚分類能力証明) |
実世界パフォーマンス
Perplexity Decision API で処理された 100 万件以上のリアルな意思決定リクエストを分析。
- Decider v1.3 の Judge 一致度:93.98%
- Decider v1.2 (93.68%) および Jev 1.14 (93.35%) を上回る。
- 情報抽出において最も高いスコア (+0.93 ポイント)。
- 意図およびルーティングにおいて +1.21 ポイントのリード。
- 頑健性:
- 選択肢順序やラベルの変更に対する影響を受けず、安定した回答を維持(フリップレート低下)。
- サービング変動に対し高い安定性を示す。
具体的な活用事例
1. 自己改善型セキュリティルール
- エージェントの活動を記録し、Decider を用いてリアルタイム・オフラインでモニタリング。
- 問題行動を検出しない場合でも誤報チェックに活用。
- 成果:1 日間で 10 億トークンを処理し、14 のルール修正を特定。混雑するルールのボリュームを 52% 削減。
2. RL ロールアウトの監視
- 集計指標だけでは判別できない失敗理由(ツールコールエラー、評価者の架空値など)を特定。
- Decider は各部分の多択質問に回答し、確率を保存することで詳細な診断を実現。
- モニターのみであり、報酬変更や実行停止は行わない。
3. ページ品質フィルタリング
- Web クロール時に低品質ページ(スパム、エラー、SEO ファイラー等)を即時フィルタリング。
- 利点:LLM Judge に比べ、著しく高速かつ安価。
- 同一フォワードパスで「有用性」「対象読者」「有害情報」などを一括判定可能。
4. その他のワークフロー
- 視覚 QA:画像読み取りによるスタイル変更レビューや故障検出。
- ブラウザナビゲーション:スクリーンショットに基づく小規模意思決定の支援。
- 計画研究タスク:検索前の質問複雑度推定によるリソース最適化。
まとめと今後の展開
Decider モデルは、確率に基づいた意思決定を必要とするあらゆるワークフローに適合します。
- 詳細なジャッジや高コストの許容範囲がある場合:Decider v1.3 を推奨。
- 大量処理・遅延・コストが制約となる場合:Decider Flash v1.3 を推奨。
両モデルは、Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API を通じて、いつでもダウンロード可能です。