Perplexity Decider v1.3:トレーニング、評価、そして活用事例

2026/11/14 4:24

Perplexity Decider v1.3:トレーニング、評価、そして活用事例

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

Decider v1.3 およびその軽量版である Flash v1.3 は、前世代モデルの後継として新たにリリースされており、Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API で利用可能です。これらのモデルは Qwen バックボーンを基盤とし、大型モデルには Qwen3.8-27B、Flash v1.3 には Qwen3.5-4B が採用されています。機能面では、改良された双方向注意機構と、コアタスクにおける性能低下を招かずにテキストスパンを抽出する専用機能

locate
を備えています。

これらのモデルは、複雑な環境下での正確な意思決定に対するニーズに応えるよう、優れた堅牢性と新機能(名前付き実体認識(NER)、PII 同定)を提供します。ベンチマーク結果によれば、Decider v1.3 は、Jev 1.14 や Qwen3-Reranker-8B などと比較し、クエリ分類(91.6% の精度)、多言語対応精度(88.16%)、および検索(平均 nDCG@10: 83.99)のすべての項目で優位を誇ります。230 万点以上の本番環境での質問に対する実機テストでは、ラベル変換下でも回答変更率は 0.27% と極めて安定した性能が確認されました。

開発の背景には、内部で使用されていたセキュリティルールの自己改善や、数百万回のリクエストに対して低品質コンテンツをフィルタリングするためのツールからのインスピレーションがあります。実運用への導入にあたっては、代表データセットを用いて判断閾値のチューニングを行うことを推奨します。エコシステムとしては、明確な使い分けが提供されています:大型モデル v1.3 は微細な判断を、小型の Flash v1.3 は低遅延・低コストで大量処理に対応し、これにより企業は複雑な意図ルーティングおよび PII 同定において、より高速な処理速度と高い精度を実現できます。

本文

Perplexity 「Decider v1.3」および「Decider Flash v1.3」の発表:汎用分類器としての新基準

私たちは、先行モデル(バージョン 1, 1.1, 1.2 および Flash バージョン 1.2)の後継となる 「Decider v1.3」 と 「Decider Flash v1.3」 を正式に発表いたします。

  • Decider Flash v1.3 は、v1.3 の性能を維持しつつ抽出・蒸留されたより軽量なモデルです。
  • 両モデルは Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API を通じて利用可能です。

モデルの概要と特徴

Decider は TypeSafe AI の System One Model 「Jev」をインスパイアした汎用分類器です。LLM とタスク固有の分類器の中間に位置し、単一のフォワードパスで入力に対する複数の質問に対する確率分布を返すことで計算資源を共有します。

基本機能

  • 二値分類(Yes/No):単純な判定。
  • 多クラス分類(Multiple choice):カスタム定義されたラベル。
  • スコアリング(Score):順序付けられたレベルの評価。

主な利用シナリオ

  • 出力の判定:忠実度、品質、安全性の評価。
  • ルーティング:難易度に基づきリクエストを小型・大型モデルへ振り分け。
  • モデレーションとセキュリティ:有害コンテンツ、フィッシング、プロンプトインジェクションの検出。
  • フィルタリングとタグ付け:大規模なコンテンツコレクションの整理。
  • 検索および再ランキング:関連性に基づき検索結果をスコアリング。

新機能:「locate」

命名エンティティ認識(NER)、個人識別情報(PII)の特定、抽出型質問応答において、選択されたコンテンツを**ハイライト表示(抽出)**することを可能にします。

トレーニング方法論

バックボーンモデルへの適応

  • 強力な生成型 LLM(Qwen3.8-27B ベース)を基礎模型とし、適応させています。
  • 双方向注意機構を採用し、各トークンが入力全体からのコンテキストを取り込めるよう設計しています。
  • デフォルトは「孤立した質問(isolated questions)」アプローチを採用し、パフォーマンスと安定性を両立させています。

トレーニングレシピ(3 段階)

  1. ジェネラリストトレーニング:大規模なクロスエントロピー損失を用いた完全なファインチューニング(特定のベンチマーク排除)。
  2. LoRA によるドメイン特化:狭い分野でのみ追加し、基盤の一般知識を保ちつつパフォーマンス向上を図る。
  3. ビジョンステップ:視覚能力の追加とマージ(テキスト指標を優先)。

「locate」機能の追加トレーニング

  • 新しい特殊トークン
    |locate|
    とスパンヘッドを導入。
  • 既存モデルの重みは固定し、新しいアダプターのみを更新することで汎用性を損なわない設計です。
  • InfoNCE 損失関数を用いて、正解を閾値以上、不正解を閾値以下に分離させるトレーニングを実施。

評価結果

Hugging Face Decision Index、Vals AI ClaimBench、Artificial Analysis Decision Index などの外部ベンチマークおよび内部スイートで厳密なゼロショット評価が行われました。

カテゴリメトリック / データセットDecider v1.3Decider Flash v1.3ベンチマーク比較 (Jev 1.14 など)
クエリ分類精度 (63 タスク)
(フロントライン LLM で再ラベル化)
91.6%-プロダクションベースラインより +6.54 ポイント
ドメイン分類平均精度 (7 ドメイン:
主張検証/ヘルスケア/セキュリティ等)
首位-金融分野で Jev 1.14 より +12.9 ポイント
法務分野で +9.3 ポイント
検索・再ランキングnDCG@10 (72 タスク)
(Qwen3-Reranker-8B vs)
83.99-Qwen3-Reranker-8B より +1.81 ポイント
Jev 1.14 より +2.24 ポイント
多言語分類平均タスク精度 (8 ヶ国/19 タスク)88.16%86.50%全カテゴリーで Jev 1.14 を上回る
(Flash はその中で 6 ヶ国を制覇)
情報抽出 (NER/PII)GLiNER/Liquid d1 vs
(平均スコア)
69.063.6Liquid d1 (43.3) / Clairic (41.5) より大幅優位
画像分類平均精度 (5 タスク)76.99%72.77%Jev 1.14 より +1.47 ポイント
(小型モデルの視覚分類能力証明)

実世界パフォーマンス

Perplexity Decision API で処理された 100 万件以上のリアルな意思決定リクエストを分析。

  • Decider v1.3 の Judge 一致度:93.98%
    • Decider v1.2 (93.68%) および Jev 1.14 (93.35%) を上回る。
    • 情報抽出において最も高いスコア (+0.93 ポイント)。
    • 意図およびルーティングにおいて +1.21 ポイントのリード。
  • 頑健性:
    • 選択肢順序やラベルの変更に対する影響を受けず、安定した回答を維持(フリップレート低下)。
    • サービング変動に対し高い安定性を示す。

具体的な活用事例

1. 自己改善型セキュリティルール

  • エージェントの活動を記録し、Decider を用いてリアルタイム・オフラインでモニタリング。
  • 問題行動を検出しない場合でも誤報チェックに活用。
  • 成果:1 日間で 10 億トークンを処理し、14 のルール修正を特定。混雑するルールのボリュームを 52% 削減。

2. RL ロールアウトの監視

  • 集計指標だけでは判別できない失敗理由(ツールコールエラー、評価者の架空値など)を特定。
  • Decider は各部分の多択質問に回答し、確率を保存することで詳細な診断を実現。
  • モニターのみであり、報酬変更や実行停止は行わない。

3. ページ品質フィルタリング

  • Web クロール時に低品質ページ(スパム、エラー、SEO ファイラー等)を即時フィルタリング。
  • 利点:LLM Judge に比べ、著しく高速かつ安価。
    • 同一フォワードパスで「有用性」「対象読者」「有害情報」などを一括判定可能。

4. その他のワークフロー

  • 視覚 QA:画像読み取りによるスタイル変更レビューや故障検出。
  • ブラウザナビゲーション:スクリーンショットに基づく小規模意思決定の支援。
  • 計画研究タスク:検索前の質問複雑度推定によるリソース最適化。

まとめと今後の展開

Decider モデルは、確率に基づいた意思決定を必要とするあらゆるワークフローに適合します。

  • 詳細なジャッジや高コストの許容範囲がある場合:Decider v1.3 を推奨。
  • 大量処理・遅延・コストが制約となる場合:Decider Flash v1.3 を推奨。

両モデルは、Hugging Face(Apache ライセンス)、OpenRouter、および Perplexity Decisions API を通じて、いつでもダウンロード可能です。

同じ日のほかのニュース

一覧に戻る →

2026/11/14 6:05

FAA が全米の地上停止を発表

## 日本語翻訳: 航空交通管理システム指令センター(ATCSCC)は、2013 年 11 月 26 日 13:20 に発効し、14:04 まで続く「国内地面停止勧告第 111-DCC」を発令しました。これは、米国連邦航空指令センターによる例外的な安全事情に基づいており、本命令によりすべての空港は地上停止を維持し、離陸便は一切許可されません。署名のタイムスタンプは 26/11/13 20:54 と記載されていますが、運用上の停止は指定された終了時刻まで、直ちにすべての離陸便に適用されます。国際線入国便は自動的に取消されるものではなく、当局によってケースバイケースで対応されます。したがって、航空会社と空港運営者は、この特定の緊急期間中に旅客の安全を確保するため、即座にスケジュールの調整を行う必要があります。

2026/11/14 3:40

カリフォルニアからテキサスへの輸送中に NVIDIA ハードウェア 1140 万ドルが消失

## Japanese Translation: 要約: 高価な NVIDIA コンピュータ機器 6 パレット、額面価値 1,140 万ドルが、8 月 29 日にトラックが商品を引き取った後、オークランドからフォートワースへの輸送中に行方不明になった。その車両は食品運輸会社のロゴを掲げており、捜査員はその車両を長時間の停車を経て追跡したが、サンバーナディノ郡(南カリフォルニア)で行方をたてなくなった。オークランド警察は 2026 年 9 月 13 日付けの被害届に基づき強盗事件として捜査を進めているが、1,140 万ドルの評価額や特定の貨物・所有者・送り主・運送事業者・運転者の特定は行っておらず、逮捕者は発表されず、回収も確認されていない。NVIDIA はコメント要請に回答していない。本件は、他の輸送から盗まれたデータセンター用貨物の総額でほぼ 1 億 1,100 万ドルという広範な報告のさなかであり、別の事件として嫌疑者が確立されたトラック事業所のアイデンティティを悪用したとされる 1,200 万ドルの捜査も進められているが、当局はその事件を本件とは関連付けられていない。公衆からの問い合わせはオークランド警察 (510) 238-3728 まで。本件は物流セキュリティにおけるリスクの高まりと、高価な電子機器を対象としたアイデンティティ関連の貨物盗難に対する強化対策の緊急性を示している。

2026/11/14 7:39

Claude メーティンズ

## Japanese Translation: Anthropic は、エンタープライズ向け AI の大規模アップデートを実施し、「Claude」がビデオ会議に能動的な参加者として加わることを可能にしました。これは、受動的な文字起こしからリアルタイム協調作業への大きな転換であり、AI が通話に参加して議論を追跡したりタスクを管理したり、ドキュメントの共同作成(計画の要約や承認済み予算データの取得など)を即時に行う仕組みです。ユーザーは通話中にドキュメントやホワイトボードを共同で構築でき、生成されたすべての資料は claude.ai 内の専用ページに安全に保存されます。現状の統合では Google Meet がサポートされていますが、Gong、Otter、Fireflies.ai など他のパートナーへの対応も急速に拡大しています。 ただし、組織はこの機能と厳格なセキュリティ制御をバランスさせる必要があります。通話への参加には明示的なユーザー同意が必要であり、現在では Zero Data Retention(ZDR)構成、HIPAA 準拠設定、顧客管理暗号化鍵(CMEK)などは利用できない状態です。また、デフォルトでは外部ゲストが入場した場合に Claude は通話に参加しませんが、管理者はこの動作を上書きできます。ベータフェーズでは Team および Enterprise プランにおいて、2027 年 2 月までアーティファクトの生成が無料であり、ノートや文字起こしも無料で利用可能ですが、連携ツールの過度な使用は特定のプランの制限に影響する可能性があります。