Shieldstral：ポリシー適応型の安全評価モデルを公開

Shieldstral は、コンテンツモデレーションを**「ポリシー適応型の問答タスク」**として再定義する、30 億パラメータ級のオープンウェイト多モーダルモデルです。

• 高性能：最大 7 倍の規模を持つモデルを上回る性能を発揮します。
• 柔軟性：推論時に平易な言語で記述されたポリシーを受け入れ、再トレーニング不要でテキストと画像双方の安全評価を統合します。
• オープンライセンス：Apache License 2.0 のもとでリリースされ、単一の 16GB NVIDIA GPU 上で効率的に動作します。
• アクセス：Open Secure AI Alliance の初代メンバーとして、ダウンロードはこちらから で利用可能です。

なぜ「問答タスク」なのか？

従来のガードレール型モデルは内部の重みに固定された危害カテゴリーを組み込んでおり、新たなコンテキストへの対応には再トレーニングが必要です。しかし、安全の定義はアプリケーションやドメインによって異なります（例：サイバーセキュリティツールでは許容される内容も、メンタルヘルスプラットフォームでは有害と判断される場合がある）。

Shieldstral は以下のアプローチを採用しています：

• 推論時のポリシー適用：ポリシーを「平易な言語の質問」として記述し、モデルから定量化された安全スコアを取得します。
• 一元化されたインターフェース：テキストも画像も一つのインターフェースで対応可能であり、単一のトークンから結論（verdict）が得られます。

モデレーションを「問答」と見なす仕組み

Shieldstral はコンテンツモデレーションを二値的な問答タスクとして定式化し、各リクエストは以下の 3 つの要素で構成されます。

リクエストの構成要素

• <Instruct>

  （指示）：評価の文脈、厳格さの設定、および「unsafe」とみなされる定義を含みます。

• <Query>

  （質問）：単一のはい/いいえ形式の質問です。
  • 例：「このコンテンツが身体的暴力を促進しているか？」

• <Document>

  （ドキュメント）：判断対象となるコンテンツです。
  • プロンプト、レスポンス、ペア、あるいは画像（テキスト付きオプション）などが該当します。

推論プロセス

1. モデルは「はい」と「いいえ」の logits のみを読み出します。
2. これらをソフトマックス正規化して連続的な安全スコアに変換します。

この単純な定式化により、プロンプト分類、レスポンスモデレーション、拒否検出、毒性検出といった複数のタスクを一元的に扱いつつ、ポリシーを完全プロンプト側で記述するため、デプロイ時に新しいポリシーにも即座に適応可能です。

ハイライト機能

• 高い性能
  • テキスト分野の安全性、拒否検出、ポリシー適応性において、最大 7 倍の規模を持つオープンソースモデルと同等以上の結果を出します。
  • 多モーダルベンチマークでもトップクラスのスコアを獲得しました。
• 適応性と柔軟性
  • 単一の自然言語インターフェースでテキスト、画像、およびそれらの組み合わせを網羅します。
  • ポリシーは自由形式の質問として提供され、推論時に再調整されるため、再トレーニングなしで新たなタスクに適応可能です。
• 小規模だが多様なデータ基盤
  • 実世界データと合成データを組み合わせ、多種多様なラベル形式を一つの枠組みに統合しました。
  • 30 億パラメータモデルでありながら、単一の 16GB GPU で動作可能です。
• 連続的な安全スコア
  • 離散ラベル（0/1）ではなく、定量化された確率を返すため、閾値設定やランク付けの信頼度に基づいた判断が可能になります。
• オープンなライセンス
  • Apache License 2.0 のウェイトを公開しています。

ベンチマーク評価結果

我々は Shieldstral を、最大で7 倍の規模を持つオープンソースガードモデルと比較するために、以下の軸に沿って評価を行いました。

• すべての評価サンプルはトレーニングデータから除外されています。
• テキスト分野においては最大 7 倍の規模を持つモデルと同等の結果を達成しました。
• 多モーダルモデレーション分野では新たな最高性能を確立しました。

開発プロセス：小規模モデルがなぜ勝つのか？

基本的な考え方は、「適切に選ばれたデータがあれば、小規模なモデルでもより大きなモデルを凌駕できる」です。データを正しく設定するために以下の 4 つの課題を解決しました。

1. 多様なデータの統合

• 標準化：カテゴリ体系やラベルが異なる公開データセットを、同一の「指示–質問–ドキュメント」形式に変換しました。
• 一般化促進：指示語句や区切り記号を変化させ、モデルが特定のスタイルに過学習するのを防ぎます。
• 厳格さの定量化：ソースごとに厳格さを数値化（例：セキュリティ対策は厳しく、レスポンス品質データは緩やかに）し、定量的な意思決定境界を学習させました。

2. 判別能力の強化と暗記防止

• 対照ペア学習：モデルを固定ポリシーだけでなく、似ていて混同しやすいポリシーセットでトレーニングします。
• 再記述指示：安全なテキストを「違反する側」と「違反しない側」の兄弟ポリシーとして再記述させ、モデルがどのポリシーに違反しているかを識別する能力を持たせました。
• 転移学習：ユーザー定義の未見ポリシーにもこの判別能力が転移します。

3. 画像における安全評価の定着

• データ拡張：限られたモデレーションデータに加え、汎用的な画像データを高品質な負例として追加しました。
• フィルタリング：すべての「画像–質問」ペアをビジョン–言語再ランクナーでフィルタリングし、誤ラベル付けやハルシネーションを削減しています。

4. チェックポイントの補完的融合

• LoRA と SLERP 法を用いて以下の 3 つを融合させました。
  1. 公開データで定量化されたチェックポイント。
  2. 生成データから得られた細かいポリシー判別能力を持つチェックポイント。
  3. ベースの指示モデル。
• これにより、共通するポリシー定量化と適応性を回復させつつ、ベースモデルからの指示追従性も保持しました。

5. エンドツーエンド開発（Forge プラットフォーム）

• Shieldstral はすべて独自プラットフォーム Forge 上で開発されました。
• トレーニング、アライメント、カスタムモデル評価のインフラストラクチャを提供し、分散トレーニング技術を活用しています。
• チームはデータの質に集中でき、それが安全モデルの品質を決定づける重要な要素となりました。

今後の展望

Shieldstral は、すべての製品を一元的なカテゴリー体系で縛るのではなく、文脈に適応するようモデレーションを進めるための一歩です。

今後取り組む主要な課題：

• 多言語対応の強化
• 長文書に対する堅牢性の向上
• より広い範囲の多モーダル安全性の確保

コミュニティがこれを用いてどのような新たな価値を生み出すかを見守るほか、現在採用活動も行っております。AI の向上に貢献したい方はキャリアページをご確認ください。