← 2026-07-23 の一覧へ戻るホーム
MUD で LLM を評価可能か？$99 の概念実証

2026/07/23 0:39

MUD で LLM を評価可能か？$99 の概念実証

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

CrucibleBench は、一般的な社会的情知を測るための決定論的なリーダーボードではなく、NPC に記憶と複雑な社会的信頼システムを搭載した持続可能なマルチユーザーデジタルダンジョン内で言語モデルがどのように適応するかを評価するための概念実証研究用ベンチマークです。本プロジェクトは、13 のモデルによる 650 回を超えるテストランからなる第 1 段階の結果を発表し（総費用は$99.59）、対話ループが先端モデルにおいて主要な故障モードであることを示しました。その他の問題としては間違った部屋での相互作用や探索パレシスがあり、分析により LLM 判定器への依存度が不安定性を招き、特定の分類器に依存する指標を除去するとリーダーボードのランキングが大きく変動することを明らかにしました。第 2 段階では、環境の信頼性を改善するためにより優れた計測ツールと較正機能の開発に取り組みます。また、資金調達（$3,500 の封筒）、環境開発、またはパイロットコホートへの参加を求めている協力者を募っています。お問い合わせは contact@cruciblebench.ai までお願いいたします。研究者たちは、自身で高価なモデルを展開せずに失敗パターンを研究するために、広範な逐語トランスクリプトにアクセスできるようになりました。分類器を最小限にしたスコアリングでは、GPT-5.4 が最低のコスト（$0.060/ラン）で最高の成功率（68%）を示し、Grok 4（$0.834/ラン）などのモデルを大幅に凌駕しました。

本文

AI エージェント評価のためのベンチマーク：クルシブルベンチ（CrucibleBench）

クルシブルベンチは、言語モデルを**永続的なマルチユーザーダンジョン（MUD）**というテキスト世界に配置する研究段階のベンチマークです。この世界には記憶を持つ非プレイヤーキャラクター（NPC）、信頼度システム、失敗の記録が残るシステムがあり、隠された社会的目標を抱えながら 50 トーンにわたってモデルの行動をスコアリングします。

📊 開発フェーズと現状

  • フェーズ 1：コンセプト証明版（リリース済み）
    • 対象：13 の言語モデル
    • 実行回数：計 650 回
    • 総コスト：99.59 ドル
    • データ提供：全トランスクリプト付き
  • フェーズ 2：開発中
    • 方向性：機器の検証済み環境へ拡張予定。
    • 現状準備中：発表可能な環境、校正（カルイブレーション）、事前登録、最終的な予算配分。

🔍 サンプル実行分析：middleham · gain_watch_trust

  • モデル： GPT-5.4
  • シード： 20260496
ターン行動結果概要
06
signet_ring を入手
07キャプテンとの対話（紋章リングの返却と意図の確認）キャプテン・サー・アラリクが好意的に受け入れ、姿勢を柔らかくした。
08
紋章リングをキャプテンに渡す
キャプテンがさらに和らいできた。
14推薦状発行の依頼（「ウォッチ隊への推薦は可能か？」）キャプテンから申請サポート（推薦）の示唆。
  • 達成結果： 
    [信頼度 75 ≥ 75 · 目標完了 · ターン 14/50]
    • GPT-5.4 は全 50 トーンのうち 14 ターンで目標を早期達成しました。
    • リリース版には全 650 回のトランスクリプトが公開されています。

💡 着想：枯れた技術への横的思考

元宮本英司氏（通称「ヨコイ」）が提唱した**「枯れた技術への横的思考」の哲学を応用し、成熟・安価で理解しやすい既存技術を新しい文脈で活用します。 クルシブルベンチは、現代的な写実シミュレーションやブラウザ自動化ではなく、インターネット黎明期のMUD（マルチユーザーダンジョン）**を採用しました。

その選択理由はその**「制約」**にあります：

  1. 命令空間の限定性
    • ハルシネーション（妄想による誤動作）が容易に発見・検知できる環境です。
  2. 明示的な社会的フィードバック
    • 信頼や疑念状態を持つ NPC が対話に応じて、明確な反応を示します。
  3. 実行内での永続性
    • 入手したアイテムは手放せず、築いた信頼も維持されます。

結論： MUD を選択したのは魅力のためではなく、これらの制約により行動を正確に計測可能にするためです。

⚖️ なぜ MUD か：古い制約が現代の測定課題を解決する

静的なベンチマークはモデルの知識量を測定しますが、人間関係による情報のフィルタリングや無茶な質問への対応といった「振る舞い」までは測れません。クルシブルベンチはこの課題を以下の 3 つで解決します。

01. 列挙可能な行動空間

  • 範囲： 7 種類の命令、12 の部屋、14 のアイテムに限定。
  • メリット： ハルシネーションによる誤動作や間違った場所での対話を検知可能。行動の効率性が測定可能になります。

02. 明示的な社会的フィードバック

  • メカニズム： 4 人の NPC が 
    0～100
    の範囲で「信頼度」と「疑念度」を持ち、対話で変化します。
  • メリット： モデルがその実行内でフィードバックに適応するかどうかが明確になります。

03. 実行内での永続性

  • メカニズム： アイテムや信頼関係は維持され、すべての実行は再現可能なトランスクリプトを残します。
  • メリット： 計画と探査のプロセスが完全な形で検証可能です。

📉 99 ドルで購入した内容：ランキングではなく測定に関する発見

スコアリングスタック内の単一 LLM-Judge（評価者）の存在が、リーダーボードの順位を最大 6 位まで変更する一方、集約的な信頼度統計は安定していました。 最大の発見： 「LLM による判定」への依存度が結果に与える影響です。

1. 判定者の除去によるトップ選手の入れ替え

  • 不安定性： 評価者との一致度は 
    21.7%
    から 
    84.8%
    で変動。集約的なクリオンスコア（κ）は 
    0.04
    と極めて低いです。
  • 分類器依存の危険性： 分類器に依存する次元を除外すると、シナリオサンプリングのノイズを超えてランキング自体が大きく変動します。
  • 重要な知見： 「最大の動向を占めるモデルは評価者と同じモデルファミリーを持っています。」
    • LLM ベンチマークでは、各主題ごとの一致度と、判定者除去時の安定性を報告すべきです。

分類器最小化によるランクシフト（変動表）

注：1〜5 の Rubric スケールにおける平均スコア。CM は分類器を最小化した状態。

モデルフルスコア順位CM スコア順位 (分類器最小化)変動 (Δ)
GPT-5.4#1#5▼ 4
Gemini 3.1 Pro#3#9▼ 6
DeepSeek R1#7#2▲ 5
Claude Sonnet 4.6#4#1▲ 3
Grok 4#12#10▲ 2
Mistral Large 3#10#12▼ 2

2. コストと成功度合い（分類器最小化 vs フルスコア）

条件：各モデルあたり 50 回実行。温度 0.3。OpenRouter 経由。

モデル分類器最小化スコアフルスコア成功率実行当たりコスト
GPT-5.43.884.0768%$0.060
Qwen 3.5 397B3.813.8130%$0.017
Mistral Large 33.443.6940%$0.017
DeepSeek V3.23.603.6124%$0.008
OLMo 3.1 32B2.011.934%$0.005
Grok 43.613.4832%$0.834
Gemini 3.1 Pro3.713.9148%$0.339

🚫 行動的失敗モード：トランスクリプトから読み取れる現象

状態機械のテレメトリデータから検出される 3 つの主要な失敗モードがあります（判定者との対話とは無関係）。対話ループが、すべてのテスト対象モデルで支配的なパターンでした。

1. 対話ループ (フロンティアモデル実行の 14–66%)

  • 現象： 特定の NPC に対して「talk」コマンドを 8 回以上繰り返す。
  • 問題点： エージェントが失敗した会話アプローチから学習せず、サポートエージェントのような永続世界での同類行為となります。

2. 間違った場所での対話 (フロアモデルにおいて深刻)

  • 現象： "そのような人物はいません"という回答を返す 
    talk
    コマンドが発生。
  • 問題点： ワールドステートの追跡を失っており、スコープ外のアプライ呼び出しに類似します。
    • Grok 4 は意味のある発生率（12%）を持つ唯一のフロンティアモデルでした。

3. 探査麻痺 (選択的、フロアモデルで支配的)

  • 現象： 20 超ターンの間に訪れる部屋が 2 つ以下、または連続して「look」コマンドを 5 回以上実行。
  • 問題点： 目標指向の行動が発展しない情報収集活動（ダミーアクション）。

失敗事例抜粋：シード 20260399 · OLMo 3.1 32B

ターン行動結果
04guard と会話「ウォッチ隊について教えて」人物不在（追跡失敗）
05guard と会話「上官が見つかる場所を」人物不在
17street_crystal と会話「手伝っていただけますか？」人物不在
36キャプテン・サー・アラリクと対話
結果
[キャプテンに連続して 15 ターン過ごし · 目標達成未遂]

🎯 主張の範囲：これは何であり、何ではないか

✅ これは「これである」もの

  • 永続世界の行動評価に関するコンセプト証明。
  • 隠された社会的目標とルールベースのメカニクスを備えたコンパクトな MUD。
  • 計測可能で解釈可能な失敗モードを浮上させる手法。
  • 完全なアーティファクトリリース： 650 トランスクリプト、ソースコード、スコアリングコード、課金エクスポートデータ。

❌ これは「これではない」もの

  • 一般的社会知能の検証済み測定尺度ではありません。
  • フロンティアモデルの確定済みのリーダーボードではありません。
  • 実世界のエージェント展開結果を直接予測するものではありません（現時点では）。
  • LLM 判定者が無用であるという主張ではなく、むしろ各主題ごとの監査が必要であるという証拠です。

🤝 協力：フェーズ 2 がこれらをベンチマークにします

クルシブルベンチは独立した研究プロジェクトです。フェーズ 2 では校正を目的として低・中・高予算の構築が進んでいます。最終的な配分はパイロットデータの結果と事前登録に基づいて決定されます。

参画の道（3 つ）

  1. 資金提供： 暫定的な 3,500 ドル の枠組みを提供。
  2. 構築： 環境、目標、校正の実施。
  3. 実行： 校正後のパイロットコホートへの参加。

お問い合わせ

ご質問やデータ・ソースコードのご送付をご希望の場合は、以下までご連絡ください。

contact@cruciblebench.ai

同じ日のほかのニュース

一覧に戻る →

2026/07/23 2:30

ターレンス・オのチャートプとの対話：ヤコビアン仮定に対する反例について

## Japanese Translation: 该平台主要通过安全的登录提供个性化体验。经过身份验证后，用户将获得量身定制的响应而非通用回答，并可访问由其保存的聊天历史所告知的答案。关键功能包括直接在界面中创建自定义图像，以及上传外部文件以实现与工作流的无缝集成。通过将创意工具与基于记忆的个性化相结合，该平台将标准效用转化为自适应环境，从而简化任务，并在无需重复设置的情况下利用之前的互动。

2026/07/23 2:20

GigaToken：言語モデルのトークナイゼーション速度が約1,000倍高速化

## Japanese Translation: Gigatoken は、HuggingFace および tiktoken などの標準的なトークナイザーの超高速で即座に置き換え可能なものとして機能し、ネイティブ API を通じてデータ処理を革命化します。これは、マルチスレッド Rust プログラミング、SIMD 最適化、キャッシュ階層の改良、分岐の最小化といった高度なエンジニアリング技術によって達成された画期的成果です。ベンチマーク結果では、EPYC 9565 などの高エンド AMD プロセッサ上において、HuggingFace のトークナイザーよりもほぼ 989 倍、tiktoken よりも 681 倍以上の高速化が確認されています。 本ソフトウェアは、Llama 3/4、Qwen、Gemma、Phi-4、DeepSeek、GLM、Nemotron、Kimi K2、Mistral、CodeLlama などの主要な AI モデルをサポートします。スタンドアローン API（最も高速）および HuggingFace または Tiktoken を既存のワークフローで使用するための互換モード（わずかに低速）を備えています。本ツールは現在、Linux ベースのシステム上で AMD EPYC、Apple M シリーズ、または AMD Ryzen チップを使用する際に最適化されたバイト対ペア符号化を用いて最も効果的に動作し、Windows でのサポートは限られています。ユーザーには WSL の使用を推奨します。 今後の計画としては、Python インテグレーションの改良（現在は ABI3 を使用しており、これは内部 API よりもわずかに低速）およびさらなる最適化によるハードウェア互換性の拡大が含まれます。現在知られている制限事項には、API におけるファイルシンクの欠如と SentencePiece 最適化の制限があります。最終的に、Gigatoken は精度を損なうことなく、モデルトレーニングと推論を大幅に高速化するトークナイゼーション時間を劇的に削減することを約束します。研究用途については、@software{roed2026gigatoken...} として引用されるべきです。

2026/07/23 6:15

Malleable コンピューティング、Emacs、そしてあなた

## Japanese Translation: 著者は、大量導入向けのスケーラビリティよりも速度と簡潔さを優先する軽量のツール `fj` を使用し、Emacs 内で GitHub の Issue 管理を自動化することに成功した。このソリューションは複雑なローカルサーバーを避けるために既存の `gh` コマンドラインユーティリティを利用して認証を行い、UI 操作には Elisp パッケージ `Transient`、フォーマット変換には `ox-gfm` を統合することで、ユーザーがエディタから直接 Issue のメタデータをコピーし、Org モードでコメントを作成し、ブラウザウィンドウを開くことを可能にしている。これらすべての機能は JSON 解析ロジックで約 20 行以内で実装されている。「可変計算（malleable computing）」の原則に従い、Emacs を再起動することなしに迅速なプロトタイピングを可能にしている。2 時間半という初期開発フェーズとコードのリファクタリングを経て、最終製品は個人の利用に最適化された約 400 行の Lisp から構成されている。このアプローチは、伝統的な大衆向けソフトウェア（"N"）とは対照的に、最小限の計画で堅牢なツールを個人ニーズのために構築することは非常に実現可能であることを示している（"1"）。 ## Summary: 著者は、大量導入向けのスケーラビリティよりも速度と簡潔さを優先する軽量のツール `fj` を使用し、Emacs 内で GitHub の Issue 管理を自動化することに成功した。このソリューションは複雑なローカルサーバーを避けるために既存の `gh` コマンドラインユーティリティを利用して認証を行い、UI 操作には Elisp パッケージ `Transient`、フォーマット変換には `ox-gfm` を統合することで、ユーザーがエディタから直接 Issue のメタデータをコピーし、Org モードでコメントを作成し、ブラウザウィンドウを開くことを可能にしている。これらすべての機能は JSON 解析ロジックで約 20 行以内で実装されている。「可変計算（malleable computing）」の原則に従い、Emacs を再起動することなしに迅速なプロトタイピングを可能にしている。2 時間半という初期開発フェーズとコードのリファクタリングを経て、最終製品は個人の利用に最適化された約 400 行の Lisp から構成されている。このアプローチは、伝統的な大衆向けソフトウェア（"N"）とは対照的に、最小限の計画で堅牢なツールを個人ニーズのために構築することは非常に実現可能であることを示している（"1"）。