← 2026-07-23 の一覧へ戻るホーム
AI ラボスPelicanmaxxingしているのか？

2026/07/23 2:17

AI ラボスPelicanmaxxingしているのか？

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

日本語訳:

最近の調査により、主要な AI ラボが、ウイルス的に広まった「自転車に乗るペリカン」というプロンプト（頻繁にユーモラスに「pelicanmaxxing」と呼ばれている）のためにモデルを意図的に最適化したという説は、効果的に否定されました。7 つの主要な AI モデルによって生成された 1,088 の画像に対する大規模な分析において、この特殊なシナリオに対する特別なトレーニングの実績は見つかりませんでした。高度な統計的手法を用いてペリカンを他の動物や車両と比較した結果、研究者はこの特定の組み合わせに対して視覚的なパフォーマンスが優れているとは認められませんでした。むしろ、高スコアはスケーラブルベクターグラフィックス (SVG) といったグラフィック形式の描画能力全般の向上により、よりよく説明されます。この発見は、企業がインターネット上のミームを密かに「記憶」したり、特定のトレーニングデータをモデル内に隠しているという説に反しています。したがって、新しい AI システムを評価するユーザーは、一般文化の参照に対する隠された最適化を想定するのではなく、広範な能力向上に焦点を当てるべきであり、データはニッチなプロンプトへのターゲットされた微調整よりも一般的な技能の進歩を支持しているためです。

本文

シモン・ウィリソンの「自転車に乗るペリカン」検証：AI ラブが意図的に特化しているのか？

過去数年間にわたり、シモン・ウィリソン（Simon Wilson）は、「ペリカンが自転車に乗っている SVG を生成して」というプロンプトを用いて、主要な大規模言語モデル（LLM）のリリースを検証してきました。

  • 当初は皮肉を込めたベンチマークでしたが、現在ではAI 界で最も有名な非公式ベンチマークの一つに成長しました。
  • Hacker News のスレッドにおいて、高評価コメントの上位に頻繁に挙がっています。
  • その有用性と、AI ラブによる**「benchmaxxing」**（ベンチマークスコアを意図的に操作して最適化する行為）の可能性については、活発な議論が行われています。

本記事では、これらの疑問を検出するために行った小規模実験の結果を報告します。

  • 生成した SVG: 1,008 枚
  • 評価モデル: Claude Fable 5
  • コード公開: GitHub

検証方法

1. プロンプトグリッドの設計

動物 8 種 × 車両 6 種 = 48 通りのプロンプトを作成し、「自転車に乗るペリカン」をその 1 セルに相当するように配置しました。

  • 対象動物 (8 種)
    • ペリカン、フラミンゴ、苍鹭（いかりぐり）、カワウソ
    • コテンジクザル（ラクーン）、シマウマ、クジラ、猫
  • 対象車両 (6 種)
    • バイク（自転車）、ユニサイクル（片輪車）、スケートボード
    • スクーター、飛行機、ボート

注：動物および車両の選定には厳密な手順はありませんでした。元の提示との類似度や難易度を考慮して多様化させました。

2. テスト対象モデルと設定

OpenRouter を通じて以下の 7 つのモデルをテストし、各プロンプトにつき 3 サンプルずつ生成しました。

  • 使用したモデル:
    • GPT-5.6 Terra
    • Claude Sonnet 5
    • Gemini 3.5 Flash
    • Grok 4.5
    • Qwen3.7-Max
    • GLM-5.2
    • DeepSeek V4 Pro
  • 設定:
    • 温度: 1.0（同等の推論努力を引き出すため）

3. 画像処理フロー

各 SVG は以下の 3 つの段階を経て処理されました。合計で 1,008 枚の SVG が生成されました（再試行は 11 回のみ）。

  1. レンダリング: SVG を PNG としてレンダリング。失敗時は再生成を試行し、有効な結果を得るまで続き、試行回数を記録しました。
  2. 評価: GPT-5.6 Lunaが各画像をスコアリング。
    • 動物の妥当性（1～5）
    • 車両の妥当性（1～5）
    • 動作の一貫性（1～5）
    • 画像ごとの総合値「裁判員スコア」: 上記 3 つの平均値を採用。
  3. 特徴抽出: Gemini 3.1 Flash-Liteに画像を送り、以下の情報を記録しました。
    • 認識された動物・車両
    • 主体の向き
    • シーン内の要素（オープンエンドなリスト）

検証の仮説: もしあるラボが当該ベンチマークに特化して学習していた場合、以下いずれかのパターンが現れるはずです。

  • 「自転車に乗るペリカン」の行全体が他よりも高得点
  • 「バイク（自転車）」の列全体が他よりも高得点
  • 特定の「自転車に乗るペリカン」セルだけが突出したスコア

検証結果：証拠 #1 ～ #5

証拠 #1：見た目も特別ではありませんでした

画像を直接確認しましたが、他の組み合わせと比べて顕著に優れている例は見つかりませんでした。

  • 一部のサンプル（GLM-5.2 など）はわずかに優れて見えたものの、それは他のクールな生成結果（例：「スケートボードに乗る苍鹭」）とも矛盾しました。
  • 傾向: 「自転車に乗るペリカン」を得意とするラボであっても、他の動物・車両の組み合わせも概して優れています。

証拠 #2：ペリカンの描画において優れていません

すべてのモデルにわたって集計した「平均動物評価スコア」のランキングは以下の通りです（8 種中）：

  1. カット / クジラ / コテンジクザル
  2. 苍鹭 / シマウマ
  3. ペリカン（6 位）
  • もしベンチマークトレーニングを行っていたのであれば、ペリカンが上位に位置するはずですが、実際には下半分に位置しています。
  • すべての 7 つのラボにおいて、猫やクジラを描く方がペリカンよりも優れています。

証拠 #3：自転車の描画においても優れていません

「自転車」に関するスコアはさらに低く、ランキングでほぼ最後（2 位）でした（飛行機と競り合い）。

  • 理由: 両方の車軸につながるフレーム、ハンドルバー、シート、ペダルが必要です。
  • 裁判員による判定：約 3/4の自転車画像でこれらのいずれかが欠落したり接続がなかったりとフラグを立てられました。
  • 補足（飛行機）: 「plane」は「airplane」よりも適切でした。モデルは幾何学的に解釈し、平面上に動物を描いてしまう傾向があります。

証拠 #4：難易度を補正しても優れていません

固定効果回帰分析を行い、スコアに対する影響を以下のように分解しました。

  • モデル: 
    Score ~ Lab + Animal * Vehicle
  • 交互作用項: 各ラボの相対的な向上分（Mean Lab Effect）を測定。

分析結果:

  • ペリカンの効果: どのモデルにおいても有意ではありませんでした（p > 0.25）。
  • 自転車の効果:
    • Grok 4.5: −0.18（マイナス効果）
    • Gemini 3.5 Flash: +0.27（プラス効果だが、他の方向と差があり一貫性がない）
    • p < 0.05 を満たしたのは Gemini のみ。
  • ペリカン×自転車セル: 特定の組み合わせの追加向上分は有意ではありませんでした（p > 0.05）。
  • 多重比較補正: Bonferroni 法により閾値が低下したが、Gemini の p 値（0.022）も閾値（0.002）を下回らず、偶然の範囲内です。
  • 信頼区間: 平均的に±0.6 ポイントであり、検出可能な有意な向上分は得られていません。

結論: 「自転車に乗るペリカン」はランキングで48 通り中第 42 位と下位に位置しています。

証拠 #5：記憶されたシーンには見えない

一部の指摘（向きが常に右、特定の要素の繰り返し）について検証しました。

  • 向き:
    • すべての「自転車に乗るペリカン」（21 例）は右を向いています。
    • しかし、これは全画像の **60%**で共通する一般的な傾向に過ぎず、特別ではありません。
    • 他の組み合わせでも同様に右を向く例が多く、スケートボード乗りのシマウマ（21/21）、スクーター乗りのペリカン（21/20）など、他の組み合わせも 90% 以上で達成しています。
  • シーン要素:
    • 「ボートに乗るフラミンゴ」や「飛行機に乗るカワウソ」に頻繁に太陽やスカーフが見られるように、「自転車に乗るペリカン」にも固有の記憶されたパターンは見られません。
    • 単に、他の組み合わせと同様に特定の要素がより頻繁に現れているだけです。

限界

今回の分析には以下の制約があります。

  1. 評価モデル:
    • スコアリングはすべてGPT-5.6 Luna1 つのモデルのみで行いました。
    • モデルの偏りや、特定ラボのスタイルへの適応（グリッド全体のスコア上昇）が含まれる可能性があります。
  2. SVGmaxxing の検出不能:
    • ラボが SVG 生成全体に対して最適化を行っていた場合、各セルで同時にスコアが上昇し、単なる能力の高さと区別がつきません。
    • Google/DeepMind などが公然と行う行為については検出できません。
  3. 予算制約:
    • 全実験は API クレジットで約 80 ドルのみで行われました。
    • プロンプトやパイプラインの反復改善（例："plane"→"airplane") を行う余裕がありませんでした。

結論

Hacker News の「ハートブレイカー」として有名なシモン・ウィリソンのベンチマークについて、以下のような実態が明らかになりました。

  • pelicanmaxxing（意図的強化）の証拠はほとんどありません。
  • ペリカンは他の動物よりも描画されにくく、自転車も他の車両よりも描画されにくいです。
  • どのラボも、予測された「自転車に乗るペリカン」を特に優れたものとして描き上げていません。
  • 最も接近したのは GLM-5.2ですが、効果は小さく統計的に有意ではありませんでした。

他に際立っているのはシーンの方向性のみです。

  • 全ての「自転車に乗るペリカン」（21 例）が右を向いており、これは他の組み合わせでも同様に高い確率（90% 以上）で再現される標準的な挙動に過ぎません。

より説得力のある物語は、SVGmaxxingです。

  • 他のラボでもっと静かにこの行為を行っている可能性があります。
  • 残念ながら今回の実験では、誰がそれをしているかを特定することはできませんでした。

しかし、少なくとも今夜安らかに眠れるのは、AI ラブがシモン・ウィリソンを欺くためにペリカン×自転車のテラバイトを生産しているわけではないことです。

データを確認したい方は、完全なパイプラインは GitHub のリポジトリにあります。

文献情報

Castillo, Dylan. 2026. 「Are AI Labs Pelicanmaxxing?」7 月 18 日。https://dylancastillo.co/posts/pelicanmaxxing.html

同じ日のほかのニュース

一覧に戻る →

2026/07/23 2:30

ターレンス・オのチャートプとの対話：ヤコビアン仮定に対する反例について

## Japanese Translation: 该平台主要通过安全的登录提供个性化体验。经过身份验证后，用户将获得量身定制的响应而非通用回答，并可访问由其保存的聊天历史所告知的答案。关键功能包括直接在界面中创建自定义图像，以及上传外部文件以实现与工作流的无缝集成。通过将创意工具与基于记忆的个性化相结合，该平台将标准效用转化为自适应环境，从而简化任务，并在无需重复设置的情况下利用之前的互动。

2026/07/23 2:20

GigaToken：言語モデルのトークナイゼーション速度が約1,000倍高速化

## Japanese Translation: Gigatoken は、HuggingFace および tiktoken などの標準的なトークナイザーの超高速で即座に置き換え可能なものとして機能し、ネイティブ API を通じてデータ処理を革命化します。これは、マルチスレッド Rust プログラミング、SIMD 最適化、キャッシュ階層の改良、分岐の最小化といった高度なエンジニアリング技術によって達成された画期的成果です。ベンチマーク結果では、EPYC 9565 などの高エンド AMD プロセッサ上において、HuggingFace のトークナイザーよりもほぼ 989 倍、tiktoken よりも 681 倍以上の高速化が確認されています。 本ソフトウェアは、Llama 3/4、Qwen、Gemma、Phi-4、DeepSeek、GLM、Nemotron、Kimi K2、Mistral、CodeLlama などの主要な AI モデルをサポートします。スタンドアローン API（最も高速）および HuggingFace または Tiktoken を既存のワークフローで使用するための互換モード（わずかに低速）を備えています。本ツールは現在、Linux ベースのシステム上で AMD EPYC、Apple M シリーズ、または AMD Ryzen チップを使用する際に最適化されたバイト対ペア符号化を用いて最も効果的に動作し、Windows でのサポートは限られています。ユーザーには WSL の使用を推奨します。 今後の計画としては、Python インテグレーションの改良（現在は ABI3 を使用しており、これは内部 API よりもわずかに低速）およびさらなる最適化によるハードウェア互換性の拡大が含まれます。現在知られている制限事項には、API におけるファイルシンクの欠如と SentencePiece 最適化の制限があります。最終的に、Gigatoken は精度を損なうことなく、モデルトレーニングと推論を大幅に高速化するトークナイゼーション時間を劇的に削減することを約束します。研究用途については、@software{roed2026gigatoken...} として引用されるべきです。

2026/07/23 6:15

Malleable コンピューティング、Emacs、そしてあなた

## Japanese Translation: 著者は、大量導入向けのスケーラビリティよりも速度と簡潔さを優先する軽量のツール `fj` を使用し、Emacs 内で GitHub の Issue 管理を自動化することに成功した。このソリューションは複雑なローカルサーバーを避けるために既存の `gh` コマンドラインユーティリティを利用して認証を行い、UI 操作には Elisp パッケージ `Transient`、フォーマット変換には `ox-gfm` を統合することで、ユーザーがエディタから直接 Issue のメタデータをコピーし、Org モードでコメントを作成し、ブラウザウィンドウを開くことを可能にしている。これらすべての機能は JSON 解析ロジックで約 20 行以内で実装されている。「可変計算（malleable computing）」の原則に従い、Emacs を再起動することなしに迅速なプロトタイピングを可能にしている。2 時間半という初期開発フェーズとコードのリファクタリングを経て、最終製品は個人の利用に最適化された約 400 行の Lisp から構成されている。このアプローチは、伝統的な大衆向けソフトウェア（"N"）とは対照的に、最小限の計画で堅牢なツールを個人ニーズのために構築することは非常に実現可能であることを示している（"1"）。 ## Summary: 著者は、大量導入向けのスケーラビリティよりも速度と簡潔さを優先する軽量のツール `fj` を使用し、Emacs 内で GitHub の Issue 管理を自動化することに成功した。このソリューションは複雑なローカルサーバーを避けるために既存の `gh` コマンドラインユーティリティを利用して認証を行い、UI 操作には Elisp パッケージ `Transient`、フォーマット変換には `ox-gfm` を統合することで、ユーザーがエディタから直接 Issue のメタデータをコピーし、Org モードでコメントを作成し、ブラウザウィンドウを開くことを可能にしている。これらすべての機能は JSON 解析ロジックで約 20 行以内で実装されている。「可変計算（malleable computing）」の原則に従い、Emacs を再起動することなしに迅速なプロトタイピングを可能にしている。2 時間半という初期開発フェーズとコードのリファクタリングを経て、最終製品は個人の利用に最適化された約 400 行の Lisp から構成されている。このアプローチは、伝統的な大衆向けソフトウェア（"N"）とは対照的に、最小限の計画で堅牢なツールを個人ニーズのために構築することは非常に実現可能であることを示している（"1"）。