推論チップのヴィベコーディング

2026/11/21 3:15

推論チップのヴィベコーディング

RSS: https://news.ycombinator.com/rss

要約▶

日本語訳:

2026 年 11 月 20 日、自動化されたコーディングエージェントが、大規模言語モデル(LLM)の加速用にカスタム FPGA を設計することに成功し、自律的なハードウェア設計における画期的な成果となりました。AWS F2 インスタンス上で稼働し、16 GB の FPGA HBM メモリを備えたこのエージェントは、数日間にわたり Conductor を介して約 300 万行の C++ および Verilog コードを生成しました。その過程では、約 3,000 万行の出力データを分析する自動研究ループが行われ、数百回の実験を実行するために AI トークンで約 1 万ドルを消費しました。

このエージェントは、損失のない 5-trit の重みパックング、メモリポート数を 4 から 8 に倍増させる、バースト型アテンションエンジン、そして推測的デコードといった特定の最適化を実装することで、モデルの推論において劇的な 33 倍の速度向上(ベースラインの約 6 トークン/秒から 213 トークン/秒への増加)を達成しました。重要なのは、これら過激なハードウェアの修正にもかかわらず、システムが CPU ベースラインベンチマークに対しビット単位の完全一致を維持したことであり、これは加算演算(例:$37 \times 48$)や文字列関数などの算術演作を検証しました。DeepGrove の創設者からの「完璧なシミュレーションよりも機能する実装を最優先すべき」という初期プロンプトを原動力として、このエージェントの成功は、AI が今や複雑なハードウェアエンジニアリングの問題を解決できることを示しています。この能力は業界の「オバートン・ウィンドウ」を変化させ、チームが以前は遅い手動設計サイクルによって制限されていた高機能チップのプロトタイピングや、野心的な科学的概念を検証することを可能にしています。

本文

FPGA に LLM を動かす「バイブコーディング」の成果:33 倍の加速を実現したプロジェクト

2026 年 11 月 20 日(金)に記された記事。最近、コード生成エージェントが低レベルな言語へのアクセスを可能にし、ハードウェアハッキングという方向へ向かってきている。 AWS の FPGA ハードウェアを活用し、AI 推論用 FPGA に成功した「バイブコーディング(直感に任せたコーディング)」の経験を振り返る。


プロジェクトの背景と概要

  • 目的: FPGA で大規模言語モデル(LLM)を動かすこと。
  • 手法: 既存の知識ではなく、コード生成エージェントへの指示(プロンプト)に頼った**「バイブコーディング」**。
  • 環境: AWS F2 インスタンス(HBM メモリ 16GB)。
  • 言語: C++(大部分)、Verilog(一部)。
  • 成果: 最初のビット正確な実装に対して、推論速度を 33 倍(213 トークン/秒)に向上させた。

開発プロセスの特徴

  • エージェントとの対話:
    • 主に**「Claude」と「OpenAI」**のトークンを使用し、数百回の試行を行った。
    • 消費金額はわずか1 万ドル。
    • コード出力は約 3,000 万行、解析されたファイルも膨大だった。
  • アプローチ:
    • 「2 倍速くしよう」や「Speculative Decoding を検討する」といった抽象的な指示を出し、モデルにクリエイティブに考えさせる。
    • AstraやOpusなどの最新エージェントも使用可能だったが、互換性を保ちつつ作業を進めた。

人間によるアドバイスが鍵を握った

速度向上の最大の転換点は、開発者の友人である「DeepGrove」創業者からのフィードバックであった。

  • 状況: 速度が約 10 トークン/秒に達した際、専門家の助言を得た。
  • アドバイス内容:
    • 「無駄な長時間テスト(数時間のシミュレーション等)は避けること」。
    • 「スピードを最優先にすること」。
    • 具体的な FPGA デザインのノウハウを提供。
  • 結果:
    • シミュレーション実行時間を大幅に短縮し、早期にハードウェア上で検証できるようになった。
    • エージェントはアイデアを管理・探索する役割へシフトし、人間が定義する「正確性」や「反復スピード」を補完した。

採用された主要な設計思想(要約)

  • MATMUL (三値エンジン):
    • DSP 使用量を減らし、LUT を確保する設計を採用。
    • 重みを 2 ビットで圧縮し、メモリ帯域幅を最大化。
  • メモリー:
    • HBM からストレートに計算レーンへストリーミング(オンチップバッファーの迂回)。
    • KV キャッシュは軽量な MXINT8 で管理。
  • アテンション:
    • 64 トークンのタイルでキャッシュを管理し、フルスコア行列を保持しない。
    • 新しい K/V は HBM に即座に追加(スライディングウィンドウ方式)。
  • スケジューリング:
    • バッファー依存性を明示的により、エンジン間でのオーバーラップを安全に実現。

最適化の軌跡:6 トークン/s → 213 トークン/s

オータリサーチループ(自動反復探索)によって達成された段階的な高速化のステップです。

ステップ速度 (トークン/秒)ベースライン倍率主な変更点・改善内容
06.431.0 倍最初のフルモデルビット正確な実装 (R8)。ホストサイドプレフィックスキャッシュ付き。
18.071.25 倍ホストオーバーヘッド削減: コマンドあたり約 10ms → 0.9ms へ(永続レジスタマッピング、fsync 非実装など)。
214.022.18 倍バーストアテンション: 参照の正確な合計順序を維持しつつ、KV キャッシュを単語単位ではなくバーストで読み込み。
320.533.19 倍並列ルーター: 適度な努力のルーティングにより 250MHz で動作。正確な GCC ソートタイブレイカーを実装。
430.244.70 倍グルイエンジン: 正規化、RoPE、量化などを認証された順序で並列化。
549.217.65 倍新しいパイプライン: ハードウェア特有のハングを修正し、フルな新パイプライン(ストリーミング三値投影レーン)へ移行。
651.257.97 倍プロンプト推論: ホストがトークンを下書き、FPGA が検証する正確な推論型ディコードを実装。
758.439.08 倍ルーターリレー: ルーター重量移動の修正により、レイヤーあたりのサイクル数大幅削減 (43,862 → 12,292)。
894.4414.68 倍ヘッドシャドウ v2: 仮定推測で早期にミスを検出。237.5MHz カーネル・450MHz メモリーを可能に。
9105.6316.42 倍ドラフトモデル: FPGA が F2 ホスト CPU の先読みトークンを検証する「正確な推論型ディコード」。
10108.8116.91 倍メモリーポート増設: ポート数を 4 → 8 へ。輻輳のためクロックは低下 (181/375MHz) したが総体向上。
11134.9920.98 倍アテンションオーバーラップ: ルーターのシリアル合計を計算裏に隠蔽し、非依存化 (12,292 → 2,338 サイクル)。
12171.3026.63 倍重量パック: ロスレス 5-トリット重みパック(−20% バイト)。輻輳軽減で 225/400MHz 動作可能に。
13184.1928.63 倍リースペキュレーション: ヘッドシャドウミス後の再推論、DDR コントローラーなしのディー再バランス。231.25/450MHz で動作。
14213.1333.13 倍並列ヘッダーローダー: ヘッドローダーが両メモリーバンクを同時読み込み (+17.3%)。安定化のためクロック周波数を一段下げ (225/425MHz) に調整。

注: ステップ 14 の最終性能は、ベースラインの約33 倍に達し、リアルタイム応答可能な速度となりました。


評価と比較

  • 公平性の課題:
    • すべての代替案に対して同じ自動探索ループを実行していないため、理論上さらに高性能な構成がある可能性はある。
    • ここでの数値は、「最初の FPGA 実装がどれほど遅かったか」と「最適化によってどこまで性能を引き出せたか」を示すもの。
  • ベンチマーク条件:
    • 日付:11 月 15 日の AWS F2 インスタンス上での測定。
    • コンテキスト長:8,192 トークン。
    • R9 は短コンテキストでは速いが、フルコンテキスト走査では初期の R8 とほぼ同等のパフォーマンスを示した。

実例:FPGA で実行された推論タスク

最終的な R9 イメージを使用した具体的な応用例です。

1. 数学計算

  • タスク: 「37 × 48 はいくらですか?」の計算手順と答え。
  • 結果: 246 トークン生成 / 229.7 トークン/秒 / 全体所要時間 1.16 秒。
  • 回答例:
    37 × 48 = 37 × (50 − 2) = (37 × 50) − (37 × 2) = 1850 − 74 = 1776.
    または、37 × 40 = 1480 および 37 × 8 = 296 なので、1480 + 296 = 1776 です。
    最終的な答えは **1776** です。
    

2. Python スクリプト生成

  • タスク: 「ケース、スペース、句読点を無視した Palindrome チェック関数を作成」
  • 結果: 140 トークン生成 / 220.0 トークン/秒 / 全体所要時間 0.76 秒。
  • 回答例:
    def is_palindrome(s: str) -> bool:
        """
        Returns True if the string s is a palindrome, ignoring case, spaces, and punctuation.
        """
        # Filter to keep only alphanumeric characters and convert to lowercase
        filtered = ''.join(ch.lower() for ch in s if ch.isalnum())
        # Compare with its reverse
        return filtered == filtered[::-1]
    

結論:FPGA に LLM を動かす意味

このプロジェクトは単なる技術的勝利ではなく、開発のパラダイムシフトを示しています。

  • 不可能と思われた領域へのアクセス: FPGA というハードウェアの制約重重的な分野でも、**「ただ動く」**レベルの実装を達成できました。
  • エンジニアリングのパワーシフト:
    • エンジニアチームは、詳細な回路設計や低レベルコーディングから解放され、モデルの方向性やアイデア生成に集中できます。
    • コード生成エージェントが「探索」と「試行錯誤」を行い、人間は「定義」と「判断」を行います。
  • 未来への可能性:
    • この能力を組み合わせることで、科学的発見や新しい製品の創出といった大きなインパクトを与えるアイデアが可能になります。

誰もが FPGA に LLM を生産環境で使う必要はないかもしれませんが、このプロジェクトが示す「ハードウェアと AI の融合」の可能性は極めて魅力的です。

同じ日のほかのニュース

一覧に戻る →

2026/11/21 3:33

慌ててのお知らせ:Alessandro Masullo(GRH)

## Japanese Translation: Alessandro Masullo は、数十年にわたる数学的猜想である一般リーマン予想(GRH)に関する証明の提案を発表し、その公開が迫っていると表明した。この画期的な成果は完全に人間によるものであり、数学者の Brian Conrad による強力な検証が得られている。Conrad 氏は草案を数月にわたり精査し、現在統合されている詳細なフィードバックを提供しているもともとの予定では、Masullo 氏がさらに推敲のためにスタンフォード大学で 1 年間過ごすことが計画されていたが、現在は米数学会会議中に現在の草案を即座に公開することが専門家による迅速な検証を可能にするとして最適と判断されている。直近の目標は、専門家が既存の理論枠組み内において議論を正式化し、わずかなギャップを速やかに解消することである。成功すれば、この長年の未解決問題の解決は数論に大きな影響を与え、分野全体の焦点を新たな証明をその核心構造に取り入れることへとシフトさせながら、その厳密な正確性を確保することとなる。

2026/11/21 5:12

インクリンク 2 ミニ

## 日本語翻訳: Anthropic は、標準的な消費者向けラップトップ(例:MacBook Pro M5 Pro)のローカルでの利用を目的とした、高効率な人工知能モデル「Inkling 2 Mini」を発売します。この 264 億パラメータを持つエキスパート混合物(Mixture-of-Experts)システムは、中間層にループアーキテクチャを独自に採用しており、トークンあたり 6 層のブロックが 2 つあり、それぞれがトークンごとに 3 回ループします。この設計により複雑な推論能力を強化しつつ、出力は簡潔で人間が読みやすいものとして保たれます。モデルにはアクティブパラメータ 34 億と、ループオーバーヘッドを含むトークンあたり重み活性化値 54 億があります。重みは最初の 20 層で NVFP4 でトレーニングされ、最後の 4 層では MXFP8 でトレーニングされており、NVIDIA GB300 プラットフォーム上でトレーニングされたにもかかわらず量子化による損失はありません。 ベンチマーク結果により、他の 100B パラメータ未満のモデルを上回ることがコーディングタスクで確認されており、DeepSWE v1.1(48.2%)および Vals Index v2.2(46.5%)においてオープンウェイトモデルで首位に立ちました。PMPP-Hard ではより大きな Inkling 2 Small に迫るコーディングスコアを達成し、SWEBench Multilingual などでは Qwen3.8-27B のみを凌ぐ水準です(Inkling 2 Mini: 79.2% vs Qwen: 71.1%)。ループアーキテクチャにより、「no-CoT 時間地平線」が延長され(Think Fast タスクでは 16 秒から 37 秒へ)、人間が読みやすい出力を維持できますが、これらの思考を制御する steerability は依然として低く(〜0.1%)です。LinuxArena での安全性テストでは、Qwen3.6 にて監視された場合、ループ回数に基づくモニタービリティの明確な傾向は見られませんでした。 Stanford の Hazy Research Lab と Goodfire lab と共同開発されたこのモデルは、先進的な NVFP4 量子化技術を採用し、高いインテリジェンス毎ジュール効率(DGX Spark で 0.703)を維持しています。研究者たちは現在、Tinker や Hugging Face を介してオープンウェイトに直接アクセスし、推論をカスタマイズできるようになりました。これには、変数ループの研究用バリエーション("TML-d24-varloop-research")も含まれており、1 回から 5 回のループパスをサポートします。このリリースは、洗練されたオフライン AI 機能を日常デバイスへ持ち込む方向への大きな転換を示しています。研究者たちは、同モデルが構築したフライトシミュレータを飛行モードで実行することに成功し、その実現可能性を実証しました。

2026/11/21 7:30

NINLIVE:ナイン・インチ・ネイルズのライブアーカイブ

## Japanese Translation: この独立した、親和関係のないファン運営のアーカイブは、「The Future Is Here」というプラットフォームを介して、1988年から2026年までのニル・ヤンナイルスのコンサート1,200回以上のストリーミングアクセスを提供しており、46カ国373都市の公演にわたります。デジタルライブラリには、1,900以上の録音、4,600枚以上の写真およびメディアファイル、363曲のトラックが含まれています。最近、管理者たちは歴史的なオーディオ転送の大きな未処理作業を完了しました。これには、NYCのテーパーのための200本のDATテーププロジェクトの完了や、acc123456コレクションの追加などがあり、新しいファンの投稿のより迅速な統合を可能にしています。アーカイブ上またはまだ存在しないアイテムや新しい転送の依頼はメールでお問い合わせいただけます。コンテンツキュレーションはコミュニティによる貢献によって推進されています:管理者が各公演に対してチケットスラブ、セットリストスキャン、パス、写真を追加する一方、カメラマンは外部サイトへのリンクを付与した公演ハイライトの投稿を招待されます。お気に入りの録音を保存し、コンテンツを整理するためには、Discord経由でログインする必要があります。ニル・ヤンナイルスのコアツアーのみならず、関連プロジェクトやサイドパスもアーカイブに含まれており、積極的な参加を通じて歴史保存と現代的アクセシビリティのバランスに成功しています。

推論チップのヴィベコーディング | そっか~ニュース