2025/12/07 5:15

Zebra-Llama – Towards efficient hybrid models

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

（主要ポイントをすべて組み込んで）**

Zebra‑Llama は、1 B、3 B、および 8 B のハイブリッド言語モデルのファミリーです。State Space Models (SSMs) と Multi‑head Latent Attention (MLA) を組み合わせています。洗練された初期化と 8 B 事前学習済み Transformer からのポストトレーニング知識転送パイプラインを使用することで、Transformer レベルの精度を達成しつつ、数兆ではなく 7–11 B のトレーニングトークンだけで済みます。KV キャッシュは劇的に縮小されます：1 B モデルで 3.9 %、3 B モデルで 2 %、8 B モデルで 2.73 % ですが、LM Harness タスクでのゼロショット性能を ≥97 % 保持します。

MambaInLLaMA、X‑EcoMLA、Minitron、および Llamba といった他のハイブリッドと比較しても、Zebra‑Llama は競争力あるかそれ以上の精度を提供します。たとえば、Zebra‑Llama‑8B は Minitron‑8B を few‑shot タスクで 7 % 上回り、トレーニングトークン数が 8 倍少なく、KV キャッシュも 12 倍以上小さく、教師モデル（8 B 対 15 B）も小さいです。また、MambaInLLaMA を 32k トークンのコンテキストまで 2.6–3.8× 高いスループット（トークン/秒）で上回ります。

著者らは論文が採択された後にコードとチェックポイントを公開する予定であり、これによりこの効率的なハイブリッドアーキテクチャの広範な導入とさらなるベンチマークが可能になります。

本文

概要

大規模言語モデル（LLM）の多様なアプリケーションへの導入需要が増える中、推論効率の向上は持続可能で民主化された利用を実現するために不可欠です。しかし、新たなユーザー固有要件を満たすためにLLMを再訓練することは、コスト面でも環境負荷も考慮すると実質的に不可能です。本研究では、既存の事前学習済みモデルを組み合わせて効率的かつスケーラブルなハイブリッド言語モデルを構築する実用的手法を提案します。

我々のアプローチ Zebra‑Llama は、State Space Models（SSM）と Multi‑Head Latent Attention（MLA）レイヤーを組み合わせることで、1B・3B・8B のハイブリッドモデルファミリーを実現します。洗練された初期化とポストトレーニングパイプラインにより、事前学習済み Transformer から知識を効率的に転送。Zebra‑Llama は 7–11B の訓練トークン（事前学習で必要な数兆トークンとは対照的）と 8B の教師モデルだけで、Transformer と同等の精度を達成しつつ、SSM に近い効率性を実現します。

さらに、Zebra‑Llama は KV キャッシュサイズを大幅に削減（1B・3B・8B バリアントそれぞれ 3.9 %、2 %、2.73 %）しながら、LM Harness タスクの平均ゼロショット性能を 100 %、100 %、>97 % まで維持します。

MambaInLLaMA、X‑EcoMLA、Minitron、Llamba 等のモデルと比較しても、Zebra‑Llama は競争力あるまたは優れた精度を示しつつ、トークン数・教師サイズが小さく、KV キャッシュメモリが大幅に削減されます。特に Zebra‑Llama‑8B は、Minitron‑8B の少数ショット精度を 7 % 向上させつつ、訓練トークンを 8 倍以下、KV キャッシュを 12 倍以上小さくし、教師も 8 B（対 15 B）と減らしています。また、32k コンテキスト長まで MambaInLlama より 2.6–3.8 倍高いスループット（トークン/秒）を達成します。

本研究のコードとモデルチェックポイントは採択後公開予定です。

同じ日のほかのニュース

一覧に戻る →

2025/12/07 10:17

Using LLMs at Oxide

## Japanese Translation: ## 改訂要約大型言語モデル（LLM）は、文書の高速解析、コード生成、テキスト作成などで強力なアシスタントとなりますが、人間の判断や責任を置き換えるべきではありません。LLM の強みには、長文の即時要約、コーディングエラーの検出、プローズ提案などがあります。しかし、これら同様にプライバシーリスク（アップロードされたデータでのトレーニングからオプトアウトする必要性）、過度な奉承的表現、クリシェが多い出力による真実感の低下、不安定なデバッグ支援なども伴います。実際の例では、ChatGPT、Claude、Gemini へのデータ共有ポリシーで「全員のモデル改善」を無効化するようユーザーに求められ、Oxide は強力なライターを採用し完全な LLM コンテンツ作成を避ける方針を取っています。ソフトウェアチームは LLM の支援を受けながらも、人間によるコードレビューに依存しています。今後、エンジニアは迅速な反復のために LLM を使用し続けますが、責任と真実感を維持するためにピアレビュー前に厳格な自己レビューを強制します。企業は明確なプライバシー設定とガイドラインを設置し、ライターは独自のスタイルを保持し、開発者は機械出力を検証するプロセスが必要です。この効率向上と人間監督のバランスこそが、将来の業界標準を決定づけるでしょう。

2025/12/07 12:03

Z2 – Lithographically fabricated IC in a garage fab

## Japanese Translation: > 著者は、DIYで低コストのポリシリコンゲートプロセスを用いてIntelの最初のプロセッサ技術を模倣し、2.4 mm² のダイに10×10配列（合計100トランジスタ）を製造しました。以前のZ1テストチップ（6トランジスタ）に続き、新しいZ2チップは完全な電気特性評価が可能です：Vth ≈ 1.1 V、Cgs < 0.9 pF、立ち上がり/落下時間 < 10 ns、オン／オフ比 ≈ 4.3 × 10⁶、漏れ電流 932 pA（Vds = 2.5 V）(環境光下では約100倍高い)。これらの数値は、2.5–3.3 V のロジックレベルで信頼性ある動作を示しています。 > 製造は自己整列型「ゲートファースト」プロセスであり、イオン注入を省略し、水・アルコール・アセトン・リン酸・フォトレジスト・デベロッパー・N‑タイプドーパント・HF/CF₄/CHF₃ RIE・HNO₃ などの一般的な実験室化学物質のみを使用し、クリーンルームは不要です。約10 nm のSiO₂ゲート酸化膜と300 nm のポリシリコンを有する25 × 200 mm ウェーハを約45ドルで購入しました。製造には15チップ（1,500トランジスタ）が関与し、少なくとも1チップは完全に機能し、2チップが「ほぼ機能」しているため、推定トランジスタ歩留まりは80 %です。最も頻繁な欠陥はソース／ドレインがバルクシリコンと短絡していることです。 > 今後の作業にはテスト自動化、歩留まり向上、およびオペアンプやメモリアレイなどより複雑なデジタル/アナログ回路への技術拡張が含まれます。成功すれば、このDIY手法はホビイストや小規模ラボの参入障壁を低減し、ニッチなイノベーションを促進し、少量プロトタイプ用に商業製造所への依存度を削減する可能性があります。

2025/12/07 6:55

Screenshots from developers: 2002 vs. 2015 (2015)

## Japanese Translation: 記事は、グラフィカルインターフェイスの台頭にもかかわらず、Unix/Linux ユーザーが10年以上にわたり主にターミナル中心のワークフローを維持していることを示しています。2002 年初頭の最小限デスクトップ（xterm、fvwm、Gnome 2）のスクリーンショットと 2015 年までのユーザー報告はほぼ変化がないことを確認しています：多くの人がまだ軽量ウィンドウマネージャやコンソールエディタ（Emacs や Vim）に依存しています。ある回答者は、fvwm を使用していた FreeBSD から Linux（Lubuntu）と LXDE に移行しつつもコマンドライン中心を維持しました。彼は Firefox、Gimp、Wireshark、VLC などの GUI ツールを追加しましたが、シェル、Perl、および C でスクリプトを書き続け、mutt を使ってローカルでメールを処理しています。別の OS X ユーザーは、Mail.app、Safari、Calendar、Slack の 6 つの仮想デスクトップと専用ターミナルデスクトップを運用しています。数人の参加者はハードウェアアップグレード（例：スマートフォンが初期の Pyramid 90x を上回る）について言及しましたが、classic Unix プリミティブ（`open`、`close`、`fork`）に満足しているようです。記事ではまた、Pine から Thunderbird または mutt へのメールクライアントの進化と、職務変更後の VirtualBox、LibreOffice、および Wine を介した Windows 互換性についても追跡しています。Hacker News と Reddit（/r/programming、/r/linux）のコミュニティディスカッションはさらに文脈を提供します。総じて、グラフィカルデスクトップが進化しているにもかかわらず、ターミナル中心のワークフローは継続しています。legacy ウィンドウマネージャ（fvwm）と軽量環境（LXDE、LXQt）は、新しい GUI と共存し続けています。この持続的なミニマリズムは、ソフトウェア開発者がコマンドライン機能を前面に押し出し、ユーザーコミュニティおよび産業界の両方で継続的に求められるターミナルフレンドリーなツールへの需要を満たすべきだという示唆です。