
2026/10/28 2:04
LFM3 をご紹介:あらゆるモダリティによる専門知性
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Liquid AI は、テキスト、ビジョン、オーディオ、オムニ、および意思決定能力をサポートする共有バックボーンを搭載し、専門的な知能向けに設計された次世代の Liquid Foundation Models、LFM3 を発表しました。初期リリースでは、1.7B-Base バックボーン(すべて約 20 億パラメータ)から分岐した 6 つのモデルが提供され、テキスト、ビジョン、オーディオ、オムニ、および意思決定モードをカバーしています。LFM3 は、ハイブリッドアーキテクチャに基づいて 22 兆トークンでトレーニングされ、ゲート付きショート畳み込み(レイヤーの 50% 以上)、スライドウィンドウアテンション、グローバルアテンションを採用することで、パラメータあたりの表現力を最大化すると同時に長文脈でも効率性を維持します。これらのモデルはオンデバイス展開を目的として設計されており、Samsung Galaxy S26 Ultra、OnePlus 15、Raspberry Pi 5、Apple M4 Max、AMD Ryzen AI、Arm/x86 クラウド CPU/GPU、Qualcomm Hexagon NPUs を含む 14 のデバイス組み合わせに対応し、llama.cpp、MLX、vLLM、SGLang、OpenVINO 向けの SDK を提供しています。ベースモデルとポストトレーニング済みモデルはオープンウェイトであり、Hugging Face、Liquid Playground、Liquid AI API において現在利用可能です。LFM3-1.7B はエージェントハネス(例:Hermes Agent、Pi、OpenClaw)向けにポストトレーニングされ、256K トークンのコンテキストウィンドウ内でインボックスのトリージ、カレンダー管理、ウェブブラウジング、ツールの検索が可能で、ベンチマークではより大規模なモデルと競合し、指令追従と機能呼び出しにおいてリード(BFCL V4: 71.39 vs. MiniCPM5: 62.65)、WebArena-Verified のような長タスクでは Qwen3.5-9B を上回ります(38.42 vs. 3.02)。LFM3-VL ビジョンモデルは、動画をインプットとして受け入れる初のモデルで、62 のビジョンベンチマークにおいて同サイズのモデルを大幅に凌駕し、Gemma 4 12B と同等の成績を示しました。LFM3-Audio は新しい自社工房開発エンコーダーを採用しており、18 の言語をサポートし、SigLIP2 に比べて 3 分の 1 の計算リソースで動作し、ストリーミング応答での音声チャットにおいて最初のトークンまで 50ms と極めて高速なレスポンスを実現します。LFM3-Omni はビジョン、オーディオ、言語を統合し、口頭による視覚的質問応答、音響・視覚的视频理解、マルチモーダルツール呼び出しをサポートします。さらに、2 つの新しい意思決定モデル、d1-2B(テキスト/画像)と d1-Omni-2B(オーディオ)がミリ秒単位で意思決定を行い、入力(サポートチケットや請求書など)から指し示す(ボックスを描画)、読み取る(テキスト抽出)、数値推定、オプション選択といった能力を備えています。これら 20 億クラスモデルは特定のデータに対するローカルファインチューニングに最適で、風力タービン欠陥検査モデルが箱出しでの 10% 未満の精度から 67% の精度へと向上し、ロボティクス VLA モデルが LIBERO スイートで平均成功率 96.2% を達成するデモなどが実施されました。LFM3 は現在、Ambarella、AMD、Arm、Intel、NVIDIA、OpenRouter、Qualcomm、Vercel、Mercedes-Benz、Shopify を含むローンチパートナーと共に利用可能です。
本文
LFM3 の紹介:特殊な知能のためのあらゆるモダリティ
LFM3(リキッドファウンデーションモデルの新たな世代)が本日大々的に発表されました。これは、特殊な知能(Specialized Intelligence)のために設計されたモデルであり、テキスト、ビジョン、オーディオ、オムニ、意思決定を統合した本質的にマルチモーダルなアーキテクチャです。
🚀 リリース概要とアクセスポイント
最初のリリースでは、約 20 億パラメータ(2B) のモデルファミリーが提供されます。新しいハイブリッドアーキテクチャと、総計 22 トリリオントークン の事前学習に基づき、効率的で高い表現力を備えています。小型かつ高速ながらローカルでの微調整やあらゆるデバイスでの動作が可能であり、特殊なタスクにおいて信頼性の高い専門家を担えます。
ベースモデルとポストトレーニング済みモデルは今日よりオープンウェイト化され、以下のプラットフォームで入手可能です:
- Hugging Face
- Playground
- Liquid AI API
すぐに始める方法
- モデル重みのダウンロード
- Liquid API で試す
- Playground で試す
- Pipette でベンチマーク測定
🏗️ 新しいアーキテクチャ:より高い表現力と効率性
LFM3 は、ショート畳み込み(convolutions)と注意力メカニズム(attention)を組み合わせるハイブリッドアプローチを採用し、自動化された「ハードウェア在ループ」探索から生まれました。パラメータあたりの能力向上と、長文脈における高速推論を実現しています。
ハードウェア対応の拡大
LFM2 ではスマートフォン 1 台とノートパソコン 1 台のみに対応していましたが、LFM3 では 14 種類のデバイスおよびバックエンドのコマビネーションに対応可能です:
- スマートフォン(Samsung Galaxy S26 Ultra、OnePlus 15 など)
- Raspberry Pi 5
- ノートブック(Apple M4 Max、AMD Ryzen AI など)
- クラウド CPU/GPU、Qualcomm Hexagon NPU
アーキテクチャの主な改良点
ゲート付きショート畳み込み: レイヤーの半分を超える数を占めます。長文脈を遅くさせずに能力を追加するため、一部層を別のブロックに置き換える試行錯誤を行いました。スライディングウィンドウアテンション(SWA) が品質と速度のバランスにおいて最適でした。
- 成果: エッジデバイス上では LFM3-1.7B が短プロンプトで LFM2-1.2B と同等、8K トークンのコンテキストでは 約 25% 高速化しています。
トリハイブリッド層ミックス:
- 全 24 レイヤーのうち、13 が畳み込み層、5 が SWA(256 トークンウィンドウ)、6 がグローバルアテンションです。
- 畳み込み層には、カーネルサイズ 7 を採用(LFM2 の 3 よりも大)。
その他の技術改良:
- ヘッドごとのゲート付きアテンション: シグモイドゲートにより寄与がないヘッドをオフに切り替え、トレーニングの安定性を高めます。
- 部分的な RoPE: グローバルアテンション層では低周波数分のみ回転させ、次元間の整合性を保ちます。
- サンドイッチノーマライゼーション: 入出力の両方を正規化し、アクティベーションを適切なスケールに保つためです。
また、LFM3 は LFM2 と同じ 12 万語のボキャブラリを使用し、A1B モデル(50 億〜80 億パラメータ規模) を追加で使用してラテン文字以外のトークン化を強化しています。
🎓 トレーニング戦略
事前学習データ
LFM3-1.7B-Base は総計 22 トリリオントークン の事前学習を経ています。データ構成には、ミックス比率の科学論文、リポジトリレベルのコード、広範囲な知識源、そして大幅に増量した数学分野が含まれます。最後の 3.5 トリリオントークンは高品質データによる中間トレーニングステージで構成され、コンテキストウィンドウは 256K トークン へ拡張されました。
ポストトレーニングのフェーズ
- 教師あり微調整(SFT): チャット、推論、ツール呼び出し、エージェント用トレースなど、1.75 トリリオントークンを実施。
- 混合強化学習: 数学、コード、SQL、構造化出力を同時にトレーニングし、回答の簡潔さを維持。
- マルチドメインオンポリシー蒸留(MOPD): 6 つの専門 RL テイチャーから知識を抽出し再学習。
- エージェント強化学習: ウェブ閲覧やオフィス業務を実際のハネス内で実行し実装に向けた準備。
🗂️ LFM3 マルチモーダルファミリー
最初のリリースには、約 20 億パラメータ(2B) の 6 つのモデルが含まれます。いずれも異なる入力モダリティ(テキスト、ビジョン、オーディオ、オムニ)や意思決定モデルに対応しており、ご自身のユースケースに最適なモデルを選定してデバイス上で実行いただけます。
Liquid AI の LFM3 ファミリーは、強力なマルチモーダル能力と、デバイス上の AI 体験に最適なコンパクトなフットプリントを備えています。
ランチパートナーの声
- AMD: 「産業分野全体において、エッジ AI は複数の並行 AI ワークロードを支援する方向へ進化しています。LFM3 は統一されたアーキテクチャで効率的なデプロイを可能としつつ、開発者が特定のアプリケーション向けに微調整可能なオープンウェイトを提供します。」
- Ambarella: 「次世代の AI はマルチモーダル化・パーソナライゼーション・プライバシー強化が進み、デバイスとクラウドで分散されます。LFM3 はその方向への重要な一歩です。」
- Qualcomm: 「開発者は既に Ambarella シリコン上で LFM2.5-VL モデルを実行できており、同プラットフォームへの LFM3 対応も開始しています。」
📝 テキストモデル:LFM3-1.7B
ローカルエージェントと特殊アプリケーション向けのテキストモデル。Hermes Agent、Pi、OpenClaw などのハネス上で動作するようポストトレーニング済みです。
- 機能: インボックス整理、カレンダー管理、ウェブ調査、ツール検索など。トークンは無制限で多数のエージェントが継続動作可能です。
ベンチマーク比較(エージェントタスク)
| モデル | パラメータ | AgentsLiveClaw スコア |
|---|---|---|
| LFM3-1.7B | 1.7B | 45.60 |
| LFM2.5-2.6B | 2.6B | 14.70 |
- 指示追従: IFEval、IFBench など主要ベンチマークでトップ。
- 長文脈: Qwen3.5-9B を凌駕する WebArena-Verified, AutomationBench のスコア。
- 知識ギャップ: 検索機能によりコーディングや知識のギャップを埋め、Humanity's Last Exam のスコアを倍増。
パフォーマンスハイライト
- 速度: 単一の NVIDIA B300 で SGLang (BF16) を使用し、1,024 件の同時リクエストで毎日 36 億トークンを生成(比較対象最高)。
- メモリ効率: フル 128K コンテキストでも KV キャッシュは 1.6 GB 必要(Qwen3.5-4B の 4.3 GB より低減)。
- Mac での性能: 65 の日常タスクで Qwen3.5-2B を上回り、成功率 64%(対比 48%)、トークン削減 58%、クラッシュ率 1% 未満(対比 15%)を記録。
「LFM3 は、Mac 上で実際のエージェント作業に対応できる最初の 20 億パラメータ未満モデルです。」 — Ivan Petrukha, MacPaw スタッフ AI エンジニア
👁️ ビジョンモデル:LFM3-VL-2B
物理世界を観察し、推論し、理解する能力を備えます。ビデオ理解やロボット工学向けの空間・具象化推論が特徴です。
ベンチマーク比較(ビジョンタスク)
| カテゴリ | LFM3-VL-2B (1.9B) | Qwen 3.5 2B | Gemma 4 E2B |
|---|---|---|---|
| 一般 | 66.0 | 59.8 | 56.9 |
| 知覚 | 75.6 | 71.2 | 59.1 |
| 数学・論理 | 68.8 | 61.0 | 51.8 |
| ビデオ | 61.2 | 57.0 | 46.6 |
- 性能: ビジョンベンチマーク 62 つにおいて、同サイズモデル全スコアを少なくとも 7.4 ポイント上回。小型サイズながら Gemma 4 12B と同等の性能。
- 効率性: 内製ビジョンエンコーダは計算量を 3 分の 1 に削減。畳み込みとアテンションの組み合わせにより、FLOPs は 2.2 倍削減されています。
🎙️ オーディオモデル:LFM3-Audio-2B
ノートブックやエッジデバイスで動作するコンパクトなオーディオモデルです。音声チャット、多言語対応、ツール呼び出しが可能です。
機能
- 音声チャット: 口頭での質問に対し、ストリーミング形式で回答を受信。
- 多言語音声: 18 の言語を転写・合成・翻訳対応。
- オーディオ理解: レコーディングの解釈や音に関する質問への回答。
ベンチマーク比較(ASR WER:下がるほど良い)
| 言語 | LFM3-Audio-2B | Qwen2.5-Omni-3B | MiMo-Audio-7B-Instruct |
|---|---|---|---|
| 英語 | 6.2 | 6.3 | 5.3 |
| 多言語(平均) | 6–8.1 | 7.4 | - |
- レイテンシ: Live マイク入力処理が可能で、Time-to-First-Token は最短 50ms。
- LiquidCodec: 新規オーディオトークナイザーにより、生成されたトークンをリアルタイム速度(Apple M4 Max 単一 CPU スレッド)で音声へ変換。
🎧👀 オムニモデル:LFM3-Omni-2B
初のオムニモデルであり、ビジョン、オーディオ、ランゲージを一つのモデルに統合しました。「見る」「聞く」「答える」が可能です。
機能
- 音声による視覚質問応答: 音声で画像や実世界のシーンに関する質問。
- 音響・視覚ビデオ理解: ビデオフレームとオーディオを同時に処理し双方向的な推論。
- マルチモーダルツール呼び出し: 視覚コンテキストと口頭指示を組み合わせた構造化されたアクション。
ベンチマーク比較(ビデオ+オーディオ理解)
| ベンチマーク | LFM3-Omni-2B (2.2B) | Qwen2.5-Omni-3B (6B) | Gemma 4 E2B (5B) |
|---|---|---|---|
| Daily-Omni | 70.1 | 58.8 | 50.6 |
| OmniBench(全体) | 46.3 | 47.1* | 16.8 |
*注記:Qwen2.5-Omni-3B の WorldSense 得点は外れ値可能性があります。
「2.2 億パラメータで、この種のマルチモーダルアシスタントをデバイス上で実装できます。」 — Jörg Burzer, Mercedes-Benz Group AG CTO
🧠 意思決定モデル:d1-2B & d1-Omni-2B
回答を作成するのではなく、ミリ秒単位で**「指し示す」「読む」「見積もり」「選択」**を下すことを得意とするモデルです。
- d1-2B: LFM3-VL-2B を基盤(テキスト・画像読み取り)。
- d1-Omni-2B: LFM3-Omni-2B を基盤(オーディオ入力対応)。
ベンチマーク改善度
| ベンチマーク | d1-3B (旧) | d1-2B (新) | 改善度 |
|---|---|---|---|
| Decision Bench | 83.6 | 85.2 | +1.6 ポイント |
| Decision Index | 49.0 | 51.1 | +2.1 ポイント |
| ImajevBench | 64.0 | 75.5 | +11.5 ポイント |
- 機能: Point(枠描画)、Read、Estimate、Pick の 4 つの能力を備える。
- 効率性: パラメータ数は約 3 分の 1 に削減されつつ、ビジネスルーティングや優先順位付けにおける高精度を維持。
🚀 始め方とエコシステム
特殊な知能のために作られた: LFM3 は小さく、ご自身のデータで微調整し、アプリケーションが動作する場所で実行可能です。
微調整例
- ドメイン専門知識: 風力タービンブレードの欠陥検出向け(精度 10% → 67%)。
- ロボット工学: 高レベルなツールオーケストレーションやナビゲーション向け。
デプロイ機能
- オープンウェイト: ダウンロード、微調整、デプロイが自由。
- 初日から高速動作: Apple、AMD、NVIDIA、Qualcomm ハードウェアすべてでネイティブ対応(llama.cpp, MLX, vLLM など)。
- 完全なファミリー: テキストからビジョン、オーディオ、オムニ、意思決定まで網羅。
ランチパートナーへの謝辞
当日ゼロ(Day-0)の支援に感謝:Ambarella、AMD、Arm、Intel(OpenVINO)、NVIDIA、OpenRouter、Qualcomm、Vercel。リリース前テストには Mercedes-Benz および Shopify に特に感謝します。
引用情報:Liquid AI, "Introducing LFM3: Every Modality for Specialized Intelligence", October 2026.