← 2025-12-14 の一覧へ戻るホーム
llamafile: Distribute and Run LLMs with a Single File

2025/12/14 4:22

llamafile: Distribute and Run LLMs with a Single File

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

概要:
Mozilla.ai は llamafile をリリースしました。これは、開発者が何もインストールせずにオープンソースの大規模言語モデルをローカルで実行できる単一ファイルの実行可能ファイルです。 llama.cpp とクロスプラットフォームの Cosmopolitan Libc を組み合わせて、 llamafile は簡単に実行できるバイナリを生成し、自動的にブラウザを起動します。また、 

curl | chmod +x
のようなシンプルなコマンドで起動できます。クイックスタート例では、LLaVA 1.5 7B モデルのダウンロード方法、実行可能ファイルへの変換、および（Windows では） 
.exe
にリネームする手順を示しています。プロジェクトのドキュメントは 
docs/
フォルダーまたは mozilla‑ai.github.io/llamafile で入手でき、クイックスタート、サポート対象システム、例となる llamafiles、 llamafile の作成方法、ソースインストール、技術的詳細、セキュリティ、およびトラブルシューティングを網羅しています。 llamafile は Apache 2.0 ライセンスで提供され、 llama.cpp への変更は上流との互換性維持のため MIT ライセンスのままです。プロジェクトのロゴは DALL·E 3 によって生成されています。今後のリリースではさらに多くのモデル例が追加されるとともに、プラットフォームサポートが拡大し、単一ファイル・ノーインストールという哲学を維持する予定です。このシンプルなデプロイメントは開発者とエンドユーザーのハードルを下げ、エッジや制約付きデバイスでの高速実験と軽量推論を可能にし、企業が本番環境で LLM を展開する方法に影響を与える可能性があります。

本文

llamafile

あなたの声を聞かせてください！
Mozilla.ai は最近 llamafile プロジェクト を採用し、コードベースのモダナイズ戦略を検討しています。 llamafile のどこが最も価値あると感じるか、また作業に役立つようにするには何が必要か、ご意見をお聞かせください。ブログで詳細をご覧になり、ここからご意見を共有してください。

llamafile とは？

llamafile は、LLM（大規模言語モデル）を単一ファイルで配布・実行できるようにします。
目的は llama.cpp と Cosmopolitan Libc を統合し、LLM の複雑さをすべて1つの実行可能ファイル（「llamafile」）に凝縮することで、開発者とエンドユーザーの両方が手軽にオープン LLM を利用できるようにすることです。ほとんどのコンピュータでローカルに動作し、インストールは不要です。

クイックスタート

  1. 例モデル（LLaVA 1.5 7B）をダウンロード

    curl -LO https://huggingface.co/Mozilla/llava-v1.5-7b-llamafile/resolve/main/llava-v1.5-7b-q4.llamafile

  2. 実行権限を付与（macOS／Linux／BSD）

    chmod +x llava-v1.5-7b-q4.llamafile

  3. 起動（ブラウザが自動で開きます）

    ./llava-v1.5-7b-q4.llamafile

    Windows ユーザーは、実行前にファイル名を 

    .exe
    拡張子付きに変更してください。

ドキュメント

docs/
フォルダまたはオンライン（mozilla‑ai.github.io/llamafile）で完全なドキュメントをご確認ください。以下のサブセクションへ直接ジャンプできます：

  • Quickstart
  • Supported Systems
  • Example llamafiles
  • Creating llamafiles
  • Source installation
  • Technical details
  • Security
  • Troubleshooting

ライセンス

llamafile プロジェクトは Apache 2.0 でライセンスされています。私たちが llama.cpp に加えた変更は、元の llama.cpp と同様に MIT でライセンスされており、将来的に互換性とアップストリーム化を維持できるようになっています。

(このページの llamafile ロゴは DALL·E 3 の協力で生成しました。)

同じ日のほかのニュース

一覧に戻る →

2025/12/14 7:58

Linux Sandboxes and Fil-C

## Japanese Translation: メモリ安全性とサンドボックスはプログラムの異なる部分を保護するため、両方が強力なセキュリティに必要です。純粋な Java プログラムはメモリ安全であってもファイルシステムの syscalls を通じて任意のファイルを書き込むことができるし、逆にすべての能力を取り消したアセンブリプログラムでもメモリバグがある場合がありますが、カーネルが特権 syscalls を殺すためサンドボックスから逃げられません。サンドボックスは意図的に許容範囲を広く設計しているため、攻撃者は残されたメモリ安全性のバグを利用してブローカー・プロセスへ到達することができるので、両方の防御を組み合わせるとより強固な保護が得られます。 本書では、C/C++ 用に設計され、システムコールまで安全性を保証し、init や udevd などの低レベルコンポーネントで使用できるメモリ安全ランタイム「Fil‑C」への OpenSSH の seccomp ベース Linux サンドボックス移植方法について説明します。OpenSSH は既に chroot を採用し、`sshd` ユーザー/グループとして特権なしで実行し、`setrlimit` を使用し、非許可 syscalls を `SECCOMP_RET_KILL_PROCESS` で殺す seccomp‑BPF フィルタを適用しています。Fil‑C はその runtime 内で自動的にこれらの syscalls を許可することで簡素化します。背景スレッドは存続させつつスレッド生成を防ぐため、Fil‑C は API `void zlock_runtime_threads(void)` を追加し、必要なスレッドを事前確保してシャットダウンを無効にします。 OpenSSH の seccomp フィルタは強化されています。失敗時の挙動が `SECCOMP_RET_KILL` から `SECCOMP_RET_KILL_PROCESS` に変更され、mmap 許可リストに新たに `MAP_NORESERVE` フラグが追加され、`sched_yield` が許可されています。サンドボックスは二つの `prctl` コール（`PR_SET_NO_NEW_PRIVS` と `PR_SET_SECCOMP`）で構築され、エラー検出も行われます。Fil‑C のランタイムは `filc_runtime_threads_handshake` で全スレッドとハンドシェイクし、各スレッドが no_new_privs ビットと seccomp フィルタを持つことを保証します。複数のユーザー スレッドが検出された場合、安全エラーが発生します。 メモリ安全性とサンドボックスを組み合わせることで、OpenSSH はより厳格な隔離を実現し、メモリバグによる権限昇格リスクを低減します。このアプローチは他のセキュリティクリティカルプロジェクトにも採用を促す可能性があります。

2025/12/14 9:34

An Implementation of J

## Japanese Translation: ## 改訂版要約 本書は、技術仕様の構造化された目次であり、以下のように整理されています。 1. **第0章 – はじめに** 2. **第1章 – 文を解釈する** - 1.1 単語生成 - 1.2 構文解析 - 1.3 トレイン（列車） - 1.4 名前解決 3. **第2章 – 名詞** - 2.1 配列 - 2.2 型 - 2.3 メモリ管理 - 2.4 グローバル変数 4. **第3章 – 動詞** - 3.1 動詞の構造 - 3.2 ランク - 3.3 原子（スカラー）動詞 - 3.4 オブヴァース、同一性、および変種 - 3.5 エラー処理 5. **第4章 – 副詞と接続詞** 6. **第5章 – 表現** - 5.1 原子表現 - 5.2 ボックス化された表現 - 5.3 木構造表現 - 5.4 線形表現 7. **第6章 – ディスプレイ** - 6.1 数値表示 - 6.2 ボックス化表示 - 6.3 フォーマット済み表示 主要セクションの後に、付録A〜F（インキュナブルム、スペシャルコード、テストスクリプト、プログラムファイル、外国接続詞、およびシステム概要）が補足資料として提供されます。書末には参考文献・用語集・索引が付されています。 この構成（目次 → 詳細セクション → 付録 → 参照資料）は、読者に全体枠組みを最初に把握させたうえで、必要に応じて詳細へ掘り下げたり補足資料を参照したりできる明確かつ階層的な道筋を提供します。

2025/12/14 8:39

Closures as Win32 Window Procedures

## Japanese Translation: **改訂版要約:** この記事では、Win32 のウィンドウプロシージャに追加のコンテキストポインタを渡す方法を示しています。これは、WndProc が通常 4 つしか引数を取らないため、ネイティブ API には備わっていない機能です。著者は x64 アセンブラで小さなトランスペイル（trampoline）を作成し、実行時に JIT コンパイルして 5 番目の引数スロットを挿入し、呼び出し前に必要なコンテキストを格納します。これにより、各ウィンドウがグローバル変数や `GWLP_USERDATA` を使わずに独自の状態を保持できるようになります。トランスペイルは GNU アセンブラで書かれ、`.exebuf` セクション（`bwx` フラグ付き）から 2 MiB の実行可能バッファが確保されます。C ヘルパー関数 `make_wndproc(Arena *, Wndproc5, void *arg)` は 2 つのバイトオフセットプレースホルダーを修正してトランスペイルを生成します。作成後は `set_wndproc_arg(WNDPROC p, void *arg)` を使ってコンテキストを変更できます。アロケータ例では、異なる状態オブジェクト用に複数のトランスペイルを生成したり、動的に切り替えたりする方法を示しています。この手法は、トランスペイルがアンウインドテーブルを持たないため Windows Control Flow Guard 下でも安全に機能し、グローバル変数を使わずにウィンドウごとのデータを付与する低レベルの手段を示しています。