
2026/03/22 5:08
TinyBox – オフライン AI デバイス(120 B パラメータ)
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Tinycorpのフラッグシッププロジェクトは Tinygrad で、エレメントワイズ演算(Unary、Binary、Ternaryを含む)、ReduceOps、および MovementOps の3つのコア操作タイプを中心に構築された軽量ニューラルネットワークフレームワークです。SQRT、LOG2、ADD、MUL、WHERE、SUM、MAX、RESHAPE、PERMUTE、EXPAND などの一般的な数学関数をサポートし、コード内で畳み込みと行列乗算が隠れています。Tinygrad は既に Snapdragon 845 GPU 上で Openpilot モデルを実行するために使用されており、従来の SNPE スタックを置き換えるとともに ONNX サポート、トレーニング機能、注意メカニズム、および推論と逆伝搬の完全な自動微分を追加しています。
同社のフラッグシップハードウェア Tinybox は、赤・緑・黒・(近日発売予定)エクサの複数構成で提供されています。主要スペックは以下の通りです:FP16/FP32 加速 FLOPS が 778 TFLOPS / 3 086 TFLOPS(約 1 EXAFLOP)、最大 25 920 GB GPU RAM、GPU 帯域幅 1 244 TB/s、PCIe 5.0 x16 ファブリック、32 コア AMD EPYC/GENOA CPU、最大 23 040 GB システム RAM、480 TB RAID ディスク、53.2 TB/s スケールアウトネットワーク、電力オプションは 1.6 kW〜600 kW、Ubuntu 24.04 OS、12U または独立型ラックマウント フォームファクター。
価格は赤/緑モデルが $12 000、黒/ウェレックスボックスが $65 000 で、エクサモデルは 2027 年頃に約 $10 百万で発売予定です。Tinybox はディープラーニング分野で最高のパフォーマンス/ドル比を実現すると市場にアピールしており、MLPerf Training 4.0 ベンチマークでは価格が 10 倍高いシステムを上回っています。
注文は同社ウェブサイトから行い、支払後 1 週間以内に発送(サンディエゴでの受け取りまたは世界配送)が可能です。支払いは銀行振込のみで、W‑9 フォームはリクエスト時に提供できますが、購入後のカスタマイズは許可されていません。
Tinygrad は現在アルファ版ですが、来年第2四半期までに単一 NVIDIA GPU および Apple の M1 を上回ることを目指しており、推論とトレーニングの両方のワークロードに対して高性能で軽量な代替案としての可能性を示しています。
本文
tinygrad
私たちは、最も急成長しているニューラルネットワークフレームワーク tinygrad を開発・維持しています。
その設計は極めてシンプルです。最も複雑なネットワークを以下の 3 種類の OpTypes に分解します:
- ElementwiseOps – UnaryOps、BinaryOps、TernaryOps
1〜3 個のテンソル上で要素ごとに演算を行います。
例:
、SQRT
、LOG2
、ADD
、MUL
等WHERE - ReduceOps – 1 個のテンソルを入力し、より小さいテンソルを返します。
例:
、SUMMAX - MovementOps – 仮想演算で、1 個のテンソルを操作してデータを移動させます(ShapeTracker によるコピー不要)。
例:
、RESHAPE
、PERMUTEEXPAND
CONV と MATMUL はどこにあるのでしょう?コードを読んでこの謎を解き明かしてください。
Tiny Corp での業務
現在資金調達済みでフルタイムのソフトウェアエンジニアを募集しています。非常に優秀なインターンも歓迎です。
自分が適しているかどうか判断するには、ボーナスページをご覧ください。ボーナスは、採用可否を判断しながら報酬として支払われます。
またオペレーションやハードウェアのポジションも募集していますが、tinygrad に貢献したことがない場合は応募は受け付けません。
Tinybox(現在販売中)
tinybox と呼ばれるコンピュータを販売しています。赤・緑・近日発売予定の「exa」カラーがあります。
| Feature | Specification |
|---|---|
| Model | 4×9070XT / 4×RTX PRO 6000 Blackwell720x RDNA5 AT0 XL |
| GPU RAM | 64 GB / 384 GB / 25,920 GB |
| GPU RAM bandwidth | 2560 GB/s / 7168 GB/s / 1244 TB/s |
| GPU link bandwidth | full‑fabric PCIe 4.0 x16 / full‑fabric PCIe 5.0 x16 / full‑fabric 400 GbE |
| CPU | 32‑core AMD EPYC / 32‑core AMD GENOA120x |
| System RAM | 128 GB / 192 GB / 23,040 GB |
| System RAM bandwidth | 204.8 GB/s / 460.8 GB/s / 55.2 TB/s |
| Disk | 2 TB fast NVMe / 4 TB RAID + 1 TB boot / 480 TB RAID |
| Disk read bandwidth | 7.3 GB/s / 59.3 GB/s / 7.1 TB/s |
| Networking | 2×1GbE + OCP3.0 / 2×10GbE + OCP3.0 / PCIe53.2 TB/s scale‑out |
| Noise | <50 dB, 31 low‑speed fans / 65 db @10 m |
| Power Supply | 1600 W (100–240 V) / 600 kW (200–240 V) |
| Operating System | Ubuntu 24.04 |
| Dimensions | 12U, 16.25" deep, 60‑90 lbs / 20×8×8.5 ft, 20,000 lbs |
| Rack? | Freestanding or rack‑mount concrete slab |
| Driver Quality | Good / Great (functions as single GPU) |
| Shipping | IN STOCK – $12,000 / IN STOCK – $65,000 / coming 2027 – ~$10M |
製品や在庫の最新情報はメールリストに登録してください。
FAQ
-
tinybox とは何ですか?
Deep Learning 用に最適化された非常に強力なコンピュータで、MLPerf Training 4.0 においてコストが 10 倍以上高いコンピュータと比較しても同等のベンチマークを達成します。学習可能なら推論もできます。 -
tinybox はどうやって手に入れますか?
上記リンクから注文してください。工場は稼働中で、支払い確認後 1 週間以内に発送されます。現在 San Diego でのピックアップと世界配送を提供しています。 -
tinybox の詳細情報はどこで学べますか?
Twitter、tinybox ドキュメントページ、#tinybox Discord チャンネルをご覧ください。 -
tinybox をカスタマイズできますか?
価格を低く保ち品質を高めるため、購入後に自由に利用できる以外のカスタマイズは行いません。 -
振込以外で支払えますか?
振込のみ受け付けています。 -
W‑9 を発行してもらえますか?
はい、こちらからダウンロードしてください。 -
tinygrad はどこで使われていますか?
Snapdragon 845 GPU 上の OpenPilot のドライビングモデルを実行し SNPE を置き換えています。ONNX ファイル、トレーニング、および注意機構(SNPE は固定重みのみ)に対応しています。 -
tinygrad は推論専用ですか?
いいえ。自動微分を備えた完全な前方・後方パスをサポートしており、アクセラレータ固有コードよりも高水準の抽象化で実装されています。 -
次の ML プロジェクトに tinygrad をどう活用しますか?
tinygrad リポジトリのインストール手順に従ってください。API は PyTorch に似ていますが、さらにシンプルで洗練されています。α版ですが安定性は十分です。 -
tinygrad が α から脱却する時期は?
NVIDIA GPU 上で共通の論文セットを再現し(PyTorch の 2 倍速度)、M1 上でも良好な性能を達成できたらです。目安:来年 Q2。 -
tinygrad はどうして PyTorch より高速なのですか?
現時点では大部分のケースでまだ優位性はありませんが、以下の利点があります。- 各演算ごとにカスタムカーネルをコンパイルし、形状専用化を実現。
- すべてのテンソルが遅延評価で、積極的な融合が可能。
- バックエンドは 10 倍以上シンプル;1 本のカーネル最適化で全体が高速化。
-
tinygrad の開発はどこで行われていますか?
GitHub と Discord 上です。 -
Tiny Corp が私にとって何になるのでしょう?
george@tinygrad.org までメールください。様々な側面の改善を目的とした契約やスポンサーシップを募集しています。 -
Tiny Corp に就職するにはどうすればいいですか?
上記採用情報をご覧ください。GitHub 上で tinygrad に貢献することは歓迎され、採用への近道になります。 -
Tiny Corp に投資できますか?
PR(プルリクエスト)を通じて投資してください。 -
Tiny Corp の目標は何ですか?
AI を加速し、ペタフロップスを商品化し、誰もが AI を利用できるようにすること。