Show HN:TurboGPT。22KiB の変換器を13秒で学習

2026/09/30 4:20

Show HN:TurboGPT。22KiB の変換器を13秒で学習

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

MIT 開発の「Tiny byte-level GPT」プロジェクトは、CUDA C++ を用いて生のバイト列に対して直接 GPT モデルを訓練することを示しており、hn1g モデルが 15 ビリオン以上のトークンを処理した後、2.53 bits per byte (BPB) の低い損失値に到達したという効率性を実現しています。

turbogpt.exe
実行ファイルを成功裏に動作させるには、特定のビルド環境が必要です:Linux または NixOS、あるいは Windows で Visual Studio 2022 C++ ツールおよび CUDA 13.4 を使用すること。システムは
.pt
ファイル(モデル、optimizer、scheduler、trainer の状態を含む)に保存されたチェックポイントを使用して
--load
フラグにより中断された訓練セッションを再開することをサポートしています。開発者は OS と互換性のあるコンパイラと CUDA バージョンを確保することで失敗を防ぐ必要があります。
--data
フラグで入力ファイル(例:
hn1g.txt
)の初期化後、ツールは指定されたディレクトリ(例:
runs/ctx4
)に TensorBoard 互換のロギングを行い、各バッチについて上限 8Mi のレポートを生成します。追加の構成には、GPU の計算能力用の
CudaArch
を設定し、長期的な実験の安定性とデータ損失を防ぐことを含みます。

本文

CUDA C++ で実装した微小 GPT トレーニング成果報告

ライセンス

  • 本コードは MIT ライセンス を採用しています。

ビルド方法

各環境に対応するビルドコマンドを以下に示します。

  • Linux / NixOS

    nix-build -o build/nix-result
    
  • Windows (Visual Studio 2022 + CUDA 13.4)

実行方法

トレーニングを実行するには以下のコマンドを使用します。

build\turbogpt.exe --data hn1g.txt --log-to runs/ctx4

サブディレクトリと出力ファイル

  • チェックポイント保存先:
    runs/ctx4/ctx4.pt
    • モデル、最適化器、スケジューラ、およびトレーナーの状態が含まれます。
    • 再開方法:
      --load CHECKPOINT.pt
      オプションを指定することで以前のセッションを継続できます。
  • ログファイル:
    runs/ctx4/report.json
    • ログディレクトリから自動生成されたレポートです。

ログ機能の概要

  • 互換性: テンソルボード(TensorBoard)と完全な互換性があります。
  • 出力粒度: バッチごとのレポートを出力します。
  • 容量制限: 最大 8 MiB のレポートサイズに制限されています。
  • 書き込みタイミング: チェックポイントの保存時(定期的または最終的に)にファイルを書き換えます。

トレーニング結果

15 億トークン分トレーニングを行った

hn1g
モデルの評価結果です。

メトリック値
BPB (Bits Per Byte)2.5295

同じ日のほかのニュース

一覧に戻る →

2026/09/30 4:30

米国郵政当局が偽造郵便ラベル販売サイトを閉鎖しました。

## 日本語訳: 9 月 24 日、2026 年、米国郵政検査サービス(USPS)およびパートナーとなる連邦機関は、パキスタンのカーネワール出身の33歳ファヘーム・アフラムに対する起訴状に基づき、LabelsBank.com ドメインを没収し、同サイトを閉鎖するための裁判所命令を発令した。アフラムは、合法的な USPS 配送サービス料金を回避させるため、5,100 万件を超える偽造 USPS 郵便ラベルを5,000 人以上の顧客に販売していたとされる不正ウェブサイト運営容疑で告訴された。同スキームでは、パッケージの重量、サイズ、宛先にかかわらず、ラベルあたり通常2ドルという固定価格で課金され、USPS の確認された損失は1億2,600 万ドルを超えている。調査当局は、同サイトが正当なパッケージ仕様を無視し、顧客が公式費用を回避できるよう、低価格(ラベルあたり最低2ドル)で偽造ラベルを販売していたことを突き止めた。 アフラムは、米国に対する詐欺共謀罪1件、偽造郵便切手ラベルの製造・販売罪5件、電信詐欺罪4件の容疑に直面している。マイアミ支部の郵政検査官らは、アフラムの起訴に伴い同ドメインを没収した。フロリダ南区米国検察官のジェイソン・A・レディング・キニョネス氏によると、この事件は「正当な費用を回避するため、減額された価格で偽造切手をオンラインで販売する」とされるスキームである。マイアミ支部郵政検査官のブラジスミール・ロホ氏は、「私たちの影響力は国境を超えている」と強調し、「どこから活動しても、郵政サービスを欺こうとする者どもが法廷に立たされることを示している」と述べた。今回の没収により、さらにの財務的損失を防ぎ、消費者が無自覚的に偽造商品を購入するのを防止した。当局は、同ウェブサイトは閉鎖され、アフラムに対する連邦での起訴が行われたことを確認した。すべての刑事事件において、これらの容疑はあくまで告発であり、被告人が有罪と証明されるか、またはそれまでは無罪推定を受けるのが原則である。この取り締まりは、類似のオンラインラベルリングに対する抑止となり、そのような活動は深刻な連邦上の結果をもたらす可能性があると再確認するものでもある。

2026/09/30 0:44

PS5 リラップス_EXPloit_

## Japanese Translation: 本ドキュメントは、PlayStation 5 のファームウェアバージョン 7.00 から 13.60 までのexploit に係る技術ガイドを提供し、Primary DNS を 45.56.67.85 と設定し、ペイロード配信のためにポート 9021 でリスニングすることを要する。その手法は Python の `serve.py` をローカルで実行するか、提供された HTTPS URL を訪れることで実現される。exploit は WebKit の脆弱性を活用しており、ブラウザ段階では JSC の情報漏洩と構造クローンオブジェクトプールの不整合を用いて typedarray を破損させ、カーネル段階ではアドレス漏洩と aio_multi_wait UAF レースを組み合わせることで完全な読み書きアクセスを実現する。両段階の安定性問題のため、成功には複数回の試行が必要な可能性がある。本プロジェクトは多数の貢献者をクレジットしており、目的は教育的研究および許可されたテストに限定されると明確にし、システムクラッシュ、データ損失、オンラインサービスの恒久的な禁止、デバイス所有権またはテスト認可がない機器に対する法的制限といったリスクについても警告している。

2026/09/29 21:43

デリーが電気損失を 50 パーセントから 5 パーセントに削減した方法

## Japanese Translation: デリーは電力グリッドの歴史的な変革を遂げ、頻繁な停電に悩まされ高次な信頼性を欠いていたシステムから、約 2300 万人の住民に高い安定性を供給する堅牢なインフラへと進化しました。この転換の具体例として、2026 年 8 月の独立記念日にフマイーンの陵が完全に明かりを灯したことが挙げられます。これは、二年前ほど前には市全域を麻痺させた深刻な停電と鮮明な対比を成します。当時の家計は毎日の停電により学校への送迎バスに乗り遅れたり、出勤が遅れるなどの影響を受けました。 グリッドの悪化は 1980 年代から 1990 年代にかけて進行し、大規模な財政不足を引き起こしてインフラ投資を停滞させるに至りました。2002 年初頭には老朽化した設備と窃盗による損失が 50% を超えていました。これを逆転させるためにデリーは州営の公用事業を解体し(BSES とタタ・パワーの創設)、一連の改革を実施しました:約 5 km の架空送電線を実地ケーブルに置き換える、SCADA デジタル監視システムを導入する、トランスフォーマーを更新し、コンデンサーバンクを設置する、送電線の窃盗対策として絶縁化する、デジタルメータリングを導入して請求詐欺を終息させるなどです。これらの取り組みは 2002 年の技術的・商業的損失が 50% を超えていたのを、現在の 5–6% にまで削減すると同時に、グリッドの信頼性指数を約 70% から 99.9% 以上に引き上げました。これはフランスやベルギーと同等の水準です。 現在、デリーのピーク需要は史上最高纪录である 8,748 メガワットに達しており、公用事業は石炭、天然ガス、水力発電といった多様な地域発電源を活用しながら、中央または州からの購入も実施しています。継続的な戦略には屋上太陽光の採用、詐欺検出のための人工知能の活用、コミュニティ参加プログラム(スラム地区で電気を収集する女性「アバス」による請求書配布など)、そして 24 時間・7 日体制のカイスクおよびモバイルアプリといった利便性の高い支払いオプションが含まれています。究極的には、これらのアップグレードにより家計および企業への日常的中断は消滅し、電気自動車などのモダンテクノロジーに必要な安定した電力供給を可能にしました。

Show HN:TurboGPT。22KiB の変換器を13秒で学習 | そっか~ニュース