← 2026-08-31 の一覧へ戻るホーム
おどろおどろしい虫たち

2026/08/30 2:49

おどろおどろしい虫たち

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

Linux カーネルの公式サイトは、AI モデルの学習に使用する自動スクレーパーから多大な負荷をかけています。これらのボットはプロキシ SDK を利用し、数百万件の住宅 IP やモバイル IP を悪用しています。これらのボットは日間のトラフィックのおよそ 33% を消費し、利用可能な CPU コアを約半数（5 つの地理的に分散されたノードを通じて 90 のコアのうち 14〜16 コア）に占有しており、主にレポジトリをクローンするのではなく git コミットを HTML としてレンダリングすることによってこれを行っています。この手法はプロジェクトの著者が「スクレーパーがデータを使用する最も愚かな方法」と呼んでいます。Anubis がアクセス前に SHA256 パズルを要求しているにもかかわらず、ボットが低い難易度を解いた後に難易度がレベル 4 から 5 に引き上げられましたが、これはモバイルユーザーにとってデバイスを温めるという点で依然として不満を生み出しており、人間の行動を模倣する高度な戦術を完全に阻止していません。推定される正当な人間によるトラフィックはわずか約 2% です。スクレーパーは Linux カーネルの履歴が LLM の学習データの豊富な源泉であるためこれを標的としています。また、浅いクローンを使用している脆弱な CI システムは、さらなる即時的過負荷リスクをもたらします。緩和策としては特定の機能を無効化し、匿名ユーザーのアクションをゲートリングするなどの措置が講じられていますが、すべてのデータは引き続きダウンロード可能です。簡単な解決策はありません：新しい AI モデル企業は引き続き無料の学習データを求めており、アプリ開発者は家庭用デバイスを攻撃ベクトルに変え続けており、その結果、サイトはスクレーパーによる負荷から「背景放射線」のような状態に常時置かれています。

本文

公開ソースコードへの過剰な AI クローリング問題：現状と対策

背景：AI クローラーの影響拡大

これまで繰り返し報告してきた「AI クローラー」の影響力は、もはや定説から事実へと変わりました。その影響は以下の点で深刻です。

  • システム負荷への負担
    • システムに対して一定の「背景放射線」としての負荷を生み出しています。
  • リソースの永続的占有
    • 学習モデル用のデータ供給以外の用途（単一目的ではない）として、一部のリソースを常時消費し続けています。

CPU リソースの使用状況：非効率なレンダリング

スクレイパー向けのコミットレンダリングに消費する CPU サイクル数は、正当なアクセス形式（git クローンなど）の総量に比べて極めて少ないにもかかわらず、以下のような構造的な問題があります。

  • CPU コアの浪費
    • 地理的に分散した 5 つのノードにおいて、HTML としてコミットをレンダリングするだけで機能する CPU コアが14 コア存在しています。
  • 比較対象の非対称性
    • スクレイパー向けのコスト vs 正当なアクセス（git clone など）の総コストで比較すると、後者がはるかに多い状況です。

なぜ 
git.kernel.org
はスクレイパーに「魅力的」か

Linux カーネル開発の公開リポジトリは、大規模言語モデル（LLM）にとって理想的な学習データ源となっています。

  • 高品質なデータの宝庫
    • 即座に入手可能でフィルタリングが容易。
    • AI 汚染されていない純粋なコンテンツを提供できる（LLM が生成したデータを再学習させる「デジタルプリオン病」を回避）。
  • 完全な履歴の価値
    • LKML など、すべての git リポジトリおよびそのフォークはクローン可能です。
    • 「リポジトリをクローンしてください」という提案自体が、アーカイブとしての価値を示しています。

スクレイパーの非効率なアプローチ：最も愚かな行動

スクレイパーは、データ利用の最適解である「クローン」ではなく、以下のような非効率的かつ過剰なアプローチを取っています。

  • 処理手順の無駄
    1. リポジトリをクローンする（完了）。
    2. すべてのコミットを一つずつHTML としてレンダリング。
    3. レンダリングされた HTML をパースしてデータ抽出を行う。
  • 膨大な URL の生成
    • linux.git の単一フォークだけで、生成される有効な URL は12 億を超えます。
    • 922 つのフォークに対して、約 148 万の同一コミットのデータを数十億回重複して取得しています。
  • 技術的な経緯
    • cgit が提供するパッチや差分などの情報は、かつては有効でしたが、現在はスケーラビリティの問題を抱えています。

防御策の変遷：なぜブロックが困難なのか

初期段階から現在までの対策とその限界について解説します。

1. ログ精査と IP 封鎖（失敗）

  • 当初の試み：ボット特有の User-Agent を検知し、
    fail2ban
    で封鎖。
  • 劣化プロセス：
    • ボットがランダムなブラウザ装飾を始める。
    • IP アドレスによる封鎖へ移行（Windows/Chrome ユーザー装束）。
    • サブネット全体の封鎖へ拡大（Google Compute/IP 等の装束）。
  • 限界：
    • 最終的にボットは住宅用またはモバイル IP から、最新のブラウザを装着して攻撃。
    • リクエスト数 4〜5 回でログから消え、意味のあるブロックルールを作成できず、ファイアウォールを肥大化させるだけでした。

2. CAPTCHA の導入と進化（Anubis）

  • 実装：IP アドレスと秘密鍵を組み合わせた SHA256 サム計算などのタスクを実行させるよう要求（Anubis）。
    • 条件例：先行ゼロ 4 つを持つ SHA256文字列の生成。
  • 効果と変化：
    • Difficulty 4でボットが諦め、容易なターゲットへ移動。
    • Difficulty 5へ上げると、正当なユーザー（モバイル機器）でも数秒かかり端末が熱くなるなどの不満が生まれたが、数ヶ月間の和平をもたらす。
    • ボットが再び Difficulty 5 を突破したことで、状況は悪化。

現状分析：トラフィックと負荷

現在の 

git.kernel.org
の稼働状態は以下の通りです。

  • トラフィック量
    • 約600 万件の Daily リクエストを受け入れ中。
  • フィルタリング効率
    • 66%：Anubis チャレンジで即座に弾かれる（ボット）。
    • 33%：計算問題（数学課題）を解いてサイトへ到達する（一部は正当なユーザー、一部はボット）。
    • 古さのフォーク内の古いコミットを要求する場合のみが、開発者の本業である可能性が高いですが、全体的には2% 程度しか正当なリクエストではないとの楽観的見積もりです。
  • 資源使用率のグラフ
    • スクレイパー向けレンダリングに常時費やすコア：14〜16 コア。
    • 総容量（90 コア）の約**20%**を常に消費。
    • ボット攻撃は波のように襲来するため、平準化されたグラフではなく急激なスパイクが発生します。

今後の対策と見通し：不透明な状況

単純な解決策はなく、以下の要因が重なります。

  • AI バブルの崩壊か進化か
    • 訓練データを渇望する新規「AI」モデル会社が每日登場。
    • アプリ開発者による攻撃ベクトル（家庭用家電など）の変化も続いています。
  • 現在の制限措置
    • クローラビルの URL 数を削減し、高コストなアクションへのアクセスを制限中。
    • 匿名でのリソース利用時に追加機能的な制限を導入予定。
  • データ提供の継続性
    • データは引き続きダウンロード可能と保証されますが、それを得るためのハードルが上がる可能性があります。

ごめんね。（義務的なカナダ風の発言です。）

同じ日のほかのニュース

一覧に戻る →

2026/08/31 5:00

宇宙のコア：1980年のスペースシャトル搭載のSpacelabコンピュータから復元されたコアメモリモジュール

## Japanese Translation: Spacelab は、スペースシャトルの貨物コンパートメントに搭載された再利用可能な欧州製実験室であり、標準的な IBM AP-101 システムではなく、フランス製 Mitra 125 MS ミニコンピュータを 3 台採用していた。これら 3 台のうち 1 台は実験室を、もう 1 台は実験を担当し、残りの 1 台が予備として機能した。各コンピュータのメモリシステムは 1980 年頃製作され、シリコンではなくフェライトリングを使用した磁性コアメモリを採用しており、「2½D」アーキテクチャにより抑制線を廃止するため、各ビットに独立した X ドライバ回路を設け、位相反転技術を用いることで垂直ドライバの数を半減させていた（U 字形の配線ループを使用）。メモリスタックは 7 ボードで構成され、ドライバボード、4 つのコアプレーンボード、第 2 のドライバボード、およびインターフェースボードからなっていた。各コアプレーンは 1024 本の垂直 Y ワイヤーと 288 本の水平 X ワイヤーで支えられ、16K の 18 ビット語（32 KB）を保持し、総計で 294,912 個のリチウムフェライトコアを有していた。ノイズキャンセレーションにはねじれペアセンスワイヤと「蝶結び」状のクロス構成が用いられ、ダイオードマトリクスはプリント基板間にコードウッド構造を採用しており、各ダイオードチップには 8 コアラインに対応する 16 個のダイオードが含まれていた。1991 年、IBM AP-101S のアップグレードにより、AP-101SL モディフィケーションを通じて磁性コアを半導体メモリに置き換えられながら、フェライトコアメモリが廃棄される直前まで Spacelab システムとの互換性を維持した。 ## Text to translate: Spacelab was a reusable European laboratory carried in the Space Shuttle's cargo bay that employed three French-built Mitra 125 MS minicomputers—rather than standard IBM AP-101 systems—with one managing the laboratory, one managing experiments, and one as a backup. Each computer's memory system, built around 1980, used magnetic core memory with ferrite rings (not silicon) in a "2½D" architecture that eliminated inhibit lines by using separate X driver circuitry for each bit; phase reversal techniques halved the number of vertical drivers via U-shaped wiring loops. The memory stack comprised seven boards: a driver board, four core plane boards, a second driver board, and an interface board. Each core plane held 16K of 18-bit words (32 KB) supported by 1024 vertical Y wires and 288 horizontal X wires, totaling 294,912 lithium ferrite cores. Noise cancellation was achieved through twisted pair sense wires and a "bow tie" crossing configuration, while diode matrices used cordwood construction between printed circuit boards (each diode chip containing 16 diodes for 8 core lines). In 1991, IBM AP-101S upgrades replaced the original magnetic cores with semiconductor memory via the AP-101SL modification, maintaining compatibility with the Spacelab system before ferrite core memory became obsolete.

2026/08/31 1:01

Haiku R1/beta6 がリリースされました

## Japanese Translation: 2026 年 8 月 26 日（水曜日）に、R1/beta6 のリリースをもって Haiku は創業 25 周年を迎えます。これは記念日から約 1 ヶ月後、そして前回から約 2 年後の発表です。この大きなアップデートは開発の一時停止を経て実現され、ユーザーに待ち望まれていた機能向上を提供します。ファンは提供されたダウンロードポータルを通じてすぐにアップグレードを行うか、詳細なリリースノートを確認するか、またはお問い合わせにはプレスコンタクトまでご連絡ください。この発売は Haiku の遺産を称えつつ、オープンソース OS が専用コミュニティと共に進化し続ける中、個々のユーザーならびにテクノロジー企業双方がアクセス可能な導入と継続的なフィードバックへと導く重要な瞬間を象徴します。

2026/08/28 22:48

MCU を搭載した NFC エナジーハーベスティング回路搭載の PCB ビジネスクーカード

## Japanese Translation: 本プロジェクトは、収集されたラジオエネルギーを唯一の電源源とする革新的な電池不要型 NFC ビジネスクーカードを実装しており、内部にバッテリーや充電ケーブルを必要とせず動作する 21 のアニメーション LED を備えています。エンジニアたちは、余剰電力を LED に供給し、MOSFET とコンデンサを備えた特定の電圧制御回路を用いてインラッシュ電流を管理しながら、NXP NTAG I2C Plus NFC チップを搭載したカスタム回路によりこの実現を行いました。高さの最適化と RoHS 適合（無鉛組立）のために、彼らは ATtiny412 からコンパクトな ATtiny816 MCU（17 ピンの GPIO、3mm x 3mm QFN パッケージ）に変更しました。LED ディスプレイは、電圧崩壊を防ぐために 4 ピンの GPIO と PWM テクニックを用いた Charlieplexing で制御され、12 の独立した LED を動作させます。アンテナには矩形スパイラル形状が採用され、KiPython スクリプトを用いて 13.56 MHz に共鳴するように調整し、微調整も行われました。論理電位に関連するプログラミング上の課題（5V と 3.3V）は、Arduino ツールではなく Adafruit UPDI Friend ボードを採用することで解決されました。カードはクレジットカードサイズの PCB を採用しており、ENIG 仕上げ、高精度のシルクスクリーン、ファームウェア書き込み用の露出 UPDI パッドを備えおり、TVS ダイオードによる ESD 保護も含まれています。連絡先情報と QR コードは NXP TagWriter アプリを使用して管理され、リンクは Cloudflare を通じてリダイレクトされます。将来のバージョンではマルチカラー LED、インタラクティブなボタン、アーケード風のゲームを追加する計画があり、MCU の低い 1 MHz クロック速度により indefinite な動作を維持します。