Auto-grading decade-old Hacker News discussions with hindsight

Japanese Translation:

概要
Karpathy は、2015年12月から毎回の Hacker News フロントページ記事を取得し、Algolia を介して完全なコメントスレッドをダウンロードし、それらを ChatGPT‑5.1 に入力する自動パイプライン hncapsule を構築しました。プロンプトは GPT‑5.1 に対し、要約、実世界での結果、最も先見的／誤ったコメントに対する賞、注目すべき点、各コメント投稿者ごとの最終評価、および全体の興味度スコア（0–10）を生成させるよう指示しています。結果は https://karpathy.ai/hncapsule/ に静的 HTML ページとして表示され、同一ドメインに ZIP ファイルとして原始 JSON データが保存されています。

分析対象には、Swift のオープンソースリリース、Figma のローンチ、OpenAI の発表、geohot による Comma、SpaceX Orbcomm‑2 ウェブキャスト、および Theranos の問題など、2015年12月の主要テクノロジーイベントが含まれます。コメント投稿者は GPT 評価から導出された IMDb スタイル GPA を用いて「殿堂入り」にランク付けされ、トップ名には pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, および johncolanduoni が含まれます。

930 件の LLM クエリ（31 日 × 30 本記事）を Opus 4.5 で実行するには約 $58 の費用がかかり、約 1 時間で完了しました。これは大規模モデルバッチ解析の低コスト実現可能性を示しています。Karpathy はこれを「将来の大型言語モデルが歴史的後顧分析を“無料”にできる」ことを示す概念検証として位置付け、今日の行動改善を促進するものとしています。このプロジェクトはオープンソース（

https://github.com/karpathy/hn-time-capsule

2025年12月10日

TL;DR： https://karpathy.ai/hncapsule/

昨日、Show HN: Gemini Pro 3 が10 年先の HN フロントページを幻覚化する という HN スレッドに偶然遭遇しました。Gemini 3 は未来のフロントページを“幻覚”していたのです。その中で目立ったコメントがありました――Bjartr がちょうど10 年前、すなわち2015年12月の HN フロントページへリンクしていたことです。議論を読んでいるうちに、LLM（大規模言語モデル）が私よりも先見性を評価する方がずっと得意だと気づきました。

そこで、ある記事＋コメントスレッドを ChatGPT 5.1 Thinking にコピーしてみると、詳細かつ徹底的な分析結果が返ってきました。自分の手作業よりもはるかに優れていたため、このタスクは LLM でこなすのに理想的だと感じ、最新リリースの Opus 4.5 を使って何かを構築しようと思いました。

現在、12 月の全フロントページ（31 日 × 30 本の記事）を収集し、各記事とその全文コメントスレッド（Algolia API 経由）を ChatGPT 5.1 Thinking に入力した後、すべてを整った形式で提示して歴史的読み物として公開する準備を進めています。

この演習が重要な理由

先行予測トレーニング – 十分なデータがあれば未来予測モデルを訓練し、実際に活用できる可能性があります。
将来の LLM が監視 – 今日行う作業は、後に低コストで強力なモデルによって検証されるかもしれません。暗黙の「非公開で安全」仮定は崩壊します。今こそ高品質を追求することが最も安全策です。

プロジェクトワークフロー（GitHub: karpathy/hn‑time‑capsule）

フロントページのダウンロード – 指定日から30 本の記事を取得。
コンテンツ取得 – 各記事の本文と Algolia API で全文コメントスレッドをダウンロード。
プロンプト構築 – すべてを Markdown プロンプトにまとめ、分析用に渡します。

プロンプトテンプレート

以下は10年前に HN に掲載された記事とその議論スレッドです。現在の視点で6つのセクションに分けて分析しましょう：

1. 記事とディスカッションの簡潔な要約を作成。
2. このトピックについて実際に何が起こったか？（調査してまとめる）
3. 「最も先見的」「最も誤っていた」コメントに対し賞を授与。結果を踏まえて評価する。
4. 記事や議論の他の面白い／注目すべき点を言及。
5. 各アカウントのコメントに対して成績を付ける（実際に起こったことを考慮）。
6. 最後に、この記事とそのリトロスペクティブ分析の興味度合いを 0‑10 のスコアで評価。

**セクション5フォーマット**  
最終成績  
- speckx: A+（…について優れた予測）  
- tosh: A（…を正しく予測）  
- keepamovin: A  
- bgwalter: D  
- fsflover: F（完全に誤っていた…）

**セクション6フォーマット**  
記事のリトロスペクティブ分析興味度スコア：8

出力はプログラムで解析し、各ユーザーごとの成績を集計します。

実行

GPT 5.1 Thinking へプロンプトを OpenAI API 経由で送信。
結果を収集・解析。
静的 HTML ページにレンダリングして閲覧しやすく。
https://karpathy.ai/hncapsule/ にホスト。
同一 URL プレフィックス下で
```
data.zip
```
として中間データを公開。

結果

コスト：930 回の LLM クエリ（31 日 × 30 本）≈ $58、約1 時間の実行時間。
ハイライト：
- 2015年12月3日 – Swift がオープンソース化。
- 2015年12月6日 – Figma のローンチ。
- 2015年12月11日 – OpenAI の正式発表。
- 2015年12月16日 – geohot が Comma を開発。
- 2015年12月22日 – SpaceX ランチウェブキャスト：Orbcomm‑2 ミッション。
- 2015年12月28日 – Theranos の苦境。
ホールオブフェイム：12 月 2015 年のトップコメント投稿者を IMDb スタイル GPA で並べ替え（例：pcwalton、tptacek、paulmd、cstross、greglindahl、moxie、hannob、0xcde4c3db、Manishearth、johncolanduoni）。GPT 5.1 Thinking は彼らのコメントを洞察に富み先見的と評価しました。

今後の展望

31 日分（30 本ずつ）の記事を GPT 5.1 Thinking に通す作業は高速で経済的、しかも豊かな洞察を提供します。LLM がさらに安価・強力になるにつれて、このような歴史分析は速度・精度・深さが飛躍的に向上するでしょう。