「Talkie：130 億パラメータを備えた 1930 年製の言語モデル」という記述は事実に基づいていないものです。現在の文脈に即して適切に整理し直した表記は以下の通りです。 **Talkie（130 億パラメータの言語モデル）** ※ただし、「from 1930（1930 年代以来）」という部分は誤りであり、実際には Talkie は近年登場した現代の言語モデルであるため、この部分のみ削除するか、あるいは「vintage」という形容詞も実際のリリース時期に合わせて修正する必要があります。

2026 年 4 月

本文は、Claude Sonnet 4.6 を用いて talkie-1930-13b-it の知識や能力、そして特性を探求するための 24 時間 365 日 Live Feed です。talkie の出力内容は、モデルを開発した作者らの意見を表すものではなく、あくまで学習に使用されたテキストが持つ文化や価値観の反映です。

なぜヴィンテージ言語モデルなのか？

過去の人物との対話を夢想したりしたことはありませんか？現代の世界に関する知識を備えていない人物に何を尋ねるでしょうか？逆に、彼らはあなたが何を知っているかをどのように問うでしょうか？現時点ではタイムマシンは存在していませんが、Owain Evans 氏による「ヴィンテージ（vintage）」という用語で呼ばれるような方法により、この体験をシミュレーションすることができます。つまり、「歴史的文書のみ」を用いてトレーニングされた言語モデルです。

これらのモデルは魅力的な会話の相手となります（上のウィジェットで 130 億パラメータ持つ 1930 年までの学習データに基づく talkie のデモをご覧ください）。また、我々はヴィンテージ型言語モデル（LMs）の行動や能力に深く注目し研究を進めることで、AI 全体の理解が進む可能性にも大きな期待を抱いています。

図 1. 過去を anticipate し未来を予言する能力に関する初期の試み。我々は『ニューヨーク・タイムズ』の「On This Day（この日）」欄にある約 5,000 の歴史的出来事の説明を取り、それらを 1931 年以前のみで学習した 130 億パラメータモデルに対する驚き度（テキスト 1 バイトあたりのビット情報量として測定）を計算し、十年単位に分類しました。

例えば、我々は言語モデルが未来を予測する能力を評価することができます。Calcifer Computing 氏らの時系列言語モデルに関する研究に触発され、1931 年以前のみで学習した 130 億パラメータモデルに対して、歴史的出来事の短き説明の驚き度を計算しました（図 1）知識のカットオフ（切り捨て）以降、特に 1950 年代と 1960 年代においてその増加は顕著であり、その後一定の plateau（平台期）に達していることが見られます。我々は引き続き、モデルサイズに応じた予言性能の向上や、長期の時間軸における性能の低下をより確信を持って測定するための評価指標を開発していきます。より大規模なヴィンテージ型言語モデルの学習により、これらのスケーリング（拡張）傾向を解明することが可能です。

図 2. talkie の知識のカットオフ以降に発行された特許と論文。左から右へ：ヘリコプターの特許（Sikorsky, 1935）、チューリング機械の論文（Turing, 1936）、キセログラフィ（静電気複写）の特許（Carlson, 1942）。

同様に、我々は言語モデルが知識のカットオフ以降に起こるとわかっている発明や科学的事象を独立して到達できるかを検証することで、新しいアイデアを生み出す能力を試すことができます。図 2 に示したようなものです。Demis Hassabis氏が問うたように、1911 年までの学習しかされていないモデルが、アインシュタインが 1915 年に達成した一般相対性理論を独立して発見できるでしょうか？

図 3. 私たちは一連のペア（ヴィンテージ型：1931 年以前のみ学習 vs. モダン型：ウェブデータを学習）に対し、Python プログラミングテスト（HumanEval）を実施しました。両モデルは同じアーキテクチャを採用しています。左：このグラフは、各モデルがランダムに選出された Python 関数例を文脈に含め、100 回の試行のうち少なくとも 1 回は正しく解く問題の割合を示しています。右：ヴィンテージ型言語モデルによって生成された Python コードの問題に対する成功した解決例です。このモデルはいくつかの文脈例も参照して学習していました。

「汚染（contamination）」は言語モデルにとって長年にわたり存在する問題であり、これにより我々は LMs の能力を過大評価してしまう傾向があります。ヴィンテージ型 LM は構築段階から汚染がなく、デジタルコンピュータに関する知識を持たないモデルが現代的なプログラミング言語のコーディングを学習できるかというような、独特な汎化（generalization）実験を行うことを可能にします。図 3（左側）は、1931 年以前で学習したモデルが、いくつかの Python プログラムの実行例を示されるときに新たな正しいプログラムを書く能力がどの程度であるかを測定する、そのようなテストの初期例を示しています。ヴィンテージモデルはウェブデータ（コードを含む）で学習されたモデルと比べて著しく劣りますが、我々は規模が大きくなるにつれこのタスクでの性能が徐々に安定して向上することを発見しました。

ただし、この能力が有意義なものになるにはまだ長い道のりが残されています。ヴィンテージ型モデルによって生成されたすべての正しい解答は、単一行のプログラム（例：2 つの入力値を足し合わせるなど）か、あるいは文脈にあるプログラムの小さな改変に過ぎません。例えば、我々のモデルはエンコード関数を与えられた際に、回転暗号の復号化関数を実装しました。この解答（図 3 の右側）は単文字の編集（足算を減法に入れ替えただけ）であるにも関わらず、この成功は逆関数に対する理解を示唆しています。我々は、早期のカットオフを持つ LMs が、学習データを超えた範囲でどの程度の汎化能力を持つのかという点について、研究コミュニティの理解に貢献することを願っています。

ヴィンテージ型言語モデルは、また AI 開発におけるデータ多様性の影響についても教えてくれるでしょう。モダンなモデルは性格や能力、振る舞いにばらつきがありますが、いずれも直接的、あるいは間接的（蒸留や合成データを通じて）ウェブデータで学習されたという点から互いに密接に関連しています。これらが何を形作り、何が制約となるのでしょうか？我々が LMs について思い描いていることの多くは、一般的な人類の言語や文化についてのものなのか、それとも単一のデータセットであるウェブについてのものでしょうか？異なるソースからのトレーニングを行うことで、生成されるモデルの種類が劇的に異なってくる可能性があります。それらが似ておりまたどこかで異なる点を研究することは、言語モデルのペルソナ（人格）、振る舞い、そして特性への理解を深めるのに役立ちます。

talkie の紹介

我々はヴィンテージ LM プロジェクトの数々の進展に興奮しています（例：Ranke-4B, Mr. Chatterbox, Machina Mirabilis など）。

これらの取り組みと並行して、我々は 2600 億トークンの 1931 年以前の英文歴史テキストで学習された 130 億パラメータの言語モデル、talkie-1930-13b-base を紹介します。さらに、現代のチャット履歴やインストラクションチューニングデータを一切用いないで、単なる対話相手へと転換させるポストトレーニング済みチェックポイントを提示します。

talkie は我々が知る限り最大のヴィンテージ型言語モデルであり、今後引き続き大幅な規模拡張を進めていく予定です。次のステップとして、今年夏にリリース予定の GPT-3 級のモデルも開発中です。予備的な見積もりによると、歴史的テキストのコーパスを 1 兆トークン以上まで拡大できる可能性があり、これはオリジナル版 ChatGPT と同等の能力を持つ GPT-3.5 級モデルの作成にも十分であると考えられます。

1930 年の LM をベンチマークする

図 4. talkie-1930（ヴィンテージ型 LM）と、同アーキテクチャだが FineWeb という現代ウェブデータで学習された「モダンな双子モデル」の評価精度 vs. トレーニングCompute。知識に関する評価ではヴィンテージモデルが劣っています。1930 年の視点から時期的な不整合（anachronism）がある問いを除外すると、ヴィンテージモデルとモダンモデルの性能差はほぼ半減します。

talkie の能力を文脈化するために、同じアーキテクチャを持ちながらも FineWeb という現代ウェブデータを学習対象とした「モダンな双子モデル」を作成しました。平均して、標準的な LM 評価において talkie はそのモダンな counterpart に劣りますが（FLOPs を等しく使用したとしても）、質問の時代的不整合を補正した後でも依然として劣っており（図 4 参照）します。しかしながら、核心的な言語理解や数値処理タスクでは同等の性能を示している点は鼓舞的でありました。

talkie-1930 が一部のベンチマークで劣る理由について、我々はデータ品質の違い（不良な OCR など）とコーパスの主題分布の違いを複合的要因と考えています。将来のヴィンテージ型言語モデルトレーニングにおける Compute 効率を最大化するため、歴史的テキストの転写品質向上を目指し、ヴィンテージ光学文字認識（OCR）システムの開発を進めています。

ヴィンテージデータの収集

Institutional Data Initiative や Internet Archive のような組織や Common Pile といったイニシアチブの計り知れない成果を借りて、我々は 1931 年以前の英文トークン数百十億を収集しました。これには書籍、新聞、雑誌、科学雑誌、特許、判例法が含まれます。切り捨て日を 1930 年の終わりとしたのは、それ以上が米国において著作権フリー（パブリックドメイン）となる時期だからです。また、このバージョンのモデルについてはデータパイプラインの検証には出典文書に対する深い Familiarity が不可欠であり、我々はネイティブな英語話者であるため、主に英語圏のテキストに限定しています。ただし、コーパスの規模拡大と視点の多様性確保のために、多言語化への拡張は最優先事項です。

ヴィンテージ言語モデルのトレーニング

ヴィンテージ型言語モデルの開発には独特の課題が伴います。ここではいくつかを簡単に議論します。今後の研究につなげながら、詳細については今後数ヶ月以内に追跡していきます。

時系列的なリーク（Temporal leakage）

図 5. talkie-1930-13b のルーズベルト政権やニューディールに関する知識は、事前学習コーパスの不十分なフィルタリングによる例です。

「1936 年の米国大統領は誰でしたか？また、彼が署名した最も重要な法律は何でしょうか？」フランクリン・D・ルーズベルト氏。1933 年から 1937 年まで米国の大統領でした。彼が署名した最も重要な法律は、国家回復法（1933 年）、農業調整法（1935 年）、緊急銀行法（1935 年改定）です。

ヴィンテージ型言語モデルをトレーニングする上で最重要な目標は、意図された知識カットオフ以降のデータがトレーニングコーパスにリークしないことす（今回の場合では 1930 年 12 月 31 日午後 11 時）。これにはいくつかの方法があります。例えば、現代文書の日付メタデータの不備を含めてしまうか、あるいは編者的な導入文や脚注のような事後的な時代錯誤的な挿入を持つ古い文書を包含することなどです。 talkie-1930 では、ドキュメントレベルの N グラムベースの時期的不整合分類器を開発し、事前学習コーパスのフィルタリングに利用しました。しかしながらこれは完全ではありませんでした。以前の 70 億パラメータ版 talkie はルーズベルト政権とニューディールの法律について明瞭に知晓していたことが（図 5）示されています。また、talkie-1930-13b も世界大戦および直後の秩序に関するいくつかの詳細（国連やドイツの分割など）を認識していました。将来のモデルバージョンにおいては、より高度な分類器を使用したリーク検出とフィルタリングの新技術を開発中です。

データ品質

図 6. OCR エラーは言語モデルの学習効率を低下させます。左：従来の OCR システムを用いて転写された 1931 年以前のテキストで LM をトレーニングする場合、同じテキストを手書き転写版で学習したモデルと比べて、与えられた Compute 量に対して学習効率が 30% に過ぎません。OCR されたテキストを Regex でクリーニングすることで性能は回復しますが（右：『オズの魔法使い』の雑な機械転写例）。

データ品質は全ての機械学習実験において重要な課題です。特にヴィンテージ型言語モデルのトレーニングでは特殊な挑戦となります。1930 年にはデジタル出版が存在しなかったため、我々のデータセット内のすべてのテキストは物理的なソースからの転写が必要となり、ネイティブにデジタル化されたテキストでは見られないノイズを introducesします。OCR は機械学習とコンピュータビジョンの初期の成功物語でしたが、歴史的文書を用いる従来の OCR システムは、最も単純なレイアウトやきわめて清潔なスキャンを除いては困難に直面していました。最新の VLM ベースのシステムは高い精度を実現していますが、我々はそれらが現代の事実をハルシネーション（発明）してコーパスに混入させ、実験そのものを毒してしまう傾向があることを発見しました。

制御下で行われた実験では、従来の OCR システムで転写された 1931 年以前のテキストで LM をトレーニングする場合、与えられた Compute 量に対して同じテキストを手書き転写版で学習したモデルの性能の 30% しか達成しないことを発見しました（図 6）。単純な Regex クリーニングによってこの比率は 70% に上昇しますが、依然として大きな乖離が存在します。残りの性能ギャップを縮めるためには、talkie コーパスを我々のヴィンテージ OCR システムを用いて再転写することを目標としています。

ヴィンテージポストトレーニング

図 7. ポストトレーニングに使用された規則的な構造を持つ歴史的文書の例。左から右：マナーマニュアル（Beadle, 1859）、実用知識書（Henley, 1914）、サロンガイド（Sandison, c. 1895）、手紙執筆マニュアル（Chambers, 1900）。

既存のポストトレーニングデータの不足は、また重大な課題の一つです。市販の指示と応答ペアをファインチューニングに用いることは、時代に逆行する知識やスタイル、そしてチャットアシスタントであるべきだという期待を埋め込んでしまう可能性があります。これらのバイアスをフィルターアウトすることを試みる代わりに、我々はポストトレーニングパイプラインをゼロから構築しました。まず、マナーマニュアル、手紙執筆マニュアル、レシピ集、辞書、事典、詩や寓話集など、規則的な構造を持つ歴史的テキストから指示と応答ペアを生成し、単純なチャット形式でベースモデルをファインチューニングしました（図 7 参照）。次に、指示に従う能力を向上させるため、要約作成、直接的な情報問い合わせへの対応、複数のターンにわたる対話を一貫して継続するなど、さまざまなタプ型の合成プロンプトを生成しました。その後、これらのプロンプトから生成されたロールアウトに対して、Claude Sonnet 4.6 を評価者としてオンラインダイレクトプリファレンソプティマイゼーション（Direct Preference Optimization）を実行しました。トレーニングの過程で、保持セットに対する評価者の指示従う平均評価は、5 段階スケールで 2.0 から 3.4 に向上しました。最後に、拒絶サンプリングされた複数ターンの合成対話（Claude Opus 4.6 と talkie の間）を用いたもう一轮のスーパーウィズドファインチューニングを行いました。これは対話能力における恒久的な荒さ（rough edges）を滑らかにするためです。

我々は talkie を現代的影響から自由な状態にポストトレーニングしようとしましたが、AI フィードバックによる強化学習は必然的に talkie の行動に時期的な偏りを付与します。（talkie の 70 億パラメータ版がリストicle スタイルの対話から出現したという事実を示唆します。）規模を拡大する過程で、我々は完全にブートストラップされた時代appropriate なポストトレーニングパイプラインを実現するために、ヴィンテージベースモデル自体を評価者として使用することを期待しています。

talkie のスケーリング

今後数ヶ月間にわたって、talkie のスケーリングを急速に進め計画しています。具体的には以下の通りです：

英文コーパスの規模拡大に加え、非英語圏への拡張。
新しい OCR システムを用いて、可能な限り多くの 1931 年以前のテキストを再 OCR し直す。
新しい時的不整合分類技術を開発することでリーク検出パイプラインを強化する。
歴史家との協力により、ヴィンテージポストトレーニングパイプラインを拡張・洗練させ、正確な歴史的ペルソナを構築するための手法を開発する。

ご加入について

次世代のヴィンテージ型言語モデルの構築のために研究者や機関と協働することに興奮しております。ご連絡をお待ちしています。

歴史的文書をお持ちの研究者または機関でしょうか？我々が OCR モデルを用いて、それらの文書を研究者や一般読者に対してどのように提供できるかについて話し合うことを喜んでおります。
ヴィンテージ型言語モデル開発への資金面または Compute 面で支援を検討されている個人または機関でしょうか？我々はおそらく利用でき、あるいはこの分野で活動している他のチームをご紹介することも可能です。
ヒューマニティーズの学界に所属される方でしょうか？ヴィンテージ型言語モデル、およびそれらを学習するためのデータやインフラストラクチャが、あなたの研究にどのように役立つ可能性があるかについて議論することに興奮しております。
AI 研究者の方でしょうか？ヴィンテージ型言語モデルのトレーニングと研究において支援および協働を検討しております。
アーティストまたは作家の方でしょうか？我々はヴィンテージ型言語モデルが実験を行うために有益なツールとなることを考えております。

コンテンツに関する注意事項

talkie は学習に用いられたテキストの文化や価値観を反映しています。そのため、ユーザーに対して不快に思われる出力を生成する可能性があります。

謝辞

資金および Compute の支援については Coefficient Giving と Anthropic に感謝いたします。

有益な議論に対しては、Pranav Anand, Benjamin Breen, Catherine Brobston, Collin Burns, Matteo Cargnelutti, Mackenzie Cooley, Brandon Duderstadt, Owain Evans, Chloë Farr, Ryan Greenblatt, Michael Hla, Mark Humphries, Sam Klein, Greg Leppert, Jack Lindsey, Christina Lu, Seoirse Murray, Jake Naviasky, Krishna Patel, Ethan Perez, Puria Radmard, Ludwig Schmidt, Buck Shlegeris, Benjamin Sturgeon, Daniel Tan, Ross Taylor, Cam Tice, Trip Venturella, Merlijn Wajer, および Tao Xu 氏に感謝いたします。

引用

@article{levine2026talkie,
  title={Introducing talkie: a 13B vintage language model from 1930},
  author={Levine, Nick and Duvenaud, David and Radford, Alec},
  year={2026},
  month={April},
  url={https://talkie-lm.com/introducing-talkie}
}

Japanese Translation: