Pulpie: ウェブをクリーンにするためのパラエト最適モデル

概要

「Pulpie」は、HTML ページからメインコンテンツを抽出するための一連のパラエト最適モデルです。

• コスト効率: 最上位（SOTA）の抽出品質に迫りながら、コストはリーダー級モデルの二十分の一を実現しています。
• 性能: 軽量なモデルである

  pulpie-orange-small

  は、WebMainBench で ROUGE-5 F1 スコアを 0.862 に達しました（抽出リーダー Dripper の 0.864 とほぼ同レベル）。
• アーキテクチャ: HTML の各ブロックを単一のフォワードパスで「コンテンツ」か「ボイラープレート」かにラベル付けするエンコーダー構造を採用しています。これにより、Dripper（60 億パラメータ）の約三分の一規模（2 億 1,000 万パラメータ）でも同等の性能を発揮します。
• 処理速度: NVIDIA L4 GPU では 13.7 ページ/秒を達成し、Dripper（0.68 ページ/秒）を大幅に上回ります。
• 経済性: 10 億ページのクリーニングコストは Pulpie で $7,900 に対し、Dripper では $159,000 に達します。

モデルはオープンソースで Hugging Face 上で利用可能です。

背景：ウェブを二回消費する問題

言語モデルは通常、以下の 2 つの段階でウェブデータを消費します。

1. 事前学習: 世界の知識を学ぶ。
2. 推論時: 関連するコンテキストを参照する。

どちらの場合も、入力データの多くがノイズ（ボイラープレート）に満ちています。通常の HTML ページの約 70% は、ナビゲーションや広告などの不要な構造部分です。メインコンテンツはごく一部しか占めていませんが、この純粋さがモデル品質を決定づけます。

事前学習への影響

• 研究（AICC）: クリーンな抽出が事前学習に与える効果を測定した結果、モデルベースのパーサーで抽出されたコーパスで訓練したモデルは、平均精度が1.08 パーセントポイント高くなりました。
• 比較: この改善はデータ cleanliness によるものであり、厳格にフィルタリングされた市販のコーパス（FineWeb, RefinedWeb）でも訓練したモデルを上回る性能を発揮しました。

データ品質への影響

• 損傷のリスク: ヒューリスティクスベースの抽出器（例：Trafilatura）はコードブロックや数式を損傷させる傾向があります。
  • コードブロックの類似度: ヒューリスティック 0.13 vs モデルベース 0.91
  • 数式の類似度: ヒューリスティック 0.61 vs モデルベース 0.94
• 推論時の重要性: ノイズに満ちたコンテキストはモデルの回答を翻弄します。ノイズから解放されたコンテキストを持つほど、モデルは精度が高くかつ効率的になります。

アーキテクチャ：予算内でのウェブクリーン化

現在の抽出手法と Pulpie の違いを以下の点で比較できます。

パフォーマンス比較

• Pulpie Small: ROUGE-5 F1 0.86+ / コスト約 $7,900 (L4 10 億ページ)
• Dripper: ROUGE-5 F1 0.864 / コスト約 $159,000 (L4 10 億ページ)

注: Pulpie は品質を維持しながら、コストが 20 倍安価です。

パイプライン処理：生 HTML の「デピルピング」

フルパイプラインは以下の 4 つの段階で構成されます。

1. HTML の簡素化: スクリプトやスタイルを削除し、各ブロックに一意の ID を付与します。
2. ブロックの分割: ブロックを分割・トークナイゼーションし、最大 8,192 トークンのチャンクにパックします（約 80% のページはこれで完結）。
3. 分類: フォワードパスを実行し、各ブロックを「コンテンツ」か「ボイラープレート」かにラベル付けします。
4. 出力: コンテンツとして保持されたブロックを HTML または Markdown 形式で返します。

学習戦略

データ準備

• Common Crawl から英語ページ 16,670 ページをサンプリングし、MinerU-HTML を使用してブロックに分割しました。
• DeepSeek V3.2 でブロックごとにラベル付けを実施し、不適切なページを除外後、15,880 ページのトレーニングセットを作成しました。

クロスバリデーションとデータ精製

• Dripper 0.6B をセカンドラベラーとして使用し、不整合なラベルをフィルタリングしました（双方が同意するブロックは 93.3%）。
• データの一部を犠牲にして質を高めるため、14,959 ページのクリーンデータセットに絞り込みました。

テイチャーモデルと蒸留

品質とコストのバランスを実現するために、以下のステップでモデルを作成しました。

1. テイチャーモデル: EuroBERT-2.1B をファインチューニングし、WebMainBench で ROUGE-5 F1 0.873 を記録しました。
2. 蒸留 (Distillation): テイチャーモデルの知識を小規模モデルへ転移させました。
   • Pulpie Orange Small: 210M パラメータ、F1 スコア 0.862（テイチャーとの差わずか 1 ポイント）。
   • Pulpie Orange Base: 610M パラメータ、F1 スコア 0.863。

推奨モデル:

pulpie-orange-small

結果：ベンチマーク比較

品質（WebMainBench 英語サブセット）

空抽出はゼロスコア扱いとなります。

難易度別のパフォーマンス

ヒューリスティック手法はページが難しくなるにつれて急激に性能が落ちますが、エンコーダー（Pulpie）とモデルベース（Dripper）は安定した性能を発揮します。また、Dripper はコンテキスト長が短い場合に失敗しますが、Pulpie のブロック単位処理によりページ長さによる制限はありません。

速度比較

NVIDIA L4 GPU で: Pulpie Orange Small は Dripper よりも約 20 倍高速です。 NVIDIA A100 で: Pulpie Orange Small は Dripper よりも約 7 倍高速です。

コスト比較（10 億ページあたりの GPU 時間）

Pulpie は帯域幅依存型ではないため、計算能力が低い L4 GPU でも A100 に迫る効率を発揮します。

エンコーダーと帯域幅の利点

• デコーダー（Dripper）はステップごとにモデル読み込みが必要で、メモリ帯域幅に制限されます。
• エンコーダー（Pulpie）は入力全体を一度に処理するため、計算能力（TFLOPS）のみで速度が決まります。
• L4 と A100 の帯域幅比率は約 6.8 倍ですが、計算能力比率は約 2.6 倍です。そのため、帯域幅に依存しない Pulpie は、帯域幅の少ない GPU でも Dripper に匹敵する性能を発揮できます。

使い始める

Pulpie モデルは Hugging Face で入手可能です。まずはパッケージをインストールしてください。

pip install pulpie

Python クイックスタート

生 HTML からクリーンなコンテンツ（マークダウン）を抽出します。

from pulpie import Extractor

# デフォルトは Pulpie Orange Small
extractor = Extractor() 
result = extractor.extract(html)

print(result.markdown)                # クリーンなマークダウン出力
print(result.n_main, result.n_other)  # メインブロック数 vs ボイラープレート数

モデルの切り替え

より高い品質を優先する場合、大きなモデルを選択できます。

# "small" (デフォルト), "base", "large" のいずれか選択
extractor = Extractor(model="large")

大量処理（パイプライン）

CPU の前処理と GPU の推論を並列化し、複数のページをバッチ処理できます。

from pulpie import Pipeline, PageInput

pipeline = Pipeline(model="small")
# パージンを指定して各ページの HTML と ID を渡す
results = pipeline.extract_batch(
    [PageInput(html=h, page_id=i) for i, h in enumerate(pages)]
)

モデル一覧

すべてのモデルは EuroBERT を基盤とし、共通のトークナイザーと

<|sep|>

feyninc/pulpie-orange-small-v1

feyninc/pulpie-orange-base-v1

feyninc/pulpie-orange-large-v1

推奨: Pulpie Orange Small は、最上位品質に近づくと同時にコストを二十分の一にしつつ、最も高速で動作します。

謝辞とクレジット

• Pulpie は、MinerU-HTML と Dripper チーム（Ma et al., 2025）の成果を基盤としています。
• データ準備およびラベル付けプロセスに多大な貢献があった方々へ感謝申し上げます。

引用文献

1. AICC: Ma et al., "Parse HTML Finer, Make Models Better", arXiv:2511.16397 (2025).
2. EuroBERT: Boizard et al., "Scaling Multilingual Encoders for European Languages", arXiv:2503.05500 (2025).
3. Distillation: Hinton et al., "Distilling the Knowledge in a Neural Network", arXiv:1503.02531 (2015).
4. Raffel et al., "Exploring the Limits of Transfer Learning...", JMLR 2020.
5. Penedo et al., "The RefinedWeb Dataset...", NeurIPS 2023.
6. Penedo et al., "The FineWeb Datasets...", arXiv:2406.17557 (2024).
7. Li et al., "DataComp-LM...", NeurIPS 2024.
8. Soldaini et al., "Dolma: An Open Corpus...", ACL 2024.
9. Barbaresi, "Trafilatura: A Web Scraping Library...", ACL/IJCNLP 2021.
10. Kohlschütter et al., "Boilerplate Detection using Shallow Text Features", WSDM 2010.
11. Pomikálek, "Removing Boilerplate and Duplicate Content from Web Corpora", PhD Thesis (2011).
12. Bevendorff et al., "An Empirical Comparison of Web Content Extraction Algorithms", SIGIR 2023.
13. Shi et al., "Large Language Models Can Be Easily Distracted...", ICML 2023.

引用（BibTeX）

@note{pulpie2026,
  title = {Pulpie: Pareto-Optimal Models for Cleaning the Web},
  author = {Minhas, Bhavnick and Nigam, Shreyash and Feyn Research},
  year   = {2026},
  venue  = {Feyn Field Notes}
}