
2026/08/18 1:22
インターネットの規模
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
2025 年 1 月 15 日(水曜日)現在、インデックス化された Web は少なくとも 39.8 億ページの規模に達しており、オランダ語セクションだけで 20.4 億ページを超えています。このデータは、技術的な障壁によってすべての自動測定が停止し、Google のような主要検索エンジンに対して新鮮な統計へのアクセスが不可能となった前最後の重要なマイルストーンを表しています。現在の推計は、離線した DMOZ コーパス(100 万超の Web ページ)からの歴史的スナップショットおよび単語頻度分析を、Google、Bing、Yahoo、Ask の検索結果数と組み合わせることで行われています。ただし、Yahoo と Ask は総結果数の表示を停止したため、これらはもう測定されていません。インデックス間の重複は、ランダムな単語クエリのトップ 10 リストからの日常的な URL 件数を基に推定されています。測定は一時的にいくつかの時点で停止しており、特に 2006 年から 2023 年 2 月にかけては技術的な障害やデータの入手不能により実施されていません。これらの制限により、アクセス問題が解決されるまで正確なリアルタイム指標の利用は不可能であり、精密な Web サイズ統計に依存する業界や科学者に影響を与えています。この方法論および 9 年に及ぶ縦断的研究は、2016 年にティルブルフ大学の ILK 研究グループにより『Scientometrics』に掲載されました。
この改訂版のサマリーは、元のリストからのすべての主要な要点を含みつつ明瞭さを保ちながら、曖昧な表現や欠落している詳細を排除しています。
本文
インデックス化されたウェブの現状と推定手法について
最新のインデックス規模(2025 年 1 月 15 日時点)
- The Indexed Web: 少なくとも39.8 億ページ
- The Dutch Indexed Web: 少なくとも204.274 億ページ
データ収集の停止と代替案
【重要】Google データ取得の制限(2025 年 1 月 15 日以降)
- Google から自動データ取得が不可能となりました。
- 検索エンジンからの自動化されたデータ収集が極めて困難な状況にあります。
- その結果、数値収集およびウェブ規模計算の一時的停止に追い込まれました。
- 将来的に再度のアクセスを試みる予定ですが、当面は以下の歴史的データをご覧ください。
参照可能なインデックス推定規模
現在提供・測定可能な検索エンジン:
- Bing
- Yahoo Search
- ※注:Yahoo.com は総結果数表示を停止しているため、現在は測定対象外です。
- Ask
- ※注:Ask.com も総結果数表示を停止しているため、現在は測定対象外です。
補足: 上記のテーブル形式は過去データを示す想定であり、現在は Google と Bing のみが参照可能です。
インデックス化された Web(WWW)規模の推定手法
算出ロジック
インデックス化された世界 Wide Web の最小推定規模は、以下の手順で算出されます。
- 3 つの主要検索エンジン(Google, Bing, Yahoo Search)のインデックス化ページ数の推定値を取得。
- これら 3 つの推定値を合計。
- 検索エンジン間の重複部分(オーバーラップ)を差し引き。
注意: 算出される総規模は、実際の重複分以上の重複が差し引かれているため、**実際よりも小さめ(過小評価)**となります。
計算順序による差異
- 重複分の差し引き順序によって合計推定値が変化します。
- 当サイトに表示されている数値は、**Google を起点とする「GB 法」**に基づいています。
詳細な推定手法概要
各検索エンジンのインデックス規模と重複部分は、以下の技術的アプローチで推定されます。
基本プロセス
- クエリ送信: 毎日、50 語のクエリをすべての対象検索エンジンに送信します。
- データ記録: 各クエリに対する検索結果数(ウェブページ数)を記録します。
- 拡張推定:
- 背景コーパスにおける単語の相対頻度を考慮して、複数の推定値を算出。
- 算出された値を平均化。
- 手法の特徴:
- 使用される 50 語は、対数スケールで表現される頻度区間に均等かつバランスよく選択されています(ジップの法則に基づく)。
背景コーパスについて
- データ源:DMOZ。
- 構成: 100 万件超のウェブページを含む大規模オフラインテキストコーパス。
- 役割: 世界 Wide Web を代表するサンプルとして使用されます。
算出例(Google のケース)
- 前提: コーパス内で「the」という単語が含まれる割合が**67.61%**の場合。
- 入力データ: Google が「the」を含むと報告したページ数 = 14,100,000,000 ページ。
- 拡張推定結果:
- 算出式に基づくと、Google インデックス全体の規模は約236.33 億ページと推定されます。
データ重複(オーバーラップ)の推定
- 方法: 十分な数のランダムな語クエリにおいて、「トップ 10 に返却された URL の日次重複カウント」に基づいて算出。
- 単語選択: 使用される単語は、DMOZ の背景コーパスからランダムに抽出。
学術的裏付けと文献情報
この調査および手法の詳細については、以下の論文をご参照ください。
- 修士論文プロジェクト: ティル堡大学(TU Delft)芸術学部における ILK 研究グループにて実施されました。(オランダ語資料提供あり)。
- 関連論文: 『検索エンジンインデックス規模のばらつき推定:9 カ年の縦断的研究』
- 掲載誌:Scientometrics(科学計量学)
- 公開年:2016 年
- 更新日: 2016 年 2 月 9 日
データ収集休止期間(備考)
以下の期間に数値の収集は行われていません。
- 2006 年 7 月 7 日 – 8 月 7 日
- 2007 年 10 月 3 日 – 10 月 16 日(The Indexed Webのみ)
- 2008 年 1 月 19 日 – 1 月 30 日(The Dutch Indexed Web み)
- 2008 年 3 月 20 日 – 4 月 1 日
- 2010 年 5 月 5 日 – 5 月 14 日
- 2012 年 4 月 3 日 – 4 月 13 日
- 2012 年 7 月 11 日 – 7 月 29 日
- 2012 年 10 月 8 日 – 10 月 12 日
- 2013 年 5 月 10 日 – 5 月 30 日
- 2014 年 1 月 22 日 – 1 月 27 日
- 2014 年 7 月 10 日 – 9 月 17 日
- 2015 年 11 月 14 日 – 2016 年 1 月 11 日
- 2018 年 11 月 28 日 – 12 月 11 日
- 2019 年 10 月 25 日 – 11 月 10 日
- 2021 年 4 月 1 日 – 5 月 24 日
- 2022 年 11 月 19 日 – 2023 年 2 月 21 日