
2026/01/20 2:03
「robots.txt を修正しないと、サイトはGoogleから消えてしまいます。」
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
ウェブサイトはルートレベルの
robots.txt がない場合、Google の検索結果から消えてしまうことがあります。ファイルが無いと Googlebot はサイトのどの部分をクロールすべきか判断できず、Google Support の 2025 年 7 月 23 日付けページ(「Fix ‘robots.txt unreachable’ Error ~ Website Not Indexing?」)では、到達不能な robots.txt がクロール全体を停止させ、検索結果にすべてのページが表示されなくなると説明しています。
アダム・コスタは実際にこの現象を観察しました。彼のサイトから
robots.txt を削除した後、Google からのトラフィックが急激に減少し、新しい投稿はインデックスされず、古い投稿だけが外部リンク経由で可視化されたままでした。サポート動画も同じ挙動を確認しており、Google は robots.txt がなくても数ページのレガシーコンテンツをインデックスし続ける可能性があると指摘しています。
迅速な対処法は、ルートレベルに次の内容を含む
robots.txt を作成することです:
User-agent: * Allow: /
このディレクティブは IETF の仕様(2022 年 9 月時点)で正式に有効とされています。2010 年の Stack Overflow 討論ではその妥当性が議論されましたが、後の仕様で受け入れられました。
ウェブマスターはこのファイルを見落としてはいけません。省略するとオーガニックトラフィックと収益に大きな損失を招く可能性があります。一方、復元すれば通常のクロールとインデックスが回復します(ただし Google は外部リンク経由で古いページを表示し続ける場合があります)。
本文
2026年1月
TL;DR
サイトに
robots.txt ファイルが無い、または Googlebot がそれへアクセスできない場合、Google の検索結果からあなたのサイトは削除されます。
この件を解説した Google Support の動画はこちらです:
え? 何?
Adam Coster はサイトトラフィックに奇妙な問題に直面し、Shop Talk Show Discord に投稿しました。Google から来るトラフィックは次のようになっていました:
[トラフィックグラフ]
問題は、
robots.txt ファイルが無いと Google がサイトをインデックスしないという点にあるようでした。
最初に思ったことは「あり得ない」ということ。
Google が自ら進んでコンテンツ量を減らすとは想像できません。調べてみると、確かに 2025年7月23日付けの Google Support のページが見つかりました:
Fix ‘robots.txt unreachable’ Error ~ Website Not Indexing?
そのページの動画からの抜粋は次の通りです:
「あなたの robots.txt ファイルは、Googlebot が最初に探すものです。もしこのファイルへ到達できないと、処理を止めてサイト全体をクロールしません。つまり、ページが Google 上で見えなくなるということです。」
なんとも衝撃的。
最近の変更かどうかは調べていませんが、必ず何らかの変化があったに違いありません。根本的なものが急に忘れ去られることは考えにくいです。しかし時期は重要ではなく、現在の状態として受け止めるしかありません。
この情報は私を完全に驚愕させました。サイトにはトラッキングも無く、誰かが指摘しなければ気づかなかったでしょう。
– a
参考文献
Adam がトラフィックグラフを共有してくれたことに感謝します。
迅速に対処したい場合は、ウェブサイトのルート(例:
https://www.example.com/robots.txt)に robots.txt というテキストファイルを作成してください。内容は次のとおりです:
User-agent: * Allow: /
これは Google の How to write and submit a robots.txt ページから引用したコードで、Googlebot(および同様にこのファイルを利用する他のボット/クローラー/スクレーパー)に対しサイト上のすべてのリソースへのアクセスを許可します。
robots.txt ファイルについてさらに知りたい場合は、ロボット排除標準(Wikipediaページ) をご覧ください。
Stack Overflow のトップ回答では
が仕様上無効であるという議論があります。コメントの日付は「1年以上前」ですが、質問自体が2010年のものであれば、その時点からおそらく同様の見解だったでしょう。ただし 2022年9月に IETF が発表した最新版ではAllow: /は有効とされています。Allow: /
現在私は
robots.txt を持っていません。長い間存在していませんでしたが、Google はサイト内ファイルを検索するときにまだ二件の結果を表示します:
[検索結果スクリーンショット]
外部リンクの影響か、それらが過去にインデックスされたためだろうと推測していますが…
私のサイトには 3,000 件以上の投稿があります。過去に多く、少なくともすべてではないものの掲載されたことは知っています。
2025年12月27日の最初の検索結果から、翌日(1月6日)に出た二つの結果まで、私は多くの投稿を作成しましたが、なぜそれら二件だけが表示されるのでしょうか。
「bama braves logo」で一般的に Google 検索したときに最初の検索結果はもともとあったものですが、そのページは現在インデックスから外れています。
動画では「robots.txt ファイルへアクセスできない場合、Googlebot が停止する」と述べられています。私はこれをファイルが存在しなければボットが停止すると解釈しています。つまり、ファイルが無いと 404 を返しても Googlebot は止まる可能性があります。
動画ではこの点については具体的に触れていませんが、Adam のサイトに
robots.txt が無かったことから全体の投稿を始めたため、私はそのように理解しています。
多くの AI クローラーが近年急増している中で、Google はデータ取り込み方を「思いやり」ある形にしようとしているのでしょうか?この要件がどんな議論から生まれたのか、とても興味があります。