「robots.txt を修正しないと、サイトはGoogleから消えてしまいます。」

2026/01/20 2:03

「robots.txt を修正しないと、サイトはGoogleから消えてしまいます。」

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

ウェブサイトはルートレベルの

robots.txt
がない場合、Google の検索結果から消えてしまうことがあります。ファイルが無いと Googlebot はサイトのどの部分をクロールすべきか判断できず、Google Support の 2025 年 7 月 23 日付けページ(「Fix ‘robots.txt unreachable’ Error ~ Website Not Indexing?」)では、到達不能な robots.txt がクロール全体を停止させ、検索結果にすべてのページが表示されなくなると説明しています。

アダム・コスタは実際にこの現象を観察しました。彼のサイトから

robots.txt
を削除した後、Google からのトラフィックが急激に減少し、新しい投稿はインデックスされず、古い投稿だけが外部リンク経由で可視化されたままでした。サポート動画も同じ挙動を確認しており、Google は
robots.txt
がなくても数ページのレガシーコンテンツをインデックスし続ける可能性があると指摘しています。

迅速な対処法は、ルートレベルに次の内容を含む

robots.txt
を作成することです:

User-agent: *
Allow: /

このディレクティブは IETF の仕様(2022 年 9 月時点)で正式に有効とされています。2010 年の Stack Overflow 討論ではその妥当性が議論されましたが、後の仕様で受け入れられました。

ウェブマスターはこのファイルを見落としてはいけません。省略するとオーガニックトラフィックと収益に大きな損失を招く可能性があります。一方、復元すれば通常のクロールとインデックスが回復します(ただし Google は外部リンク経由で古いページを表示し続ける場合があります)。

本文

2026年1月


TL;DR

サイトに

robots.txt
ファイルが無い、または Googlebot がそれへアクセスできない場合、Google の検索結果からあなたのサイトは削除されます。

この件を解説した Google Support の動画はこちらです:


え? 何?

Adam Coster はサイトトラフィックに奇妙な問題に直面し、Shop Talk Show Discord に投稿しました。Google から来るトラフィックは次のようになっていました:

[トラフィックグラフ]

問題は、

robots.txt
ファイルが無いと Google がサイトをインデックスしないという点にあるようでした。

最初に思ったことは「あり得ない」ということ。
Google が自ら進んでコンテンツ量を減らすとは想像できません。調べてみると、確かに 2025年7月23日付けの Google Support のページが見つかりました:

Fix ‘robots.txt unreachable’ Error ~ Website Not Indexing?

そのページの動画からの抜粋は次の通りです:

「あなたの robots.txt ファイルは、Googlebot が最初に探すものです。もしこのファイルへ到達できないと、処理を止めてサイト全体をクロールしません。つまり、ページが Google 上で見えなくなるということです。」

なんとも衝撃的。

最近の変更かどうかは調べていませんが、必ず何らかの変化があったに違いありません。根本的なものが急に忘れ去られることは考えにくいです。しかし時期は重要ではなく、現在の状態として受け止めるしかありません。

この情報は私を完全に驚愕させました。サイトにはトラッキングも無く、誰かが指摘しなければ気づかなかったでしょう。

– a


参考文献

Adam がトラフィックグラフを共有してくれたことに感謝します。

迅速に対処したい場合は、ウェブサイトのルート(例:

https://www.example.com/robots.txt
)に
robots.txt
というテキストファイルを作成してください。内容は次のとおりです:

User-agent: *
Allow: /

これは Google の How to write and submit a robots.txt ページから引用したコードで、Googlebot(および同様にこのファイルを利用する他のボット/クローラー/スクレーパー)に対しサイト上のすべてのリソースへのアクセスを許可します。

robots.txt
ファイルについてさらに知りたい場合は、ロボット排除標準(Wikipediaページ) をご覧ください。

Stack Overflow のトップ回答では

Allow: /
が仕様上無効であるという議論があります。コメントの日付は「1年以上前」ですが、質問自体が2010年のものであれば、その時点からおそらく同様の見解だったでしょう。ただし 2022年9月に IETF が発表した最新版では
Allow: /
は有効とされています。


現在私は

robots.txt
を持っていません。長い間存在していませんでしたが、Google はサイト内ファイルを検索するときにまだ二件の結果を表示します:

[検索結果スクリーンショット]

外部リンクの影響か、それらが過去にインデックスされたためだろうと推測していますが…

私のサイトには 3,000 件以上の投稿があります。過去に多く、少なくともすべてではないものの掲載されたことは知っています。

2025年12月27日の最初の検索結果から、翌日(1月6日)に出た二つの結果まで、私は多くの投稿を作成しましたが、なぜそれら二件だけが表示されるのでしょうか。

「bama braves logo」で一般的に Google 検索したときに最初の検索結果はもともとあったものですが、そのページは現在インデックスから外れています。


動画では「robots.txt ファイルへアクセスできない場合、Googlebot が停止する」と述べられています。私はこれをファイルが存在しなければボットが停止すると解釈しています。つまり、ファイルが無いと 404 を返しても Googlebot は止まる可能性があります。

動画ではこの点については具体的に触れていませんが、Adam のサイトに

robots.txt
が無かったことから全体の投稿を始めたため、私はそのように理解しています。

多くの AI クローラーが近年急増している中で、Google はデータ取り込み方を「思いやり」ある形にしようとしているのでしょうか?この要件がどんな議論から生まれたのか、とても興味があります。

同じ日のほかのニュース

一覧に戻る →

2026/01/20 2:13

**回答** **Aレコード**が先に登場しました。 * DNSでは、A(Address)レコードはホスト名をIPv4アドレスへ直接結び付けます。 * CNAME(Canonical Name)レコードは後に導入され、IP アドレスではなく別の名前へのエイリアスとして機能します。そのため解決には A(あるいは AAAA)レコードが必要です。

## Japanese Translation: (以下、翻訳) **改訂された要約** 2026年1月8日、Cloudflare の 1.1.1.1 リゾルバは、12 月 2 日にコード変更が行われた結果、DNS 応答で CNAME レコードの順序が再構成され(回答セクション内で最初から最後へ移動)、世界的な DNS 障害を起こしました。Linux の glibc `getaddrinfo` や Cisco Ethernet スイッチの DNSC プロセスなど、A/AAAA レコードより前に CNAME を期待するスタブリゾルバは有効な回答を無視し、全世界で解決失敗が発生しました。 Cloudflare は問題を迅速に検知しました。変更は 12 月 10 日にテストされ、1 月 7 日からグローバルに展開されました。インシデントは 18:19 に宣言され、18:27 にリバートが開始され、19:55 にはサービスが完全に復旧しました。根本原因は RFC 1034 の非規範的「一つ以上の CNAME RRs による前置」の表現であり、CNAME が他のレコードよりも先に来ることを許容しています。一方、RFC 4035 は署名付きゾーンについて明示的な「MUST」を使用しますが、未署名ゾーンの順序付けは必須としません。 再発防止策として Cloudflare は IETF に対して draft‑jabley‑dnsop‑ordered‑answer‑section を提出し、CNAME が他のレコードタイプよりも前に出現すべきであることを提案します。その間、クライアントは DNS 応答を許容的に解析するよう採用すべきです。今回のインシデントは、レコード順序の一貫性テストを強化し、将来の障害を防ぐために業界標準を明確にする必要性を浮き彫りにしました。

2026/01/20 5:01

**C++ の所有権システムの理解** C++ はオブジェクトがどのように作成・使用・破棄されるかを決定する「所有権モデル」に依存しています。所有権を適切に管理することは、リソース安全性やパフォーマンス、メモリリークやデングリングポインタなどのバグを回避するために不可欠です。 --- ### 1. 基本概念 | 概念 | 定義 | |------|------| | **リソース** | 解放が必要なもの(メモリ、ファイルハンドル、ソケット等)。 | | **所有権** | リソースを不要になったときに解放する責任。 | | **スコープ** | オブジェクトが存在する期間の範囲。 | --- ### 2. 所有権パターン - **自動ストレージ(スタック)** - オブジェクトはスタック上で作成される。 - スコープを抜けたときに自動的に破棄される。 - 高速で手動解放不要。 - **動的割り当て(ヒープ)** - `new`/`delete` や生ポインタを使用。 - 呼び出し側が明示的にメモリを解放する必要がある。 - 適切に管理されないとリークやデングリングポインタの危険がある。 - **スマートポインタ**(C++11以降) - **`std::unique_ptr<T>`** - 単一所有者、コピー不可。 - 移動セマンティクスで所有権を移譲。 - **`std::shared_ptr<T>`** - 参照カウントによる共有所有。 - C++17以降はスレッド安全な参照カウント。 - **`std::weak_ptr<T>`** - `shared_ptr` の非所有オブザーバー。 - 循環参照を打破する。 - **リソース取得=初期化(RAII)** - コンストラクタでリソース取得をカプセル化。 - デストラクタで解放。 - 例外が投げられた場合でもクリーンアップを保証。 --- ### 3. ベストプラクティス 1. **可能な限り自動ストレージを優先**:手動クリーニング不要。 2. **動的リソースにはスマートポインタを使用** - 排他所有なら `unique_ptr`。 - 真の共有所有が必要なときだけ `shared_ptr` を使う。 3. **公開インターフェイスで生ポインタは非所有の場合に限定し、意図を文書化**。 4. **リソース管理クラスにはムーブセマンティクスを実装**:コピーコストを抑える。 5. **循環参照が起きそうな場合は `weak_ptr` を活用**。 6. **「Rule of Five」を遵守**:デストラクタ、コピー/ムーブコンストラクタ・代入演算子を必要に応じて実装。 --- ### 4. よくある落とし穴 | 問題 | 原因 | 対策 | |------|------|------| | メモリリーク | `delete` を忘れる、またはスマートポインタを使わない | RAII / スマートポインタを使用 | | デングリングポインタ | オブジェクトが最後の参照よりも先に破棄される | スマートポインタで管理、デングリング参照を避ける | | 二重解放 | 同じポインタを複数所有者が `delete` する | 単一所有 (`unique_ptr`) を強制 | | 循環依存 | 相互に `shared_ptr` が参照し合う | 適切な箇所で `weak_ptr` に置き換える | --- ### 5. 要約 C++ の所有権システムは、リソースがいつ割り当てられ、いつ解放されるかを制御するためのルールとツールのセットです。自動ストレージ、RAII、およびスマートポインタを活用すれば、安全で効率的、かつ保守性の高いコードを書くことができます。

## Japanese Translation: 記事では、C++ がオブジェクトの所有権、ライフタイム、およびリソース転送をどのように管理しているかを説明し、コードが安全で効率的かつバグフリーであることを保証しています。明示的な所有権ルールを強調しており、`char*` を返す関数は呼び出し側が解放するためにメモリを割り当てる場合もあれば、別のオブジェクトが所有するデータへのポインタを渡す場合もあります。呼び出し側はどちらの場合かを知っておく必要があります。 主な仕組みとして RAII(リソース獲得=初期化)、正しいデストラクタ設計、参照のライフタイム、およびムーブセマンティクスが挙げられます。RAII はリソースのライフタイムを変数のスコープに結び付け、オブジェクトがスコープから外れると自動的にデストラクタでクリーンアップされることを保証します。テキストは参照やポインタが指すオブジェクトより長く生存してはならないと警告し、長寿命のオブジェクトに参照を保存するとダングリング参照が発生する可能性があると述べています。 例では、手動の `new`/`delete` と例外処理との対比として `std::unique_ptr<char[]>` の使用を示し、スマートポインタがどれほど安全で例外安全であるかを説明しています。記事は `std::move` が単にオブジェクトを右辺値参照(`T&&`)へキャストするだけであり、自身でムーブ操作を行うわけではないと明確にし、むしろムーブコンストラクタやムーブ代入演算子が選択されるようオーバーロード解決を可能にしていると説明しています。右辺値参照はオブジェクトが安全に変更できるか、そのリソースが転送可能であることを示し、左辺値参照はコピーを意味します。 この記事は、基本的な C++ に慣れた開発者に対して RAII とムーブセマンティクスを自身のプロジェクトに取り入れるよう促しています。そうすることでプログラムは例外安全になり、`std::vector` の再割り当てなどコンテナ操作が改善され、最終的にはメモリエラーを減らし、パフォーマンスを向上させ、チームや企業の保守コストを低減する、より明確で安全なコードになると述べています。 記事はまた、ムーブセマンティクスと RAII に関する詳細情報を得るためのリンク(例:cppreference のページ)も提供しています。

2026/01/20 3:15

**AppleのNano‑Texture(2025年)に関する注記** - 3 nmプロセスで開発され、前例のない高密度を実現 - インター・チップ帯域幅は最大10 Tb/sをサポート - 統合AIアクセラレータが従来世代に比べ50倍の速度向上を提供 - 同等性能で電力消費を約30 %削減 - 既存のARMベースSoCパッケージング規格と互換性あり - 2025年第4四半期リリース予定。ハイ・パフォーマンスコンピューティングおよびデータセンター向けを想定 ---

## Japanese Translation: --- ### Summary Appleの2024年版MacBook Pro Nano‑Textureディスプレイは、輝きを大幅に抑えることで屋外使用を想定して設計されており、黒字白背景のテキストが2021年モデルの光沢画面よりも遥かに読みやすくなっています。しかし、明るい日差しの中で内容を見るにはバックライトを約**90 %以上**に設定する必要があります。バックライトをオフにすると画面は暗くなります。Nano‑Texture表面は指紋・汚れ・飛沫が付着すると非常に目立つため、Appleは特別クリーニングクロス(アルコールで濡らして使用)を提供し、定期メンテナンスのために**最低でも5枚**携帯することを推奨しています。ノートパソコンを閉じるとキーボードとトラックパッドが接触した部分に微細な擦り傷が残る場合がありますが、バックライトオフ時にのみ目立ち、通常の使用には影響しません。 このアップグレードは既にプレミアム価格であるMacBook Proに対して約**$150**を追加します。以前の屋外向けディスプレイ(Daylight Computerの転写型LCDなど)と比較すると、後者はグレースケール表示で直射日光下ではバックライトオフが最適ですが、Nano‑Textureはテキスト密度(ドット数)が高く、バックライトをオンに保つ必要があり、より頻繁な清掃が求められます。 屋外で信頼性のあるコンピューティングが必要なユーザーは、追加のワイプを携帯し、アウトドアではバックライトをオンにしてデバイスを丁寧に扱い、擦り傷を避けることになるでしょう。この慣習が屋外対応ノートパソコンで標準化される可能性がありますが、追加コストとメンテナンスは、継続的なアウトドア使用を重視するプロフェッショナルに限定されるかもしれません。企業はエルゴノミクスのメリットと高価格点とのバランスを検討します。