← 2026-03-11 の一覧へ戻るホーム
クラウドフレア クローラ エンドポイント

2026/03/11 7:27

クラウドフレア クローラ エンドポイント

RSS: https://news.ycombinator.com/rss

元のHacker News記事へ ↗
要約▶

Japanese Translation:

サマリー

Cloudflare の Browser Rendering サービスは、オープンベータ版の 

/crawl
エンドポイントを公開しました。これにより、単一の API コールでウェブサイト全体をクロールできます。

  • 仕組み:
    POST リクエストで開始 URL と任意の設定（depth、page limits、ワイルドカードパターン、

    render: false
    等）を送信します。サービスは sitemap やリンクから自動的にページを発見し、ヘッドレスブラウザでレンダリング（または 
    render: false
    の場合は静的 HTML を取得）して結果を非同期で返します。

  • 非同期ワークフロー:
    ジョブ ID が返され、その後 GET エンドポイントをポーリングして処理済みページを raw HTML、Markdown、または構造化 JSON として取得できます。

  • 主な機能:

    • 複数の出力形式（HTML、Markdown、JSON）
    • depth とワイルドカードベースのスコープ制御
    • modifiedSince
      /
      maxAge
      による増分クロール
    • robots.txt
      の crawl‑delay ディレクティブへの対応
    • Workers Free および Paid プランの両方で利用可能

  • インパクト:
    開発者はプログラム的にサイトコンテンツを取得でき、分析チームは構造化ページデータを収集し、SEO ツールは効率的にサイトをインデックスできます。さらに、従来のクローラに代わる低コストなオルタナティブとして、ウェブクロールエコシステム全体にも貢献します。

このバージョンでは、Key Points List の主要ポイントすべてを保持しつつ、メインメッセージを明確かつ曖昧さのない表現にしています。

本文

ブラウザレンダリング – /crawl エンドポイント（オープンベータ）

単一の API 呼び出しでウェブサイト全体をクロールできます。開始 URL を送信すると、サービスが自動的にページを検出し、ヘッドレスブラウザでレンダリングして、HTML・Markdown・構造化 JSON の複数フォーマットで返します。

  • モデルの学習、RAG パイプラインの構築、サイト全体のコンテンツ調査や監視に有用です。
  • クロールジョブは非同期で実行されます：URL を送信 → ジョブ ID を受け取る → ページが処理されるたびに結果をポーリングします。

API 呼び出し例

クロールの開始

curl -X POST 'https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl' \
  -H 'Authorization: Bearer <apiToken>' \
  -H 'Content-Type: application/json' \
  -d '{ "url": "https://blog.cloudflare.com/" }'

結果の確認

curl -X GET 'https://api.cloudflare.com/client/v4/accounts/{account_id}/browser-rendering/crawl/{job_id}' \
  -H 'Authorization: Bearer <apiToken>'

主な機能

  • 複数出力フォーマット – HTML、Markdown、および Workers AI が生成する構造化 JSON。
  • クロール範囲制御 – クロール深さ、ページ上限、ワイルドカードパターンで URL パスの包含・除外を設定可能。
  • 自動ページ検出 – サイトマップやページリンクから URL を取得（両方とも可）。
  • 増分クロール – 
    modifiedSince
    と 
    maxAge
    を利用して変更されていないページをスキップし、再クロール時の時間とコストを削減。
  • 静的モード – 
    render: false
    を設定すると、ブラウザ起動せずに静的 HTML を取得でき、静的サイトの高速クロールが可能。
  • 礼儀正しいボット – robots.txt の指示（crawl-delay も含む）を尊重します。

Workers Free と Paid プランの両方で利用可能です。

開始するには、crawl エンドポイントのドキュメント を参照してください。
自サイトをクロール対象に設定する場合は、robots.txt とサイタマップのベストプラクティスを確認してください。

同じ日のほかのニュース

一覧に戻る →

2026/03/10 23:50

トニー・ホーア氏が亡くなられました。

## Japanese Translation: **改訂要約** トニー・ホアー（Turing Award受賞者で現代コンピューティングを形作った先駆者）は、2026年3月5日に英国ケンブリッジで92歳で亡くなりました。1934年1月11日生まれの彼は、古典文学と哲学を学び、国防サービス中に共同軍事語学学校（Joint Services School for Linguists）でロシア語を訓練し、その間にソビエト計算機と協力しました。ホアーの最も有名な業績はクイックソート、ALGOLプログラミング言語への貢献、およびホア論理（Hoare logic）の基礎化であり、これらが世界的に称賛されました。有名な逸話として、Elliott Brothers Ltdの上司と6ペンスを賭けてクイックソートが速いかどうかを挑戦したエピソードがあります。彼は勝ち、報酬を受け取りました。マイクロソフト・ケンブリッジ在籍中には、午後に地元のアーツピクチャハウスシネマ（Arts Picturehouse）を訪れることが多かったと述べています。また、彼はホラー映画や『グッド・ウィル・ハンタリング』などで描かれる天才像は非現実的だと指摘し、本物の専門知識には何年もの努力が必要だと主張しました。ホアーは将来のコンピューティング制限は公衆の認識を超える可能性があると警告し、暗号技術や量子テクノロジーへの影響を示唆しました。そのユーモア、忍耐力、鋭い記憶力、そして謙虚さはアルゴリズム、プログラミング言語、ソフトウェア工学の実践、および広範な研究コミュニティに永続的な影響を残しました。

2026/03/11 7:33

U+237C ⍼ は方位角です。

## Japanese Translation: 記事は、あまり知られていない文字「⍼」を調査し、中世20年代のドイツ語フォントカタログに数例登場するものの、それ以前の記録には存在しないことを指摘しています。最も顕著な証拠は1950年のH. Berthold AG シンボルカタログで、⍼が明示的に「Azimut/Richtungswinkel」（方位角・方向角）とラベル付けされている点です。1949–1952 年の Zeichenprobe および Schriftprobe 系列のコピーにはすべてこの文字が含まれていますが、1909 年の Hauptprobe や 1900 年の Schriftproben のようなそれ以前のカタログでは言及されていません。全ページスキャンにより、これら中世20年代の資料での存在とその他の場所での欠如が確認されています。Mastodon ユーザーは、この形状がセクスタントを通過する光線に似ていると指摘し、航海関連の起源を示唆しています。この記事は、⍼ が水上用記号として意図されたものかどうか、およびフォント版でどのように進化したかをさらに研究すべきだと結論付けています。この明確化は、タイポグラフィー史家、歴史的字体を参照するデザイナー、および遺産文書を扱う航海関連業界に有益となるでしょう。

2026/03/11 4:09

私が眠っている間に稼働するエージェント

## Japanese Translation: 記事では、AI エージェントがテスト駆動開発（TDD）を通じてコードを書きつつ、同じエージェントが生成・実行するのではなく「外部」検証に依存する新しいワークフローを提案しています。著者は Gastown などの自律型エージェントを構築しましたが、その内部テスト生成は信頼性が低く、シンタックス的には正しくても論理エラーを含むコードを出力してしまうことがあります。 Claude Code ワークショップで100人以上のエンジニアと共に実施した結果、プルリクエストのマージ率は週40〜50件（約10件）から大幅に上昇しましたが、AI が生成した変更点をレビューする時間も増えました。同じ AI が自分の出力をテストすると「自己賞賛機械」になり、安全性に欠けるためです。 提案された解決策では、開発者はエージェントへプロンプトを与える前に、英語で受け入れ基準（Acceptance Criteria）を書きます。これによりエッジケースを考慮し、仕様が明確になるよう強制されます。その後、エージェントはそれらの基準を満たす機能を構築します。検証は次のように行われます。 - **フロントエンド**：Playwright ブラウザ エージェントが各基準を実行し、スクリーンショットを取得して判定レポートを生成します。 - **バックエンド**：`curl` コマンドで API 応答を期待されるステータスコードや JSON 構造と照合します。 完全な差分（diff）をレビューする代わりに、失敗した受け入れ基準のみを検査することでレビュープロセスが大幅に短縮されます。Claude Skill（`github.com/opslane/verify`）はこのプロセスを4段階でオーケストレーションします ― 事前チェック、Opus プランナー、Sonnet ブラウザ エージェント、および最終 Opus ジャッジ ― を通じて判定を出力します。 ツールは既存の Claude OAuth のみで追加 API キーは不要であり、CI に `claude -p` コマンドを一つ実行するだけで統合できます。ワークフローは開発速度とマージ率を向上させますが、テストでは検出できない仕様ミスを人間の監視で捕捉する必要があります。

クラウドフレア クローラ エンドポイント | そっか～ニュース