Cloudflare vs Perplexity論争を完全解説｜robots.txtを無視する「ステルスクローラー」問題とAIエージェントの境界線

2025年8月、Cloudflareが衝撃的な告発を行いました。AI検索エンジンのPerplexityが、ウェブサイトのrobots.txtによるクロール禁止指示を回避するため、偽装したユーザーエージェントや未宣言のIPアドレスを使用してデータを収集しているというのです。この告発に対し、Perplexityは「botとAIエージェントは根本的に異なる」という反論を展開。AI時代における情報アクセスの在り方を巡る、重要な論争に発展しています。

Cloudflareの告発：ステルスクローラーによるデータ収集の実態

実験で明らかになった驚きの事実

Cloudflareは、Perplexityの行動を検証するため、巧妙な実験を実施しました：

1. テスト用ドメインの作成
   • 検索エンジンにインデックスされていない完全に新しいドメインを作成
   • 公開的にアクセス可能な方法では発見できないように設定
   • robots.txtで全てのボットを明示的に禁止
2. 衝撃の結果
   • Perplexityに質問したところ、これらの制限されたドメインの詳細な内容を正確に回答
   • robots.txtの指示を完全に無視してアクセスしていたことが判明

発見された2種類のクローラー

Cloudflareの分析により、Perplexityが使用している2つのクローラータイプが特定されました：

クローラータイプ	ユーザーエージェント	日次リクエスト数	特徴
宣言済みクローラー	Perplexity-User/1.0	2,000万〜2,500万	公式に宣言されたbot
ステルスクローラー	Chrome/124.0.0.0（偽装）	300万〜600万	通常のChromeブラウザを装う

問題行動のパターン

Cloudflareが指摘したPerplexityの問題行動：

• ユーザーエージェントの偽装：ブロックされると、通常のChromeブラウザのように見せかける
• IPアドレスの変更：公式のIP範囲外から複数のアドレスを使用してアクセス
• ASN（自律システム番号）の変更：クロール活動を隠蔽するため、異なるネットワークから接続
• robots.txtの無視：多くの場合、robots.txtファイルの取得すら試みない

Perplexityの反論：「AIエージェントはボットではない」

根本的な違いの主張

Perplexityは、Cloudflareの告発に対して以下のような反論を展開しました：

観点	従来のWebクローラー	AIエージェント（Perplexity）
動作タイミング	自動的・継続的にクロール	ユーザーの質問時のみアクセス
データ保存	インデックスとして保存	保存せず、即座に処理して破棄
目的	検索エンジンの構築	ユーザーの質問への回答
主体性	システムの自律的判断	ユーザーの明示的な要求

「ユーザー駆動型」という主張の論理

Perplexityの主張の核心は、「AIエージェントはユーザーの代理として行動している」という点です：

• ユーザーが特定の情報を求めた時のみWebページにアクセス
• これは人間がブラウザで直接アクセスするのと本質的に同じ
• 従って、robots.txtによる制限の対象外であるべき

技術的な反論ポイント

1. トラフィックの誤認
   • Cloudflareが指摘した300万〜600万の「ステルス」リクエストは、実際にはBrowserBaseという第三者サービスのトラフィック
   • Perplexityが実際に使用しているのは、その中の4万5000リクエスト程度のみ
2. 特殊なケースへの対応
   • 一部のサイトがPerplexityのユーザーエージェントをブロックしている場合の代替手段
   • ユーザーのニーズに応えるための必要悪という立場

業界への影響と他社の対応

AI業界の現状

TollBitの2025年第1四半期レポートによると：

指標	数値	意味
スクレイピング増加率	87%増	AI関連のデータ収集が急増
robots.txt無視率	3.3%→12.9%	ルールを守らないボットが4倍に
RAG用スクレイピング	49%増	リアルタイム回答用のデータ収集が主流に

他社AIサービスとの比較

Cloudflareは同じテストをChatGPTでも実施し、以下の結果を得ました：

• ChatGPT：robots.txtを確認し、禁止されている場合はクロールを停止
• OpenAI：ウェブサイトオーナーの意向を尊重する姿勢を維持
• Perplexity：制限を回避してでもユーザーに情報を提供することを優先

論争の本質：情報アクセスの自由 vs コンテンツ所有者の権利

支持派の論理

Perplexityを支持する立場からは、以下のような意見が出ています：

• インターネットの情報は誰もがアクセスできるべき公共財
• AIエージェントは人間の能力を拡張するツールに過ぎない
• robots.txtは検索エンジンのインデックス作成を制御するものであり、個別のアクセスを制限するものではない

批判派の論理

一方、Cloudflareや多くのウェブサイトオーナーは以下を主張：

• コンテンツ制作者には自身のコンテンツの利用方法を決める権利がある
• 広告収入やトラフィックがAIサービスに奪われることは不当
• 技術的な抜け道を使った回避行為は倫理的に問題がある

SEO担当者・ウェブマスターへの影響と対策

考慮すべきリスク

1. コンテンツの無断利用
   • robots.txtでブロックしても、AIサービスがコンテンツを取得する可能性
   • オリジナルコンテンツへのトラフィックが減少するリスク
2. 技術的対策の限界
   • ユーザーエージェントやIPアドレスによるブロックが効かない
   • 正当なユーザーとAIエージェントの区別が困難

推奨される対策

対策	効果	注意点
Cloudflareの保護機能	高度なボット検出	誤検知の可能性
認証の実装	確実なアクセス制御	ユーザビリティの低下
法的措置の検討	抑止効果	費用と時間がかかる
AI.txtの導入検討	AI専用の制御	まだ標準化されていない

今後の展望：AI時代の新しいルール作り

この論争は、以下のような重要な問題を提起しています：

1. 技術的な課題

• AIエージェントと従来のボットを区別する明確な基準の必要性
• ユーザーの代理としてのアクセスをどう定義するか
• 新しい技術標準（AI.txtなど）の開発と普及

2. 倫理的な課題

• 情報へのアクセス権とコンテンツ所有権のバランス
• AI企業の責任と透明性の確保
• ウェブエコシステムの持続可能性

3. ビジネスモデルの再考

• 広告収入に依存するモデルの限界
• AIサービスとコンテンツ提供者の共存方法
• 新しい収益分配モデルの必要性

まとめ：変革期におけるバランスの重要性

Cloudflare対Perplexityの論争は、単なる技術的な対立を超えて、AI時代におけるウェブの在り方を問う重要な議論です。

重要なポイント：

• Perplexityの行動は技術的には問題があるが、ユーザーニーズに応えようとする姿勢も理解できる
• 現在のrobots.txtシステムは、AI時代に対応できていない可能性がある
• コンテンツ制作者の権利を守りながら、イノベーションを促進する新しい枠組みが必要

ウェブマスターやSEO担当者は、この変化に注意を払い、適切な対策を講じながら、同時に新しい時代のルール作りに参加していく必要があるでしょう。AI技術の発展とウェブの開放性を両立させる道を、業界全体で模索していくことが求められています。

参考リンク

• Cloudflareの告発記事
• Perplexityの反論記事
• Perplexityクローラーのドキュメント