AIO
AIクローラーのrobots.txt設定|
明示許可が逆効果になる罠
GPTBotやClaudeBotなどのAIクローラーをrobots.txtで許可・拒否する書き方です。
明示許可のグループを足すと全体ルールが外れる仕様を実測で示し、学習用と検索用トークンの違い、WordPressでの注意点までまとめます。
「AIに読んでもらいたいので、robots.txtでAIクローラーを明示的に許可しました」というご相談が増えました。
設定ファイルを見せていただくと、GPTBotやClaudeBotの名前がずらりと並び、それぞれに Allow: / が書かれています。
善意の設定ですし、そう勧める記事も実際に出回っています。
ところが、この書き方は効果がないどころか、全体向けに書いた制限を外してしまうことがあります。
弊社の自社サイトがまさにその状態でした。
本記事は、実物のrobots.txtをパーサに通した結果と、各社の公式ドキュメントを実取得した内容をもとに、AIクローラーの許可・拒否をどう書くべきかを整理したものです。
AIクローラーは「学習用」「検索用」「ユーザー起点」の3種類に分かれます
まず前提です。
1つの事業者が複数のクローラーを運用しており、役割がまったく違います。
ここを混ぜると「学習させたくないだけなのにAI検索からも消えた」という事故が起きます。
以下は2026年10月6日時点で各社の公開ドキュメントを実取得して整理したものです。
| 事業者 | トークン | 役割 | 拒否すると起きること |
|---|---|---|---|
| OpenAI | GPTBot | モデル学習用のクロール | 学習データから外れる。ChatGPT検索の表示には影響しない |
| OpenAI | OAI-SearchBot | ChatGPTの検索機能の索引 | ChatGPTの検索回答に表示されなくなる |
| OpenAI | ChatGPT-User | ユーザー操作をきっかけにした取得 | ユーザーがURLを渡しても読み取れなくなる |
| OpenAI | OAI-AdsBot | 広告のリンク先の安全性確認 | 広告出稿時の審査に影響する |
| Anthropic | ClaudeBot | 学習に使う可能性のある収集 | 学習データから外れる |
| Anthropic | Claude-SearchBot | 検索回答の関連性・正確性の改善 | Claudeの検索結果での露出が下がる可能性がある |
| Anthropic | Claude-User | ユーザーがサイト参照を求めたときの取得 | ユーザー起点の参照ができなくなる |
Googlebot | Google検索のクロール | 検索から消える。AI Overviewsの引用もここが元 | |
Google-Extended | Geminiの学習とグラウンディング | 検索の掲載・順位には影響しない | |
| Perplexity | PerplexityBot | 検索結果に掲載・リンクするための巡回 | Perplexityの回答から消える |
| Perplexity | Perplexity-User | ユーザーの質問をきっかけにした取得 | robots.txtには従わないと公式に明記 |
| 共通基盤など | CCBot / Bytespider / Applebot-Extended / Meta-ExternalAgent / Amazonbot | 学習用データ収集など | 各社の学習データから外れる |
実務上もっとも重要なのは、OpenAIの2トークンの非対称性です。
公式ドキュメントは、GPTBotの拒否は学習からの除外であり、ChatGPTの検索回答への表示を決めるのはOAI-SearchBotの方だと明記しています。
「AIに勝手に学習されたくない」と「AI検索から集客したくない」はまったく別の判断です。
前者だけが目的なら、止めるのは学習用トークンだけにします。
Googleも同じ構造です。
Google-Extendedは検索の掲載にも順位にも影響しないと明記されている一方、AI Overviewsの引用はGooglebotでクロールした内容を使います。
Google-Extendedを拒否してもAI Overviewsからは消えませんし、逆にGooglebotを止めれば検索ごと消えます。
AI Overviews側の対策はAI Overviewsに引用される方法で扱っています。
最大の落とし穴:明示許可のグループを足すと、全体向けの指定が外れます
robots.txtのグループ選択の仕様はこうです。
クローラーは自分の名前に一致したグループを1つだけ読み、* のグループは完全に無視します。
「全体ルール+個別ルール」の重ね合わせにはなりません。
弊社の自社サイトのrobots.txtは、こうなっていました(実物の抜粋)。
# 全クローラー許可
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
# AI検索エンジンクローラーを明示許可
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
(以下、20トークンぶん同じ形が続く)
これを実際にパーサへ通します。
Googleの仕様に準拠した実装(Pythonの protego)に、本番の https://frontierline.co.jp/robots.txt をそのまま読み込ませた出力です。
Googlebot /admin/=DENY /private/=DENY /blog/=allow
GPTBot /admin/=allow /private/=allow /blog/=allow
OAI-SearchBot /admin/=allow /private/=allow /blog/=allow
ClaudeBot /admin/=allow /private/=allow /blog/=allow
PerplexityBot /admin/=allow /private/=allow /blog/=allow
CCBot /admin/=allow /private/=allow /blog/=allow
明示許可を書いたクローラーだけが、/admin/ と /private/ を取りに来られる状態でした。
善意で足した20行のグループが、全体向けに書いた2行の制限を、名前を書いたクローラーに限って無効化していたわけです。
しかも Allow: / 自体には何の効果もありません。
robots.txtは書かなければ許可が既定なので、許可を明示する意味がないのです。
直し方は足すのではなく、減らすことです。
User-agent: *
Disallow: /admin/
Disallow: /private/
User-agent: CCBot
Disallow: /
Sitemap: https://frontierline.co.jp/sitemap-index.xml
同じパーサに通した出力です。
Googlebot /admin/=DENY /private/=DENY /blog/=allow
GPTBot /admin/=DENY /private/=DENY /blog/=allow
OAI-SearchBot /admin/=DENY /private/=DENY /blog/=allow
ClaudeBot /admin/=DENY /private/=DENY /blog/=allow
Claude-SearchBot /admin/=DENY /private/=DENY /blog/=allow
PerplexityBot /admin/=DENY /private/=DENY /blog/=allow
CCBot /admin/=DENY /private/=DENY /blog/=DENY
明示許可のグループを消しただけで、全クローラーに制限が戻り、かつAI検索系はすべて本文を読める状態になりました。
止めたい1つ(この例ではCCBot)だけが名前付きで、Disallow: / によって全体を拒否されています。
もう1点、古いトークンの残骸にも注意してください。
弊社のファイルには anthropic-ai と Claude-Web が残っていましたが、Anthropicの現行ドキュメントが案内しているのは ClaudeBot Claude-User Claude-SearchBot の3つです。
一覧をコピーしたまま年単位で放置すると、現行トークンが抜け、使われていないトークンだけが残ります。
設定の前に現在地を
AIが自社サイトをどう読んでいるか、無料で診断します
robots.txtを直しても、本文がAIに引用しづらい構造のままでは回答に出てきません。サイトURLを登録するだけで、構造化データ・見出し設計・結論の位置など、AIが読み取りにくい箇所を機械的に点検してレポートします。
書き方の原則は3つだけです
ここまでを踏まえると、迷う要素はほとんどありません。
1. 共通ルールは * のグループにだけ書く。
非公開ディレクトリや検索結果ページの除外は、ここに集約します。
2. 許可は書かない。
既定が許可なので、Allow: / の列挙は不要です。
AI検索に読ませたいなら、何も書かないのが正解です。
3. 止めたいクローラーだけを名前付きで書き、そのグループに共通ルールを書き写す。
名前付きグループは * を継承しないため、一部だけ止めたい場合は共通の Disallow を再掲する必要があります。
全体を止める(Disallow: /)なら再掲は不要です。
学習だけ止めて、AI検索からの流入は残す場合の例です。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
# 学習用のみ拒否(検索用トークンは書かない=許可のまま)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
Sitemap: https://example.com/sitemap-index.xml
この書き方であれば、OAI-SearchBot Claude-SearchBot PerplexityBot Googlebot は * のグループを読むため、管理画面と検索結果ページだけが除外され、記事本文は読めます。Sitemap 行はグループに属さないため、ファイル内のどこに書いても全クローラーに対して有効です。
なお、Crawl-delay はrobots.txtの共通仕様ではありません。
Anthropicは自社ドキュメントでClaudeBot向けの Crawl-delay を案内していますが、すべてのクローラーが読む前提では書けません。
アクセスが集中して困る場合は、サーバー側のレート制限で対処します。
仕様で誤解されている5点(実測)
robots.txtは単純に見えて、実装の細部で結果が変わります。
Googleの仕様に準拠したパーサとPython標準の urllib.robotparser の両方に同じ内容を通して確認した結果です。
1. 空行ではグループは切れません。User-agent: 行から次の User-agent: 行までが1グループです。
間に空行があっても同じグループとして扱われます。
User-agent: GPTBot
(空行)
User-agent: CCBot
Disallow: /
→ GPTBot /blog/ = DENY / CCBot /blog/ = DENY(両パーサで同結果)
「空行で区切れば別グループになる」と思って書くと、GPTBotまで全面拒否になります。
2. パスは前方一致です。
ディレクトリを止めるつもりで末尾のスラッシュを省くと、別のURLまで巻き込みます。
User-agent: *
Disallow: /blog
Allow: /blog/
/blog -> DENY
/blog/ -> allow
/blog/ai/ -> allow
/blogroll/ -> DENY
/blog-archive/ -> DENY
3. 長い一致が勝ちます。
そのため「全面拒否してから一部だけ開ける」書き方が成立します。
User-agent: *
Disallow: /
Allow: /blog/
Allow: /plugins/
/ -> DENY
/blog/ai/ -> allow
/plugins/x/ -> allow
/contact/ -> DENY
学習クローラーに本文だけ読ませて、それ以外を見せたくない場合に使えます。
なお、同じ長さで Allow と Disallow が競合した場合は Allow が勝ちました。
4. トークン名は大文字小文字を区別せず、パスは区別します。user-agent: gptbot と書いたファイルに GPTBot が来れば一致しますが、Disallow: /Blog/ は /blog/x/ を止めません。
日本語サイトでディレクトリ名の大文字小文字が混在している場合は、実URLをそのまま書き写してください。
5. $ を付けるとクエリ付きURLは一致しません。
User-agent: *
Disallow: /*.pdf$
/a.pdf -> DENY
/a.pdf?v=1 -> allow
/a.pdfx -> allow
資料PDFを学習から外すつもりで $ を付けると、?v=1 のようなキャッシュ回避パラメータが付いたURLは素通りします。
PDFを確実に外すなら Disallow: /*.pdf のように $ を外すか、X-Robots-Tag をサーバー側で付けます。
WordPressの場合、robots.txtは「ファイルが無ければ動的生成」です
WordPressで運用している場合、注意点が3つあります。
いずれも最新のコア(7.1.2)を実際に読んで確認したものです。
1つ目は、物理ファイルが勝つことです。
WordPressが .htaccess に書き出す書き換えルールには、次の条件が入っています。
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
実ファイルが存在するリクエストはWordPressに渡りません。
つまりドキュメントルートに robots.txt を置いた時点で、コアの robots_txt フィルタも、SEOプラグインのrobots.txt編集画面も出力に反映されなくなります。
管理画面では編集できているように見えるのに本番の内容が変わらない、という相談の多くはこれです。
どちらか一方に寄せてください。
2つ目は、コアが生成する内容が3行しかないことです。wp-includes/functions.php の do_robots() は、次の出力を作ってフィルタに渡すだけです。
$output = "User-agent: *\n";
$public = (bool) get_option( 'blog_public' );
$output .= 'Disallow: ' . wp_parse_url( admin_url(), PHP_URL_PATH ) . "\n";
$output .= 'Allow: ' . wp_parse_url( admin_url( 'admin-ajax.php' ), PHP_URL_PATH ) . "\n";
echo apply_filters( 'robots_txt', $output, $public );
パスを admin_url() から組み立てている点が重要です。
サブディレクトリ設置のサイトでは /wp-admin/ にはなりません。
弊社が運営する frontierline.net で実際に取得した出力がこれです。
User-agent: *
Disallow: /blog/wp-admin/
Allow: /blog/wp-admin/admin-ajax.php
ネット上のテンプレートを /wp-admin/ のままコピーすると、止めたい場所を止めず、存在しないパスを止めることになります。
3つ目は、「検索エンジンでの表示」をオフにしてもrobots.txtは変わらないことです。
上のコードのとおり、$public は取得してフィルタに渡されるだけで、Disallow: / は追加されません。
非公開設定で実際に効くのはHTML側のmeta robotsで、wp-includes/robots-template.php の wp_robots_noindex() が noindex と nofollow を出すだけです。
function wp_robots_noindex( array $robots ) {
if ( ! get_option( 'blog_public' ) ) {
return wp_robots_no_robots( $robots );
}
return $robots;
}
検索に出したくないという設定は、学習目的のクロールを止める指定ではありません。
ステージング環境をAIに読まれたくない場合は、robots.txtかBasic認証で明示的に止める必要があります。
止めるか通すかは、収益から逆算して決めます
技術的な正解はありません。
判断材料は3つです。
コンテンツ自体が商品かどうか。
有料記事、写真素材、辞書データのように中身そのものを売っている場合は、学習用クローラーを止める実益があります。
受託制作やBtoBサービスのサイトで、問い合わせを増やすために記事を書いているなら、止めて得るものはほぼありません。
検索用トークンを巻き込まないこと。
ホスティングやCDNの「AIボットを一括ブロック」機能は便利ですが、学習用と検索用を区別せずに遮断する設定も存在します。
ChatGPTやPerplexityの回答からリンクごと消えるのは、多くの事業者にとって損のほうが大きい選択です。
有効にする前に、どのトークンが対象かを必ず確認してください。
robots.txtは紳士協定であること。
Perplexityは、ユーザーの求めに応じて取得する Perplexity-User について、robots.txtのルールを一般に無視すると公式に明記しています。
ChatGPT-Userも同様にユーザー起点の動作です。
本当に取得させたくないなら、サーバーやWAFでユーザーエージェントとIPを見て遮断するしかありません。
OpenAI・Anthropic・Perplexityはいずれも自社クローラーのIPレンジをJSONで公開しているため、検証はそれを使います。
そして、止めるかどうかより大きい問題が残ります。
許可していても引用されないサイトは珍しくありません。
原因は本文の構造側にあることが多く、整理はChatGPTに引用されない4つの原因にまとめています。
llms.txtを置くべきかどうかの判断はllms.txtは効くのかを参照してください。
変えたあと、何で確認するか
管理画面の表示やプラグインの設定値ではなく、本番のファイルとパーサの出力で確認します。
手順は4つです。
- 本番URLを実取得して、HTTP 200と
Content-Type: text/plainを確認します。WordPressの動的生成の場合、ヘッダーにcharset=utf-8が付きます。 - 取得したファイルをパーサに通し、トークンごとの判定を出します。
# pip install protego
from protego import Protego
import urllib.request
txt = urllib.request.urlopen("https://example.com/robots.txt").read().decode("utf-8")
p = Protego.parse(txt)
for ua in ["Googlebot", "GPTBot", "OAI-SearchBot", "ClaudeBot",
"Claude-SearchBot", "PerplexityBot", "CCBot"]:
rows = [f"{u}={'allow' if p.can_fetch('https://example.com' + u, ua) else 'DENY'}"
for u in ["/", "/blog/", "/wp-admin/"]]
print(f"{ua:18} " + " ".join(rows))
- 検索用トークン(
OAI-SearchBotClaude-SearchBotPerplexityBotGooglebot)が本文URLでallowになっていること、非公開ディレクトリが全トークンでDENYになっていることを表で確認します。 - 1週間後にアクセスログでユーザーエージェントを集計し、意図どおりのクローラーが来ているかを見ます。来ていないトークンがあれば、robots.txtではなくサーバー側の遮断を疑います。
ブラウザで開いて目視するだけでは、グループ選択の仕様による取りこぼしは見つかりません。
弊社の /admin/ が開いていたことも、パーサに通すまで気づきませんでした。
引用されているかどうかの継続計測はAI回答の引用モニタリング方法にまとめています。
よくある質問
AIに読ませたいクローラーは、robots.txtに明示的に許可を書くべきですか。
書かないほうが安全です。
既定が許可なので明示許可には効果がなく、名前付きグループを作るとそのクローラーは全体向けの指定を一切見なくなります。
結果として非公開ディレクトリの指定だけが外れます。
GPTBotをブロックすると、ChatGPTの回答に出てこなくなりますか。
いいえ。
GPTBotは学習用で、ChatGPTの検索機能が参照するのはOAI-SearchBotです。
公式ドキュメントにも、OAI-SearchBotを拒否したサイトはChatGPTの検索回答に表示されないと明記されています。
Google-Extendedをブロックすると検索順位は下がりますか。
下がりません。
Google検索の掲載にも順位にも影響しないと明記されています。
AI Overviewsの引用はGooglebotのクロール結果を使うため、Google-Extendedを拒否してもAI Overviewsからは消えません。
robots.txtで拒否すれば、AIに読まれないようにできますか。
できません。
ユーザーの操作をきっかけに取得するフェッチャーは従わない旨を公式に明記している事業者もあります。
確実に止めるならサーバーやWAFでユーザーエージェントとIPを見て遮断します。
WordPressで「検索エンジンでの表示」をオフにすれば、AIクローラーも止まりますか。
止まりません。
現行コアが生成するrobots.txtにDisallowは追加されず、効くのはmeta robotsのnoindexだけです。
学習目的のクロールを止める指定ではありません。
AI SEO診断(無料)
robots.txtを直したら、次は「引用される本文か」を点検しませんか
クローラーを通しても、結論が後半にある・見出しが質問の形になっていない・数値が画像の中にある記事は引用されません。サイトURLを登録するだけで、AIが読み取りにくい箇所を機械的に点検してレポートします。