tigtools

Robots.txtジェネレーター

クローラーが取得できる内容を選び、特定のボット向けのルールを追加して、サイトのルートに置く有効なrobots.txtをダウンロードできます。

ブラウザー内で動作 登録不要

プリセット
すべてのクローラー（User-agent: *）
デフォルトのポリシー

各パスは / または * で始めてください。URLの末尾に一致させるには $ を使います（例: /*.pdf$）。

GoogleはCrawl-delayを無視します。一部のクローラーはこれに従います。

特定のクローラー向けルール

GPTBot、CCBot、Google-Extended、ClaudeBot、PerplexityBotをDisallowするグループを追加します。robots.txtへの準拠は任意です。

robots.txtは公開されており、誰でも内容を確認できます。記載したパスが明らかになる可能性があります。このファイルは、適切に動作するクローラーにページを取得しないよう求めるだけで、アクセスを保護するものではありません。非公開コンテンツには認証を設定し、検索結果に表示したくないページにはnoindexを使用してください。

使い方

  1. すべてのクローラーに適用する既定のポリシーを選び、/cart/や/searchなど、取得させたくないパスを追加します。
  2. 特定のクローラーに別のルールを適用する場合は、そのグループを追加するか、プリセットを使用します。
  3. XMLサイトマップの完全なURLを追加します。
  4. robots.txtをダウンロードし、サイトのルートにアップロードして、https://your-domain/robots.txt で配信されるようにします。

仕組み

robots.txtは、クローラーが取得できるURLを指示する、ホストのルートに置くプレーンテキストファイルです。RFC 9309として標準化されています。ファイルにはグループが含まれ、1つ以上のUser-agent行に続いてAllowとDisallowのルールが記述されます。クローラーは、最も具体的に自身の名前と一致するグループを使用し、一致するものがなければ*グループを使用します。自身のグループと*グループのルールを組み合わせることはありません。グループ内では、一致するルールのうち最も具体的な（最も長い）ものが優先され、同じ長さの場合はAllowが優先されます。

パスはURLパスの先頭から照合され、大文字と小文字は区別されます。*は任意の文字列に一致し、$はURLの末尾を示します。空の「Disallow:」は何もブロックしません。このツールでは、/または*で始まらない行は無視され、警告が表示されます。クローラーも同様に無視するためです。Sitemap行には絶対URLを指定します。Sitemapはファイル全体に適用され、個々のグループには適用されません。

重要な制限事項：robots.txtが制御するのはクロールであり、インデックス登録ではありません。ブロックされたURLでも、他のページからリンクされていれば、説明文なしで検索結果に表示されることがあります。ページを検索結果から除外するには、クロールを許可したうえでnoindex robots metaタグを使用してください。ホストとプロトコルごとにファイルが必要なため、blog.example.comには別のrobots.txtが必要です。

使用例

カートとサイト内検索を非表示にするショップ

すべてのクローラーを許可したうえで、/cart/、/checkout/、/searchをDisallowに設定します。Sitemap: https://example.com/sitemap.xml を追加します。商品ページとカテゴリーページはクロール可能なままです。

ステージングサイト

「すべてをDisallow」を選択します。適切に動作するクローラーはサイトをスキップしますが、robots.txtはあくまでリクエストなので、ステージング環境にもパスワードを設定してください。

AI学習用クローラーを拒否する

AIクローラーのプリセットでは、GPTBot、CCBot、Google-Extended、ClaudeBot、PerplexityBotのグループにDisallow: /を追加します。Googlebotなどの検索クローラーには、引き続き*グループのルールが適用されます。

よくある質問

robots.txtはどこに置けばよいですか？

ホストのルートに置き、https://example.com/robots.txt でアクセスできるようにします。サブフォルダー内のrobots.txtは無視されます。

Disallowでページを検索結果から除外できますか？

確実にはできません。Disallowはクロールを停止しますが、他の場所からリンクされている場合、URLが検索結果に表示されることがあります。noindex metaタグまたはヘッダーを使用し、クローラーが確認できるようページのクロールは許可してください。

すべてのボットがrobots.txtに従いますか？

いいえ。robots.txtに従うかどうかは任意です。大手検索エンジンや多くのAIクローラーはrobots.txtを尊重すると明言していますが、スクレイパーや悪意のあるボットは無視することがあります。

GoogleはCrawl-delayを使用しますか？

いいえ。GoogleはCrawl-delayを無視します。Bingなど、一部のクローラーはCrawl-delayを読み取ります。Googleはサーバーの応答に応じてクロール頻度を自動調整します。

CSSファイルとJavaScriptファイルをブロックすべきですか？

いいえ。検索エンジンはページをレンダリングするため、レイアウトやコンテンツを理解するにはこれらのファイルが必要です。ブロックすると、クローラーにはページが正しく表示されないことがあります。

プライバシー

ファイルはブラウザー内で生成されます。ルールやURLが外部に送信されたり、保存されたりすることはありません。