使用方式
- 選擇適用於所有爬蟲的預設政策，並新增不允許擷取的路徑，例如 /cart/ 或 /search。
- 若特定爬蟲需要不同規則，請新增專屬群組或使用預設範本。
- 輸入 XML sitemap 的完整 URL。
- 下載 robots.txt，並上傳至網站根目錄，讓檔案可透過 https://your-domain/robots.txt 存取。
運作方式
robots.txt 是放在主機根目錄的純文字檔，用來告知爬蟲可以擷取哪些 URL。其標準規範為 RFC 9309。檔案由多個群組組成：每個群組包含一或多行 User-agent，後面接著 Allow 和 Disallow 規則。爬蟲會使用與自身名稱最精確相符的群組；若沒有相符群組，則使用 * 群組；不會將自身群組與 * 群組的規則合併。在同一群組中，符合條件的規則以最精確（最長）者為準；若長度相同，則以 Allow 為準。
路徑會從 URL 路徑開頭比對，且區分大小寫。* 可匹配任意字元序列，$ 則表示 URL 結尾。空白的「Disallow:」表示不封鎖任何內容。本工具中不以 / 或 * 開頭的行會被忽略並標示，因為爬蟲也會忽略這些行。Sitemap 行必須是絕對 URL，且適用於整個檔案，而非單一群組。
重要限制：robots.txt 控制的是爬取，而非索引。若其他頁面連結到遭封鎖的 URL，該 URL 仍可能出現在搜尋結果中，只是不會有說明文字。若要讓頁面不出現在搜尋結果中，請允許爬取，並改用 noindex robots meta tag。每個主機和通訊協定都需要各自的檔案，因此 blog.example.com 需要自己的 robots.txt。
範例
隱藏購物車和站內搜尋的商店
允許所有內容，接著封鎖 /cart/、/checkout/ 和 /search。新增 Sitemap: https://example.com/sitemap.xml。產品和分類頁仍可供爬取。
測試環境網站
選擇「封鎖所有內容」。遵守規範的爬蟲會略過此網站，但也請為測試環境設定密碼保護，因為 robots.txt 只是一項請求。
拒絕 AI 訓練爬蟲
AI 爬蟲預設設定會為 GPTBot、CCBot、Google-Extended、ClaudeBot 和 PerplexityBot 新增一個含有 Disallow: / 的群組。Googlebot 等搜尋爬蟲仍會遵循 * 群組。
常見問題
robots.txt 應放在哪裡？
放在主機根目錄，讓檔案可透過 https://example.com/robots.txt 存取。子資料夾中的 robots.txt 會被忽略。
Disallow 會讓頁面從搜尋結果中移除嗎？
不一定。Disallow 會阻止爬取，但如果該 URL 有其他頁面連結到，仍可能出現在搜尋結果中。請使用 noindex meta tag 或標頭，並允許爬取頁面，讓爬蟲能讀取它。
所有機器人都會遵守 robots.txt 嗎？
不會。遵循 robots.txt 是自願的。主要搜尋引擎和許多 AI 爬蟲都表示會遵守，但資料擷取程式和惡意機器人可能會忽略它。
Google 會使用 Crawl-delay 嗎？
不會，Google 會忽略 Crawl-delay。包括 Bing 爬蟲在內的其他一些爬蟲會讀取此設定。Google 會根據伺服器的回應，自動調整爬取速率。
我應該封鎖 CSS 和 JavaScript 檔案嗎？
不會。搜尋引擎會轉譯網頁，並需要這些檔案才能理解版面配置和內容。封鎖這些檔案可能會讓爬蟲看到的頁面顯示異常。
隱私權
檔案會在您的瀏覽器中產生。您的規則和 URL 不會傳送至任何地方，也不會儲存。