วิธีใช้งาน
- เลือกนโยบายเริ่มต้นสำหรับโปรแกรมรวบรวมทั้งหมด และเพิ่มพาธที่ไม่ควรให้ดึงข้อมูล เช่น /cart/ หรือ /search
- เพิ่มกลุ่มสำหรับโปรแกรมรวบรวมเฉพาะ หากต้องการกฎที่แตกต่าง หรือใช้ค่าที่ตั้งไว้ล่วงหน้า
- เพิ่ม URL เต็มของ XML sitemap ของคุณ
- ดาวน์โหลด robots.txt และอัปโหลดไปที่รากของเว็บไซต์ เพื่อให้เข้าถึงได้ที่ https://your-domain/robots.txt
วิธีการทำงาน
robots.txt เป็นไฟล์ข้อความล้วนที่ root ของโฮสต์ ซึ่งบอก crawler ว่า URL ใดบ้างที่สามารถดึงได้ โดยเป็นมาตรฐานตาม RFC 9309 ไฟล์ประกอบด้วยกลุ่ม: บรรทัด User-agent หนึ่งบรรทัดขึ้นไป ตามด้วยกฎ Allow และ Disallow Crawler จะใช้กลุ่มที่ตรงกับชื่อของมันอย่างเฉพาะเจาะจงที่สุด และถ้าไม่ตรงจึงใช้กลุ่ม * เป็นทางเลือกสำรอง โดยจะไม่รวมกลุ่มของตัวเองกับกลุ่ม * เข้าด้วยกัน ภายในกลุ่มเดียวกัน กฎที่ตรงกันอย่างเฉพาะเจาะจงที่สุด (ยาวที่สุด) จะชนะ และถ้าตรงกันเท่ากัน Allow จะชนะ\n\nการจับคู่ path จะเริ่มจากต้น path ของ URL และคำนึงถึงตัวพิมพ์เล็ก-ใหญ่ * ตรงกับลำดับอักขระใดก็ได้ และ $ หมายถึงจุดสิ้นสุดของ URL “Disallow:” ที่ว่างเปล่าหมายความว่าไม่มีการบล็อกใด ๆ บรรทัดในเครื่องมือนี้ที่ไม่ได้ขึ้นต้นด้วย / หรือ * จะถูกข้ามและแจ้งเตือน เนื่องจาก crawler ก็จะข้ามเช่นกัน บรรทัด Sitemap ต้องเป็น absolute URL และมีผลกับทั้งไฟล์ ไม่ใช่เฉพาะกลุ่มใดกลุ่มหนึ่ง\n\nข้อจำกัดสำคัญ: robots.txt ควบคุมการ crawl ไม่ใช่การทำ index URL ที่ถูกบล็อกยังอาจปรากฏในผลการค้นหาได้หากหน้าอื่นลิงก์มา เพียงแต่ไม่มีคำอธิบาย หากต้องการไม่ให้หน้าติดผลการค้นหา ควรอนุญาตให้ crawl และใช้ noindex robots meta tag แทน แต่ละโฮสต์และโปรโตคอลต้องมีไฟล์ของตัวเอง เช่น blog.example.com ต้องมี robots.txt แยกต่างหาก
ตัวอย่าง
ร้านค้าที่ซ่อนตะกร้าและการค้นหาภายใน
อนุญาตทั้งหมด แล้วบล็อก /cart/, /checkout/ และ /search เพิ่ม Sitemap: https://example.com/sitemap.xml หน้าสินค้าและหมวดหมู่ยังคงถูก crawl ได้
เว็บไซต์ Staging
เลือก “Disallow ทุกอย่าง” Crawler ที่ทำตามมาตรฐานจะข้ามไซต์ แต่ควรป้องกัน staging ด้วยรหัสผ่านด้วย เพราะ robots.txt เป็นเพียงคำขอเท่านั้น
การปฏิเสธ crawler ที่ใช้ฝึก AI
พรีเซ็ต AI crawler จะเพิ่มกลุ่มสำหรับ GPTBot, CCBot, Google-Extended, ClaudeBot และ PerplexityBot พร้อมกับ Disallow: / ส่วน crawler สำหรับการค้นหาอย่าง Googlebot ยังคงทำตามกลุ่ม *
คำถามที่พบบ่อย
ควรวาง robots.txt ไว้ที่ไหน
ไว้ที่ root ของโฮสต์ เพื่อให้โหลดที่ https://example.com/robots.txt ถ้าอยู่ในโฟลเดอร์ย่อย robots.txt จะถูกข้าม
คำสั่ง Disallow จะลบหน้าออกจากผลการค้นหาไหม
ไม่น่าเชื่อถือเสมอไป คำสั่ง Disallow หยุดการเก็บข้อมูล แต่ URL ยังอาจถูกแสดงในผลการค้นหาได้หากมีลิงก์จากที่อื่น ใช้แท็ก meta noindex หรือส่วนหัว และให้หน้าเพจยังคงถูกเข้าถึงได้เพื่อให้ตัวรวบรวมเห็นแท็กนั้น
บอตทุกตัวปฏิบัติตาม robots.txt ไหม
ไม่ การปฏิบัติตาม robots.txt เป็นแบบสมัครใจ เสิร์ชเอนจินหลักและโปรแกรมรวบรวม AI หลายตัวระบุว่าเคารพไฟล์นี้ แต่สแครปเปอร์และบอตที่เป็นอันตรายอาจเพิกเฉยได้
Google ใช้ Crawl-delay ไหม
ไม่ Google ไม่สนใจ Crawl-delay ตัวรวบรวมอื่นบางตัว รวมถึงของ Bing อ่านค่านี้ Google ปรับอัตราการรวบรวมข้อมูลโดยอัตโนมัติตามการตอบสนองของเซิร์ฟเวอร์ของคุณ
ควรบล็อกไฟล์ CSS และ JavaScript ไหม
ไม่ควร เสิร์ชเอนจินแสดงผลหน้าเว็บและจำเป็นต้องใช้ไฟล์เหล่านั้นเพื่อเข้าใจโครงสร้างและเนื้อหา การบล็อกไฟล์เหล่านั้นอาจทำให้หน้าเว็บดูผิดปกติสำหรับตัวรวบรวม
ความเป็นส่วนตัว
ไฟล์ถูกสร้างในเบราว์เซอร์ของคุณ กฎและ URL ของคุณจะไม่ถูกส่งไปที่ใดหรือจัดเก็บไว้