tigtools

Trình tạo robots.txt

Chọn những nội dung trình thu thập dữ liệu được phép truy cập, thêm quy tắc cho từng bot cụ thể và tải robots.txt hợp lệ xuống để đặt ở thư mục gốc của trang web.

Chạy ngay trên trình duyệt Không cần đăng ký

Mẫu có sẵn
Tất cả trình thu thập dữ liệu (User-agent: *)
Chính sách mặc định

Mỗi đường dẫn phải bắt đầu bằng / hoặc *. Dùng $ để khớp với phần cuối URL, ví dụ /*.pdf$.

Google bỏ qua Crawl-delay; một số trình thu thập dữ liệu khác tuân theo chỉ thị này.

Quy tắc cho trình thu thập dữ liệu cụ thể

Thêm một nhóm chặn GPTBot, CCBot, Google-Extended, ClaudeBot và PerplexityBot. Việc tuân thủ robots.txt là tự nguyện.

robots.txt là công khai: bất kỳ ai cũng có thể đọc và biết các đường dẫn bạn liệt kê. Tệp này chỉ yêu cầu các trình thu thập dữ liệu tuân thủ không truy cập trang; nó không bảo vệ bất kỳ nội dung nào. Hãy dùng xác thực cho nội dung riêng tư và noindex cho các trang không nên xuất hiện trong kết quả tìm kiếm.

Cách sử dụng

  1. Chọn chính sách mặc định cho tất cả trình thu thập dữ liệu và thêm những đường dẫn không nên được truy cập, chẳng hạn như /cart/ hoặc /search.
  2. Thêm nhóm cho các trình thu thập dữ liệu cụ thể nếu chúng cần quy tắc riêng, hoặc dùng thiết lập sẵn.
  3. Thêm URL đầy đủ của sơ đồ trang web XML.
  4. Tải robots.txt xuống và tải tệp lên thư mục gốc của trang web để có thể truy cập tại https://your-domain/robots.txt.

Cách hoạt động

robots.txt là tệp văn bản thuần nằm ở thư mục gốc của một máy chủ, cho trình thu thập dữ liệu biết những URL nào chúng được phép truy cập. Tiêu chuẩn này được quy định trong RFC 9309. Tệp gồm các nhóm: một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow. Trình thu thập dữ liệu sử dụng nhóm khớp cụ thể nhất với tên của nó; nếu không có nhóm phù hợp, nó sẽ dùng nhóm *. Nó không kết hợp nhóm riêng với nhóm *.

Trong một nhóm, quy tắc khớp cụ thể nhất (dài nhất) sẽ được áp dụng; nếu hai quy tắc ngang nhau, Allow được ưu tiên. Đường dẫn được đối chiếu từ đầu đường dẫn URL và phân biệt chữ hoa chữ thường. * khớp với chuỗi ký tự bất kỳ, còn $ đánh dấu cuối URL. “Disallow:” để trống nghĩa là không chặn gì cả. Công cụ này sẽ bỏ qua và đánh dấu các dòng không bắt đầu bằng / hoặc *, vì trình thu thập dữ liệu cũng sẽ bỏ qua chúng. Các dòng Sitemap phải là URL tuyệt đối và áp dụng cho toàn bộ tệp, không chỉ một nhóm.

Giới hạn quan trọng: robots.txt kiểm soát việc thu thập dữ liệu, không kiểm soát việc lập chỉ mục. URL bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm nếu các trang khác liên kết đến URL đó, nhưng không có mô tả. Để loại một trang khỏi kết quả tìm kiếm, hãy cho phép thu thập dữ liệu và dùng thẻ meta robots noindex. Mỗi máy chủ và giao thức cần có tệp riêng, vì vậy blog.example.com cần một robots.txt riêng.

Ví dụ

Cửa hàng ẩn giỏ hàng và tìm kiếm nội bộ

Cho phép mọi thứ, sau đó chặn /cart/, /checkout/ và /search. Thêm Sitemap: https://example.com/sitemap.xml. Các trang sản phẩm và danh mục vẫn cho phép trình thu thập dữ liệu truy cập.

Trang web thử nghiệm

Chọn “Chặn mọi thứ”. Các trình thu thập dữ liệu tuân thủ quy tắc sẽ bỏ qua trang web, nhưng hãy bảo vệ môi trường thử nghiệm bằng mật khẩu, vì robots.txt chỉ là một yêu cầu.

Từ chối trình thu thập dữ liệu dùng để huấn luyện AI

Thiết lập sẵn trình thu thập dữ liệu AI thêm một nhóm cho GPTBot, CCBot, Google-Extended, ClaudeBot và PerplexityBot với Disallow: /. Các trình thu thập dữ liệu tìm kiếm như Googlebot vẫn tuân theo nhóm *.

Câu hỏi thường gặp

Tôi nên đặt robots.txt ở đâu?

Đặt tệp ở thư mục gốc của máy chủ để có thể truy cập tại https://example.com/robots.txt. robots.txt trong thư mục con sẽ bị bỏ qua.

Disallow có xóa trang khỏi kết quả tìm kiếm không?

Không đáng tin cậy. Disallow ngăn việc thu thập dữ liệu, nhưng URL vẫn có thể được liệt kê nếu có liên kết đến từ nơi khác. Hãy dùng thẻ meta hoặc header noindex, đồng thời cho phép thu thập dữ liệu để trình thu thập có thể đọc thẻ đó.

Mọi bot đều tuân theo robots.txt phải không?

Không. Việc tuân theo robots.txt là tự nguyện. Các công cụ tìm kiếm lớn và nhiều trình thu thập dữ liệu AI cho biết họ tôn trọng tệp này, nhưng các công cụ thu thập dữ liệu tự động và bot độc hại có thể bỏ qua.

Google có sử dụng Crawl-delay không?

Không, Google bỏ qua Crawl-delay. Một số trình thu thập dữ liệu khác, bao gồm Bing, có đọc chỉ thị này. Google tự điều chỉnh tốc độ thu thập dữ liệu dựa trên cách máy chủ của bạn phản hồi.

Tôi có nên chặn các tệp CSS và JavaScript không?

Không. Công cụ tìm kiếm hiển thị trang và cần các tệp này để hiểu bố cục cũng như nội dung. Chặn chúng có thể khiến trang trông như bị lỗi đối với trình thu thập dữ liệu.

Quyền riêng tư

Tệp được tạo ngay trong trình duyệt. Quy tắc và URL của bạn không được gửi đi nơi khác hoặc lưu trữ.