tigtools

Robots.txt 생성기

크롤러가 가져올 수 있는 항목을 선택하고, 특정 봇에 대한 규칙을 추가한 다음 사이트 루트에 사용할 robots.txt 파일을 다운로드하세요.

브라우저에서 실행 가입 불필요

사전 설정
모든 크롤러(User-agent: *)
기본 정책

각 경로는 / 또는 *로 시작해야 합니다. URL의 끝과 일치시키려면 $를 사용하세요. 예: /*.pdf$.

Google은 Crawl-delay를 무시하지만, 일부 다른 크롤러는 이를 따릅니다.

특정 크롤러에 적용할 규칙

GPTBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot을 차단하는 그룹을 추가합니다. robots.txt 준수는 자율 사항입니다.

robots.txt는 공개 파일이므로 누구나 읽을 수 있으며, 여기에 나열한 경로가 드러날 수 있습니다. robots.txt는 규칙을 잘 따르는 크롤러에 페이지를 가져가지 말라고 요청할 뿐, 어떤 항목도 보호하지 않습니다. 비공개 콘텐츠에는 인증을 사용하고, 검색 결과에서 제외할 페이지에는 noindex를 사용하세요.

사용 방법

  1. 모든 크롤러에 적용할 기본 정책을 선택하고 /cart/ 또는 /search처럼 가져오지 못하게 할 경로를 추가하세요.
  2. 크롤러별로 다른 규칙이 필요하면 해당 크롤러 그룹을 추가하거나 프리셋을 사용하세요.
  3. XML 사이트맵의 전체 URL을 추가하세요.
  4. robots.txt를 다운로드해 사이트 루트에 업로드하세요. https://your-domain/robots.txt에서 제공되도록 설정하면 됩니다.

작동 방식

robots.txt는 호스트의 루트에 위치하는 일반 텍스트 파일로, 크롤러가 가져올 수 있는 URL을 안내합니다. RFC 9309 표준으로 규정되어 있습니다. 파일은 그룹으로 구성되며, 각 그룹은 하나 이상의 User-agent 줄 다음에 Allow 및 Disallow 규칙이 옵니다. 크롤러는 이름과 가장 구체적으로 일치하는 그룹을 사용하고, 일치하는 그룹이 없으면 * 그룹을 사용합니다. 자체 그룹과 * 그룹을 함께 적용하지는 않습니다. 그룹 내에서는 일치하는 규칙 중 가장 구체적인(가장 긴) 규칙이 우선하며, 길이가 같으면 Allow가 우선합니다.

경로는 URL 경로의 시작부터 대소문자를 구분해 일치 여부를 확인합니다. *는 모든 문자 조합과 일치하고, $는 URL의 끝을 나타냅니다. 값이 비어 있는 “Disallow:”는 어떤 항목도 차단하지 않습니다. 이 도구에서 / 또는 *로 시작하지 않는 줄은 무시되고 표시됩니다. 크롤러도 해당 줄을 무시하기 때문입니다. Sitemap 줄에는 절대 URL을 입력해야 하며, 특정 그룹이 아니라 파일 전체에 적용됩니다.

중요한 제한 사항: robots.txt는 크롤링을 제어할 뿐, 색인 생성은 제어하지 않습니다. 차단된 URL도 다른 페이지에서 링크하면 검색 결과에 설명 없이 표시될 수 있습니다. 페이지가 검색 결과에 나오지 않도록 하려면 크롤링을 허용하고 대신 noindex robots 메타 태그를 사용하세요. 호스트와 프로토콜마다 별도의 파일이 필요하므로 blog.example.com에는 별도의 robots.txt가 필요합니다.

예시

장바구니와 내부 검색을 숨기는 쇼핑몰

모든 항목을 허용한 다음 /cart/, /checkout/, /search를 차단합니다. Sitemap: https://example.com/sitemap.xml을 추가하세요. 제품 및 카테고리 페이지는 계속 크롤링할 수 있습니다.

스테이징 사이트

“모두 차단”을 선택하세요. 그러면 규칙을 준수하는 크롤러는 사이트를 건너뜁니다. 단, robots.txt는 요청일 뿐이므로 비밀번호로 스테이징 사이트도 보호하세요.

AI 학습용 크롤러 차단

AI 크롤러 프리셋은 GPTBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot 그룹에 Disallow: /를 추가합니다. Googlebot 같은 검색 크롤러는 계속 * 그룹의 규칙을 따릅니다.

자주 묻는 질문

robots.txt 파일은 어디에 두나요?

호스트의 루트에 두어 https://example.com/robots.txt에서 불러올 수 있게 하세요. 하위 폴더의 robots.txt는 무시됩니다.

Disallow를 사용하면 페이지가 검색 결과에서 삭제되나요?

확실하게 제거되지는 않습니다. Disallow는 크롤링을 중지시키지만, 다른 곳에서 링크된 URL은 검색 결과에 계속 표시될 수 있습니다. noindex 메타 태그나 헤더를 사용하고, 크롤러가 페이지를 확인할 수 있도록 크롤링을 허용하세요.

모든 봇이 robots.txt를 따르나요?

아니요. robots.txt 준수는 자발적입니다. 주요 검색 엔진과 여러 AI 크롤러는 robots.txt를 준수한다고 밝히지만, 스크래퍼와 악성 봇은 무시할 수 있습니다.

Google은 Crawl-delay를 사용하나요?

아니요. Google은 Crawl-delay를 무시합니다. Bing을 비롯한 일부 다른 크롤러는 이를 읽습니다. Google은 서버 응답을 바탕으로 크롤링 속도를 자동 조정합니다.

CSS 및 JavaScript 파일을 차단해야 하나요?

아니요. 검색 엔진은 페이지를 렌더링할 때 레이아웃과 콘텐츠를 파악하기 위해 해당 파일이 필요합니다. 파일을 차단하면 크롤러에게 페이지가 제대로 표시되지 않을 수 있습니다.

개인정보 보호

파일은 브라우저에서 생성됩니다. 규칙과 URL은 어디에도 전송되거나 저장되지 않습니다.