구글봇, 네이버봇 등 검색엔진 크롤러의 접근을 허용/차단하는 robots.txt 파일을 생성하는 무료 도구입니다.
회원가입 없이 브라우저에서 바로 사용할 수 있습니다.
바로 답
robots.txt 생성기는 "모든 검색봇 차단"과 "관리자 페이지 차단" 선택, 추가 차단 경로, 사이트맵 주소를 받아 robots.txt 텍스트를 만들어 줍니다. 모든 크롤러(*)와 네이버 크롤러(Yeti) 두 그룹에 같은 차단 규칙을 쓰고, 만든 파일은 사이트 루트(도메인/robots.txt)에 직접 올려야 적용됩니다.
근거: 컴포넌트의 생성 식을 그대로 실행한 결과와 Google 검색 센터·RFC 9309를 직접 열어 확인한 내용입니다(2026-10-16).
만들어지는 파일
처음 열면 "관리자 페이지 차단"이 켜져 있고 추가 경로로 /search, /*?sort=, /cart 세 줄이 들어 있습니다. 이 기본값으로 나오는 결과입니다.
"모든 검색봇 차단"을 켜면 두 그룹 모두 Disallow: / 한 줄만 남고 관리자·추가 경로 입력은 숨겨집니다. 사이트맵 칸을 비우면 Sitemap 줄이 빠집니다.
왜 Yeti 그룹에도 같은 규칙이 들어가나
크롤러는 자기 이름과 가장 구체적으로 맞는 그룹 하나만 따릅니다. Google 문서는 사용자 에이전트가 가장 구체적인 첫 번째 그룹 한 가지 규칙 집합에만 연결된다고 설명하고, RFC 9309의 예시도 일치하는 그룹이 없을 때에만 * 그룹이 쓰이는 것으로 보여 줍니다. 따라서 Yeti 그룹에 Allow: / 한 줄만 있으면 Yeti는 * 그룹의 차단 규칙을 읽지 않고 /admin/·/cart까지 크롤링할 수 있습니다.
이전 버전은 Yeti 그룹에 Allow: /만 썼고 이번에 차단 규칙을 그룹마다 반복하도록 고쳤습니다. 가장 구체적인 규칙이 적용되므로 Disallow: /admin/이 Allow: /보다 우선합니다. 이미 이전 결과를 사이트에 올렸다면 다시 만들어 교체하세요.
경로를 쓸 때 걸리는 지점
경로는 /로 시작해야 합니다. Google 문서는 disallow 값이 / 문자로 시작해야 한다고 안내하고, RFC 9309의 문법도 경로 패턴을 /로 시작하는 것으로 정의합니다. 이전 기본값 ?sort=처럼 /가 없는 줄은 어떤 주소와도 맞지 않는 규칙이었습니다. 쿼리 문자열만 막으려면 /*?sort=처럼 * 와일드카드를 앞에 둡니다. Google 문서에 따르면 sitemap을 제외한 규칙은 경로 접두사·접미사·전체 문자열에 * 와일드카드를 지원합니다. 이 도구는 입력한 경로가 /로 시작하는지 검사하지 않으므로 직접 확인하세요.
대소문자를 구분합니다. Google 문서는 규칙이 대소문자를 구분하며 /file.asp 규칙은 /FILE.asp에 적용되지 않는다고 설명합니다.
디렉터리는 /로 끝내세요./admin/은 그 폴더 아래를 막고 /admin은 /admin으로 시작하는 모든 주소를 막습니다.
적용 범위는 호스트별입니다. Google 문서는 robots.txt 규칙이 파일이 게시된 프로토콜·호스트·포트에만 적용되며 하위 도메인에는 적용되지 않는다고 설명합니다. www와 블로그 서브도메인에는 각각 파일이 필요합니다.
이 도구가 하지 않는 일
파일을 사이트에 올려 주지 않습니다. 복사한 텍스트를 사이트 루트의 robots.txt로 직접 저장해야 하고, 루트에 접근할 수 없으면 Google 문서가 안내하듯 meta 태그 같은 다른 방법을 써야 합니다. 도구의 안내 문구도 같은 내용입니다.
규칙이 의도대로 동작하는지 시험하지 않습니다. 업로드한 뒤 막으려던 주소와 열어 두려던 주소를 각각 Search Console 등으로 확인하세요.
User-agent를 직접 추가하지 못합니다. 생성되는 그룹은 *와 Yeti 두 개뿐이고, 그 밖의 크롤러별 규칙이 필요하면 만든 텍스트에 직접 덧붙여야 합니다.
사이트 전체 차단은 신중히 쓰세요. "모든 검색봇 차단"을 켠 파일을 운영 사이트에 올리면 크롤러가 어떤 주소도 가져가지 못합니다. 공개할 사이트에서는 켜지 마세요.