회원가입 없는 무료 온라인 도구

robots.txt 생성기

구글봇, 네이버봇 등 검색엔진 크롤러의 접근을 허용/차단하는 robots.txt 파일을 생성하는 무료 도구입니다.

회원가입 없이 브라우저에서 바로 사용할 수 있습니다.

바로 답

robots.txt 생성기는 "모든 검색봇 차단"과 "관리자 페이지 차단" 선택, 추가 차단 경로, 사이트맵 주소를 받아 robots.txt 텍스트를 만들어 줍니다. 모든 크롤러(*)와 네이버 크롤러(Yeti) 두 그룹에 같은 차단 규칙을 쓰고, 만든 파일은 사이트 루트(도메인/robots.txt)에 직접 올려야 적용됩니다.

근거: 컴포넌트의 생성 식을 그대로 실행한 결과와 Google 검색 센터·RFC 9309를 직접 열어 확인한 내용입니다(2026-10-16).

만들어지는 파일

처음 열면 "관리자 페이지 차단"이 켜져 있고 추가 경로로 /search, /*?sort=, /cart 세 줄이 들어 있습니다. 이 기본값으로 나오는 결과입니다.

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /search
Disallow: /*?sort=
Disallow: /cart

# 네이버봇
User-agent: Yeti
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /search
Disallow: /*?sort=
Disallow: /cart
Allow: /

Sitemap: https://example.com/sitemap.xml

"모든 검색봇 차단"을 켜면 두 그룹 모두 Disallow: / 한 줄만 남고 관리자·추가 경로 입력은 숨겨집니다. 사이트맵 칸을 비우면 Sitemap 줄이 빠집니다.

왜 Yeti 그룹에도 같은 규칙이 들어가나

크롤러는 자기 이름과 가장 구체적으로 맞는 그룹 하나만 따릅니다. Google 문서는 사용자 에이전트가 가장 구체적인 첫 번째 그룹 한 가지 규칙 집합에만 연결된다고 설명하고, RFC 9309의 예시도 일치하는 그룹이 없을 때에만 * 그룹이 쓰이는 것으로 보여 줍니다. 따라서 Yeti 그룹에 Allow: / 한 줄만 있으면 Yeti는 * 그룹의 차단 규칙을 읽지 않고 /admin/·/cart까지 크롤링할 수 있습니다.

이전 버전은 Yeti 그룹에 Allow: /만 썼고 이번에 차단 규칙을 그룹마다 반복하도록 고쳤습니다. 가장 구체적인 규칙이 적용되므로 Disallow: /admin/이 Allow: /보다 우선합니다. 이미 이전 결과를 사이트에 올렸다면 다시 만들어 교체하세요.

경로를 쓸 때 걸리는 지점

  • 경로는 /로 시작해야 합니다. Google 문서는 disallow 값이 / 문자로 시작해야 한다고 안내하고, RFC 9309의 문법도 경로 패턴을 /로 시작하는 것으로 정의합니다. 이전 기본값 ?sort=처럼 /가 없는 줄은 어떤 주소와도 맞지 않는 규칙이었습니다. 쿼리 문자열만 막으려면 /*?sort=처럼 * 와일드카드를 앞에 둡니다. Google 문서에 따르면 sitemap을 제외한 규칙은 경로 접두사·접미사·전체 문자열에 * 와일드카드를 지원합니다. 이 도구는 입력한 경로가 /로 시작하는지 검사하지 않으므로 직접 확인하세요.
  • 대소문자를 구분합니다. Google 문서는 규칙이 대소문자를 구분하며 /file.asp 규칙은 /FILE.asp에 적용되지 않는다고 설명합니다.
  • 디렉터리는 /로 끝내세요. /admin/은 그 폴더 아래를 막고 /admin은 /admin으로 시작하는 모든 주소를 막습니다.
  • 적용 범위는 호스트별입니다. Google 문서는 robots.txt 규칙이 파일이 게시된 프로토콜·호스트·포트에만 적용되며 하위 도메인에는 적용되지 않는다고 설명합니다. www와 블로그 서브도메인에는 각각 파일이 필요합니다.

이 도구가 하지 않는 일

  • 파일을 사이트에 올려 주지 않습니다. 복사한 텍스트를 사이트 루트의 robots.txt로 직접 저장해야 하고, 루트에 접근할 수 없으면 Google 문서가 안내하듯 meta 태그 같은 다른 방법을 써야 합니다. 도구의 안내 문구도 같은 내용입니다.
  • 규칙이 의도대로 동작하는지 시험하지 않습니다. 업로드한 뒤 막으려던 주소와 열어 두려던 주소를 각각 Search Console 등으로 확인하세요.
  • User-agent를 직접 추가하지 못합니다. 생성되는 그룹은 *와 Yeti 두 개뿐이고, 그 밖의 크롤러별 규칙이 필요하면 만든 텍스트에 직접 덧붙여야 합니다.
  • 사이트 전체 차단은 신중히 쓰세요. "모든 검색봇 차단"을 켠 파일을 운영 사이트에 올리면 크롤러가 어떤 주소도 가져가지 못합니다. 공개할 사이트에서는 켜지 마세요.

확인한 출처

최종 확인 2026-10-16. 실행 결과는 같은 날 이 사이트 주소와 이 저장소의 코드로 얻은 값입니다.

도구 사용

입력·계산·미리보기 같은 대화형 기능을 사용하려면 JavaScript를 켜 주세요. 아래 사용 방법과 입력 처리 안내는 로그인 없이 읽을 수 있습니다.

robots.txt란?

robots.txt는 검색엔진 크롤러에게 어떤 경로를 수집해도 되는지 알려주는 텍스트 파일입니다. 사이트 루트에 두면 크롤러가 가장 먼저 확인합니다.

기본 구조

  • User-agent — 규칙을 적용할 봇입니다. *는 모든 봇을 뜻합니다.
  • Allow / Disallow — 허용하거나 막을 경로입니다. 같은 봇에 두 규칙이 겹치면 더 구체적인 경로가 우선합니다.
  • Sitemap — 사이트맵 주소를 알려 크롤러가 주요 페이지를 빨리 찾게 합니다.

사용 순서

  1. 막을 경로와 허용할 경로를 정합니다.
  2. 봇별 규칙을 입력합니다. 특정 검색봇만 따로 다루려면 해당 봇 이름을 씁니다.
  3. 생성된 내용을 복사해 사이트 루트의 robots.txt로 올립니다.
  4. 브라우저에서 사이트주소/robots.txt를 열어 그대로 보이는지 확인합니다.

무엇을 막으면 좋은가

  • 관리자 페이지와 로그인 경로처럼 검색 결과에 나오면 곤란한 곳
  • 정렬·필터 파라미터로 만들어진 중복 주소
  • 장바구니, 결제 진행처럼 사용자별로 달라지는 경로

주의사항

robots.txt는 크롤러에게 보내는 요청이며 접근을 강제로 막는 장치가 아닙니다. 민감한 페이지는 서버 인증이나 비공개 설정으로 보호해야 합니다. 차단과 색인은 별개라서, 이미 색인된 페이지는 차단만으로 검색 결과에서 사라지지 않습니다.

오류 확인

문법이 어긋나면 크롤러가 규칙을 무시할 수 있습니다. 게시 후 검색엔진의 robots.txt 검사 도구로 한 번 확인하는 편이 안전합니다.

자주 묻는 질문

robots.txt는 어디에 두나요?

사이트 루트 도메인(예: example.com/robots.txt)에 두어야 동작합니다. 하위 경로나 서브디렉토리에 두면 무시됩니다.

차단하면 색인도 안 되나요?

아니요. 크롤링을 막을 뿐, 이미 색인된 페이지는 여전히 검색에 나타날 수 있습니다. 완전 삭제는 noindex 태그나 GSC 삭제 도구를 써야 합니다.

모든 봇을 막으려면?

User-agent: * 에 Disallow: / 를 지정하면 됩니다.

sitemap도 적나요?

네. Sitemap: 지시어로 사이트맵 URL을 적어두면 봇이 더 빨리 발견합니다.

Yeti 그룹을 따로 두면 * 그룹의 차단 규칙은 Yeti에게 적용되지 않나요?

적용되지 않습니다. 크롤러는 가장 구체적으로 일치하는 그룹 하나만 따르므로 Yeti 그룹에도 같은 Disallow 줄이 있어야 합니다. 이 도구는 두 그룹에 같은 차단 규칙을 모두 써 줍니다.

Disallow에 ?sort= 만 쓰면 쿼리 주소가 막히나요?

막히지 않습니다. Google 문서와 RFC 9309 모두 경로가 /로 시작하도록 정하고 있어 /가 없는 줄은 어떤 주소와도 맞지 않습니다. 정렬 쿼리를 막으려면 /*?sort= 처럼 쓰세요. 2026-10-16부터 이 도구의 기본값도 /*?sort= 입니다.

robots.txt를 만들었는데 적용이 안 되는 이유는 무엇인가요?

파일이 사이트 루트(https://도메인/robots.txt)에 올라가 있지 않거나, 호스트가 다른 경우가 많습니다. 규칙은 파일이 게시된 프로토콜·호스트·포트에만 적용되므로 www와 서브도메인은 각각 파일이 필요합니다.

관련 무료 도구와 운영 정보

이 분야 도구 활용 가이드 · 무료 온라인 도구 선택 가이드 · 무료 도구 전체 보기

서비스 소개 · 개인정보처리방침 · 이용약관 · 콘텐츠 검수 기준 · 문의