robots.txt 생성기
robots.txt는 검색엔진 크롤러에게 "이 경로는 크롤링해도 되고, 이 경로는 하지 마"라고 알려주는 파일입니다.
기본 구조
User-agent— 대상 봇 (* 는 전체)Allow / Disallow— 허용/차단 경로Sitemap— 사이트맵 URL
관리자 페이지, 검색 결과, 정렬 파라미터 중복 페이지 등을 차단하면 크롤 예산을 아낄 수 있습니다.
회원가입 없는 무료 온라인 도구
robots.txt 생성기
구글봇, 네이버봇 등 검색엔진 크롤러의 접근을 허용/차단하는 robots.txt 파일을 생성하는 무료 도구입니다.
회원가입 없이 브라우저에서 바로 사용할 수 있습니다.
도구 사용
입력·계산·미리보기 같은 대화형 기능을 사용하려면 JavaScript를 켜 주세요. 아래 사용 방법과 입력 처리 안내는 로그인 없이 읽을 수 있습니다.
자주 묻는 질문
robots.txt는 어디에 두나요?
사이트 루트 도메인(예: example.com/robots.txt)에 두어야 동작합니다. 하위 경로나 서브디렉토리에 두면 무시됩니다.
차단하면 색인도 안 되나요?
아니요. 크롤링을 막을 뿐, 이미 색인된 페이지는 여전히 검색에 나타날 수 있습니다. 완전 삭제는 noindex 태그나 GSC 삭제 도구를 써야 합니다.
모든 봇을 막으려면?
User-agent: * 에 Disallow: / 를 지정하면 됩니다.
sitemap도 적나요?
네. Sitemap: 지시어로 사이트맵 URL을 적어두면 봇이 더 빨리 발견합니다.