도구 가이드
robots.txt는 검색엔진 크롤러에게 사이트의 어느 경로를 수집해도 되는지 알려 주는 파일입니다. 사이트 루트에 두면 크롤러가 방문 시 가장 먼저 읽습니다.
관리자 페이지, 검색 결과 페이지, 로그인 후에만 의미 있는 경로처럼 검색 결과에 나올 필요가 없는 곳을 차단해 두면 크롤링 예산이 중요한 페이지에 집중됩니다.
이 도구는 차단할 경로를 줄 단위로 입력하면 문법에 맞는 robots.txt를 만들어 줍니다. User-agent 지정, 전체 차단, 사이트맵 주소 추가를 지원합니다.
사용 방법
- 차단할 경로를 한 줄에 하나씩 입력합니다.
- 적용할 User-agent를 지정합니다. 전체는 별표를 씁니다.
- 사이트맵 주소를 입력합니다.
- 생성된 내용을 robots.txt로 저장해 사이트 루트에 올립니다.
이럴 때 유용해요
- 관리자·로그인 경로를 검색에서 제외할 때
- 검색 결과 페이지가 색인되는 것을 막을 때
- 사이트맵 위치를 크롤러에 알릴 때
- 개발 중인 사이트 전체를 임시로 차단할 때
사용 팁
- robots.txt는 크롤링을 막을 뿐 색인을 확실히 막지는 못합니다. 색인을 막으려면 페이지에 noindex를 넣으세요.
- 차단한 페이지에 noindex를 넣으면 크롤러가 그 태그를 읽지 못해 오히려 색인이 남을 수 있습니다. 둘을 함께 쓰지 마세요.
- 누구나 볼 수 있는 파일입니다. 숨기고 싶은 경로를 여기에 적으면 오히려 위치를 알려 주는 셈이 됩니다.