robots.txt 생성기
차단할 경로를 줄 단위로 입력하면 robots.txt 파일을 만들어줍니다. User-agent 지정, 전체 차단, 사이트맵 URL을 지원하며 모든 처리는 브라우저에서만 이루어집니다.
자주 묻는 질문
robots.txt는 어디에 두나요?
사이트 루트(https://example.com/robots.txt)에 있어야 합니다. 하위 경로에 둔 파일은 크롤러가 읽지 않습니다.
robots.txt로 페이지를 완전히 숨길 수 있나요?
아니요. 크롤링을 '요청'하는 신사협정일 뿐 접근을 막지 못하며, 외부 링크가 있으면 색인될 수도 있습니다. 완전히 숨기려면 인증이나 noindex 메타 태그를 사용하세요.
AI 크롤러도 차단할 수 있나요?
User-agent에 GPTBot, CCBot, Google-Extended 같은 이름을 지정한 블록을 각각 추가하면 됩니다. 이 도구로 각 블록을 만들어 이어 붙이세요.
관련 도구
마크다운 문서의 제목(#)을 읽어 GitHub 스타일 앵커 링크가 달린 목차를 자동 생성합니다. 모든 처리는 브라우저에서만 이루어집니다.
URL에 쓸 수 없는 한글·특수문자를 퍼센트 인코딩하거나 원래 문자로 되돌립니다.
CIDR 표기(예: 192.168.1.0/24)로 네트워크·브로드캐스트 주소, 호스트 범위, 서브넷 마스크, 사용 가능 호스트 수를 계산합니다. 네트워크 설계와 방화벽 설정에 유용하며 모든 계산은 브라우저에서만 이루어집니다.
리눅스 파일 권한을 체크박스로 선택하면 8진수(755)와 기호(rwxr-xr-x) 표기를 계산합니다. 8진수 입력으로 역변환도 지원합니다.
Cron 표현식을 필드별로 해석하고 다음 실행 시각 5개를 계산합니다.
두 텍스트를 줄 단위로 비교해 추가·삭제된 부분을 색으로 표시합니다.