ToolHub

robots.txt 生成器

按行输入要禁止的路径即可生成 robots.txt 文件,支持指定 User-agent、全部禁止和站点地图 URL。所有处理均在浏览器中完成。

输入
结果

常见问题

robots.txt는 어디에 두나요?

사이트 루트(https://example.com/robots.txt)에 있어야 합니다. 하위 경로에 둔 파일은 크롤러가 읽지 않습니다.

robots.txt로 페이지를 완전히 숨길 수 있나요?

아니요. 크롤링을 '요청'하는 신사협정일 뿐 접근을 막지 못하며, 외부 링크가 있으면 색인될 수도 있습니다. 완전히 숨기려면 인증이나 noindex 메타 태그를 사용하세요.

AI 크롤러도 차단할 수 있나요?

User-agent에 GPTBot, CCBot, Google-Extended 같은 이름을 지정한 블록을 각각 추가하면 됩니다. 이 도구로 각 블록을 만들어 이어 붙이세요.

相关工具