robots.txt 파일이란?
robots.txt 파일은 웹사이트 루트에 배치되는 텍스트 파일로, 검색 엔진 크롤러에게 어떤 페이지나 섹션에 접근을 허용하거나 차단할지 알려줍니다. 이 파일은 봇 동작을 제어하는 업계 표준 메커니즘인 Robots Exclusion Protocol을 따릅니다. robots.txt를 올바르게 구성하는 것은 SEO에 필수적이며, 크롤러를 가치 있는 콘텐츠로 안내하고 중복, 스테이징 또는 비공개 영역에서 멀어지게 합니다. 잘못 구성된 파일은 중요한 페이지의 색인을 실수로 차단하거나 민감한 디렉토리를 노출할 수 있습니다.
사용 방법
- User-Agent를 선택합니다(또는
*를 유지하여 모든 봇을 대상으로 합니다). - 선택한 봇에 대해 허용하거나 차단할 경로를 추가합니다.
- 선택적으로 사이트맵 URL과 크롤 지연 값을 입력합니다.
- “robots.txt 생성하기”를 클릭하여 파일 내용을 생성합니다.
- 출력을 복사하여 사이트의 루트 디렉토리에
robots.txt로 저장합니다.
자주 묻는 질문
robots.txt 파일은 어디에 배치해야 하나요?
도메인의 루트에 있어야 합니다. 예: https://example.com/robots.txt. 하위 디렉토리에 배치하면 크롤러 동작에 영향을 미치지 않습니다.
robots.txt가 페이지가 색인되지 않는 것을 보장하나요?
아닙니다. 대부분의 주요 검색 엔진은 robots.txt를 준수하지만, 이것은 지시이지 보장이 아닙니다. 더 강력한 보호를 위해 noindex 메타 태그나 HTTP 헤더를 사용하세요.