도구 실행
웹사이트의 검색 엔진 크롤링 및 색인 수집 방식을 제어하는 robots.txt 텍스트를 구성하는 도구입니다. 대상 검색 로봇의 식별값을 지정하고 전체 경로 허용 여부를 선택할 수 있습니다. 특정 디렉터리나 파일의 접근을 제한해야 하는 경우 전체 허용 옵션을 해제한 뒤 차단할 경로를 한 줄에 하나씩 입력하면 해당 규칙이 반영됩니다. 추가로 사이트맵 주소와 크롤링 지연 시간 값을 입력하여 검색 엔진 봇에 전달할 정보를 완성할 수 있습니다. 생성된 텍스트를 복사하여 웹 서버의 최상위 루트 디렉터리에 파일로 저장해 사용합니다.
사용 방법
- 대상 검색 로봇을 지정하려면 사용자 에이전트 항목에 식별값을 입력합니다. 기본값은 모든 검색 로봇을 뜻하는 별표(*)입니다.
- 사이트의 모든 경로 접근을 허용하려면 전체 허용 옵션을 켜두고, 특정 경로를 차단하려면 옵션을 해제합니다.
- 전체 허용 옵션을 끈 경우, 차단 경로 목록 입력란에 줄바꿈으로 경로를 구분하여 입력합니다.
- 필요한 경우 사이트맵 전체 주소와 크롤링 지연 시간 값을 함께 입력합니다.
- 실행 후 결과 창에 생성된 지시문 텍스트를 복사하여 사이트 루트의 robots.txt 파일에 저장합니다.
예시
- 모든 로봇(*)에 대해 관리자 페이지(/admin/) 및 비공개 폴더(/private/)만 차단하고 사이트맵을 추가하는 기본 설정
- 특정 검색 로봇을 대상으로 지정하고 크롤링 지연 시간을 10으로 설정하여 서버 부하를 줄이는 설정
자주 묻는 질문
robots.txt 파일은 웹사이트의 어디에 위치해야 하나요?
도메인의 최상위 루트 디렉터리에 위치해야 합니다. 예를 들어 https://example.com/robots.txt 형태로 접근 가능해야 검색 로봇이 인식합니다.
전체 허용을 끄고 차단 경로를 입력하지 않으면 어떻게 처리되나요?
차단할 경로를 입력하지 않은 상태에서 전체 허용을 끄면 사이트 전체 경로 접근을 차단하는 Disallow: / 규칙이 기본으로 적용됩니다.
이 도구로 생성된 파일이 웹사이트에 자동으로 적용되나요?
아닙니다. 생성된 텍스트를 복사하여 직접 웹 서버의 robots.txt 파일에 붙여넣고 업로드해야 실제 사이트에 적용됩니다.