robots.txt 생성기 사용 방법

먼저 정할 규칙의 범위

robots.txt 생성기는 검색 엔진의 크롤링과 색인에 관한 지침을 텍스트로 정리할 때 사용할 수 있습니다. User-agent로 규칙의 대상을 정하고, 접근을 허용할지 특정 경로를 제한할지 선택한 뒤 결과에 Disallow 지시어를 표시할 수 있습니다. 필요하면 Sitemap과 Crawl-Delay 입력도 결과에 포함할 수 있습니다.

이 도구를 사용할 때는 먼저 만들려는 규칙의 범위를 정하는 것이 좋습니다. 모든 경로를 제한 없이 표시할지, 여러 경로를 각각 지정할지에 따라 선택할 설정이 달라집니다. 입력한 값이 결과의 어느 줄로 나타나는지 확인하면 작성한 텍스트를 검토하기가 수월합니다. 결과가 표시되었다는 사실만으로 웹사이트에 자동 적용되었다고 해석해서는 안 되며, 실제 반영 절차는 별도로 확인해야 합니다.

입력값을 단순히 나열하기보다 대상, 접근 범위, 선택 항목의 순서로 생각하면 실수를 줄일 수 있습니다. 특히 allow-all을 끈 상태에서 경로를 비워 두는 경우에는 특정 경로가 아니라 /가 결과에 들어갈 수 있으므로, 생성 전에 의도한 범위를 분명히 정해야 합니다.

이 방법은 robots.txt 텍스트의 구조를 확인하면서 필요한 줄을 구성하려는 경우에 적합합니다.

설정값을 텍스트로 구성하기

1. User-agent 입력란에 규칙을 적용할 대상을 입력합니다. 이 항목을 비워 두면 선택 입력의 기본값인 *가 사용되며, 결과는 해당 값을 담은 User-agent 줄로 시작합니다.

2. 모든 경로를 허용하는 형태를 만들려면 allow-all을 켜 둡니다. 이 선택을 사용하면 결과에 값이 비어 있는 Disallow 지시어가 포함됩니다.

3. 특정 경로를 제한하려면 allow-all을 끄고 차단 경로를 입력합니다. 여러 경로는 한 줄에 하나씩 적으십시오. 입력한 각 줄은 앞뒤 공백이 정리되고, 빈 줄은 제외된 뒤 남은 경로마다 별도의 Disallow 줄로 바뀝니다.

4. allow-all을 끈 채 사용할 수 있는 차단 경로를 입력하지 않으면 결과에는 /를 대상으로 하는 Disallow 지시어가 들어갑니다. 특정 경로만 제한하려는 경우에는 이 대체 결과가 의도와 맞는지 반드시 살펴보십시오.

5. Sitemap을 추가하려면 해당 입력란에 공백만으로 이루어지지 않은 텍스트를 넣습니다. 결과에는 빈 줄이 먼저 생긴 뒤 입력값을 담은 Sitemap 줄이 추가됩니다.

6. Crawl-Delay를 표시하려면 같은 방식으로 공백이 아닌 텍스트를 입력합니다. 조건을 충족하면 입력한 값을 담은 Crawl-Delay 줄이 결과에 나타납니다.

7. 생성을 실행한 다음 첫 줄의 대상, Disallow 줄의 경로와 개수, 선택한 Sitemap 및 Crawl-Delay 줄의 유무를 입력 내용과 대조합니다. 줄바꿈한 경로가 각각 나뉘었는지도 확인하십시오.

생성된 줄의 의미 확인

첫 줄의 User-agent는 뒤따르는 규칙의 대상을 보여 줍니다. 값을 입력하지 않았다면 *가 표시되므로, 여러 대상 중 특정 대상을 지정해야 하는 상황인지 결과를 만들기 전에 판단해야 합니다. 이 줄은 차단 범위를 읽을 때 기준이 되는 부분입니다.

allow-all을 켠 결과에 값이 없는 Disallow가 있으면 차단 경로를 지정하지 않은 구성으로 볼 수 있습니다. 반대로 해당 선택을 끄고 usable한 경로를 입력하면 입력한 경로마다 별도의 Disallow 줄이 생깁니다. 경로가 없을 때 /가 표시되면 목록에 없는 특정 경로가 아니라 루트 경로를 대상으로 하는 대체 구성이 만들어진 것입니다.

Sitemap 입력에 공백이 아닌 내용이 있었다면 빈 줄 다음에 Sitemap 줄이 보입니다. Crawl-Delay도 내용이 있을 때만 해당 줄이 추가됩니다. 입력하지 않은 선택 항목의 줄이 보이지 않는 것은 입력 조건에 따른 결과 모양일 수 있습니다.

출력은 입력값이 표시되는 형태를 보여 주는 텍스트입니다. 각 줄이 의도한 대상과 범위를 나타내는지 검토한 뒤, 웹사이트에서 어느 위치에 어떤 절차로 반영할지는 별도로 결정해야 합니다. 생성된 내용만으로 크롤러의 동작이나 색인 결과가 보장된다고 판단하지 마십시오.

사용 예시

웹사이트 운영자가 관리자 영역과 비공개 영역을 제한하면서 설명용 사이트맵 자리표시자와 크롤 지연 값을 함께 표시하려고 설정합니다.

allow-all을 끄고 차단 경로 입력란에 /admin과 /private를 줄바꿈으로 넣습니다. Sitemap에는 sitemap-placeholder를, Crawl-Delay에는 10을 입력한 뒤 결과에서 해당 줄의 존재를 확인합니다.

결과는 User-agent: *로 시작하고 Disallow: /admin, Disallow: /private가 각각 한 줄씩 나타나는 형태입니다. 이어서 빈 줄과 설명용 사이트맵 자리표시자를 담은 Sitemap 줄, Crawl-Delay: 10 줄이 포함됩니다.

제한 사항

• 차단 경로는 줄 단위로 정리되고 빈 줄은 제외되며, usable한 경로가 없으면 /가 사용됩니다. Sitemap과 Crawl-Delay는 공백만 있는 입력에서는 추가되지 않습니다.

자주 발생하는 오류

• allow-all을 끈 뒤 차단 경로를 비워 두면 특정 목록 대신 /를 대상으로 하는 Disallow가 생깁니다. 원하는 경로를 줄마다 입력하고 생성 결과의 범위를 다시 대조하십시오.

자주 묻는 질문

User-agent를 꼭 입력해야 하나요?

비워 두어도 됩니다. User-agent는 선택 입력이므로 이 경우 기본값 *가 사용되고, 결과의 첫 줄에는 해당 값을 담은 User-agent가 표시됩니다. 특정 대상을 지정하려면 값을 직접 입력하십시오。

특정 경로만 제한하려면 어떻게 하나요?

특정 경로를 제한하려면 allow-all을 끄고 경로를 줄마다 입력하십시오. usable한 경로가 없으면 /가 결과에 들어가므로, 생성 뒤 각 Disallow 줄의 범위를 확인해야 합니다。　　本 답변은 조건을 먼저 설명합니다.

Sitemap과 Crawl-Delay를 함께 넣을 수 있나요?

가능합니다. 공백만이 아닌 Sitemap 텍스트를 넣으면 Sitemap 줄이 추가되고, Crawl-Delay 입력에도 내용이 있으면 해당 줄이 나타납니다. 각각을 비워 두면 그 선택 항목의 줄은 생기지 않습니다.