robots.txt の作り方と設定内容を確認する方法

robots.txt の設定を始める前に

robots.txt Generator は、検索エンジンのクロールやインデックス作成を制御するための robots.txt テキストを作るツールです。ユーザーエージェント、アクセス設定、許可しないパス、クロール遅延、サイトマップの値を指定し、生成された各行を確認できます。作成したテキストを実際のウェブサイトへ掲載したり、クローラーへ適用したりする作業は別に行います。目的に合う設定を入力したうえで、出力内容を掲載前に確認すると使いやすくなります。サイト全体を対象にするか、特定のパスだけを制限するかを先に決めておくと、入力の判断も進めやすくなります。生成結果は設定内容を確認するためのテキストとして扱ってください。今後の管理に備え、どのパスを制限する設定にしたかも記録しておくと確認が容易です。目的に応じた入力と出力の照合を行うことが大切です。詳しい値を入力する前に、対象範囲と追加する行を整理しておきましょう。

入力項目を指定してテキストを作る手順

1. ユーザーエージェントを入力します。省略した場合は * が使われ、生成結果は入力値を含む User-agent 行から始まります。
2. すべてのアクセスを許可するなら、許可設定を有効にします。設定を省略した場合も有効として扱われ、結果には空の Disallow 行が入ります。
3. 特定のパスを許可しないなら、許可設定を無効にして、対象パスを1行ずつ入力します。各行の前後の空白は取り除かれ、空行は無視されます。残った各行が Disallow 行になります。使えるパスがないときは、/ を対象にした行が生成されます。
4. 必要に応じてクロール遅延を入力します。空白以外の文字が含まれていれば、Crawl-Delay 行が追加されます。
5. サイトマップの値を入力します。空白以外の文字が含まれていれば、空行の後に、その値を使った Sitemap 行が追加されます。
6. 出力されたテキストを確認し、ユーザーエージェント、許可設定、対象パス、追加した行が意図どおりか照合します。利用するサイトへ掲載する場合は、生成後にその作業を別途行います。

出力された行を確認するポイント

許可設定を有効にした結果には、空の Disallow 行が表示されます。無効にして複数のパスを入力した場合は、空白行を除いた各行が個別の Disallow 行として現れます。入力が空白だけなら、指定したパスの代わりに / の行が使われるため、意図した制限範囲かを確認してください。

クロール遅延とサイトマップは、空白以外の文字が入力されている場合に結果へ加わります。入力した値の意味や形式が目的に合っているかは、生成後のテキストを見て確認します。出力された行が設定意図を表していても、その結果だけでクローラーの動作やインデックス作成の結果が決まるとは限りません。掲載前には対象パスと追加行をもう一度見直しましょう。設定を変更したときは、前回の出力との差分を確認すると、意図しない行の変化を見つけやすくなります。空欄と空白だけの入力は扱いが異なる項目があるため、表示された行を省略せずに確認してください。

使用例

サイトの一部を対象外にしたい担当者が、二つのパスと追加項目を指定して robots.txt テキストを作成します。

ユーザーエージェントを省略し、許可設定を無効にして /private と /drafts を別々の行に入力します。クロール遅延には 10 を入れ、サイトマップ欄には用意したサイトマップの値を入力して生成します。

生成結果には User-agent: *、入力した各パスの Disallow 行、Crawl-Delay 行、空行の後に入力値を使った Sitemap 行が含まれます。

制限事項

• このツールが作るのは robots.txt テキストです。生成結果の掲載やクローラーへの適用、クロールやインデックス作成の結果は、この操作だけで確認できません。

よくある間違い

• 許可設定を無効にしたまま対象パスを入力し忘れると、/ の Disallow 行が生成されます。制限したいパスを、空白だけではない内容で1行ずつ入力してください。

よくある質問

ユーザーエージェントは入力必須ですか？

省略できます。入力がない場合は * が使われ、生成結果の User-agent 行に反映されます。指定したい対象がある場合だけ値を入力してください。後から出力行を見て、対象の表記も確認できます。

許可しないパスを空欄にするとどうなりますか？

許可設定を無効にして対象パスを入力しない場合は、/ を対象にした Disallow 行が生成されます。制限範囲を指定するなら、対象パスを空白以外の文字で入力してください。

サイトマップの行はいつ追加されますか？

空白以外の文字を入力した場合だけ、空行の後に入力値を使った Sitemap 行が追加されます。入力後は、値がその行に反映されているかを確認できます。空白だけの入力では追加されません。