ツールを実行
Robots.txt Generatorは、検索エンジンのクローラーに対する巡回・インデックス制御用のrobots.txtファイルを簡単に作成できるオンラインツールです。対象とするユーザーエージェントの指定をはじめ、サイト全体のクロール許可、特定ディレクトリや個別ページの巡回拒否パスの登録、サイトマップURLの明示、クロール間隔（Crawl-Delay）の設定に対応しています。全体許可のチェックを外してパスを改行で複数指定すれば、管理画面や非公開フォルダを一括で除外設定できます。生成されたテキストをコピーしてサーバーのルートディレクトリに配置することで、Webサイトのクローラー制御に活用できます。
使い方
- 対象のユーザーエージェントを入力します（初期値はすべてのクローラーを表す「*」です）。
- サイト全体へのアクセスを許可する場合は「すべて許可」を有効にします。個別にパスを制限する場合はチェックを外します。
- アクセスを拒否するパスがある場合は、除外パス入力欄に1行に1つずつパスを入力します。
- 必要に応じてサイトマップの完全なURLやクロール間隔（秒数など）を入力します。
- 生成ボタンを押すと、出力欄に整形されたrobots.txt用のテキストが表示されます。
使用例
- サイト全体を全クローラー（*）に許可し、サイトマップURL（https://example.com/sitemap.xml）を指定して標準的なrobots.txtを作成する構成例。
- 「すべて許可」を外し、除外パス欄に「/admin/」および「/tmp/」を改行区切りで入力し、クロール間隔を「10」に設定して限定公開領域を保護する構成例。
よくある質問
生成されたテキストはどのように利用しますか？
出力されたテキストを「robots.txt」という名前のテキストファイルとして保存し、Webサーバーのルートディレクトリにアップロードして公開します。
除外パスを複数指定したいときはどう入力すればよいですか？
「すべて許可」のチェックを外し、除外パス欄に1行につき1つのパス（例: /admin/）を改行で区切って入力してください。
「すべて許可」を無効にして除外パスを入力しなかった場合はどうなりますか？
除外パスが指定されていない場合は、サイト全体へのアクセス拒否を意味する「Disallow: /」が出力されます。
生成された設定内容は検索エンジンに必ず遵守されますか？
主要な検索エンジンはrobots.txtの指示を参照しますが、ディレクティブの解釈や対応状況は各クローラーの仕様に依存します。