robots.txt生成

robots.txtファイルとは？

robots.txtファイルは、ウェブサイトのルートに配置するテキストファイルで、検索エンジンクローラーがどのページやセクションにアクセスできるかを指定します。Robots Exclusion Protocolに従い、ボットの動作を制御する業界標準の仕組みです。適切に設定することで、クローラーを価値あるコンテンツに誘導し、重複・ステージング・プライベートなエリアを保護できます。設定ミスにより重要なページがインデックスから除外されたり、機密ディレクトリが露出したりする可能性があります。

使い方

1. ユーザーエージェントを選択します（*で全ボット対象）。
2. 選択したボットに対して許可または拒否するパスを追加します。
3. 必要に応じてサイトマップURLとクロール遅延を入力します。
4. 「robots.txtを生成」をクリックしてファイル内容を生成します。
5. 出力をコピーし、サイトのルートディレクトリにrobots.txtとして保存します。

よくある質問

robots.txtファイルはどこに配置すべきですか？

ドメインのルートに配置する必要があります（例：https://example.com/robots.txt）。サブディレクトリに配置してもクローラーの動作には影響しません。

robots.txtでページがインデックスされないことを保証できますか？

いいえ。主要な検索エンジンはrobots.txtを尊重しますが、指示であって保証ではありません。より強力な保護にはnoindexメタタグまたはHTTPヘッダーを使用してください。