robots.txt

robots.txtは、検索エンジンのクローラーに対して、サイト内のどのURLをクロールしてよいか、または避けてほしいかを伝えるためのテキストファイル。

管理画面、検索結果ページ、重複しやすいパラメータURLなどをクロール対象から外すときに使われる。ただし、robots.txtはアクセス制御ではないため、機密情報を守る目的で使うべきではない。

SEOでは、重要ページを誤ってDisallowしていないか、sitemap.xmlへの導線があるかを確認したい。AIO/GEOの文脈では、llms.txtと役割を分けて整備することが多い。

SEO・検索領域では、この用語を単なるテクニックではなく、検索される意図、ページ構造、コンテンツ品質、計測の一部として見ると実務に落とし込みやすい。SaaSを選ぶ際は、順位や流入だけでなく、改善提案の根拠、競合比較、構造化データ、レポート共有のしやすさも確認したい。

よくある誤解は、ツールを入れれば自動的に順位が上がるというもの。実際には、技術的な土台、検索意図に合った内容、継続的な更新、成果測定が揃って初めて効果が見えやすくなる。