robots.txtの書き方・使い方

ホームページを作ったばかりの人の場合、robots.txt(ロボットテキスト)というものを知らない人も多いと思いますが、SEOのことを考えるのであれば使う機会も出てくるかもしれません。

robots.txtの役目は検索エンジンのクローラーの動きを制御したり、sitemap.xmlの存在をクローラーに伝えることです。サイト全体や特定のページをGoogleにインデックスさせたくない場合に使うことが多いです。

robots.txtの設置方法

設置方法は超簡単です。メモ帳などのテキストエディタで、「robots.txt」というファイル名のファイルを作り、ドメインのトップにアップロードするだけです。

robots.txtには、クローラーを制御するためのコードを書きます。間違えた記述によりクローラーの訪問を除外してしまい、サイト全体が検索エンジンからインデックス削除されるなどの問題が発生しますので、robots.txtの取扱いには注意しましょう。

全てのロボットを拒否

User-agent: *
Disallow: /

Googleだけ拒否

User-agent: Googlebot
Disallow: /

Yahooだけ拒否

User-agent: Slurp
Disallow: /

Bingだけ拒否

User-agent: bingbot
Disallow: /

特定のディレクトリやページを拒否

User-agent: *
Disallow: /seo/
Disallow: /robo.html

Yahooについては、現在独自の検索エンジンは開発していませんので、重要になるのはGoogleのみです。Bingについては利用者が少ないので、影響力は大きくありません。サイトやページをGoogleにインデックスさせたくない時に使う形がほとんどだと思います。

サイトにアクセスしてくる可能性があるロボットは、検索エンジン以外にも沢山ありますので、生ログなどを見てアクセスが多いロボットを弾いても良いと思います。そういえば今は問題ないようですが、一時期、百度(バイドゥ)という中国の検索エンジンのロボットの大量アクセスが話題になりましたね。

特定のページだけクロールさせたい場合

クロールさせたい場合には、「Allow:」を使うことになります。

User-agent: *
Allow: /

こうすればロボットにサイト全体をクロールして欲しいことを伝えることができます。

「Disallow: 」と「Allow: /」は、拒否するページはない、全ページ許可するという同じ意味になります。

ただ、クローラーはクロールするのが仕事ですので、基本的には許可については書く必要がありません。

Disallow: /wp-content/
Allow: /wp-content/uploads

Allow: の使い道としては、このように特定のディレクトリのクロールを拒否して、その中の一部のディレクトリやファイルのみ許可するような時に役に立ちます。

サイトマップ

Sitemap: http://www.example.com/sitemap.xml

sitemap.xmlについては、Googleウェブマスターツールで登録しておけばそれでOKなのですが、robots.txtで存在を伝えることも可能です。

WordPressサイトのrobots.txt

User-Agent: *
Disallow: /wp-login.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Allow: /wp-content/uploads

Sitemap: http://rensabanet.com/sitemap.xml

当サイトではこのようなrobots.txtになっています。管理画面についてはクロールさせる必要がありませんが、uploadsフォルダ(イメージファイルなど)については、画像検索などの関係もあるので許可しています。

robots.txtを500エラーにしていると・・・

robots.txtは無くても特に問題はないのですが、robots.txtにアクセスした時に500エラーを返すようになっていると検索エンジンにサイトをインデックス削除されてしまう可能性があります。

robots.txtをエラー状態にするとインデックスが削除されてしまうという怖~いお話

これは本当に怖いですね。

robots.txtは500、301、302などのステータスコードになっていると怖いことが起こるかもしれません。必ず200か404、410の状態にしておきます。

管理人イチオシのレンタルサーバー

当サイトでも使っているエックスサーバーは、ディスク容量が200Gと大きく、MySQLが50個まで使えますので、1つの契約でいくつものサイトを運営することができます。

転送量が月2,000G、メモリ192Gと他の格安サーバーでは見られないスペックとなっており、アクセス数の多いサイトや複数のWordPressサイトを運営するのにも向いています。

自動バックアップと電話サポートが付いているので、初心者の方でも安心!

エックスサーバーの無料お試し申し込みはこちら

公開日:2012年10月21日

サブコンテンツ

このページの先頭へ