検索エンジンのクローラーのサイトへの訪問を確認する方法

検索エンジンのクローラーの訪問をチェックするというのは、SEOに取り組んでいる人でも滅多にやることではないと思いますが、アクセス数が全く増えない、ページが全然インデックスされない、新規ページのインデックスが極端に遅いなどで、調べてみたらGoogleのクローラーを弾いていたという事もあります。

普通にサイトを公開しているぶんには、クローラーの訪問は気にする必要が無いですし、普通に更新しているサイトであれば、一日に何度もクローラーはやってきますので、何もすることはないのですが、一応チェック方法をご紹介いたします。

※クローラーというのは、検索エンジンが世界中のサイトを巡回するためのロボットのことです。新しいページが公開された場合には、リンクを辿りそのページを発見し、インデックスしていきます。ページを公開してもどこからもリンクが張られていない場合には、基本的には検索エンジンはそのページの存在を知ることはできません。

クローラーの訪問をチェックする方法

  1. ウェブマスターツールを使う
  2. アクセス解析を使う
  3. サーバーの生ログを見る

まずは、おおまかな状況を確認するためにGoogleウェブマスターツールを使います。細かい情報が欲しい場合には、アクセス解析や生ログを活用しましょう。

ウェブマスターツールを使う

健全性 ⇒ クロールの統計情報

このように、クロールされたページ数やダウンロードされるキロバイトが一定の値になっていれば、大きな問題が発生していることはないでしょう。この数値がゼロ、もしくはゼロに近い場合には、クローラーの訪問を拒否している可能性があります。

ただし、サイト開設間もない時や、ページ数が少ない、全く更新していない場合には、ゼロに近くなることがあります。

アクセス解析を使う

アクセス解析の中にはクローラーの訪問も記録しているものがあります。そういった解析ソフトを使えば訪問をチェックすることができます。

WordPressサイトであればプラグインが便利です。

どちらのプラグインもクローラーの訪問がチェックできます。 Statpress SEOlutionの方は、検索エンジン以外のクローラーも項目ごとに分けて表示されるので便利です。

サーバーの生ログを見る

サーバーによっても生ログの取得方法が異なりますが、多くの場合、CSVやテキストファイルでダウンロードして確認できるはずです。この中からクローラーを検索機能を使って見つけ出すことになります。

管理人イチオシのレンタルサーバー

当サイトでも使っているエックスサーバーは、ディスク容量が200Gと大きく、MySQLが50個まで使えますので、1つの契約でいくつものサイトを運営することができます。

転送量が月2,000G、メモリ192Gと他の格安サーバーでは見られないスペックとなっており、アクセス数の多いサイトや複数のWordPressサイトを運営するのにも向いています。

自動バックアップと電話サポートが付いているので、初心者の方でも安心!

エックスサーバーでは無料SSLが利用できます。Googleはhttpsのサイトを評価する傾向があり、今後はSSL化が必須になってくるでしょう。無料SSLは簡単に導入できるのでとても助かっています。

エックスサーバーの公式サイトへ

サブコンテンツ

このページの先頭へ