YahooやGoogleの検索結果にサイトを表示させない方法

ホームページを公開したら色々な人に見てもらいたいと思いますので、SEO(検索エンジン最適化)やSMO(ソーシャルメディア最適化)を行いアクセスアップを図るわけですが、まだ誰にも見て欲しくないという場合には、IPアドレスでアクセス制限をかけたりBasic認証でアクセス制限をかけたりしますよね。

ただ、アクセス制限をかけるほどではないけど、サイトが中途半端な状態なので、YahooやGoogleのような検索エンジンの検索結果には表示したくないという時に便利なのがrobots.txtやmetaによるブロック設定です。

話はズレますが、2010年12月より日本のYahooの検索エンジンはYahoo独自の検索エンジンであるYSTからGoogleに切り替わっていますので、現在のYahooはGoogleとほぼ同じ検索結果になっています。Googleで高順位を獲得することが出来れば、自動的にYahooでも上位表示されるという状態となっています。

検索エンジンがほぼGoogleに一本化されていることで、特定のキーワードに依存したアクセスアップ法はリスクが高いと言えますので、安定したアクセス数を獲得するためには、ロングテールSEOを取り入れることが有効です。

metaにnoindexを追加

<meta name="robots" content="noindex">

head内に上記の記述を行うと検索エンジンはそのページをインデックスしなくなります。正確には、被リンクを受けたページなどではインデックスされる事もあるのですが、基本的には検索結果に表示され無くなります。

設定 ⇒ プライバシー設定

WordPressのプライバシー設定で、「検索エンジンはブロックするが通常の訪問者の閲覧は許可する」を選択すると、自動的に全ページにnoindexタグが挿入されるようになっています。時々ホームページ制作会社が、サイト完成前にこの設定を行なっていて、サイト本公開後も解除し忘れて悲惨な状態になっているサイトがありますよね。

基本的に、全ページにnoindexタグが付いている場合、YahooやGoogle経由のアクセス数がゼロになりますので、公開していないのも同じ状態になってしまいますので、注意しましょう。

<meta name="robots" content="nofollow">

似たようなものに「nofollow」というものがありますが、これはページ内にあるリンクを検索エンジンに辿らせないようにするための記述です。リンク先ページを一応認識しているようですが、この記述がしてあるページから張られたリンクにはリンクジュース(リンク評価)が渡らないようになっています。

<meta name="robots" content="noarchive">

もう一つよく出てくるのが「noarchive」です。これは、このページを検索エンジンのデータベース(キャッシュ)に保存しないようにするための記述です。

<meta name="robots" content="noindex,nofollow,noarchive">

この様にカンマ区切りで全ての項目をまとめて記述することも可能となっています。3つとも記述しておけば、とりあえずはそのページが検索エンジンにとって価値のないものになるでしょう。

robots.txtで検索エンジンをブロックする

検索結果に表示しないもう一つの方法が、検索エンジンの訪問を拒否する設定です。検索エンジンはサイトに訪問するとまず始めにrobots.txtを見に行くのですが、その中にクローラーに訪問して欲しくないページを記述しておくことで、そのページをクロールしなくなります。

robots.txtというのは、「robots」という名前がついたテキストファイルの事ですので、Windowsであればメモ帳などで作成すれば大丈夫です。検索エンジンをブロックする場合は、以下の記述をしたrobots.txtをルートディレクトリ(サイトのトップ)にアップロードしておきましょう。

全ての検索エンジンをブロック

User-agent: *
Disallow: /

User-agentの部分で、特定の検索エンジンを指定することができますが、検索結果に載せたくないということであれば、すべての検索エンジンを表す「*」で良いでしょう。

Disallowではなく「allow」にすることで、クロールを許可するという意味になるのですが、許可する場合は、特に許可する設定を記述する必要はありませんので、allowを使う機会は無いと言えます。

特定のディレクトリやページのみブロック

User-agent: *
Disallow: /wordpress/
Disallow: /read.html

このようにDisallow:の後に、サイト内のディレクトリ名やファイル名を記述しておくと、そのページのみ検索エンジンをブロックすることになります。特定のページのみ検索結果に載せたくないという場合も少なくないと思いますので、活用する機会はあると思います。

ただ、間違えて検索結果に載せたいページを記述してしまうと悲惨な結果になりますので注意しましょう。それだけ検索エンジンはrobots.txtに書かれていることを重要視しています。

目的別 おすすめレンタルサーバー

コストパフォーマンスが高いレンタルサーバー
WordPress向け
法人レンタルサーバー
激安料金

管理人イチオシのレンタルサーバー

当サイトでも使っているエックスサーバーは、ディスク容量が200Gと大きく、MySQLが50個まで使えますので、1つの契約でいくつものサイトを運営することができます。

転送量が月2,000G、メモリ192Gと他の格安サーバーでは見られないスペックとなっており、アクセス数の多いサイトや複数のWordPressサイトを運営するのにも向いています。

自動バックアップと電話サポートが付いているので、初心者の方でも安心!

エックスサーバーの無料お試し申し込みはこちら

公開日:2011年11月7日
最終更新日:2013年12月4日

カテゴリー:SEO初心者 パシのレンサバブログ

コメント

コメントは受け付けていません。

このページの先頭へ