クローラのインデックスを促進する方法

せっかくページをたくさん作成しても、サーチエンジンのクローラに効率よくクローリングしてもらってインデックスさせないと、検索結果ページには表示されません。

インデックスされていないページは、「存在しないに等しい」といってもいいくらいです。

そこで、今日はクローラにインデックスを促す基本的な方法について説明します。

  • Sitemap(サイトマップ)を、サーチエンジンに送信する
  • すでにインデックスされているウェブページから、豊富にリンクを張る
  • ビジターのためのSitemapを作成する
  • サーチエンジンにやさしいサイト構成にする。
  • Google ウェブマスターツールの「クロール頻度を設定」で「高速」を選択する。(Googleのみ)

GoogleへのSitemap送信はGoogle Webmaster Toolsを、Yahoo!へのSitemap送信はYahoo! Site Explorerを使います。
また、robots.txtを使っての送信も可能です。
ror.xmlという汎用方式のSitemapを使うこともできます。

Sitemap作成には、XML-Sitemaps.comを利用すると便利です。
サーチエンジン対象のxmlサイトマップ、RORサイトマップ、ユーザー対象のHTMLサイトマップに対応しています。

国産では、サイトマップメーカーが使いやすいです。
フリーソフトで広告が入りますが、シェアウェア版は入りません。

WordPressユーザーは、Google (XML) Sitemaps Generator for WordPressを使いましょう。
xmlサイトマップを自動生成するプラグインです。
「Google」という名前が付いていますが、Yahoo!にも対応しています。

サーチエンジンにやさしいサイト構成のひとつとして、きれいなHTMLコードで記述することが挙げられます。
HTMLが文法的に正しいことは、今のところ上位表示にはほとんど関係ありませんが、あまりにも汚いコードで書くと、リンクを含む大切なコンテンツをクローラに読み取ってもらえないこともあります。
SEOに強い(コードのきれいな)HTMLテンプレートは、「賢威」に定評があります。

最後に、Googleウェブマスターツールでは、クローラの訪問頻度を3段階で設定することができます。
「運用ツール」の「クロールの頻度を設定」で「高速」を選択すると、クローリングの頻度が上がります。

グーグルボット クロール頻度 高速
※クリックで拡大表示

ただし、クローラのアクセスが増えるためサーバーへの負荷が増します。
また、設定の有効期間は90日間なので、90日たった後も高速を維持したい時には再度設定しましょう。

今日取り上げたのは、「基本的」な方法です。
インデックスを促進する手段は他にもありますが、まずは基本をしっかり抑えましょう。