robots.txtでサイトマップ送信

・メルマガ #58(2007/04/21発行)のバックナンバー

あなたの持ってるウェブサイトのページはすべて、サーチエンジンにインデックスされてますか?

インデックスされたページを調べるには、「site:」構文を使います。

例えば僕のブログだったら、「site:www.suzukikenichi.com」と検索ボックスに打ち込みます。
(Google、Yahoo!、MSN共通)

何ページインデックスされてるかな?
見てみましょうか。
site:www.suzukikenichi.com

このメルマガを書いてる時点で、Googleには、114ページがインデックスされてます。

100ページからなるサイトを作ってもそのうち10ページしかインデックスされてないとしたら、残りの90ページは、ないも同然。
検索には引っかかりません。

サーチエンジンに確実にインデックスしてもらうのを手助けする手段として、「Sitemap(サイトマップ)」というのを利用することができます。

これは、メニューやナビゲーションバーにある人間のビジター用の「サイトマップ」じゃなくて、検索エンジンのクローラ用の「サイトマップ」のことです。

去年の11月に、Google、Yahoo!、MSNが共通のサイトマップの書式を定めました。

以前に、メルマガで取り上げました。
バックナンバー ⇒ http://www.suzukikenichi.com/blog/ror-site-map/

つい先日これらの3大メジャーサーチエンジンに4番手のサーチエンジン「Ask.com(日本では、(Ask.jp)」が加わって、「Sitemap」への対応を強化したんです。

中でも特に僕たちウェブサイト管理者にとって注目すべきは、サーチエンジンにサイトマップの場所を確実に通達できる仕組みができあがったことです。

今日は、この新しい仕組みについて解説します。

「Sitemaps Autodiscovery(サイトマップ・オートディスカバリー)」といいます。

GoogleとYahoo!は、それぞれ独自のサイトマップ管理ツールを無料で提供してますよね。

Googleは、「Google Webmaster Tools」、Yahoo!は、「Yahoo! Site Explorer」というツールです。

使ってます?
使わにゃ損ですぞ。w

でもこれらのツールを使わなくても、GoogleやYahoo!だけじゃなくて、MSNやAskも含めて自分のサイトのウェブページ情報が書かれているサイトマップの場所を教えて、確実なインデックスを促進できるんです。

やることは、いたってシンプル。

「robots.txt」というファイルを作って、中に1行、サイトマップの場所を示す構文を書いてサーバーにアップロードするだけ。

簡単そう?
簡単です。

一緒にやりましょう!

まず、「メモ帳」を立ち上げてください。

次の一文を書いてください。

Sitemap: http://www.mydomain.co.jp/sitemap.xml

※1「www.mydomain.co.jp」は自分のサイトのドメイン名に置き換える
僕のブログだったら、「www.suzukikenichi.com」
※2「Sitemap:」の後に、サイトマップファイルの場所を示すURLを記述

書き終わったら、「robots」という名前で保存してください。
※メモ帳で作った場合は、自動的に「.txt」(「拡張子」といいます)が追加されて、「robots.txt」というファイルが作成されます。

あとは、今作った「robots.txt」をあなたのサーバーのルートディレクトリ(いちばん上のフォルダ)にアップロードします。
※無料ブログでは、できません。自分でサーバーを持ってないとダメです。

サーチエンジンのクローラは、サイトに訪問したときに必ず「robots.txt」を見に行くようにプログラムされてるので、中身を見てサイトマップを探します。

これで終わりと言いたいんですが、ひとつ大事なことを忘れてます。

「Sitemap」本体が必要ですね。。
存在しないSitemapを見せることはできません。

Sitemapを作るツールがあります。
僕は海外のツールを使ってます。
http://www.xml-sitemaps.com/

作成手順は、僕のブログを見てください。
http://www.suzukikenichi.com/blog/ror-site-map/

中ほどにある「1.RORサイトマップの作成」という部分です。

ただし、ダウンロードするファイルが異なります。

“次のページが表示されたら、「Download ROR Sitemap」という項目の下にあるリンクをクリックします”

というところは、「Download un-compressed XML Sitemap」を選択してダウンロードしてください。

ダウンロードした「sitemap.xml」というファイルを、FTPでウェブサイトのトップディレクトリにアップロードします。
(トップじゃなくてもいいです。自分で分かりやすいところでOKです。robots.txtの記述と合わせてください)

「英語はどうも苦手」と言う人は、日本語のツールもあります。
http://sitemap.web-440.com/

こっちは、自分のPCにインストールして使います。

作成したサイトマップファイル(sitemap.xml)には、あなたのサイトのページ情報が書かれています。

作成した時点の内容なので、あとからページが増えた、減ったという場合は新しいのを作り直して、またアップロードしましょう。

記事更新が頻繁なブログは大変なので、1週間に1度くらい定期的に更新すればいいんじゃないかな。

MTや僕の使ってるWordPress、Seesaaなどの一部の無料ブログサービスは記事を投稿すると自動でサイトマップを更新する機能もありますね。

これが、僕のWPブログのサイトマップ。
⇒ http://www.suzukikenichi.com/blog/sitemap.xml

勝手に作ってくれます。

手順をまとめますね。

  1. サイトマップの場所を記述した「robots.txt」ファイルを作成する
  2. 「robots.txt」をサイトのルートディレクトリに保存する
  3. 「sitemap」ファイルを作成する
  4. 「sitemap」ファイルを、1で指定した場所に保存する

これだけ。
ね、簡単でしょ。

サイトマップがあるからといって、完全なインデックスが保障される訳ではないんですが、それでもやらないよりはやったほうが確実です。

ページ数の多いサイトを持っている人は、利用してください。