おなじみのGoogle, Matt Cutts（マット・カッツ）氏のウェブマスター向けQ&Aビデオです。
質問は、「深い階層までGoogleに確実にインデックスしてもらうには、どうしたらいいのか」です。
How can I make sure Google reaches my deeper pages?
まず、「階層」を定義しておきましょう。
ここでいう階層は、ディレクトリ（フォルダ）の階層ではありません。
トップページからいくつのクリックで到達できるかのリンクの階層です。
下のようなURLがあったとします。
http://www.example.com/dir1/dir2/dir3/dir4/dir5/abc.html
abc.htmlは、ルートディレクトリ（/）から５階層目のディレクトリ（dir5）に存在します。
しかし、もしトップページからabc.htmlへのリンクが張られていたとしたら、リンクの階層は１階層になります。
URLに現れる階層というのは、クローリングという点ではさほど重要ではありません。
（見た目には浅いほうが分かりやすく、SERPでのCTRも上がるようです。また10階層、100階層のように極端に深い階層構造は、クローリングにも好ましくないようにも感じます）
サイトの階層構造で気にかけるのは、リンクの階層（トップから何クリックで到達できるか）のほうです。
以上を踏まえて、Matt Cutts氏の回答をまとめます。
上の前提知識で説明したように、Googleが問題にするのはトップページから通過するリンクの数です。
いくつのディレクトリ階層になっているかを見るのではなく、PageRankがいくつかを見ます。
通常はトップページにリンクが集まるので、トップページのPageRankが高くなるでしょう。
リンクを通過するごとにPageRankは減っていくため、Googlebotは一定以上のリンクを通過すると、それ以上先に進むのをストップします。
したがって、コンバージョン率が高いページ、ROIが高いページのように重要なページを確実にクローリングしてもらうには、より少ないクリックでトップページから到達できるように内部リンクを構成するようにします。
すべてのページを一律に扱うのではなく、「キー」となるページをより上に持ってきましょう。
「上」というのは、もちろん少ないクリックでアクセスできる状態のことです。