« Flashが置いてあると順位は下がるの？ | SSFのSEOクリニック - 極秘SEOテクニックを今だけ公開中・・・ | 第9回 写真をおいたページと置かないページはどちらが有利？ »

2009年04月06日

第8回 検索エンジン登録のみでもクローラはやってくるのか？

今回の実験は、検索エンジンにwebサイトを推薦・登録をすることによってクローラはやってくるのか？　というものです。

webサイトを作り検索エンジンにインデックスしてもらうために、まずは自分が作ったwebサイトが検索エンジンのクローラに訪問される必要があり、そのためには検索エンジンのクローラに自分の作ったwebサイトを発見してもらう必要があります。
発見してもらう手段としては、

①：現在既に検索エンジンのクローラに認識されているwebサイトからのリンク

②：検索エンジンへの推薦・登録を行う

という手段が考えられます。
今回は、②の検索エンジンへの推薦・登録でクローラはやってくるのかどうかを実験するために、
「weerden-0009com/a/b/c/index.com」というサイトを一つ用意し「weerden-0009com」にはバックリンクを貼り、「weerden-0009com/a/b/c/index.com」にはバックリンクをせずにyahoo! , google へのURL 登録を行いログ解析をしてクローラの動きを見ることにしました。

実験内容の詳細をご説明します。

「weerden-0009com/a/b/c/index.com」の内容は、

・/, /a , /b には何もいれずに /c にindex.html を生成。
・meta name = “robots” content = “index,follow” を記入
・meta keywords は「医療レーザー,レーザーピーリング,粟島浦村」
・meta description は「「医療レーザー」と「レーザーピーリング」in 粟島浦村」
・本文は「レーザーピーリング」について記述

webサイトは2008年11月21日に公開しました。

それでは、早速ログを解析して、それを元に検証していきたいと思います。
下記の表は対象ページアップロード後に「yahoo! Slurp」,「google bot」 が初めて訪れた日をまとめたものです。

上記の表を見て頂ければ分かるように、両検索エンジンともweerden-0009com　にはアップロード後1ヶ月ほどでクローリングに来ていますが、weerden-0009com/a/b/c　はアップ後4ヶ月ほど経った2009/4/1　現在もまだクローリングされていません。

Yahoo! の巡回リスト登録の説明ページには

という注意事項が書かれています。
2つ目の注意事項はあくまでもwebサイトがクローラに巡回された後、インデックス登録までの注意事項です。
1つ目の注意事項に検索エンジンへ巡回リクエストをしたページでも巡回するには２～４週間かかってしまいますよ。とわざわざ書いてありますが、アップ後すぐに巡回リクエストをした「weerden-0009com/a/b/c」　・・・・　
132日間、約19週間も巡回してもらえません。　

Google のサイト登録ページの注意事項には

という注意事項が記載されています。
Google は特にクローラの巡回についてはまったく触れていません。Google にサイト登録をするとクローラが巡回をするとも言っていません。
この注意事項は、「URL登録をするならトップページ以外は登録しなくていいし、更新のたびに登録しなくてもgoogle botは分かるから大丈夫です。」という風に受け取れます。Google はあまりこのURL登録を重要視していないような感じがするのは私だけでしょうか。
いずれにしても、「weerden-0009com/a/b/c」はyahoo! Slurpと同にgoogle botにも現時点では訪問してもらえていません。

今回の実験で分かったことは、検索エンジンへの登録のみではクローラに巡回してもらえず、外部からのリンクが必要であるということです。
言い換えれば自己申告をしただけでは巡回されないということでしょう。
しかし、今回の実験では「weerden-0009com/a/b/c」と階層を深くしていたのでかなりの時間がかかっているのかもしれません。そこで、「weerden-0009com/a/b/c」にバックリンクがあった場合どうなるのでしょうか？本日（2009/04/01）、「weerden-0009com/a/b/c」にバックリンクを貼りました。

次回、「weerden-0009com/a/b/c」にバックリンクを貼ってからのクローラの動向、さらに下層ディレクトリであることで不利な点があるのかどうか等を検証します。
結果が確認でき次第ご報告いたします。

ではまた～。

投稿者 松永洋平 : 2009年04月06日 18:57