早嶋です。
ブログマーケティング第3弾、第4弾で、検索ロボットの検索期間をざっくり調べてみるという実験を行いました。今回はその結果報告です。
【検索結果の更新にかかるまでの日数】
Google ： 約10日間
Yahoo ： 未実証
【結果】
★を検索サイトに表示するように改造した日が11/15です。GoogleとYahooで毎日「ビズ・ナビ」と検索をしていて、11/26にGoogleの検索結果に★が現れました。Yahooは未だです。
これよりGoogleでの検索ロボットの巡回周期が1ヶ月よりも短いオーダーであることが実証できました。今回の実験の目的は、検索ロボットの巡回周期の大まかな時間間隔を把握することです。（実験結果より、Googleの巡回周期が10日間であると言う仮説は立ちますが、実験内容が単純なので参考値として考えました。）
【分析】
上記の内容を踏まえて、Googleの検索ロボットについて分析を行いました。Googleの検索ロボットは、複数の種類があり、そのロボットが連携することによってWebサイトを循環していると言われています。
その代表的なロボットに、Deep Crawler（ディープクローラー）とFresh Crawler（フレッシュクローラー）の２種類があります。通常、ディープクローラーをクローラーと称し、こちらが月に1回程度巡回するクローラーといわれています。
フレッシュクローラーとは、Googleのインデックスを作成するプログラムのひとつです。クローラーは、約1ヶ月に1回の周期（今回の実験でその周期は10日間程度と1ヶ月よりも短いことが実証できました。）でインデックスを更新しているため、 ニュースサイトのように日々更新されるWebページに対しては、更新周期が追いつかないと言う問題点がありました。
その問題を解決するのがフレッシュクローラーです。こちらは、通常のクローラーより巡回周期が短いのが特徴です。
クローラーは、WebページのHTMLの解析を行います。例えば、1ページの解析に1秒かかったとしたら、単位時間に解析できる分量が決まってしまいます。そこで、全部を解析せずに、フレッシュクローラーによって、ファイルの更新日だけを解析させるのです。更新日の解析のみであれば、ページ全体の解析時間よりもかなり短い時間で行えます。今回の実験では、★印が出るようになってから、48時間以内に、フレッシュクローラーが巡回したであろう日付（11/16）が検索結果に出ていました。
フレッシュクローラーによって、ファイル更新が認められたWebページを、クローラーが解析した日が11/26だと分析できます。この仕組みによって、確実に更新されたページのみ解析を行うのでしょう。
複数のサイトで、フレッシュクローラーについて調べたところ、フレッシュクローラー自体の巡回対象となるWebサイトは、基本的に限られたサイトになるようです。これは、そのサイトがクローラーにとって重要と認められたサイトになります。
ビズ・ナビのWebサイトは、どちらのクローラーも巡回対象になっています。これは、日々の更新作業との相関性は高いと思います。
—ブログマーケティング第4弾、ただいま実験中！—
実験の詳細は、ブログマーケティング『第1弾！』『第2弾！』『第3弾！』『第4弾!』をご覧ください。
「中小企業」「マーケティング」「コンサルティング」「経営コーチング」「経営診断」「MBA」
