Google検索の仕組みの基本と言える「クロール」と「インデックス」ですが、クロールとインデックスは違う意味の用語でも関係性はとても深い関係です。
普段、何気なく使ってる言葉で分かってるつもりだけど意味を間違えそうになるときもあるので、しっかり意味を理解しておこうと思ってまとめておこうと思います。
クロールとは
GoogleのクロールとはWebサイトのページの内容や変更内容を確認するために、検索結果に表示するWebサイトの情報を巡回して収集することをクロールと言います。
クロールはWebサイトの巡回をすることですが
巡回は「行動」です。
そして行動するときには行動するための手段がないと行動できません。
行動するためにGoogleのクロールはGoogleのロボットがクロール(巡回)してWebサイトの内容を確認しています。
この巡回するための手段としてGoogleがクロールするために使う行動手段のGoogleロボットを「クローラー」と言います。
Googleのクロールとは検索ユーザーがページを見るためにもウェブマスターにもGoogle検索の仕組みの基本になることとして必要なことだと思える意味を読み進めてみてください。
なぜクロールが必要なのか
Googleクロールの行動の仕組みは、すでに検索結果に表示されてるページから手に入れたWebサイトのURLやWebサイトのサイトマップにあるURLからクローラーがリンクを辿りサイトにアクセスします。
クロールは私たちがWebサイトのページを見るのと同じようにWebページのリンクを辿ってクロールします。
私たちと同じようにページを見ることが必要な理由は
クロールしたWebサイトの情報の正確性を出すためと考えることができます。
クローラーがクロールを完了するとクロールで取得したWebサイトの新しいページや変更した内容などをGoogleのサーバーに保存や更新をして反映します。
Googleのクロールが必要なのは、ただ検索結果にページが反映するから必要というだけではなく他にもあります。
検索結果の順位を決めるためにも必要
順位決めのためにクロールしたWebサイトの構成や配置をレンダリングして他のサイトと比較して評価したり、検索ユーザーの検索する内容と照らし合わせてクロールしたページの検索順位を決めます。
そしてクローラーのクロールする意味が理解できるとクロール前に私たちがやっておくべき必要なことも分かるようになります。それはクローラーがクロールしやすく、Webサイトのページを見つけやすい構造にWebサイトを作ること。
Webページの内容については他のサイトと比較をするので、読みやすくて検索結果の表示のタイトルを検索ユーザーが検索しやすいページにするなどの工夫です。
そのことに加えてクロール前に私たちがやっておくべきことは
クローラーさえもWebサイトが検索しやすいサイトにする。
という考え方を持つことでGoogle検索の仕組みの手伝いをするという考え方を加えてもいいと思います。
クローラーのクロール数はどのくらいの頻度なのか
Googleのクロール数はどのくらいの頻度なのか知っておくとクローラーをもっと知ることができます。
クローラーの巡回するクロール頻度は必ず何回クロールしますという決められたクロール頻度はありません。
ありませんが、基本的にクロールが全くないということもありません。
クロール頻度はWebサイトごとに違います。
それぞれのWebサイトのクロール頻度がどれくらいなのかウェブマスターが確認する必要があるのですが、クロール頻度を確認できるのがSearch Consoleのクロール統計情報です。
Search Consoleのクロール統計情報で分かるクロール頻度の内容
- 1日あたりのクロールされたページ数
- 1日にダウンロードされるキロバイト数(KB)数
- ページのダウンロード時間(ミリ秒)
クロール頻度が分かるクロール統計情報には過去90日感のクロール数がグラフ化してあります。
クロール数が上がってるとインデックスが早くなります。
私のクロール統計情報だと参考にならないかもしれませんが、もし最近インデックスが早くなってきたなと思ったらSearch Consoleのクロール統計情報を見てみると以前よりクロール頻度が上がってる可能性は高いです。
そのクロール頻度についてはSarch Consoleヘルプに内容があります。
下記は一部抜粋した内容です。
サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。
新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。
たまにクローラーがWebサイトのクロール頻度が多いと検索結果の順位が上がるとかアクセスが増えるとかを聞きますが私的には間違えだと思っています。
クロール頻度が上昇して上がるのは「インデックスの早さ」です。
インデックスとは
インデックスとは直訳すると「索引」「見出し」または「指数」「指標」です。
Googleインデックスの場合は、クローラーがリンクを辿りWebページをクロールするとGoogleがインデックス登録をしてページの内容や意味を分析してGoogleのインデックスの保存されます。
インデックスに保存するとは言いますがインデックス保存してるのはGoogleのサーバーに保存されています。
Webページは更新性があるものなので、インデックス保存はクロールのたびに日々蓄積されていて、常にGoogleサーバーのインデックスには最新の情報が更新され続けています。
ちなみにGoogleのインデックスには何千ものWebページが登録されてるようで、容量にすると1億GBを超えるようです。
Googleのインデックスとは検索結果に表示するWebページの情報をインデックス登録してGoogleのサーバーに保存しておくことをインデックスと言えます。
クロールの前にインデックス申請することができる
インデックスはWebサイトをSearch Consoleと紐づけ(リンク)しておけば、私たちが何もしなくてもクローラーの定期的な巡回によってインデックス登録されます。
ですが私たちがインデックス申請をしてクローラーのクロールを促すこともできます。
Googleでインデックス申請するときはSearch Consoleを使用してインデックス申請ができます。
以前はSearch Consoleの「fetch as google」というインデックス申請方法があったのですが
fetch as googleは旧Search Consoleで使用できる機能だった
現在はfetch as googleの役割になる機能は新Search Consoleの「URL検査」を使用してインデックス申請をします。
Search Consoleのインデックス申請の流れ
- インデックスしたいWebページのURLをURL検査で入力
- インデックス登録をリクエストをクリック
- インデックスページにクローラーが巡回を始めます。
そうするとGoogleはクロールした結果を元にインデックス登録をするので、インデックスページに問題がなければ検索結果に表示できることになります。
Search ConsoleのURL検査でインデックス申請をするときは事前にGoogleの検索結果に表示されたときのことを考えて、ページの構成や記事質、そしてサイトマップも活用したりモバイルフレンドリーに問題がないかも確認してインデックス申請するとインデックス登録がしやすくなります。
インデックス登録したインデックス数を確認できる
クロールしてインデックス登録したインデックスはWebサイトのページが増えるごとにインデックス数も増えていきます。
しかしインデックス登録されてると思っていても実際にはインデックスされてなかったとか、インデックス数が増えてないということもあります。
- ページに何かしらの問題がありインデックス登録されてなかった
- ページが重複やコピーコンテンツとみなされインデックス登録を除外されてた
- インデックスしてるけどサイトマップが送信されてない
- noindexタグによって除外
- クロールエラー
上記が例ですがWebサイトのページによって、さまざまな問題が出てきます。
そのような問題を対処するためにもインデックス数を確認することには意味があり。定期的な確認をすることでWebサイトのインデックス状態の把握ができます。
実際にインデックス数の確認はSearch Consoleのインデックス項目にある「カバレッジ」で確認ができます。
- エラー数
- 有効(警告あり)
- 有効
- 除外
上の4項目の数の確認、そしてそれぞれの項目の「詳細」がステータス表示で確認できます。
インデックス数を確認すると共にエラーがあれば詳細ステータスを確認してインデックスエラーの対処やnoindexしてるページの除外ができてるかの把握などにつながります。
Google検索結果で実際にインデックス数を確認したい場合は「site:」をドメインの前につけてブラウザで検索するとWebサイトのインデックス数が確認できます。
例 site:example.com
まとめ
Google検索の仕組みの中で基本になるクロールとインデックスの意味が分かると、私たちがクロールやインデックスする前後で出来ることは多いです。
多いですが、その前後で出来ることを私たちが取り組むことで私たちの持つWebサイトは、すごく価値があって意味のあるWebサイトに育ちます。
クロールとインデックスはGoogleの検索の仕組みの基本になることですが、私たちの考えの中でも基本として持っておきたいことだといえるのではないでしょうか。
