GoogleのSearch Console(サーチコンソール)で「クロールの統計情報」は、Googleが検索結果に表示するためにインデックス保存しているサイトのページを、クロールしたときの履歴としてSearch Consoleで確認できるレポートです。
以前のクロールの統計情報は旧サーチコンソールから見ることができましたが、現在は旧サーチコンソールではなく、新サーチコンソールでクロールの統計情報を確認できるようになりました。
Search Consoleでのクロールの統計情報がどのように新しく変わったのか確認してみたことをまとめました。
新Search Consoleで見るクロールの統計情報
Search Consoleでクロールの統計情報を見る場合、これからは新Search Consoleで見ることができます。
逆に言えば、これまでのクロールの統計情報は「以前のツールレポート」から、なくなっているので、旧Search Consoleでは見ることができません。
そのためSearch Consoleで見るクロールの統計情報は「設定」から開きます。クロールの統計情報を見る場所が変わったということになりますね。
設定画面を開くと「クロール統計情報」の項目が表示します。過去90間のクロール リクエストが何件かを確認できるようになっていますが、「レポートを開く」をクリックすると、Googleがクロールした「クロールの統計情報」の詳細を確認できます。
新Search Consoleで見るクロールの統計情報のレポート画面も全体的にガラッと印象が変わりました。
クロールの統計情報をグラフで確認できる
クロールの統計情報ですぐに確認できるのが「グラフ」です。
グラフにしたクロールの統計情報は、グーグルのクローラーが私たちのサイトのページをクロールしたときの過去90日間の情報です。
そもそもGoogleがサイトをクロールをする仕組みついてわからない場合は、動画が分かりやすです。英語説明なので字幕設定すると理解しやすいです。
クロールの統計情報をグラフで確認するときには、「クロール リクエスト合計数」「合計ダウンロードサイズ」「平均応答時間」のそれぞれをクリックすることで、指標ごとに色分けされたグラフを見ることができます。
過去90日間の合計数だけではなく、グラフにマウスを置くとことでGoogleのクローラーがいつ、どのくらいクロールしたのかが確認できます。
クロール リクエストの合計数
以前のクロールの統計情報で「1日あたりのクロールされたページ数」として見ることができたgooglebotのクロール情報が「クロール リクエストの合計数」に変わっています。
クロール リクエストの合計数に変わってもクロール情報を確認するときの意味は同じで、Googleがサイトのページをどのくらいクロールしにきたのかクロール頻度が分かるクロールの情報です。
Googleのクロール頻度は、クロールの統計情報の過去90日間のグラフを見て、何日あたりからクロール数が増減しているか把握できますし、気になる日付の部分にマウスを乗せると、その日にクロールされたページ数が表示します。
また、気になった日付のクロール リクエスト数の前後と、サイトのアクセス数などを照らし合わせた見方をすると、Googleがクロールするサイトのページ評価の良し悪しを考える判断材料の一つとして参考にできます。
例えば「最近サイトのPVが落ちてきたな」という疑問が出た場合、クロールの統計情報のグラフで期間内のクロール頻度を確認して見ると、クロール頻度が減ってたりするというようなことがあります。
合計ダウンロードサイズ
Search Consoleのクロールの統計情報で「合計ダウンロードサイズ」は、以前は「1日にダウンロードされるキロバイト(KB)数」として表示されていたクロールの統計情報です。
「1日にダウンロードされるキロバイト(KB)数」から「合計ダウンロードサイズ」という名前に変わっただけのようで、クロールの統計情報としての見方は同じのようです。
合計ダウンロードサイズとはGoogleがクロール リクエストをしてサイトをクロールするときに必要な過去90日間でダウンロードしたファイルの合計サイズです。
先に説明した「クロール リクエストの合計数」と一緒に「合計ダウンロードサイズ」をグラフに表示させて見たときに、合計ダウンロードサイズのグラフが上昇しすぎていると、クロールしたサイトで容量の重いファイルがあるのではないかの可能性などを考えることができます。
例えばリサイズや圧縮をしてない重いバイト数の画像ファイルが増えているなどを、クロールの統計情報で合計ダウンロードサイズのグラフを確認して判断材料にする見方ができます。
平均応答時間(ミリ秒)
以前は「ページのダウンロード時間(ミリ秒)」でしたが、「平均応答時間(ミリ秒)」という名前に変わっています。
Search Consoleの「クロールの統計情報」内で「平均応答時間(ミリ秒)」に名称が変わったことぐらいの変更なのでこれまでと同じ見方です。
クロールの統計情報の平均応答時間は、Googleが私たちのサイトのページをクロール リクエストするときの平均レスポンス時間を確認できます。
クロール統計情報の平均応答時間にはページのリソースとレンダリングにかかった時間は含まれないようです。
ここで言うリソースとはスクリプト、画像、そのほかのリンクされているコンテンツや埋め込みコンテンツです。
あまりレスポンス時間について詳しくないのですが、Googleがクロールするときに「このページをクロールしたいから情報ちょうだい」というサーバーへのリクエストから、反応があって情報(ファイル)を受け取るまでのレスポンスタイムを、クロールの統計情報の「平均応答時間(ミリ秒)」で見ることができるということだと思っています。
平均応答時間の単位のミリ秒は例えば0.1秒で100ミリ秒です。
新たに追加されたクロールの統計情報の見方
旧Search Consoleではなく新Search Consoleでクロールの統計情報を見ることができるようになってからは、新たに追加されたクロールの統計情報があります。
- ホストのステータス
- レスポンス別
- ファイル形式別
- 目的別
- Googlebot別
上記のカテゴリ別になって新たに追加されたクロールの統計情報を一つずつ見た限り、これまでのクロールの統計情報を詳細にした情報で見られるようになった印象を持ちました。
ホストのステータス
ホストのステータスはクロールの統計情報のグラフの下に追加されています。クリックすると、過去90日間でホストの問題が起きたかどうか？の情報を見ることができます。
クロールの統計情報のホストのステータスで見ることができるのは以下の3つです。
- robots.txtの取得
- DNSの解決
- サーバー接続
ホストのステータスの見方ですが、Googleがクロールするときに上記3つのホストのステータスに問題がなかった場合には「過去90日間、ホストで問題は起きていません」のメッセージと共に緑色のレ点アイコンが表示されます。
これによりGoogleのクロールが問題なく成功したことが分かります。
一方でGoogleがクロールした過去90日間でホストのステータスに問題がある場合には、「過去90日間、ホストで問題は起きていません」以外のメッセージと共にレ点の色が違ったり、赤いビックリマークの表示が表示されてしまいます。
Googleがホストのステータスの問題でクロールを失敗したことが分かります。
ホストのステータスに問題がある表示になったときの見方は、ホストのカテゴリごとのステータス詳細が折りたたまれているので開くと、それぞれのクロールデータのグラフが表示されます。
そして「robots.txtの取得」「DNSの解決」「サーバーの接続」どのグラフにも赤色の点線があるのが分かります。グラフで5%のラインですね。
この赤色の点線より指標が上にある場合、そのステータスには最後の問題が直近で発生した時期が反映されているので、ホストのステータスごとの問題を確認できます。
たとえばサーバー接続で失敗したクロールリクエストが期間内で3回あるとします。
このときGoogleのクローラーがサーバー接続によるクロールの失敗をしたリクエストで5％を超えている場合には、サーバーに関する問題があることが分かるので原因を調査するきっかけになります。
レスポンス別
新たに追加されたクロールの統計情報の「レスポンス別」は、Google がサイトをクロールした際に受け取ったレスポンスを、レスポンスのタイプ別にグループ化した情報で確認できます。
例えばGoogleがクロール リクエストをして返ってきたレスポンスが200なら、問題なくGoogleがクロールできているのだと判断する見方ができます。
またレスポンス別のOK(200)をクリックするとGoogleがクロールできたサイトのURLが一覧表示して確認することもできます。
クロールの統計情報のクロールリクエストの詳細「レスポンス別」では、レスポンスコード200以外も確認できますが、この辺りのことはSearch Consoleヘルプのクロールの統計情報のページにある「クロール レスポンス」が分かりやすいです。
- 正常系のレスポンス コード
- 正常と思われるレスポンス コード
- 不正なレスポンス コード
上記3つに分けて説明があるので確認しながらクロールの統計情報のレスポンス別の見方の参考にしてみてください。
ファイル形式別
クロールの統計情報に新たに追加された「ファイル形式別」は、Googleがクロールするサイトのリクエストによって返されるファイル形式ごとのレスポンス情報を確認できるようになっています。
またファイル形式別になっている「HTML」「画像」「JavaScript」「CSS」などのファイル名の横のパーセント値は、そのファイル形式のレスポンスの割合です。
私はファイル形式別のパーセント値をダウンロードサイズかと思っていましたが、そうではなく、その形式のレスポンスの割合なので見方を間違えないようにしたいです。
また、ファイル形式ごとにクリックすると、その形式別の「クロール リクエストの合計数」「合計ダウンロードサイズ」「平均応答時間(ミリ秒)」のグラフも見ることができるし、ファイルをクロールした日付、URL、レスポンスを見ることができます。
目的別
Search Consoleのクロールの統計情報で「目的別」は、サイトのページをGoogleがクロールするときの目的を2つに分けたクロール情報で提供してくれています。
- 更新
- 検出
- 目的別の更新はGoogleが再クロールしたページ。
- 目的別の検出はGoogleがクロールしたことがないページ。
更新、検出のクロールの統計情報の見方は、目的別にクリックすることでグラフやGoogleがクロールしたサイトのURLが日付とレスポンス表示されて確認できます。
検出は例えば、新記事を公開してから目的別の検出に新たに公開した新記事のURLでレスポンスが200で返っていれば、クロールされて記事が検出されたことになり、検索結果に表示されていることを確認するなどの見方ができます。
逆にいつまでもGoogleにクロールされなくて検出されないページがある場合には、サイトマップでクローラーがページを検出しやすくしてあるかなどを考える材料としてクロールの統計情報の目的別を見ることができます。
また目的別の更新はURLを確認して、そのページがGoogleの再クロールによって順位の変動などがあるかどうかの確認をするなどに役立ちそうです。
Googlebotタイプ別
クロールの統計情報の「Googlebotタイプ別」では、Googleがサイトをクロールするときに、どのタイプのクローラー(Googlebot)がサイトをクロールしたのかが確認できます。
Googlebotタイプ別の見方は、表示されているタイプ別の割合を確認する。のような感じになるのかと思います。
例えばGoogleにクロールされているサイトがモバイル ファースト インデックスにしてあるのであれば、「スマートフォン」「PC」の2つのGooglebotタイプを見たときのパーセント値が、PCよりもメインクローラーにしているスマートフォンのGooglebotの割合が多くなっているかなどの確認です。
まとめ
Search Consoleでクロールの統計情報はどのように変わったのか調べてみた今回の記事。
変わったのは、まず見る場所、そして「クロール リクエスト」「合計ダウンロードサイズ」「平均応答時間」を土台にした、より詳細にカテゴリ分けされたクロールの統計情報でした。
また詳細なクロールの統計情報に変わったことにより、これまでよりも見方が難しくなったなぁと個人的には思えました(知識不足のため)
そしてsearch consoleで見ることができる他の指標よりも、クロールの統計情報がある場所が目立たないので、毎日確認するような指標ではないのかもしれないとも思えるクロールの統計情報でした。
