operationservicebuの日記

日々の日記、Webサービスや書籍などのレビュー、スマホやパソコンで困ったことの操作方法など自由に書いているブログです。

Googleのクローラーはjavascriptも読んで実行していると推測される

この記事は、個人的な考え方を書いたものです。

既出のネタではありますが、私自身の知識が古かったため、自身の知識整理を兼ねて書いています。

 

昨日、「はてなスター」のスパム疑惑を調べていたところ以下の記事を読みました。

「GoogleBotがAjaxを理解できる=何もしなくていい」ではない - WEB戦略ラウンドナップ

Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」 | 海外SEO情報ブログ

Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に - GIGAZINE

 

これらを読んで思ったことを書いていきます。

 

Googleのクローラーはjavascriptも読んで実行していると推測される

上記の記事の中でもGIGAZINEの以下の部分に注目しました。

どうやら最近になってGooglbotがアップグレードされ、なんとAJAXやJavaScriptを任意に「クリック」しており、リアルなユーザーっぽい挙動を行っていることが判明したそうです。

Google検索を支える「Googlebot」がAJAX・JavaScriptのクリックに対応、現実のユーザーっぽい挙動が可能に - GIGAZINE

Googleのクローラー(Googlebot)が、AJAXやJavaScriptを任意に「クリック」していることが確認できたというものです。

 

これまで、クローラーはサーバーから送られてくるHTMLを読み、そのHTML内の文章を評価して、検索結果に反映していると思われていました

しかし、記事が公開された2012年の段階で、Googlebotに関してはHTMLだけでなく、AJAXやJavaScriptも読み、そこに記述されているボタンやリンクを「クリック」しているということです。

 

ということは、2014年現在ではGooglebotに関して言えば、人間がブラウザで閲覧している状態とほぼ同じ状態で、Webサイトやブログを収集し、検索結果に反映していると考えられます

 

私にとって、これは脅威に感じました

 

ブログ上に設置した、ツイッターの埋め込みタイムラインとか、 楽天やAmazonのアフィリエイトで使われているモーションウィジェット(商品がクルクル回る広告)もコンテンツの一部として、Googlebotが認識している可能性が高いからです。

また、はてなスターに限らず、ソーシャルボタンはJavaScriptなどを使ってHTMLの一部を書き換えて表示しています

JavaScriptをクローラーが理解していなければ、ソーシャルボタンが表示されていないブログ記事のみを読み込んでいるという話になります

 

しかし、上記のURL記事を私なりに解釈すると、

  • JavaScriptもGooglebotは理解している
  • GooglebotがソーシャルボタンのJavaScriptを読み込み、HTMLの一部を書き換えた人間の表示に近いWebページを収集している可能性が高い
  • ソーシャルボタンの発リンクも、Googlebotは認識している可能性が高い

と推測されます。

 

正直、雲行きが怪しくなってきた感じです。

上記が本当にGooglebotで可能であれば、ソーシャルボタンをどのように評価しているのかが疑問になります

ソーシャルボタンが設置されているブログであれば、すべてのページにソーシャルボタンが設置されているわけです。

「はてなスター」もソーシャルボタンの一種とみれば、「いいね」や「+1」、「ツイート数」が大量にあるページをどのように評価していくかということになります。

 

今後も、ブログのHTMLソースであったり、別の視点から引き続き調べていこうと思います。

 

以上、ありがとうございました。