Google、クローラーのリストにGoogle-InspectionToolを追加。URL検査ツールやリッチリザルトテストのUA
Google-InspectionTool というユーザーエージェントをクローラーのリストに Google は追加した。Google-InspectionTool は、リッチリザルト テストや URL…
Googlebot
2023/5/18
2023/7/7
AI目的で検索エンジンがウェブをクロールするのを制御するための新しい手段の策定にGoogleが着手
急速に発展する AI と研究利用に対して、検索エンジンによるコンテンツのクロールをパブリッシャーが制御するための新しい方法を模索するための公開ディスカッションを Google は開始した。
2023/8/8
ChatGPTのウェブクローラはGPTBot。robots.txtでブロック可能
管理するサイトのコンテンツを ChatGPT に利用されるのを防ぐために、ChatGPT が運用するクローラの GPTBot を robots.txt でブロックできる。
2023/11/17
GSCにrobots.txtレポート機能
Googleは米国現地時間11月15日、Search Consoleに新しくrobots.txtレポートの機能が追加されたことを発表しました。従来からあるrobots.txtテスターは廃止となります。…
2023/10/30
Google検索にファビコンを表示するにはGooglebot-ImageのファビコンファイルとGooglebotのトップページへのクロールを許可する
検索結果に表示するファビコンに関する技術ドキュメントを Google は更新した——Googlebot-Image がサイトのファビコン ファイルをクロールでき、Googlebot がサイトのホームペ…