Googlebot

robots.txtとは何となく各検索エンジンがサイトクロールのルールとして参照している仕様となっています(過去の経緯についてはこちらの記事が分かりやすいです)。そしてこの度、米国現地時間10月7日、…

robots.txt のドキュメントに記載されていないフィールドはサポートされていないことを Google は明確化した

クローラーについて解説する技術ドキュメントに、Googlebot がサポートする Content Encoding（コンテンツエンコーディング）の種類を Google は追加した

クローラーについて解説する検索セントラルの技術ドキュメントを Google は再構成した

IP アドレスをもとにして特定の地域からアクセスしてきたユーザーを特定のページに自動的にリダイレクトすると、SEO に悪い影響が出ることがありえる。

複数サイト管理者に朗報： robots.txtはリダイレクトでまとめて管理できる X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）[Web担当者Forum] 複…

404 エラーを修正すべきかどうかの判断基準を Google の Gary Illyes 氏が説明した。

Googlebot によるクロールの急増が悪い兆候を示すときのありがちな 2 つの原因を、Google の Gary Illyes 氏が共有した。

パソコン用 Googlebot によるクロールとインデックスを 2024 年 7 月 5 日以降 Google は完全に終了する。

Google のクロールバジェットはホスト名（サブドメイン）ごとに割り当てられる。

コンテンツのクロール頻度を無理やり増やしても、良いコンテンツであると Google に評価させることはできない。

Googleは米国現地時間11月15日、Search Consoleに新しくrobots.txtレポートの機能が追加されたことを発表しました。従来からあるrobots.txtテスターは廃止となります。…

検索結果に表示するファビコンに関する技術ドキュメントを Google は更新した——Googlebot-Image がサイトのファビコン ファイルをクロールでき、Googlebot がサイトのホームペ…

管理するサイトのコンテンツを ChatGPT に利用されるのを防ぐために、ChatGPT が運用するクローラの GPTBot を robots.txt でブロックできる。

急速に発展する AI と研究利用に対して、検索エンジンによるコンテンツのクロールをパブリッシャーが制御するための新しい方法を模索するための公開ディスカッションを Google は開始した。

Google-InspectionTool というユーザーエージェントをクローラーのリストに Google は追加した。Google-InspectionTool は、リッチリザルト テストや URL…

Google は、クローラーを解説する技術ドキュメントを再構成した。

新しいGoogleOtherは『コンテンツを取得するため』のクローラーで内部の研究開発のために使用されると書かれていて、他のBOTは『クロールする為』と書かれている点の違いが気になりますね…AIにでも食わせるのかな🤔 #Googlebot

2023年4月に米国本国で行ったEnglish Google SEO office hoursについて、フォローアップ記事を和訳した前半の続きです。2023年4月の米オフィスアワーは全部で20個あり、…

Googlebot は、HTML ファイルの最初の 15MB までの部分をクロールし、15MB を超えた部分はクロールしない。この制限が JavaScript や CSS にも適用されること適用される…

検索の仕組みを解説するドキュメントにマンガを Google は追加しました。

illustration by つきのあめだま「グーグルは最初の15MBしかインデックスしない」という情報が、多くの不安や疑問を呼んだ。この仕様に関する詳細をグーグルが公開しているので、読んで安心して…

モバイルウェブ用 AdsBot のユーザーエージェント文字列を Google は更新した。

「Googlebot は、HTML ファイルの最初の 15 MB のコンテンツまでをクロールしそれ以降をクロールしない」という仕様に関して、Google は FAQ を検索セントラルブログに公開した。

新規公開したサイトを Google に発見してもらうためのベストな手段は外部リンクだ。

今年に入ってから特にAIによってクロールやindexの効率化が行われているように感じているのですが、リンクされるページは意味があると思って優先的にindexさせる…。これも効率化という点では当然ですよね🤔 #被リンク#Googlebot#インデックス

Googlebot のクロールの急激な増加はアルゴリズム更新とは関係ない。

Googlebot がクロールしてくる場所はサイトにつき 1 か所。複数の場所から Googlebot はクロールしない。

この記事は前後編の2回に分けてお届けしている。後編となる次回は、クロールバジェット対策のうち、残る「リンクレベルのnofollow」「noindex, nofollow」「noindex, follo…

筆者の見解はすべて筆者自身のものであり（ありそうもないことだが、筆者が催眠状態にある場合を除く）、Mozの見解を反映しているとは限らない。今回のホワイトボードフライデーでは、SEOの上級者向けの概念で…

Googlebot の IP アドレス一覧を Google は公開した。

ウェブスパム対策の 2020 年の取組状況を Google は公式ブログで報告した。