Googlebot

Googleは米国現地時間11月15日、Search Consoleに新しくrobots.txtレポートの機能が追加されたことを発表しました。従来からあるrobots.txtテスターは廃止となります。…

検索結果に表示するファビコンに関する技術ドキュメントを Google は更新した——Googlebot-Image がサイトのファビコン ファイルをクロールでき、Googlebot がサイトのホームペ…

管理するサイトのコンテンツを ChatGPT に利用されるのを防ぐために、ChatGPT が運用するクローラの GPTBot を robots.txt でブロックできる。

急速に発展する AI と研究利用に対して、検索エンジンによるコンテンツのクロールをパブリッシャーが制御するための新しい方法を模索するための公開ディスカッションを Google は開始した。

Google-InspectionTool というユーザーエージェントをクローラーのリストに Google は追加した。Google-InspectionTool は、リッチリザルト テストや URL…

Google は、クローラーを解説する技術ドキュメントを再構成した。

新しいGoogleOtherは『コンテンツを取得するため』のクローラーで内部の研究開発のために使用されると書かれていて、他のBOTは『クロールする為』と書かれている点の違いが気になりますね…AIにでも食わせるのかな🤔 #Googlebot

2023年4月に米国本国で行ったEnglish Google SEO office hoursについて、フォローアップ記事を和訳した前半の続きです。2023年4月の米オフィスアワーは全部で20個あり、…

Googlebot は、HTML ファイルの最初の 15MB までの部分をクロールし、15MB を超えた部分はクロールしない。この制限が JavaScript や CSS にも適用されること適用される…

検索の仕組みを解説するドキュメントにマンガを Google は追加しました。

illustration by つきのあめだま「グーグルは最初の15MBしかインデックスしない」という情報が、多くの不安や疑問を呼んだ。この仕様に関する詳細をグーグルが公開しているので、読んで安心して…

モバイルウェブ用 AdsBot のユーザーエージェント文字列を Google は更新した。

「Googlebot は、HTML ファイルの最初の 15 MB のコンテンツまでをクロールしそれ以降をクロールしない」という仕様に関して、Google は FAQ を検索セントラルブログに公開した。

新規公開したサイトを Google に発見してもらうためのベストな手段は外部リンクだ。

今年に入ってから特にAIによってクロールやindexの効率化が行われているように感じているのですが、リンクされるページは意味があると思って優先的にindexさせる…。これも効率化という点では当然ですよね🤔 #被リンク#Googlebot#インデックス

Googlebot のクロールの急激な増加はアルゴリズム更新とは関係ない。

Googlebot がクロールしてくる場所はサイトにつき 1 か所。複数の場所から Googlebot はクロールしない。

この記事は前後編の2回に分けてお届けしている。後編となる次回は、クロールバジェット対策のうち、残る「リンクレベルのnofollow」「noindex, nofollow」「noindex, follo…

筆者の見解はすべて筆者自身のものであり（ありそうもないことだが、筆者が催眠状態にある場合を除く）、Mozの見解を反映しているとは限らない。今回のホワイトボードフライデーでは、SEOの上級者向けの概念で…

Googlebot の IP アドレス一覧を Google は公開した。

ウェブスパム対策の 2020 年の取組状況を Google は公式ブログで報告した。

毎年恒例となりましたGoogleによる前年のスパム対策振り返り。今年もGoogleはSearch Central Blogで2020年を振り返って発表していますので和訳してご紹介したいと思います。 G…

SEOやコンテンツマーケティングのテクニックをいくら覚えても、それだけでは成果は出ません。検索エンジンの情報収集の仕組みを知って、ウェブサイトを構造から強化していきましょう。Webの成果を高める施策と…

Googlebot が HTTP/2 でのクロールを開始した。2020 年 11 月から HTTP/2 でクロールし始めることを Google は 9 月下旬にアナウンスしていた。予定どおりの実施だ。

Googleがクロール中に機械学習を使用する方法は次のとおりです Here Is How Google May Use Machine Learning During Crawling[Search …

すべてのサイトが2020 年 3 月以降にモバイル ファースト インデックスに移行した後でも、パソコン用 Googlebot はウェブページのクロールを続ける。廃止になることはない。

HTTP/2 でのクロールを Googlebot がサポートするようになる。一部のサイトを対象に 2020 年 11 月から開始する予定。

GoogleBotがHTTP / 2経由で一部のサイトをクロールするが、ランキングのメリットがない GoogleBot To Crawl Some Sites Over HTTP/2 But Ther…

Google「GoogleBotの404のクロールをブロックしない」 Google：GoogleBotの404のクロールをブロックしない Google: Do Not Block GoogleBot …

EC サイトで Googlebot は商品をカートに追加することができる。マーチャントセンター経由で送信された商品の金額がサイトで実際に販売されている商品の金額と一致するかどうかを確認するためだ。しか…

Googleが「Google 検索デベロッパー ガイド」に「Googlebotのクロール頻度を下げる」ページを追加した。Googlebotのクロール頻度を下げるには2つの方法があるという。

Chrome が混合コンテンツ (Mixed Content) をデフォルトでブロックするように仕様が変わる。この仕様変更は Googlebot のクロールにも影響を与える可能性がある。HTTPS ペ…