Wenn Sie wissen, welcher Bot wirklich Google ist und welcher nicht, können Sie entscheiden, welche betrügerischen Bots Sie von Ihrer Website blockieren möchten.

Google hat die vollständige Liste der IP-Adressen, die es zum Crawlen und Aufrufen Ihrer Website verwendet, unter den Googlebot-User-Agents veröffentlicht. Google sagte, wenn Sie Reverse-DNS nicht für andere Methoden zur Überprüfung des Googlebots verwenden möchten, können Sie den Googlebot anhand der IP-Adresse identifizieren, indem Sie die IP-Adresse des Crawlers mit der Liste der Googlebot-IP-Adressen abgleichen.

Warum brauche ich das. Wenn Sie glauben, dass jemand Ihre Website crawlt und sich als Googlebot ausgibt, und Sie überprüfen möchten, ob das Blockieren dieses gefälschten Googlebot-Crawlers nicht wirklich Google ist, können Sie entweder die Befehlszeilenmethode oder die automatisierte IP-Listenmethode verwenden.

IP-Liste

Sie können hier in dieser JSON-Datei auf die vollständige Liste der Googlebot-IP-Adressen zugreifen. Beachten Sie, dass Google diese Liste möglicherweise aktualisiert. Sie sollten die Datei daher wahrscheinlich täglich überprüfen. Sie können auch auf alle anderen Google-Crawler zugreifen, die die IP-Adresse des Crawlers mit der vollständigen Liste der Google-IP-Adressen abgleichen. Auch hier können sich diese IP-Adressen im Laufe der Zeit ändern, daher sollten Sie in Ihre Mechanismen eine Möglichkeit einbauen, die IP-Adressen auf Ihrer Seite zu aktualisieren.

Warum wir uns interessieren

Oft können Websites verlangsamt werden und möglicherweise sogar offline gehen, weil gefälschte Bots die Website crawlen und spinnen. Sie möchten Google nur selten daran hindern, Ihre Website zu crawlen, da dies zu Indexierungs- und Ranking-Problemen in der Google-Suche führen kann. Wenn Sie also wissen, welcher Bot wirklich Google ist und welcher nicht, können Sie entscheiden, welche betrügerischen Bots Sie von Ihrer Website blockieren möchten.

Es gibt auch Dienste von Drittanbietern wie Cloudflare und andere, die Ihnen bei der Verwaltung helfen.