Selbst die beste Optimierung bringt eine Seite im Ranking nicht nach vorne, wenn die Seite nicht indiziert wurde. Daher sollten Sie im Zuge der Seo stets prüfen, dass die komplette Seitenstruktur indexiert werden kann.

Indexierung ist wirklich der erste Schritt in jedem SEO-Audit. Warum? Wenn Ihre Website nicht indexiert wird, wird sie von Google und Bing im Wesentlichen nicht gelesen.

Und wenn die Suchmaschinen es nicht finden und „lesen“ können, wird die Suchmaschinenoptimierung (SEO) das Ranking Ihrer Webseiten nicht verbessern können.

Denn um von Google bewertet zu werden, muss eine Website zuerst indiziert werden.

Wird Ihre Website bei Google indexiert?

Es gibt viele Tools, mit denen Sie feststellen können, ob eine Site indiziert wird.

Indizierung ist im Kern ein Prozess auf Seitenebene. Mit anderen Worten, Suchmaschinen lesen Seiten und behandeln sie einzeln.

Eine schnelle Möglichkeit zu überprüfen, ob eine Seite von Google indiziert wird, ist die Verwendung des Operator Befehls site: in einer Google-Suche. Wenn Sie nur die Domain eingeben, wie in meinem Beispiel unten, werden Ihnen alle Seiten angezeigt, die Google für die Domain indiziert hat. Sie können auch eine bestimmte Seiten-URL eingeben, um festzustellen, ob diese einzelne Seite indiziert wurde.

site_operator_befehl_google_Status_Indizierung_der_Website

Wenn eine Seite nicht indiziert ist

Wenn Ihre Website oder eine spezielle Seite nicht indexiert wird, ist der häufigste Fehler das Meta-Robots-Tag, das auf einer Seite verwendet wird, oder die unzulässige Verwendung von noindex in der robots.txt-Datei.

Sowohl das Meta-Tag, das sich auf der Seitenebene befindet, als auch die robots.txt-Datei enthalten Anweisungen für Suchmaschinen zur Indexierung von Suchmaschinen, wie Inhalte auf Ihrer Seite oder Website zu behandeln sind.

Der Unterschied besteht darin, dass das Robots-Meta-Tag auf einer einzelnen Seite angezeigt wird, während die robots.txt-Datei Anweisungen für die Site als Ganzes enthält. In der robots.txt-Datei können Sie jedoch Seiten oder Verzeichnisse aussortieren und festlegen, wie die Robots diese Bereiche beim Indizieren behandeln sollen. Lassen Sie uns untersuchen, wie Sie sie verwenden.

Robots.txt

Wenn Sie nicht sicher sind, ob Ihre Site eine robots.txt-Datei verwendet, können Sie dies auf einfache Weise überprüfen. Geben Sie einfach Ihre Domain in einem Browser ein, gefolgt von /robots.txt.

Hier ist ein Beispiel mit Amazon (https://www.zalando.de/robots.txt):

robots_txt_indizierungs_befehle_website_google

Wie man gut erkennen kann, gibt es in dieser Robots.txt eine Menge an Befehlen, die bei der Indizierung und dem Crawlen gesteuert werden, so dass Google diese Bereiche nicht in den Index befördert.

Die Google Search Console verfügt außerdem über ein praktisches robots.txt Tester-Tool, mit dem Sie Fehler in Ihrer Robots-Datei erkennen können. Sie können auch eine Seite auf der Website mithilfe der Leiste unten testen, um zu sehen, ob Ihre Robots-Datei in ihrer aktuellen Form den Googlebot blockiert.

est_robots.txt_google_search_console

Wenn eine Seite oder ein Verzeichnis auf der Site nicht zugelassen ist, wird sie nach Disallow: in der Robots-Datei angezeigt. Wie das obige Beispiel zeigt, haben wir die Zielseitenordner (/seoagentur/) von der Indizierung mit unserer Robots-Datei ausgeschlossen. Dies verhindert, dass Seiten, die sich in diesem Verzeichnis befinden, von Suchmaschinen indiziert werden. Bei diesen Seiten handelt es sich um Landingpages für andere Bereiche des Online Marketings

Es gibt viele coole und komplexe Optionen, wo Sie die Robots-Datei verwenden können. Die Google Developers-Website bietet einen Überblick über alle Möglichkeiten, die Sie für die Verwendung der robots.txt-Datei benötigen.

Hier sind ein paar dieser Optionen:

befehle_robots_txt_datei_indizierung

Robots-Meta-Tag

Das Robots-Meta-Tag befindet sich in der Kopfzeile einer Seite. In der Regel ist es nicht erforderlich, das Robots-Meta-Tag und die robots.txt-Datei zu verwenden, um die Indizierung einer bestimmten Seite zu verhindern.

Im obigen Bild der Search Console muss das Robots-Meta-Tag nicht zu allen meiner Zielseiten im Zielseitenordner (/seoagentur/) hinzugefügt werden, um Google daran zu hindern, sie indizieren zu können, da ich die Indexierung des Ordners über den Link nicht zugelassen habe (siehe robots.txt-Datei)

Das Robots-Meta-Tag hat jedoch auch andere Funktionen.

Zum Beispiel können Sie Suchmaschinen sagen, dass Links auf der gesamten Seite nicht für Suchmaschinenoptimierungszwecke befolgt werden sollten. Das könnte in bestimmten Situationen nützlich sein, wie auf Pressemitteilungen.

<meta name=“robots“ content=“noindex, nofollow“ />

Wahrscheinlich sind die beiden Anweisungen, die für SEO mit diesem Tag am häufigsten verwendet werden, noindex / index und nofollow / follow:

  • Index / follow:  Standardmäßig impliziert. Google Bots sollten die Informationen auf dieser Seite indexieren. Die Bots der Suchmaschine(n) sollten den Links auf dieser Seite folgen.
  • Noindex / nofollow: Google Bots sollten die Informationen auf dieser Seite nicht indizieren. Die Bots der Suchmaschine(n)sollten den Links auf dieser Seite nicht folgen.

Die Website für Google-Entwicklers enthält außerdem eine ausführliche Erläuterung der Verwendung des Robots-Meta-Tags

XML sitemaps

Wenn Sie eine neue Seite auf Ihrer Website haben, möchten Sie, dass Suchmaschinen sie schnell finden und indizieren. Eine Möglichkeit, diese Bemühungen zu unterstützen, besteht darin, eine XML-Sitemap (eXtensible Markup Language) zu verwenden und sie bei den Suchmaschinen zu registrieren.

XML-Sitemaps bieten Suchmaschinen eine Auflistung von Seiten auf Ihrer Website. Dies ist besonders hilfreich, wenn Sie neue Inhalte haben, auf die wahrscheinlich noch nicht viele eingehende Links verweisen. Dadurch wird es für Suchmaschinenroboter schwieriger, einem Link zu folgen, um diesen Inhalt zu finden. Viele Content-Management-Systeme sind jetzt XML-Sitemap-fähig oder über ein Plugin verfügbar, wie das Yoast SEO Plugin für WordPress.

Stellen Sie sicher, dass Sie eine XML-Sitemap haben und dass diese in der Google Search Console und den Bing Webmaster-Tools registriert ist. Dies stellt sicher, dass Google und Bing wissen, wo sich die Sitemap befindet, und können sie fortlaufend wieder indizieren.

Wie schnell kann neuer Inhalt mit dieser Methode indiziert werden?

Wir haben einmal einen Test gemacht und festgestellt, dass mein neuer Inhalt innerhalb weniger Sekunden von Google indexiert wurde – und das war die Zeit, die ich brauchte, um die Tabs im Browser zu ändern und den Befehl site: operator auszuführen.

Abruf wie durch Google

Mit dem Tool „Abruf wie durch Google“ können Sie testen, wie Google eine URL auf Ihrer Website crawlt oder rendert. Mittels „Abruf wie durch Google“ können Sie prüfen, ob der Googlebot auf eine Seite Ihrer Website zugreifen kann, wie er die Seite rendert und ob irgendwelche Seitenressourcen, z. B. Bilder oder Skripts, für den Googlebot blockiert sind.

Dieses Tool simuliert das Crawlen und Rendern durch den normalen Crawling– und Rendering-Prozess von Google und unterstützt Sie beim Beheben von Crawling-Problemen auf Ihrer Website.

abruf_wie_durch_google_indizierung_index_google

Ein schöner Nebeneffekt ist, dass durch diese Option Änderungen an einer Seite auch außerhalb des Crawling Zyklus schnell und sicher in den Index gebracht werden können.

Fazit – Indizierung von Webistes

Denken Sie immer daran, dass Ihre Website indiziert werden muss, um auch ein Ranking im Suchindex zu erhalten. Wenn Suchmaschinen Ihre Inhalte nicht finden oder lesen können, wie können sie diese dann bewerten und einstufen?

Achten Sie also darauf, die Indexierbarkeit Ihrer Website zu überprüfen, wenn Sie mit einer Suchmaschinenoptimierung starten.