Google hat klargestellt, wie sein Googlebot Seiten einordnet, und erklärt, dass er die ersten 15 MB einer Seite automatisch indizieren wird.

Als mit Abstand dominierende Suchmaschine leben oder sterben viele Websites von ihren Google-Rankings. Daher ist es das Ziel vieler Webmaster, genau zu verstehen, wie es funktioniert. Google hat das Thema etwas genauer beleuchtet  und skizziert, wie sein Googlebot Seiten crawlt und indexiert:

Der Googlebot kann die ersten 15 MB des Inhalts in einer HTML-Datei oder einer unterstützten textbasierten Datei crawlen. Nach den ersten 15 MB der Datei stoppt der Googlebot das Crawling und berücksichtigt nur die ersten 15 MB des Inhalts für die Indizierung.

Der Leckerbissen ist wichtig und gibt Webmastern ein Ziel, auf das sie zielen können. Die 15MB-Grenze soll auch die Gestaltung schlanker, performanter Websites fördern, die auf einem Smartphone ebenso geeignet sind wie auf einem Desktop mit Highspeed-Verbindung.