Die neue Infrastruktur, Caffeine, läuft nun auf allen Google-Datacentern. Beim Menschen beschleunigt Koffein den Puls, bei Google kommen neue Inhalte beschleunigt in den Index. Während früher abgewartet werden musste, bis ein Stapel an Crawl-Aufträgen fertig abgearbeitet wurde, können Inhalte jetzt in kürzester Zeit in den Index der Suchmaschine Google gelangen.
Das Internet wächst wahnsinnig schnell und fordert damit Suchmaschinen technologisch heraus. Die neue Infrastruktur Caffeine verarbeitet in einer Sekunde mehrere hunderttausend Dokumente parallel. Das entspricht einem Papierstapel mit einer Höhe von 3 Meilen (ca. 4,8 km). An einem Tag kommen somit hunderttausende an Gigabytes frischer Informationen in den Google-Index.
Anspruchsvolle Nutzer von Diensten wie Twitter peitschen die Schnelligkeit der Informationsverbreitung in den Sekundenbereich. Als Zwischenlösung greift Google auf Informationen zurück, die per Twitter verbreitet werden. Obwohl Twitter in den vergangenen Jahren deutlich gewachsen ist, laufen sehr viele Informationen nicht über Twitter. Mit einem wirklich umfangreichen und schnellen Index kann Google gegenüber der Konkurrenz punkten.
Nachrichten, Blog- oder Forenpostings werden beispielhaft für die deutlich schnellere Publikationsgeschwindigkeit genannt.
Im Google Blog findet sich diese Darstellung, welche die alte und neue Index-Infrastruktur gegenüber stellt.
Bisher ordnete Google Dokumente in bestimmte Ebenen ein. Entsprechend der Wichtigkeit jeder Ebene wurde der Crawl-Zyklus gesetzt. Die Hauptebene, welche den längsten Zeitzyklus zugeteilt bekam, wurde innerhalb mehrerer Wochen einmal neu indexiert. Für die Aktualisierung von Ebenen wurde das gesamte Internet durchcrawlt, was zu deutlichen Verzögerungen in der Erfassung neuer Inhalte führte.
Caffeine ist eine robuste Grundlage für die Zukunft der ständig wachsenden Suchmaschine Google. Hohe Skalierbarkeit nach oben ist ein wichtiges Kriterium um als führende Suchmaschine bestehen zu können.
Was bedeutet Caffeine für Webmaster?
-
Ranking
Caffeine ist eine Erweiterung der Infrastruktur, kein Update für das Ranking. Von Ausnahmefällen abgesehen, sollten Webmaster im Ranking nichts von Caffeine spüren. Zukünftig ist Google jedoch in der Lage, deutlich mehr Signale für das Ranking zu verarbeiten. Das heisst, jetzt, wo die neue Infrastruktur in allen Datacentern und Ländern (die Google bedient) verfügbar ist, können Signale verarbeitet werden, die früher aus technischen Gründen unberücksichtigt bleiben mussten. Die Einführung neuer Rankingfaktoren ist also zu erwarten. Mit dem gestrigen Abschluss der Inbetriebnahme von Caffeine sind jedoch ganz gewiss keine Ranking-Änderungen eingebracht worden. Wer zum jetzigen Zeitpunkt Rankingprobleme hat, muss dies auf andere Ursachen zurückführen.
-
Schnellere Erfassung von Inhalten
Weblogs waren bereits bisher innerhalb weniger Minuten im Google Index. Die angekündigte Beschleunigung dürfte in diesem Fall vielleicht die Verkürzung von vier Minuten auf zwei Minuten bringen. Vielleicht auch von zwei Minuten auf eine Minute. Mit Sicherheit wird aber auch hier differenziert. Websites die als wichtig angesehen werden, bekommen mit hoher Wahrscheinlichkeit weiterhin einen Bonus. Das gilt gewiss auch für ausgewählte Nachrichtenseiten und Foren, die bereits bisher eine grosse Aufmerksamkeit von Google bekommen haben.
Das ist offenbar das neue Prinzip. welches in obiger Grafik präsentiert wird. Es gibt thematische Ebenen (News. Blogs, Foren etc.) die unter ständiger Beobachtung stehen. Andere Ebenen können durch die leistungsfähigere Infrastruktur prinzipiell schneller bedient werden. Es wird aber auch in Zukunft kaum eine Notwendigkeit bestehen, Seiten die monatelang oder jahrelang nicht angefasst werden, mit einem täglichen Aktualisierungszyklus zu bedienen. Deshalb sollten Webmaster mit “gewöhnlichen” Websites, die keinen News-Charakter haben, keine übermässigen Erwartungen an schnellere Erfassungs- und Aktualisierungszeiten stellen.
Siehe auch Beitrag: Google nimmt Coffein” bietet neue Suchmaschine
Nachtrag vom 10.06.2010.
Ergänzung Video, Gespräch von Danny Sullivan mit Matt Cutts über Caffeine:
Official Google Webmaster Centrale Blog:
Our new Search Index: Caffeine