URL aus Feeds kommen sehr schnell in den Google Index

Webseiten, die daran interessiert sind, neue Seiten möglichst schnell in den Index von Suchmaschinen zu bekommen, sollten Feeds zur Verfügung stellen. Google erklärt, dass URL aus Feeds wesentlich schneller erfasst werden können als über gewöhnliches Crawling.

Webmaster die Weblogs zum Publizieren von Beiträgen einsetzen, kennen den Effekt. Nur wenige Minuten nach der Veröffentlichung ist der Beitrag bereits im Suchmaschinenindex von Google zu finden. Das funktioniert ziemlich einfach. Weblogs senden gleichzeitig mit der Veröffentlichung ein Signal an spezielle Server, sogenannte Ping-Server. Diese Ping-Server wiederum leiten das Signal unverzüglich an spezielle Blog-Suchmaschinen weiter. Dadurch sind Veröffentlichungen bei Technorati & Co. nach sehr kurzer Zeit sichtbar. Auch die Google Blogsuche profitiert von den Ping-Signalen. So gesehen war es nur eine Frage der Zeit, bis sich Google offen dazu bekennt, dieses Verfahren für den offiziellen Index zu übernehmen.

Ist erst einmal eine URL für ein Feed bekannt, muss eine Suchmaschine nicht mehr alle Seiten des Angebotes durchsuchen um evtl. neue Verweise zu neuen Seiten zu entdecken. Das Webangebot liefert praktisch selbständig, per Feed, die URL, Titel und Kurzbeschreibung zu den neuesten Veröffentlichungen oder per Ping. Das vereinfacht die Aktualisierungsarbeit der Suchmaschinen wesentlich. Google kann zusätzlich u.a. sämtliche Infos, die über den Google-Reader und Feedburner hereinkommen, auswerten.

Webmaster mit Angeboten ohne Feed-Ausgabe werden gegenüber Feedangeboten bezüglich der Aktualisierung benachteiligt. Dieser Nachteil lässt sich ausgleichen, indem dem Webauftritt ein Feed verpasst wird. Eine Anleitung für Anfänger mit technischem Verständnis, zur Erstellung eines automatisch aktualisierten RSS 2.0 Feeds, findet sich bei SELFHTML: RSS Feeds erstellen.

Spätestens seit Bing eine Vereinbarung mit Twitter (Bing Twitter) geschlossen hat, steht Google unter Druck, eine ähnlich schnell “Echtzeitsuche” zu präsentieren. Eine entsprechende Vereinbarung mit Twitter wurde vor einigen Tagen geschlossen. Damit hat Google zu Bing aufgeschlossen. Mit der Auswertung der Feeds hat Google in der “Echtzeitsuche” momentan die Nase vorn. Das kann sich schnell ändern, die Nutzer profitieren vom Wettbewerb der führenden Suchmaschinen. Für Nutzer ergibt sich der praktische Aspekt, nicht unterschiedliche Dienste nutzen zu müssen, um an brandaktuelle Informationen zu gelangen.

Google Webmaster-Zentrale Blog
Das Crawling neuer URL über Feeds