Suchmaschinen sollen möglichst oft die Webseiten aktualisieren, so
der Wunsch vieler Betreiber von Websites. Können Suchmaschinen diesem Wunsch
entsprechen?
Eigentlich ist es doch ganz einfach. Die Spider der Suchmaschinen lesen den Meta-Tag
revisit-after <meta name="revisit-after" content="2days">
und kommen jeden zweiten Tag wieder :-)
Ein frommer Wunsch der Website-Betreiber, dem Suchmaschinen so nicht nachkommen
können.
Abhängig von der Kapazität der Suchmaschine ist das Aktualisieren von
Webseiten ein Vorgang der erhebliche Ressourcen einer Suchmaschine verbraucht.
Meist werden Abstände von mehreren Wochen angegeben. In der Praxis zeigen
sich noch sehr viel grössere Abstände.
Würden tatsächlich sämtliche indexierten Seiten täglich indexiert,
müssten die Suchmaschinen ihre Spider -Kapazitäten um das 30-fache erweitern.
Eine Untersuchung von Greg Notes, Betreiber von Search Engine Showdown, zur Aktualität
der Indizies grosser Suchdienste, lässt den Schluss zu, dass trotz guter
Absichten Webseiten in sehr unterschiedlichen Zyklen gespidert werden.
Search Engine Showdown: Freshness
Showdown
Die Suchmaschine Google ist beispielsweise dafür bekannt, Webseiten im monatlichen
Rhythmus zu aktualiseren. Erfahrungsgemäss funktioniert das für sehr
viele Websites einwandfrei. Dennoch sind dort Seiten zu finden, die 68 Tage alt
sind.
Mehrere Millionen Webseiten werden von Google sogar täglich aktualisiert.
Bei AltaVista waren die ältesten Seiten zwar nur 51 Tage, dafür die
aktuellsten Seiten 12 Tage alt. Für AllTheWeb schwanken die Daten immerhin
zwischen 16 Tage für die aktuellsten Seiten und 191 Tage für die ältesten
Seiten.
Um einen möglichst aktuellen Index vorzuweisen, teilen wichtige Suchmaschinen
ihre Spider-Aktivitäten nach logischen Gesichtspunkten ein. Seiten die oft
geändert werden, wie beispielsweise Nachrichtenseiten, sollen in den Genuss
einer schnellen täglichen (Google) oder teilweise sogar stündlichen
Frequenz (Fireball) kommen. Hingegen müssen Seiten, die nicht, oder sehr
selten geändert wurden, nur selten aktualisiert werden. Die Aufgabe der Suchmaschinenbetreiber
ist es, die Änderungen sinnvoll zu erkennen und entsprechende Zyklen auf
die im Index vorhandenen Seiten einzustellen.
Einleuchtend, dass persönliche Wünsche der Sitebetreiber wenig hilfreich
sind. Es müssen möglichst objektive Daten als Grundlage dienen.
Grundlage für die Entscheidung könnte sein:
Aktualisierungsdatum der Datei
Über die Header-Informationen, welche der Webserver übermittelt, lässt
sich feststellen, wann die Seite zuletzt geändert wurde. Nachteil, dieser
Methode ist, dass schon das erneute Hochladen der Datei auf den Server genügen
würde, um als aktualisiert zu gelten.
Inhaltsänderung
Änderungen am Inhalt sind ein recht sicheres Zeichen, dass Webseiten tatsächlich
geändert wurden. Es liegt an den Algorithmen der Suchmaschine festzulegen,
welcher Umfang an Änderungen notwendig ist, um als Änderung akzeptiert
zu werden. Änderungen, die beispielsweise durch Einblenden neuer Banner hervorgerufen
werden, sollten dabei nicht berücksichtigt werden.
Hauptsächlich die Homepage
Wichtige Änderungen werden in der Regel auf der Startseite einer Domain bekanntgegeben.
Da es völlig den Rahmen sprengen würde, viele Seiten einer Domain täglich
zu aktualisieren, werden sich Suchmaschinen auf wichtige Bereiche, vorrangig die
Startseite einer Domain, beschränken. Besuchen Sie die Webpräsenz einer
Zeitung oder Zeitschrift im Internet werden Sie feststellen, dass tägliche
Hinweise auf alle wichtigen Informationen auf der Startseite zu finden sind. Die
einzelnen Beiträge werden in der Regel nicht mehr geändert und müssen
nicht ständig aktuell gehalten werden.
Jede Suchmaschine hat die Freiheit, völllig unabhängig zu entscheiden,
welche Kriterien herangezogen werden.
Aus den obigen Erkenntnissen lässt sich ableiten, dass sich die Spider-Zyklen
der Suchmaschinen nur schwer von Website-Betreibern beeinflussen lassen.
Mein Tipp, um in den Genuss oftmaligen Spiderns zu kommen ist, Ihre Startseite
mit ständig aktuellen, ansprechenden Texten zu versehen. In der Folge werden
Ihre Besucherzahlen steigen, und die Anzahl der verweisenden Links. Gepaart mit
einer gestiegenen Linkpopularität sollte es dann irgenwann gelingen, in den
Genuss kurzer Spider -Zyklen zu kommen.
Wenn Sie dringend darauf angeweisen sind, dass ständig die neuesten Inhalte
in den Suchmaschinen sichtbar sein sollen, ist das kein Problem. Gegen ein entsprechendes
Entgeld sind einige wichtige Suchmaschinen bereit, in kurzen Zyklen zu spidern:
Ein interessantes Buch von Mathias
Schmitz, ehemaliger AltaVista-Manager
Das @-web Verzeichnis der wichtigsten Suchmaschinen mit URL zum Anmelden neuer
Webseiten.
Webverzeichnisse und Metasucher: Suchmaschinenverzeichnis
31.05.2002
Seitenbeginn
