Die Suchmaschine Google bietet einige Optionen für Webmaster, die Einfluss
auf den Indexierungsvorgang haben. Sie können das Indexieren von Seiten ebenso
verhindern, wie die Aufnahme in den Google-Cache.
URL Änderung
Google führt regelmässige Indexierungen durch. Dabei wird festgestellt
ob eine Seite nicht mehr existiert und aus dem Index gelöscht. Über
Links, die auf die neue Seite verweisen wird diese erfasst und indexiert.
Wenn Sie nicht warten möchten, bis die verschobene Webseite gefunden wird,
melden Sie diese neu bei Google an. Google - submit
Indexieren verhindern
Mit der Datei robots.txt lässt sich verhindern, dass bestimmte Dateien
oder Verzeichnisse einer Webpräsenz gespidert werden. Vorausgesetzt die Spider
der Suchmaschinen erkennen diesen Standard an.
Um Google am indexieren zu hindern, müsste beispielsweise folgender Eintrag
in der robots.txt erscheinen:
Google beachtet nicht die Meta-Tags Keywords und Description, da diese zu oft
missbraucht werden, um Suchmaschinen zu betrügen. Stattdessen gibt Google
den Kontext um einen Suchbegriff wieder. Also ein Textauschnitt, einige Worte
vor und nach dem Suchbegriff, der wird Snippet genannt. Diese Wiedergabe
lässt sich mit folgendem Meta-Tag verhindern:
<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET">
Nosnippet verhindert ebenfalls das Speichern von älteren Seiten (cached pages).
Da Nosnippet verhindert, dass ein Auszug des Seiteninhaltes in der Ergebnisliste
angezeigt wird, ist die Anwendung dieses Meta-Tag nicht zu empfehlen !!!
Um das Cachen zu verhindern, sollten Sie benutzen:
Speichern im Cache verhindern
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">
Damit wird nur verhindert, dass Webseiten im Cache von Google gespeichert werden.
Webseiten werden weiterhin indexiert und in der Ergebnisliste mit einem Snippet
angezeigt.
Tote Links entfernen
Während der regulären Crawler-Läufe werden Links überprüft,
nicht funktionierende automatisch entfernt. In wichtigen Fällen, können
Sie das automatic
URL removal system benutzen.
Das Indexieren von Bildern verhindern
Mit der Bildersuche nehmen Bedenken von Bildautoren zu, dass ihre Werke ohne
urheberrechtliche Genehmigung kopiert und in anderem Zusammenhang verwendet werden.
Um dem Google-Spider das indexieren von Bildern und Grafiken zu verwehren, ist
folgender Eintrag in die Datei robots.txt erfoderlich:
