Mythos – Google Toolbar indexiert Webseiten

Immer wieder vermuten Webmaster, dass der reine Besuch einer Website mit einem Browser, in dem die Google Toolbar installiert ist, genügt um Seiten in den Google-Index zu bringen. Google Mitarbeiter Matt Cutts entkräftet diese Ideen in seinem Weblog.

Rein technisch wäre es sicherlich kein Problem, die Google Toolbar zum indexieren von Seiten einzusetzen. Zumindest die Google Toolbar der Nutzer, die sich den Google-Pagerank für besuchte Seiten im Webbrowser übermitteln lassen. Im Gegenzug verraten diese Nutzer jede Seite die sie im Internet besucht haben.

Ich wurde schon mehrfach informiert, dass Webseiten in den Google-Index gelangten, die (noch) gar nicht dafür vorgesehen waren, weil sie z.B. noch in Entwicklung waren. Auch ein Kommentar im Weblog von Matt Cutts weist darauf hin, dass mit aktivierter Google Toolbar besuchte Seiten nur wenige Minuten später gecrawlt wurden und in den Google Index gelangten.

Mich würde nicht wundern wennn wir irgendwann einmal von Google eine Erklärung bekommen, dass zwar prinzipiell die Google Toolbar nicht als Crawler eingesetzt wird, aber in Einzelfällen nicht auszuschliessen ist, dass einzelne Seiten in den Index gelangen.

Derzeit wird jedoch wiederholt dementiert, dass über die Google-Toolbar Webseiten in den Index von Google gelangen. Matt Cutts führt zwei Experimente an, bei denen es nicht gelungen ist, die Seiten über die Toolbar in den Suchmaschinenindex zu bringen.

Es gibt jedoch andere Möglichkeiten, wie Seiten unbeabsichtigt in den Google Index gelangen.
Eine wohl nur selten bedachte Variante ist die Übermittlung der Referer-URL per Webbrowser. Ihr Webbrowser verrät jeder neuen Seite, welche Seite vorher angesehen wurde. Wenn Sie also eine Seite besucht haben deren Inhalt nicht im Internet veröffentlicht werden soll, wird diese URL dennoch in den Serverlogs der nächsten besuchten Website erscheinen. Viele Serverstatistiken sind frei im Internet zugänglich, ohne Passwort erreichbar. Diese Seiten werden auch von den Crawlern der Suchmaschinen besucht und die enthaltenen URL aufgenommen.

Suchen Sie bei Google z.B. mit
inurl:webstats
und schauen weiter als die ersten drei Trefferseiten, werden Sie recht bald offene Statistikseiten finden, die u.a die Referring URL’s ausweisen.

Bekannter aber unwahrscheinlicher ist, dass bereits ein Verweis auf die nicht veröffentlichten Seiten gesetzt wurde. Das kann, aus Versehen, auch schnell mal über das eigene CMS, passieren. Selbst wenn die Seiten, auf die verwiesen wird, dann über noindex vom Crawlen ausgeschlossen werden, kommen die Verweise in den Index.
Seit April ist Google offiziell in der Lage Formulare zu crawlen…

Nehmen wir zunächst als gegeben hin, dass die Google Toolbar keine URL in den Suchmaschinenindex bringt.

Matt Cutts: Generic Toolbar Indexing Debunk Post