Webmaster freuen sich, wenn die Spider der Suchmaschinen ihre Seiten besuchen.
Die Hoffnung ist gross, dass die Seiten dann zukünftig dort gelistet werden.
Ganz andere Emotionen bewegt die Werbeindustrie zum Thema Spider und Robots.
Im schlimmsten Fall werden sie gar als Ghuls (leichenfressende Dämone) und
Kobolde bezeichnet.
Die Werbeindustrie möchte gerne die Spuren der Suchmaschinen in den Logfiles
tilgen, um besser einschätzen zu können, wieviel Besucher einer Website
tatsächlich Menschen waren. Denn, nur Menschen sind Ziel von Werbekampangnen,
nicht die automatisierten Systeme.
Tatsächlich sind zahlreiche automatisierte Systeme im Web unterwegs. Neben
den Spidern der offiziellen Suchmaschinen sind das zum Beispiel:
Tracker für Werbeaktivitäten
Offline-Browser
E-Mail Sammler
Linkchecker
Website-Suchmaschinen
persönliche Agenten
Selbst Fachleuten fällt es nicht leicht, genau festzustellen wer die
Seiten besuchte. Zu vielfältig sind die Einträge, zu wenige Suchdienste
geben den Namen ihrer Spider preis. Ein Grund für diese Zurückhaltung
sind die zahlreichen Spam-Methoden mit
denen Suchmaschinenbetreiber zu kämpfen haben. Die Erkennung von Spidern
wird von windigen Geschäftsleuten beispielsweise dazu genutzt, den Suchmaschinen
völlig andere Inhalte zu präsentieren.
Zwei Grössen der US-amerikanischen Werbeindustrie, das Interactive Advertising
Bureau (IAB) und ABC Interactice Audits (ABCi), haben sich zusammengefunden um
eine Liste der Robots und Spider zu schaffen.
Werbetreibende erhalten somit die Möglichkeit, Einträge herauszurechnen,
die nicht von menschlichen Besuchern stammen.
Die beiden Firmen erklären, es ist ein grosser Schritt in die richtige Richtung
um ungültige Treffer aus der Zählung zu eleminieren. Man nimmt an, dass
Spider und Robots den grössten Anteil zur Verfälschung der Ergebnisse
beitragen.
ABCi arbeitet gerade eine Studie aus, die den prozentualen Anteil der Spider und
Robot-Aktivitäten ermittelt. Pikanterweise wird die Studie von IAB gesponsort.
Die Robotsliste basiert auf Beobachtungen von 200 Billionen Transaktionen seit
1995. Andere Institutionen sind aufgefodert, an der Erweiterung der Liste mitzuwirken.
IAB Mitglieder und Kunden von ABCi haben freien Zugriff auf die Liste.
Eine Robots Liste mit sehr langer Tradition finden Sie bei The
Web Robots Pages. Leider sind die Angaben dort nicht durchgehend aktuell und
nicht umfassend.
Das @-web Verzeichnis der wichtigsten Suchmaschinen mit URL zum Anmelden neuer
Webseiten.
Webverzeichnisse und Metasucher: Suchmaschinenverzeichnis
24.10.2001
