Spider Werbung

Webmaster freuen sich, wenn die Spider der Suchmaschinen ihre Seiten besuchen. Die Hoffnung ist gross, dass die Seiten dann zukünftig dort gelistet werden.

Suchmaschinen Spider – nicht gut für Werbung

Ganz andere Emotionen bewegt die Werbeindustrie zum Thema Spider und Robots.
Im schlimmsten Fall werden sie gar als Ghuls (leichenfressende Dämone) und Kobolde bezeichnet.

Die Werbeindustrie möchte gerne die Spuren der Suchmaschinen in den Logfiles tilgen, um besser einschätzen zu können, wieviel Besucher einer Website tatsächlich Menschen waren. Denn, nur Menschen sind Ziel von Werbekampangnen, nicht die automatisierten Systeme.

Tatsächlich sind zahlreiche automatisierte Systeme im Web unterwegs. Neben den Spidern der offiziellen Suchmaschinen sind das zum Beispiel:

• Tracker für Werbeaktivitäten
• Offline-Browser
• E-Mail Sammler
• Linkchecker
• Website-Suchmaschinen
• persönliche Agenten

Selbst Fachleuten fällt es nicht leicht, genau festzustellen wer die Seiten besuchte. Zu vielfältig sind die Einträge, zu wenige Suchdienste geben den Namen ihrer Spider preis. Ein Grund für diese Zurückhaltung sind die zahlreichen Spam-Methoden mit denen Suchmaschinenbetreiber zu kämpfen haben. Die Erkennung von Spidern wird von windigen Geschäftsleuten beispielsweise dazu genutzt, den Suchmaschinen völlig andere Inhalte zu präsentieren.

Zwei Grössen der US-amerikanischen Werbeindustrie, das Interactive Advertising Bureau (IAB) und ABC Interactice Audits (ABCi), haben sich zusammengefunden um eine Liste der Robots und Spider zu schaffen.
Werbetreibende erhalten somit die Möglichkeit, Einträge herauszurechnen, die nicht von menschlichen Besuchern stammen.

Die beiden Firmen erklären, es ist ein grosser Schritt in die richtige Richtung um ungültige Treffer aus der Zählung zu eleminieren. Man nimmt an, dass Spider und Robots den grössten Anteil zur Verfälschung der Ergebnisse beitragen.

ABCi arbeitet gerade eine Studie aus, die den prozentualen Anteil der Spider und Robot-Aktivitäten ermittelt. Pikanterweise wird die Studie von IAB gesponsort.

Die Robotsliste basiert auf Beobachtungen von 200 Billionen Transaktionen seit 1995. Andere Institutionen sind aufgefodert, an der Erweiterung der Liste mitzuwirken. IAB Mitglieder und Kunden von ABCi haben freien Zugriff auf die Liste.

Websites:
Interactive Advertising Bureau (IAB)
ABC Interactice Audits (ABCi)

Eine Robots Liste mit sehr langer Tradition finden Sie bei The Web Robots Pages. Leider sind die Angaben dort nicht durchgehend aktuell und nicht umfassend.

Weitaus umfangreicher ist die Liste von John A Fotheringham:
Search engine robots