Menschen ergänzen algorithmische Bewertung der Suchmaschinen

In den ersten Jahren nach dem offiziellen Start schwor Google auf seine Algorithmen, obwohl bereits klar war, dass Spammer immer neue Wege finden die Algorithmen der Suchmaschine zu überlisten. Nach aussen wurden die Algorithmen als nahezu unfehlbar präsentiert. Das Unternehmen Google wollte sein Gesicht als Technologie-Firma nicht verlieren. Das Blatt hat sich gewendet. Seit mehreren Jahren beschäftigt Google hochqualifizierte Mitarbeiter, welche mit ihren Bewertungen die Qualität der Treffer beeinflussen und Google berichtet darüber.

Das ist an sich keine neue Nachricht. Bereits im Jahr 2005 wurde bekannt, dass Google mit Qualitätbewertern ( Quality Rater) arbeitet. Neu ist, dass Google offen darüber berichtet.

Scott Huffmann, als Engineering-Director die leitende Person für “Search Evaluation”, erläutert in im offiziellen Google-Blog die Search Evaluation. Statistiker und Software-Ingenieure gehören zu seinem Team.

Marissa Meyer, Leiterin Produktmanagement für die Suche bei Google, erklärte im Jahr 2007, während der Seattle Conference of Scalability, Google beschäftige 10 000 Personen, welche manuell die Qualität der Ergebnisse beurteilen. Diese Zahl mag auf den ersten Blick hoch erscheinen. Bedenkt man, dass Google mehr als 100 Länder/ Sprachen mit Suchergebnissen bedient, verteilt sich diese Zahl auf durchschnittlich 100 Personen pro Land bzw. Sprachregion. Mit dieser Zahl ist auch nicht ausgedrückt ob es sich um festangestellte Google-Mitarbeiter handelt oder Personen die z.B. in Teilzeit für Google Telearbeit tätigen.

Wir können davon ausgehen, dass die menschliche Bewertung keinen unmittelbaren, direkten Einfluss auf das Ranking nimmt. Einem einzelnen Bewerter wird es nicht möglich sein, irgendein Ergebnis mit seiner Bewertung zu ändern. Vielleicht mit Ausnahme von Bestrafungen und/oder Sperren wegen Spammmings oder ähnlicher Delikte. Doch das gehört in einen anderen Zuständigkeitsbereich von Google.

Die Bewerter bestimmen u.a. die Angemessenheit, Nützlichkeit und Relevanz ausgewählter, ihnen vorgelegter Ergebnisse. Mitunter werden diese Ergebnisse mit Live-Traffic gemessen um die Auswirkungen der Änderungen zu bestimmen. Dazu wird einer kleinen Nutzerschaft das veränderte Resultat ausgeliefert. Das Verhalten der Nutzer zeigt, wie sich die Änderungen tatsächlich auswirken werden. Gemessen wird, wie hoch der Einfluss der Änderung ist. Änderungen auf den 3 vorderen Plätzen werden z.B. höher eingestuft als Änderungen auf Platz 9 oder 10.

Die Bewerter haben neben der Relevanz der Ergebnisse zu beurteilen ob die Ergebnisse aktuell und zeitgerecht, umfassend sind, von einer angesehenen Quelle stammen, keinen Spam enthalten. Es wird geprüft ob Titel und Beschreibungen aussagekräftig genug sind und ob es, falls zur Frage angemessen, weitere Elemente wie Bilder, Kartenmaterial usw. gibt.

Doch es geht auch darum, Neuerungen zu beurteilen, die im Hause Google entwickelt wurden um die Qualität der Ergebnisse zu verbessern. Im Jahr 2007 flossen rund 450 Ergebnisse solcher Entwicklungen in die Suchergebnisse ein. Da wird z.B. versucht, die Funktion “Ähnliche Seiten”, die Ergebnisse der Universalsuche, Bildersuche, Videosuche usw. zu verbessern.

Die neuen Ergebnisse werden mit früheren Ergebnissen von Google verglichen (vor einem Monat, vor einem Jahr usw.), sowie mit Ergebnissen der Konkurrenz.

Scott Huffmann gesteht, es gibt keine Änderung, die zu 100% nur positive Auswirkungen beschert.
Jede Änderung am Algorithmus macht zwar viele Suchen besser, aber einige werden schlechter.

Das ist wohl war. Gar nicht so wenige Webmaster können ein Lied davon singen, dass ihre Website, auf die eine oder andere Weise, nicht im positiven Sinne vom Ranking beeinflusst wurden.

Nicht nur Google

Neben Google bekennen sich auch Yahoo! und Ask öffentlich dazu, Suchergebnisse von Menschen beurteilen zu lassen und daraufhin Suchergebnisse zu modifizieren. Siehe dazu nachfolgende Interview-Verweise. Ein Vertreter von Inktomi, deren Suchmaschinentechnologie der jetzigen Yahoo!Suchmaschine zugrunde liegt, erklärte gegenüber @-web im Jahr 2000, das “Erweiterte Relevanzmodell”. Human Editors beurteilten die Ergebnisse. Durch ständige Regression steigt die Relevanz der Ergebnisse mit menschlicher Unterstützung.

Im einem unten genannten Beitrag werden einige Richtlinien zur Spamerkennung für Quality Rater erläutert.

Search Evaluation at Google