Qualitätsmessung für Suchmaschinen

Einschlägige Zeitschriften veröffentlichen gerne in regelmässigen Abständen Tests über Suchmaschinen. Die Qualität dieser Tests entspricht keiner wissenschaftlichen Grundlage. Redakteure denken sich schnell mal aus, wie Suchmaschinen zu testen wären. Zwei Dutzend Suchbegriffe aus dem täglichen Leben in den Suchschlitz gehackt genügen nicht, um Qualitätskriterien festzustellen.

Prof. Dirk Lewandowski (Hochschule für Angewandte Wissenschaften Hamburg, Fakultät DMI), meint, bisher wurden zu wenige oder einseitige Aspekte für die Qualitätsbewertung von Suchmaschinen berücksichtigt. Das gilt auch für Studien, die in der Vergangenheit durchgeführt wurden. Nicht nur die Technik der Suchmaschinen soll bewertet werden, auch ihre Nutzer haben Einfluss auf die Qualität. Die Zufriedenheit der Nutzer wird als wichtiger Baustein zur Kundenbindung gesehen.
Wichtigstes Kriterium ist die Relevanz der Suchergebnisse. Zur Ermittlung müssen jedoch andere Kriterien herangezogen werden, als für die ursprünglichen Methoden des Informationsretrival, wo Precision und Recall exakt zu messende Grössen darstellen.
Das Nutzerverhalten spiegelt sich z.B. im Klickverhalten wieder. Über das Klickverhalten lässt sich bestimmen, welche Relevanz die Nutzer (im Gegensatz zu Suchmaschinen) bestimmten Treffern zuordnen. Die Nutzerfreundlichkeit (Usability) wirkt sich ebenfalls auf auf das Verhalten der Nutzer aus.

Lewandowski und Höchstötter tragen empirisch die Ergebnisse einiger Studien zusammen und ermitteln, welche weiteren Schritte notwendig sind um bessere Qualitätsmessungen durchführen zu können.

Qualität der Suchresultate
– Retrievaleffektivität
– Einzigartigkeit der Suchergebnisse
– Qualität spezieller Suchfunktionen

Usability
– Design der Bedienoberfläche
– Akzeptanz von speziellen Suchfunktionen und Operatoren
– Zufriedenheit mit den Trefferlisten
– Benutzerführung

Lewandowski stellt klar, dass es eine Diskrepanz zwischen den Angeboten der Suchmaschinen und den Bedürfnissen der Besucher gibt. Beide Seiten haben hier noch Reserven, aufeinander zu zu gehen.

Eine zukünftige, umfassende Studie soll die tatsächliche Qualität der Suchmaschinen bewerten. Im Ergebnis der Studie sollen Nutzer befähigt werden, die Suchmaschine zu finden, die am besten zu ihren persönlichen Bedürfnissen passt.

PDF-Datei: Qualitätsmessung Suchmaschinen