Diese Rezension fasst die wesentlichen Aussagen eines Buchbeitrags über die Evaluierung von Visualisierungsverfahren bei der webbasierten Suche zusammen. Dieser Beitrag wurde von Claus Arnold und Christian Wolff von der Universität Regensburg verfasst und im Sammelband (Ausgabe 14) von „Knowledge extended“ publiziert. Mittelpunkt der Untersuchung ist die Frage, inwieweit Visualisierungsverfahren den Nutzer bei der Durchführung unterschiedlichster Rechercheaufgaben unterstützen (können).

Einleitend stellen Arnold und Wolff fest, dass auf dem Gebiet der Informations- und Konzeptvisualisierung schon seit geraumer Zeit entwickelt wird und die Phase der reinen Prototypen ersten praktischen Anwendungen gewichen ist. Es ist jedoch keineswegs (stichhaltig) begründet worden, weshalb überhaupt Visualisierung zum Einsatz kommen sollte. Meist standen individuelle Präferenzen und unterschiedliche Aufwände bei der Beantwortung einer Frage im Vordergrund der Argumentation.

Arnold und Wolff nehmen die Visualisierung durchaus ernst und lassen erkennen, dass die Vielfalt an Typen interessante Ansätze enthalten. Die Artenvielfalt gruppiert sich zum einen um die unterschiedlichen verwendeten visuellen Mittel (z.B. Landkarten, Graphen, …) und zum anderen um die unterschiedlichen Phasen des Retrievalprozesses – also Formulierung der Anfrage, Darstellung der Ergebnisse und Visualisierung einzelner Dokumentinhalte. Aber auch hier deuten die beiden Regensburger Forscher auf das fast völlige Fehlen empirischer Studien zur Visualisierung im Information Retrieval hin.

Diese Tatsache (das Fehlen jeglicher Studien zur Visualisierung) wird zum Anlass, selbst eine erste Studie zu entwerfen und durchzuführen. Als Argumente für diese Untersuchung nennen Arnold und Wolff

• die große Popularität von Suchmaschinen
• die stark textorientierte Darstellung der erfolgreichsten Suchmaschinen
• die Existenz von Suchmaschinen mit Visualisierungstechniken

Die Untersuchung ist daher als Vergleich von textorientierten Systemen (Google) und von Systemen mit Visualisierungstechniken (WebBrain, Kartoo) angesetzt.
WebBrain stellt das betreffende Konzept in der Mitte der Darstellung sowie Unter- und Oberbegriffe in Querverweisen dar. Eine direkte Eingabe von Suchbegriffen ist möglich, auch die Ausgabe von Treffern ist als Text (Ergebnisliste) möglich. Kartoo verwendet als Einstieg noch den klassischen Modus der Texteingabe, während die Darstellung des Ergebnisses graphisch angezeigt wird.

Bild: Kartoo

Zum Test
Da die unterschiedlichen Datenmengen der drei Systeme nicht vergleichbar sind, musste auf die übliche Prüfung von Recall (Erschöpfungsgrad) und Precision (Genauigkeit) verzichtet werden. Stattdessen wurden eine subjektive Bewertung software-ergonomischer Merkmale der Suchmaschinen durch die Versuchspersonen vorgenommen. Dabei hatten diese die Aufgabe, Informationen zu recherchieren und die bei der Datenerhebung gewonnen Eindrücke zu Aspekten wie „Individualisierbarkeit“, „Lernförderlichkeit“ etc. auf einer vierstufigen Skala anzugeben.

Das Ergebnis zeigt eine deutliche Überlegenheit von Google sowohl in Bezug auf die Dauer der Bearbeitung der Aufgabe als auch die Anzahl der Interaktionsschritte. Bei den subjektiven Bewertungen ist Google ebenfalls voran, jedoch meist knapp. Besonders die Gruppierung von zusammengehörenden Inhalten ist vielen Testpersonen als wesentlicher Vorteil von Visualisierungstechniken aufgefallen.
Arnold und Wolff betonen jedoch, dass die Aussagen dieser Testreihe relativiert werden müssen:

• Die Nutzer haben allesamt Erfahrung mit Google oder anderen textbasierten Abfragesystemen
• Die Datenmenge spielt auch bei dieser Art von Test eine zumindest indirekte Rolle bei der Bewertung
• Die Bewertung der Systeme in unterschiedlichen Nutzergruppen (z.B. durch Experten) kann zu unterschiedlichen Ergebnissen führen.

Als Konsequenz ziehen die beiden Autoren daher die Notwendigkeit, geeignete Testformate zu entwickeln, „bei denen sehr viel präziser einzelne Visualisierungsmerkmale für einen bestimmten Prozessschritt des Information Retrieval auf der Basis gleicher Dokumentkollektionen und Retrievalfunktionen getestet werden können“.

Dieser Eintrag wurde am Wednesday, 26. April 2006 um 1:23 am gepostet und ist unter der Kategorie Rezensionen, Suchmaschinen gelistet.

Verwandte Artikel: