Worauf ungeübte User Experience Testleiter unbedingt achten müssen.
Die Unterschiede zwischen einer einfachen Produktpräsentation und einem methodisch durchdachten Usabilitytest sprechen sich herum. Das ist auch an der steigenden Nachfrage der IT-Hersteller zu spüren, die das Methodenwissen rund um Usability und User Experience (UX) Inhouse aufbauen wollen.
Die Einführung von Usability- und UX-Methoden bei unterschiedlichsten Software-Herstellern führt uns immer wieder vor Augen, dass der Teufel im Detail steckt. Techniken, die bei uns in Fleisch und Blut übergegangen sind, bedeuten für UX-Einsteiger erhebliche Herausforderungen.
Am Beispiel von moderierten User Experience Tests, wollen wir sechs unserer regelmäßig wiederkehrenden Erlebnisse mit Ihnen teilen.
Unzureichendes Warming Up im User Experience Test
Der UX-Test ist vorbereitet. Unter anderem wurden die Aufgaben für die User und die Verfahren zur Erhebung der Qualitätskennzahlen zusammengestellt, das halbstrukturierte Interview erarbeitet und die Testteilnehmer eingeladen. Der Probelauf zur Überprüfung des Testablaufs macht Lust auf mehr. Der UX-Test mit realen Usern kann beginnen.
Endlich ist der erste Testteilnehmer da und wird sofort instruiert. An dieser Stelle nutzen die ungeübten Versuchsleiter die Chance für das Warming Up des Teilnehmers nur unzureichend. Warming Up bedeutet im Zusammenhang mit User Experience Tests, den Nutzer in Teststimmung zu versetzen.
Damit sind im Wesentlichen zwei Ziele verbunden:
1.) Der Testteilnehmer muss sich warm reden. Das ist wichtig, weil eine prominente Methode in User Experience Tests das sogenannte Laute Denken ist. Dabei sollen die Teilnehmer dem Versuchsleiter möglichst alles erzählen, was Ihnen bei der Nutzung des Testsystems durch den Kopf geht.
Smalltalk und eine Reihe leichter Fragen vor dem eigentlichen Testbeginn helfen dem Teilnehmer dabei, in Redefluss zu kommen.
2.) Der User muss Vertrauen zum Versuchsleiter aufbauen. Tun sie dies nicht, vertrauen sie ihm die unangenehmen Dinge seltener an. Die Gründe hierfür sind vielfältig und reichen vom Mitleid für den Hersteller, der Zeit und Geld in das Produkt gesteckt hat bis hin zu Selbstzweifeln an den eigenen technischen Fähigkeiten.
Kleine Scherze, die zur Situation passen und natürlich wirken, sind hier hilfreich. Erzwungen sollten diese jedoch nicht werden. Auch kleine Snacks und Getränke tragen dazu bei, dass sich Ihre Testteilnehmer bei Ihnen wohlfühlen.
Das Warming Up ist erfolgreich, wenn der Teilnehmer sich wie ein Tester und nicht wie der Getestete verhält und Ihnen fortlaufend und unaufgefordert Einblick in seine Überlegungen gibt.
Mündliche Instruktion fördert Ergebnisvarianz
Nach dem Warming Up ist der Teilnehmer zu instruieren. Häufig machen neue Versuchsleiter dies mündlich. Da sie auch nur Menschen sind, variiert die mündliche Instruktion von User zu User. Gern werden die mündlichen Instruktionen auch um gut gemeinte Suggestionen wie „die nächste Aufgabe wird einfacher“ ergänzt.
Diese Variationen in der Instruktion erzeugen auch eine Variation in Ihren Ergebnissen. So durften wir schon User Experience Tests auswerten, in denen derartige Instruktionen durch unbedarfte Auftraggeber zu klar erkennbaren Verzerrungen in den Fragebogenergebnissen führten.
Derartige Variationen vermeiden Sie mit schriftlichen Instruktionen. Papier ist geduldig und kommuniziert die Instruktion immer 100 Prozent gleich. Das führt dazu, dass die User Experience Daten nur durch Ihr Produkt beeinflusst wird.
UX-Versuchsleiter stellt keine Vertiefungsfragen
Nun sind Versuchsleiter und Testteilnehmer mittendrin in einer Aufgabe. Der Versuchsleiter hält sich an sein halbstrukturiertes Interview und stellt die dokumentierten Fragen. Doch der User antwortet ihm nicht. Stattdessen weicht er unbewusst der Frage aus und erzählt fröhlich etwas anderes.
Ungeübte Versuchsleiter fallen gern darauf hinein. Sie stellen keine Vertiefungsfragen und ziehen ohne eine Antwort weiter zur nächsten Frage im Leitfaden. Durch mangelnde Routine gehen wichtige Informationen verloren. Doch das ist nur eine von vielen verpassten Gelegenheiten. Extremer ist es, wenn ein User z.B. Verständnislosigkeit für eine Funktion oder Interaktion mit dem System signalisiert und der Versuchsleiter nicht nachhakt.
An dieser Stelle möchten wir betonen, dass dies für Einsteiger völlig normal ist! Die Rolle des Versuchsleiters ist anstrengend und erfordert viel Routine. Somit gilt auch für User Experience Tests: Übung macht den Meister.
Suggestivfragen im User Experience Test
Das noch kein Meister vom Himmel gefallen ist, zeigt sich auch beim Thema Suggestivfragen. Mittlerweile treffen wir kaum jemanden, der nicht weiß, welche Auswirkung Suggestivfragen haben.
Alle von uns trainierten Versuchsleiter wollten Suggestivfragen vermeiden. Doch sobald sie über den halbstrukturierten Interviewleitfaden hinaus gingen und spontan selbst Fragen formulieren mussten, war das leichter gesagt als getan. Dieser Angewohnheit ist nur durch regelmäßiges und zeitnahes Feedback beizukommen.
UX Versuchsleiter achten nicht auf ihre Protokollanten
Bis hierhin wurde Ihnen sicherlich deutlich, dass ein Versuchsleiter während eines User Experience Tests auf viele Punkte achten muss. Stark mit sich, dem Testteilnehmer und den Fragen beschäftigt, verlieren neue Versuchsleiter gern ihren Protokollanten aus den Augen.
Das führt dazu, dass der Protokollant nicht hinterher kommt, die Ergebnisse zu dokumentieren. In agilen User Experience Tests ist das ein Problem. Hier werden keine Videoaufzeichnungen gemacht. Ihre Auswertung würde ca. die 1,5 bis 2,5 fache Zeit der Videolänge in Anspruch nehmen. Unprotokollierte Ergebnisse gehen also verloren.
Diese Situation kann vermieden werden, indem sich Versuchsleiter und Protokollant vorher auf ein Zeichen einigen. Häufig besteht die einfachste Lösung darin, dass der Protokollant einfach darauf hinweist, dass er nicht mit Schreiben hinterher kommt. Die Herausforderung dabei ist jedoch, den Testteilnehmer möglichst nicht in seinen Gedanken zu unterbrechen.
Versuchsleiter hat nicht die Zeit im Auge
Häufig schreiten neue Versuchsleiter mit ihrem Testteilnehmer von Aufgabe zu Aufgabe und merken gar nicht, wie die Zeit vergeht. Die auf 60 Minuten angesetzte Dauer des User Experience Tests wäre eigentlich schon vorbei. Doch es wurden noch nicht alle Aufgaben durchgearbeitet.
Das Problem hierbei ist, dass die Qualität der Userantworten ab einer Testdauer von etwa 60 Minuten ohne Pause nachlässt. Den Testdaten selbst ist das nicht direkt anzumerken, da oftmals die Vergleichsmöglichkeiten fehlen. Doch der Testteilnehmer schreibt dem Produkt Probleme zu, für die seine Erschöpfung verantwortlich ist.
Diese minderwertigen Testdaten können Sie vermeiden, indem Sie sich als Testleiter eine Uhr in Ihren Sichtbereich stellen. Mit ihr wird die empfohlene Testdauer von einer Stunde einfacher eingehalten.
Hypothesengetriebene UX Testleiter verstehen das GUI-Potential
Warming Up, schriftliche Instruktion, Vertiefungsfragen, die Vermeidung von Suggestivfragen, Rücksicht auf seinen Protokollanten und der Blick auf die Uhr haben dasselbe Ziel:
Der Versuchsleiter möchte die realen Bedienproblem der User verstehen und zuverlässig dokumentiert haben. Dies gelingt ihm am besten, wenn er während seiner User Experience Tests Hypothesen generiert, was den Usern während der Systemnutzung durch den Kopf geht. Anhand des Verhaltens der Testteilnehmer und ihrer Antworten überprüft und korrigiert er seine Hypothesen.
Erst, wenn Sie die Antworten der Testteilnehmer erahnen können, verstehen Sie auch das Mentale Modell samt der Erwartungen Ihrer User. Darauf sind erfolgreiche Produkte ausgerichtet. Durch Feedback von UX-Experten und Übung wird Ihnen dies auch gelingen.
Sie fanden diesen Artikel nützlich? Bitte klicken Sie unten einen der Empfehlungsbutton. So kommen auch andere in den Genuss unserer Erfahrung. Danke!
apliki.wordpress.com 