12 Scheingründe, warum Usertests ihr Geld nicht Wert sind

Mythen und Aufklärung zu Usertests

Usertests sind eine Form von Usability-Tests. Für über 60 Prozent der IT-Hersteller ist Usability bereits seit Jahren ein strategisches Thema. Trotz dieser begrüßenswerten Richtung, welche die Software-Entwicklung im Sinne der Anwender eingeschlagen hat, begegnen uns regelmäßig Mythen darüber. Diese möchte ich gern in Form einer Liste mit Ihnen teilen, um Ihnen diese Fallen zu ersparen.

Einen Usertest machen unsere Entwickler nebenbei

„Wenn meine Entwickler die Funktionalität unserer Software überprüfen, testen sie auch gleich die Usability mit.“

Natürlich können Sie sich einen separaten Usabilitytest ersparen. Das Sie mit technisch ausgerichteten Tests Usabilityprobleme aufdecken, ist jedoch ein Irrtum. Die Aufmerksamkeit der Softwaretester liegt darauf, ob die Funktionen machen, was sie sollen. Die sogenannte Informationsblindheit (Inattentional blindness) sorgt dafür, dass wir Menschen alle Informationen ausblenden, die nichts mit unserer Aufgabe zu tun haben. Gern wird in diesem Zusammenhang auf das folgende Video verwiesen:

Zusätzlich sorgt das Vorwissen darüber, wo die Funktionen zu finden und wie sie zu bedienen sind für Betriebsblindheit. Unter diesen Bedingungen sind im besten Fall nur massive Usabilityprobleme zu identifizieren. Die vielen kleinen Bedienhürden bleiben unbemerkt und sorgen später trotzdem für Frust bei den Nutzern. Nur mit auf die Überprüfung der Anwenderfreundlichkeit ausgerichteten Usertests umgehen Sie die allgegenwärtige Betriebsblindheit und erzielen eine hohe Usability. Diese können natürlich parallel zu den Funktionstests durchgeführt werden.

Ein Nutzertest ist eine Methode

„Ich kenne unsere User und weiß, was sie möchten. Dafür brauche ich keine besondere Methode.“

Wer diese Investition scheut, geht implizit davon aus, dass ein Usertest nur eine Methode ist, die ein bisher bewährtes Vorgehen ersetzt.

Tatsächlich ist er mehr als das. Ein aussagekräftiger Usertest ist eine wohlüberlegte Kombination von Methoden. Die Methodenauswahl hängt entscheidend davon ab, welches Qualitätsmerkmal evaluiert werden soll. Auch wenn der Begriff Usability so einfach klingt, verbergen sich dahinter doch verschiedene Qualitätskriterien, die unterschiedlich zu überprüfen sind.

Usertests bedürfen keiner Standardisierung

„Unsere Nutzertests sind nicht so systematisch wie ihre, aber wir lernen genug dabei.“

Ganz ehrlich, diese Sicht und die damit verbundenen Sparmaßnahmen kann ich sehr gut nachvollziehen. Wer noch nie einen standardisierten Usertest mit einem unprofessionellen vergleichen konnte, hat nie erlebt, in welchem erschütterndem Ausmaß beispielsweise inhaltlich ähnliche, aber im Wortlaut unterschiedliche Instruktionen die Urteile der Testteilnehmer beeinflussen.

Psychologen wissen, wir stark die Art der Durchführung die Ergebnisse einer Untersuchung beeinflussen kann. Das gilt auch für die Reaktionen der Anwender auf ein User Interface Design während eines Nutzertests. Standardisierung ist der einzige Weg um nicht nur Ergebnisse, sondern belastbare Daten zu erzielen.

Nutzertests sind immer Einzeltests

„Aus Usertests können wir nichts mehr für unseren Online-Shop lernen, weil unsere Kunden nicht allein vor dem Computer sitzen, aber jeder Testteilnehmer nur einzeln die Usability bewerten soll.“

Natürlich lohnen sich Usertests nur, wenn sie möglichst nahe an der Realität dran sind. In diesem Fall ist das Untersuchungsdesign zu überarbeiten. Wie bereits oben erwähnt, ist ein Usertest keine einzelne Methode. Er muss individuell ausgelegt sein. Mittels Paar- oder Gruppentests gewinnen Sie wertvolle Einsicht in z.B. die Interaktion der Oma mit ihrem Enkel beim Online-Einkauf.

Jeder kann einen Usertest moderieren

„Wir moderieren unseren Nutzertest selbst. Das kann jeder.“

Wie die Art der Durchführung hat auch die Art des Testleiters einen Einfluss auf die Ergebnisse. Die notwendigen Fähigkeiten zur Moderation werden häufig unterschätzt. Wer hier nicht weiß, was er tut, beeinflusst die Testteilnehmer ohne es zu Wissen.

Unter Klassikern wie der unbewussten Beeinflussung oder unterschiedlichem Verhalten des ungeübten Versuchsleiters leidet die Qualität der Testdaten. Das spiegelt sich auch in den Entscheidungen für Ihr User Interface Design wieder.

Anwendertests brauchen viele Teilnehmer

„Wir können uns einen repräsentativen Usertest nicht leisten.“

Okay, wie wäre es stattdessen mit einem qualitativen Usertest? Hierfür brauchen Sie lediglich 8 bis 12 Teilnehmer. Mit Ihnen überwinden Sie Ihre Betriebsblindheit. Decken Sie ein Großteil der Bedienprobleme auf und entwickeln Sie ein Gefühl dafür, was auf Kosten der Usability geht. Gerade in der frühen Phase der Gestaltung eines grafischen User Interface (GUI) sind diese sehr nützlich.

Erst für die quantitativen Usertests in späten Entwicklungsphasen brauchen Sie mehr Testteilnehmer. Die genaue Menge hängt vom Testplan und Ihren Qualitätskriterien ab. Auch hier werden sie nur selten repräsentative Stichproben im statistischen Sinn erheben. Aber sie können bei einer vernünftigen Testplanung mit einem vertretbaren Aufwand seriöse Rückmeldungen Ihrer Anwender erhalten.

Quantitative Messungen sind in Usertests überflüssig

„Quantitative Usertests bringen nichts.“

Ein qualitativer Nutzertest liefert immer Daten. Selbst, wenn Sie bereits ein User Interface mit der bestmöglichen Usability entwickelt hätten, würden Sie kritisches Feedback darauf erhalten. Warum? Weil die Testteilnehmer die Erwartung an sie erfüllen und auf Usabilitymängel hinweisen wollen. Der Schweregrad der daraus resultierenden Bedienprobleme ist nicht immer leicht zu gewichten.

Quantitative Methoden helfen deutlich das Feedback zu priorisieren. Angenommen Sie können quantifizieren, dass User eine bestimmte Aufgabe im Umgang mit Ihrer Software als sehr leicht empfinden. In diesem Fall zieht kritisches Feedback weniger Veränderungsbedarf nach sich, als wenn dieselbe Aufgabe als schwierig bewertet wurde.

Des Weiteren können Sie nur mit quantitativen Methoden den Fortschritt Ihrer Usabilityqualität erfassen und mit früheren Versionen vergleichen. Die Kombination dieser Benchmarkdaten mit dem zu erwartenden Umsatz ermöglicht Ihnen eine Abschätzung, ob sich weitere Investitionen in die Verbesserung des User Interface Designs überhaupt lohnen oder nicht. Sie können also mit geringem Mehraufwand aufwändige Folgekosten vermeiden.

Protokollanten lohnen sich nicht im Nutzertest

„Der Versuchsleiter kann doch das Protokoll schreiben. Da sparen wir uns den Protokollanten.“

Gegen dieses Argument ist wenig einzuwenden. Voraussetzung ist jedoch ein erfahrener Versuchsleiter. Das Mitschreiben der identifizierten Bedienhürden im Protokoll kostet die Aufmerksamkeit und Zeit des Versuchsleiters. Diese Aufmerksamkeit geht zulasten der Konzentration darauf, wie Anwender die GUI verstehen. Nur ein routinierter Versuchsleiter weiß, worauf er dabei achten muss.

Davon abgesehen ist es von Vorteil, wenn die Designer einer GUI das Protokoll schreiben. Auf diese Weise erleben sie persönlich, wie die Anwender mit ihrem User Interface umgehen. Diese Erfahrung ist hilfreicher für die Weiterentwicklung der GUI als die Testprotokolle allein. Des Weiteren sind sie mit dieser Erfahrung aufgeschlossener für Veränderungen an ihrem Design.

Mit Usertests liegen Ergebnisse erst nach Wochen vor

„Wir brauchen die Ergebnisse zeitnah und nicht erst in vier Wochen.“

Zeitdruck ist eines der beliebtesten Sparargumente. Dabei können Nutzertests direkt in den Alltag des IT-Herstellers integriert werden. Wie oft sind Kollegen wie Vertriebler oder Projektleiter beim Kunden um ihm den aktuellen Stand zu präsentieren und Feedback zu erhalten.

Wird dieser Feedbacktermin im Sinne eines Usertests gestaltet, haben alle Seiten mehr davon. Ersetzen Sie Ihr gewohntes Vorgehen durch einen zuvor standardisierten Usertest, der in Ihren Zeitplan hinein passt. Der Kunde zeigt Ihnen das Verbesserungspotential auf und fühlt sich dabei noch ernst genommen. So erhalten Sie die Möglichkeit am Ende ein rund um gelungenes User Interface Design abzuliefern und eine starke Kundenbindung aufzubauen .

Usertests zeigen uns, was wir bereits wissen

„Wir kennen die Schwachstellen unseres User Interfaces selbst und arbeiten bereits daran. Dafür brauchen wir keine User-Tests.“

Viele Hersteller arbeiten ohne Tests durch ihre User an einer besseren Usability. Das sie dabei auch an wirklichen Bedienhürden arbeiten ist wahrscheinlich. Leider wird aber auch oft an Scheinproblemen gearbeitet oder wirkliche Usabilityprobleme werden übersehen. Grund hierfür ist die bereits erwähnte Betriebsblindheit.

Ein großer Vorteil von Usertests ist in diesem Zusammenhang, dass Sie nicht nur die Usabilityprobleme erfahren. Zusätzlich erkennen Sie den Schweregrad. Für die Planung Ihrer Entwicklungsprioritäten ist das sehr hilfreich.

Nach einem Nutzertest sind alle Probleme gelöst

„Wir haben das User Interface Design bereits getestet und die Probleme beseitigt. Noch ein Usertest ist unnötig.“

Diesem Gedanken kann ich folgen, wenn ein Usertest nur wenige kleine Probleme offenbarte. Waren es jedoch schwerwiegende Probleme und dann auch nicht wenige davon gibt, lohnt sich ein erneuter Usertest. Hintergrund hierfür ist, dass die wirkliche Qualität eines Lösungsvorschlags solange unklar bleibt, bis diese einem Test unterzogen wurde. Gerade bei innovativen Produkten sind mehrere Anläufe nötig um die wirklich intuitive GUI-Lösung zu finden.

Der UI-Designer muss den Ergebnissen der Usertests folgen

„Nutzertests lohnen sich nicht für uns, weil unser Designer nicht alle Lösungsvorschläge der Testteilnehmer berücksichtigt.“

Diese Erwartung halte ich für ein Missverständnis. Die Gestaltung innovativer Produkte basiert sowohl auf einem fundierten Problemverständnis als auch auf den freien Entscheidungen eines kreativen Geistes.

Die Ergebnisse eines Usertests inspirieren die Designer zu Verbesserungen. Ob ein Lösungsvorschlag jedoch zu all den Anwendungsszenarien passt, kann der UI-Designer in der Regel am besten entscheiden. Dieses Vertrauen hat er sich trotz der konstruktiven Kritik seitens der User verdient.

Nutzertests vermeiden Nacharbeiten

Nun kennen Sie regelmäßig wiederkehrende Scheinargumente gegen Usertests. Erfolgreiche Software-Hersteller setzen schon lange auf Anwendertests. Auf diese Weise vermeiden sie Nacharbeiten, weil sie etwaigen Usabilityproblemen bereits während ihrer Entwicklung auf die Spur gekommen. Vermeiden auch Sie enttäuschte Anwender und aufwendige Nacharbeiten.