Remote oder Online Usertest – billig, billiger, Entwicklungsrisiko

Welche Grenzen sind bei unmoderierten Online Usertests zu beachten?

Sind Ihnen Usertests im Labor zu teuer? Insbesondere klein- und mittelständischen Software-Herstellern oder -Betreibern geht es ähnlich. In der Konsequenz verzichten sie ganz auf dieses Wundermittel oder greifen auf Online Nutzertests zurück. Die Anbieter von unmoderierten Remote Usertests werben damit, die Vorteile von Nutzertest im Labor zu nur einem Bruchteil der Kosten zu ermöglichen. Gilt dieses Versprechen wirklich uneingeschränkt?

Die Situationen können nicht unterschiedlicher sein. Auf der einen Seite ist das Labor mit dem Versuchsleiter. Hier können schnell Ergebnisverzerrungen auftreten, weil sich Testteilnehmer gegenüber dem Versuchsleiter sozial erwünscht von ihrer besten Seite zeigen möchten. Auf der anderen Seite ist die natürliche Umgebung eines Online Usertests ohne Versuchsleiter. Sie begünstigt egal ob zu Hause oder auf Arbeit mehr Freiheitsgrade für das Verhalten der Testteilnehmer als das Labor.

Verändertes User Verhalten im unmoderierten Remote Usertests

Die Effekte dieser verschiedenen Umweltbedingungen werden von Untersuchungen bestätigt. Die Testteilnehmer im Labor und im Remote Usertest verhalten sich unterschiedlich. Nicht immer, aber auch nicht so selten, um sie als einmalige Ausreißer aus der Stichprobe entfernen zu können.

Für Online Nutzertests gilt, ihre Umgebungseinflüsse sind nicht standardisierbar. Die mit ihnen einhergehenden unterschiedlichen Verhaltensweisen sind in der Regel drei Gruppen von Testteilnehmern zuordenbar:

1. Multi-Tasker

Multi-Tasker wechseln während der Online-Untersuchung auch zu testfremden Aufgaben und zurück. Hierfür haben sie neben dem Browser für den unmoderierten Remote Usertest noch andere Fenster offen. Dadurch wenden die Testteilnehmer ihre Aufmerksamkeit während der Testdurchführung anderen Anwendungen zu. Hierzu gehören insbesondere Facebook und Musikplayer.

Multitasking zeichnet sich also durch einen Wechsel der Aufmerksamkeit aus. Jedem Wechsel folgt die Zeit, die für das Hineindenken in die neue Situation benötigt wird. Ein trauriges Beispiel hierfür sind verunfallte oder verunglückte Autofahrer, die ihre Aufmerksamkeit nicht schnell genug vom Smartphone zurück auf eine kritische Verkehrssituation bekamen.

2. Break-Taker

Break-Taker unterliegen einer starken, externen Störung während des Online Usertests, die ihre volle Aufmerksamkeit erfordert. Hierzu gehören in erster Linie eingehende E-Mails und Menschen aus dem direkten Umfeld des Testteilnehmers, die sie während des Versuches ansprechen. Aber auch Tagträume bzw. abschweifende Gedanken führen zu einer Unterbrechung.

3. Inculpable

Die Unschuldigen (engl. Inculpable) unterliegen externen Störfaktoren, auf den sie keinen Einfluss haben. Ein Serverausfall oder eine schlechte Internetverbindung sind Beispiele hierfür.

Allen drei Verhaltensweisen ist gemein, dass sie die Aufmerksamkeit des Testteilnehmers von dem Test wegnehmen. So muss sich der Testnutzer nach Unterbrechungen immer wieder von vorne in den Test hineinfinden.

Datenqualität von Online Usertest im Vergleich zu Labortest

Ausgehend von diesen natürlichen Verhaltensweisen der Testteilnehmer im Remote Usertest sind abweichende Testergebnisse zu erwarten.

1. Testzeiten

Diese Abweichung trifft auch tatsächlich für die Gesamtzeit zu, welche die Testteilnehmer für einen unmoderierten Online Nutzertest benötigen. Diese ist länger als in der Laborumgebung (Greifeneder, 2012).

Ein Vergleich der aufgewendeten Zeiten pro Aufgabe und Fragebögen, zeigt jedoch ein differenzierteres Bild.

Bei den Aufgaben ist kein zeitlicher Unterschied zwischen Remote Usertest und Labortest nachweisbar. Die Testteilnehmer sind in beiden Situationen gleich schnell.

Der Unterschied in der Gesamtdauer erklärt sich durch die Zeit, die für die Beantwortung der Fragebögen nötig ist. Hier brauchen die Probanden der Online Nutzertests länger.

2. Testergebnisse

Neben den Testzeiten zur Bewertung des Usabilitykriteriums Effizienz ist es wichtig zu wissen, ob die Anwender ihr Ziel erreichen (Effektivität) und wie zufrieden sie mit der Lösung sind.

In diesen Punkten zeigen sich im Vergleich zwischen den Ergebnissen von Remote Usertests und Nutzertests im Labor keine Unterschiede. Die Testteilnehmer urteilen also scheinbar in beiden Untersuchungsbedingungen gleich (Greifeneder, 2012).

Ausgehend von den vorgestellten Untersuchungsergebnissen scheint es also so, als würden die klein- und mittelständischen Unternehmen richtig entscheiden, wenn Sie genannten Unterschiede zwischen Online und Teststudio in Kauf nehmen.

Nach meiner Meinung und der von Kollegen lohnt es sich an dieser Stelle allerdings genauer hinzuschauen. Derartige Testergebnisse wurden bislang nur für betriebsbereite User Interfaces erzielt. Also Lösungen, die bereits im Einsatz sind oder kurz davor stehen.

Kein Einsatzbereich für Rapid Usertests

Etwas anderes sind Anwendertests in der frühen Phase des User Interface Designs. Hierzu liegen uns bisher keine vergleichenden Untersuchungen vor. Entweder wurden sie nicht veröffentlicht oder sie wurden erst gar nicht durchgeführt.

Dabei sollte gerade in dieser frühen Phase getestet werden, um die Vorteile der anderwenderzentrierten Entwicklung umfassend zu nutzen. Allerdings stellt diese Entwicklungsphase auch höhere Anforderungen an die Testdurchführung.

Grund hierfür sind die ungestalteten Prototypen in der frühen Phase des Interaktionsdesigns. Sie enthalten sehr viele Bedienlücken, die für die Probanden nicht selbsterklärend sind. Hierzu zählen Standarddialoge wie z.B. für Uploads oder Feedbackmeldungen. Eine Investition in die Umsetzung dieser Bedienlücken ist zu diesem Zeitpunkt nicht ratsam. Usertests müssen erst zeigen, wo die Informationsarchitektur vom Benutzer verstanden wird, wo nicht und wo sich die weitere Investition lohnt.

In dieser frühen Konzeptionsphase tragen Usertests entscheidend zur Qualität der Lösung und zur Inspiration der User Interface Designer bei. Im Labor haben die Versuchsleiter die Möglichkeit die Bedienlücken der ungestalteten Interaktionsprototypen mit den Erwartungen der User abzugleichen und anschließend verbal zu erklären.

In Online Nutzertests ist das deutlich schwieriger, wenn nicht sogar unmöglich. Hier ist kein Versuchsleiter, der den Testteilnehmer direkt Unstimmigkeiten erklären oder ihm helfen kann.

Unmoderierter Online Usertest vs. Labortest Ergebnisse

Darüber hinaus hat der Versuchsleiter als Moderator eines Labor Usertests weitere wichtige Aufgaben.

Für ein besseres Verständnis des Probanden stellt er insbesondere in der frühen Phase des Interaktionsdesigns situativ vertiefende Folgefragen. Mittels halbstrukturiertem Interview kann er Fragen zu Randthemen stellen und prüfen wo weitere bisher unbekannte Bedienhürden lauern.

Durch den Testleiter oder einen Protokollanten lassen sich die Kommentare der User auch besser der Situation zuordnen als am Ende des Tests wie bei den Online Nutzertests.

Dem gegenüber liefern die strukturierten Befragungen aus unmoderierten Remote Usertests hauptsächlich Antworten auf einen festen, unveränderbaren roten Interviewleitfaden.

Remote Usertests sind gut für Usability Benchmarking Tests geeignet, aber kaum für qualitative User Tests in einer frühen Konzeptionsphase.

Abschließend möchte ich noch auf die Remote Usertest Tools und die Aufwände eingehen.

Online Tools für unmoderierte Usertests und Aufwände

Die größten deutschen Anbieter für Remote Usertests sind RapidUsertest, APPLAUSE (ehemals testhub) und UINSPECT. Eine Liste mit weiteren Online Testing Tools finden Sie bei usefulusability.com.

Ein Teil dieser Services bietet auch die Auswertung der Online Usertests an. Davon rate ich Ihnen ab. Aus unserer Sicht ist eine Mitauswertung durch den Leaddesigner nötig. Nur er überblickt die Rahmenbedingungen und kann die Aussagen der Testteilnehmer sinnvoll einordnen.

Da der Designer selbst beim Online Usertest nicht anwesend sein kann, muss er auf anderem Weg an der Durchführung beteiligt sein. Die Anbieter stellen hierfür Videos vom Bildschirm zur Verfügung. Einige Anbieter zeichnen sogar den Testteilnehmer auf, um seine Reaktionen zuverlässiger verstehen und deuten zu können.

Zu bedenken ist jedoch, dass die Auswertung eines Videos mit einer Länge von einer Stunde eineinhalb bis zwei Stunden Zeit kostet. Damit zahlen Sie also den vermeintlichen Kostenvorteil durch erhöhten Zeitaufwand hochbezahlter Angestellter im Anschluss an die Testung.

Unmoderierte Remote Usertests eignen sich hervorragend für Usability Benchmarking

Wie gezeigt, bieten Ihnen Online Nutzertests eine preiswerte Möglichkeit Usability Benchmarks zu erstellen. Jeder, der einen strukturierten Usertest plant, sollte einen Onlinetest ernsthaft in Erwägung ziehen und die damit einhergehenden Einschränkungen bewerten.

Für die frühe Evaluation ungestalteter Prototypen sind Remote Usertests eher ungeeignet. Hier verschaffen Ihnen Usabilitylabore durch moderierende Versuchsleiter ein besseres Verständnis der Probanden. Doch sollten Sie sich diese nicht leisten können, ist ein Online Usertest besser als gar kein Nutzertest.

 

Quellen

Elke Greifeneder (2012). Does it matter where we test? Online user studies in digital libraries in natural environments.

http://www.usefulusability.com/14-usability-testing-tools-matrix-and-comprehensive-reviews/ Stand: 12.11.2014

http://www.user-experience-blog.de/archives/2012/05/unmoderierte-remote-usability.html Stand: 12.11.2014

http://www.klickibunt.de/inhouse-usability-test-vs-%E2%80%9Crapid-usability-test%E2%80%9D Stand: 12.11.2014