Der Preis des Informationsverlustes in der Software Entwicklung

Wieviel die IT-Hersteller weniger wissen als die User.

Messen ist die Voraussetzung für die Sichtbarmachung jeder Verbesserung. Das gilt auch für Prozesse wie dem Usability Engineering. Mit diesem Gedanken im Hinterkopf freute ich mich über ein Projekt, in dessen Rahmen wir auch den Informationsverlust in der Produktentwicklung messen konnten. Unsere Aufgabe war die Erhebung und Beschreibung des Nutzungskontextes.

Mein Ziel ist es, Sie mit diesem Artikel für Effizienzsteigerungen in der Entwicklung zu sensibilisieren. Alle erfolgreichen Hersteller betonen gern, wie gut sie ihre User kennen würden. Unserem Kunden danke ich für die Möglichkeit des kritischen Selbsttests seiner Kenntnis der User. Ich bin davon überzeugt, dass Untersuchungen bei anderen IT-Herstellern unter vergleichbaren Bedingungen zu ähnlichen Ergebnissen führen werden.

Für die Erhebung des Informationsverlustes stelle ich Ihnen im Folgenden kurz unser Vorgehen und die Ergebnisse vor.

Das Vorgehen

Im ersten Schritt führten wir einen expertenbasierten Workshop zur Erhebung des Nutzungskontextes durch. An ihm nahm unser Kunde und sein IT-Dienstleister teil, der die Implementierung verantworten wird. Beide durften unabhängig von einander und unter standardisierten Bedingungen die Eigenschaften der Zielgruppe sowie deren Aufgaben beschreiben.

Im zweiten Schritt wurden die User zu ihrem Nutzungskontext interviewt. Zum einen hatten sie die zu ihr gehörende Beschreibung der Zielgruppe zu bewerten und zu korrigieren. Zum anderen durften sie anhand der Aufgaben, welche die Teilnehmer des Workshops zusammentrugen, ihre eigenen Tätigkeiten beschreiben. Fehlende Aufgaben durften sie hierbei ergänzen.

Somit hatten wir drei Gruppen, deren Ergebnisse wir vergleichen konnten. Wir gingen davon aus, dass :

1. die User sich selbst und ihre Aufgaben zur Beschreibung des Nutzungskontextes am besten kennen.
2. die Experten auf der Seite unseres Auftraggebers und OEM den Nutzungskontext der User am zweitbesten beschreiben können.
3. der externe IT-Dienstleister die drittbesten Annahmen zum Nutzungskontext der User generieren.

Zur Beschreibung des Nutzungskontextes waren Personas und Szenarien zu erstellen. Dafür erhoben wir Daten zur Zielgruppe und deren Aufgaben, die uns auch einen Vergleich unserer drei Gruppen ermöglichten.

Informationsverlust bei den Persona-Daten

Die Beschreibung der Persona durch die Experten des OEM stimmt zu 71% mit der Sichtweise der User überein. Dem gegenüber schafft es der IT-Dienstleister auf 43% Übereinstimmung mit den Usern.

Die Daten sprechen für unsere Annahme, dass die User sich selbst besser kennen als die Experten und der IT-Dienstleister am wenigsten über die User weiß. Dasselbe Bild ergibt sich für die Daten zu den Aufgaben.

Informationsverlust bei den Aufgaben-Daten

Insgesamt erarbeiteten die Experten für den Nutzungskontext auf der Seite des OEM 41 Aufgaben, die sie bei den Usern sahen. Die User suchten sich aus diesen Aufgaben diejenigen heraus, die sie tatsächlich zur Beschreibung ihrer Tätigkeit brauchten. Auffällig ist, dass die User von den 41 Aufgaben nur 16 auswählten (39%) und selbst 6 fehlende Aufgaben ergänzten. Zu den insgesamt 22 Aufgaben, mit denen die User ihre Tätigkeit beschrieben, konnte der IT-Dienstleister keine Aufgaben beisteuern.

39% Übereinstimmung der Experten mit den Usern bedeuten, dass ohne Einbindung der Anwender die Entwicklungsaufwände zu 61% in Aufgaben investiert worden wären, die für die User nicht relevant sind. Auf der anderen Seite wären 27% der Aufgaben (6 von 22) nicht vom System unterstützt worden und hätten später zu aufwendigen Nacharbeiten geführt.

Neben den statistischen Daten war auffällig, dass die Experten bei der Beschreibung der Aufgaben sehr stark abstrahierten. Sie verloren wichtige Details aus den Augen. Die Entwickler des IT-Dienstleisters beschrieben 14 Aufgaben von denen 4  technische Anforderungen waren, die nichts mit den Aufgaben der Nutzer zu tun hatten, sondern die Gestaltung des User Interfaces betrafen.

Das Risikopotential der Fehlinvestitionen und Nacharbeiten möchte ich im Folgenden mit dem Umfang an unnötigen und fehlenden Funktionen vergleichen.

Vom Informationsverlust zu Fehlfunktionen

Treffende Anforderungen an Software oder Produkte resultieren aus der Kombination des Wissens über den Nutzungskontext und die technischen Möglichkeiten. Mit diesem Verständnis fügt sich der erhobene und hier dargestellt Informationsverlust zum Nutzungskontext in das bekannte Bild anderer Untersuchungen ein.

Auf der einen Seite zeigte Fowler (2002) auf, dass die User 45% der implementierten Funktionen nicht benutzen. Unsere Ergebnisse deuten darauf hin, dass diese ungenutzten Funktionen ihren Ursprung in den 61% der Aufgaben haben, die auf Fehlannahmen der IT-Hersteller beruhen. Davon ausgehend reduzieren die IT-Hersteller in der Regel die Anzahl der unnötigen Funktionen durch kostenintensive Änderungen in späteren Phasen der Entwicklung.

Auf der anderen Seite weist der CHAOS Report (1995) auf 39% der benötigten Funktionen hin, die fehlen. Dieser Wert reflektiert die 27% Nacharbeiten, die unsere Daten aufzeigen. Der Unterschied ergibt sich unseres Erachtens daraus, dass sich der Bedarf der User bis zur Markteinführung durch Ausprobieren, Nutzen oder technische Fortschritte weiterentwickelt.

Fazit

Die Daten sprechen für sich. Was wäre, wenn die hier dargestellten Zahlen auch für Ihr Unternehmen gelten? Wie viel mehr als etwa 10 Personentage für die Erhebung des Nutzungskontextes kosten Sie 61% Fehlinvestitionen und 27% Nacharbeiten?

 

Was denken Sie über diesen Artikel? Bitte teilen Sie Ihre Gedanken mit uns und hinterlassen Sie unten einen Kommentar!