Messwiederholung zur Evaluation neuer Arbeitsmethoden

Wie Sie mit Messwiederholung Ihre Arbeitsmethoden evaluieren.

Die stetige Weiterentwicklung eines Unternehmens erfordert die regelmäßige Erprobung neuer Arbeitsmethoden. Doch wie können Sie sicher beurteilen, ob diese auch wirkungsvoll sind? Die Evaluation mit Mitteln wie der Messwiederholung liefert hier die entsprechenden Werkzeuge.

Messwiederholung kompakt erklärt

Die beteiligten Komponenten sind:

• Die durchgeführte Veränderung, repräsentiert über zwei Zustände: Den Ursprungszustand und die abgeänderte Variante. In der empirischen Forschung bezeichnet man dies als unabhängige Variable. Unabhängig, weil Sie von Ihnen verändert werden kann. In der Softwareentwicklung ist dies beispielsweise die Einführung einer neuen Arbeitsmethode wie der Persona.
• Die Variable, die als Maß für den Erfolg dient. Dies ist ein Ergebnis, das für Ihr Produkt von Bedeutung ist. Im Entwicklungsprozess ist dies beispielsweise die Zufriedenheit der Anwender mit Ihrem User Interface Design. In der Statistik wird dies als abhängige Variable bezeichnet, weil Sie von einem Einfluss durch Ihre Maßnahme ausgehen.
• Eine Stichprobe, die zur Messung herangezogen wird. Diese sollte repräsentativ sein, um zuverlässige Rückschlüsse zu erlauben. Dies können sie beispielsweise darüber erreichen, sie zufällig zu ermitteln. Im konkreten Beispiel würden Sie so eine bestimmte Menge Ihrer Mitarbeiter für die Untersuchung auswählen.

Vorgehen bei der Wiederholungsmessung

Im Vortest befindet sich die unabhängige Variable noch im Ausgangszustand. Dies kann beispielsweise vor der Einführung einer neuen Arbeitsmethode der Fall sein. Nun erheben Sie mit einem Messinstrument die Sie interessierende Größe.

Anschließend wird die geplante Maßnahme umgesetzt und die selbe Messung, mit dem selben Instrument und den selben Teilnehmern erneut durchgeführt.

Ein statistischer Vergleich der zu beiden Zeitpunkten erhobenen Werte ermöglicht nun den Rückschluss auf das Ausmaß und die Richtung der Veränderung.

Mögliche Probleme

Ihr erklärtes Ziel ist es natürlich eine zuverlässige Aussage über den Evaluationsgegenstand treffen zu können. Also, ob die neue Arbeitsmethode zu einer Verbesserung geführt hat. In der Regel können eine ganze Reihe von Effekten Ihre Messergebnisse beeinflussen und verfälschen. Dazu gehören:

• Testeffekte: Dieselben Personen nehmen zweimal an derselben Untersuchung teil. Eventuell erinnern Sie sich an Ihre Antworten bei der ersten Durchführung und versuchen konsistent zu antworten, anstatt sich auf ihre aktuelle Situation zu beziehen.
• Zeiteffekte: Dies kann auftreten, wenn zwischen den beiden Messzeitpunkten auch andere systematische Veränderungen neben der interessierenden Maßnahme aufgetreten sind. Vielleicht wurde nicht nur eine neue Arbeitsmethode eingeführt, sondern es gab auch eine Welle von Gehaltserhöhungen bei Ihren Anwendern.

Fazit

Klar ist: Im Betrieb eines laufenden Unternehmens können Sie nicht alle Einflüsse kontrollieren. Schließlich soll die Evaluation sich möglichst störungsfrei in den Arbeitsalltag einfügen. Mit sorgsamer Planung können Sie aber beispielsweise die Untersuchung so terminieren, dass sie möglichst wenige Störeinflüsse vermuten müssen. Auf diese Weise erreichen Sie zuverlässige Maße, die Ihnen Auskunft über die Wirksamkeit neuer Arbeitsmethoden liefern.