Falsche Anforderungen? Der Fehler liegt im Bewertungsverfahren.

Ein Vergleich von Rating- und Ranking-Verfahren für die Entscheidung über tatsächlich erfolgreiche Anforderungen.

Der Erfolg jedes IT-Unternehmens hängt von den Produktanforderungen ab, die es für den Markt umsetzt. Was einfach klingt, entpuppt sich im Detail als große Herausforderung. Denn meistens sehen Beteiligte wie Produktmanager, Projektleiter, Designer oder Vertriebler mehr Anforderungen, die das zukünftige Produkt erfüllen sollte, als Entwicklungsressourcen zur Verfügung stehen.

Also müssen sie sich entscheiden und dabei Denkfehler vermeiden. Mittels einer Umfrage unter den beteiligten Kollegen oder gar Kunden werden Daten für eine nachhaltige Entscheidung gesammelt. Wer bei diesem im Prinzip guten Ansatz um die unbekannten Stolpersteine weiß, ist klar im Vorteil.

Denn die verwendete Bewertungsmethode entscheidet stark darüber, wie belastbar die Ergebnisse sind, auf denen die Entscheidungen für Ihre Investitionen basieren. Haben Sie sich schon einmal gefragt, ob Rating- oder Ranking-Verfahren die zuverlässigeren Bewertungen liefern?

Was unterscheidet Rating und Ranking?

Fangen wir damit an, was mit Rating- und Ranking-Verfahren gemeint ist:

• Bei einem Rating wird jede Anforderung anhand fest vorgegebener Antwortoptionen bewertet. Sie sind also für Einzelbewertungen gedacht. Beispiele für ein 4-stufiges Rating:
• Bei einem Ranking werden alle Anforderungen entsprechende ihrer Wichtigkeit für die Kunden sortiert. Sie sind also für vergleichende Bewertungen gedacht. Das Ergebnis ist eine Rangreihe. Beispiele:
  

Welche der beiden Bewertungsmethoden ist für nachhaltige Entscheidungen besser geeignet ist?

Antwort- und Sprachfehler verzerren die Priorität Ihrer Anforderungen

Die Antwort auf diese Frage beginnt mit den vielen unbekannten Faktoren, welche das Ergebnis verzerren. Von ihnen stellen wir Ihnen im Folgenden zwei ausführlicher vor: den Antwortstil und die Wirkung der Sprache, in der Ihre Anforderungen formuliert sind.

Wie Antwortstile ihre Entscheidungsdaten beeinflussen

Die bekanntesten Antwortstile in schriftlichen Befragungen sind

• die Zustimmung oder Ablehnung. Diese stehen für die Tendenz, Themen wie beispielsweise einer Anforderung unabhängig von ihrem Inhalt zuzustimmen oder abzulehnen.
• der Extrem-Antwort-Stil vs. der Mittlere-Antwort-Stil. Sie bezeichnen die Tendenz, die extreme oder mittlere Anwortkategorie bei einem Rating zu verwenden.

User Researcher versuchen gern diesen Antwortfehlern durch Standardisierung der Daten entgegenzuwirken. Dabei übersehen sie, dass tatsächliche Effekte durch dieses Vorgehen auch beseitigt werden können. Anhand der Daten zu beurteilen, ob eine hohe Bewertung aus einer starken Überzeugung oder dem Extrem-Antwort-Stil resultiert, ist schwer bis unmöglich.

Wie Sprache ihre Entscheidungsdaten beeinflusst

Stellen Sie sich einmal vor, der Begriff „Bearbeiten“, der in vielen Programmen zu finden ist, würde durch „Verändern“ ersetzt werden. Obwohl diese beiden Wörter dieselbe Bedeutung haben, sagen Sie bestimmt, dass man diese nicht austauschen kann.

Doch bei Anforderungen, für die noch kein Sprachgebrauch etabliert ist, fallen derartige Unterschiede der gewählten Begriffe nicht so einfach auf. Hier müssen die richtigen Worte erst noch gefunden werden. Über die unterschiedlichen Nebenbedeutungen der Wörter nachzudenken, kostet allerdings Zeit, die oftmals nicht in den Entwicklungsprozess eingeplant wird.

Internationale Bewertung von Anforderungen

Die genannten Antwort- und Sprachfehler gelten auch für internationale Untersuchungen. Mittlerweile ist beispielsweise bekannt, dass nicht nur jüngere Menschen in Deutschland den Extrem-Antwort-Stil bevorzugen, sondern auch bestimmte Nationen. Dasselbe gilt für den Mittleren-Antwort-Stil, der nicht nur von älteren Menschen in Deutschland bevorzugt wird.

Leider reicht unser Einblick in die Forschungsdaten nicht aus, um die Nationen beim Namen nennen zu können. Doch darum geht es hier auch nicht.

Rating vs. Ranking – Was liefert zuverlässigere Bewertungen?

Wie gezeigt, können Antwortstile und die Formulierung Ihrer Anforderungen die Bewertung beeinflussen. Daher ist ein Bewertungsverfahren nötig, das gegenüber den unkontrollierbaren Antwort- und Sprachfehler robust ist.

Eine internationale Studie von Harzing und 26 Co-Autoren zeigt, dass ein 7-stufiges Rating den Antwort- und Sprachfehlern besser begegnet als eine 5-stufiges. Am besten funktioniert jedoch das Ranking.

Neben der Robustheit von Rankings gegenüber Antwort- und Sprachfehlern spricht noch ein weiteres Argument für diese Methode. Wer Anforderungen mittels Ratings bewerten lässt, erhält Urteile, bei denen die Anforderungen nicht miteinander konkurrieren. Das ist so, als hätten Sie für die Umsetzung jeder Anforderung 100% Ihres Gesamtbudgets zur Verfügung.

Das entspricht nicht den realen Bedingungen. Denn die verfügbaren Gesamtressourcen sind begrenzt und sollen zuerst für die besten Anforderungen aufgewendet werden. Diese Konkurrenz der Anforderungen spiegelt sich in einem Ranking wieder.

Mit Rankings entscheiden Sie nachhaltiger

Mit den hier beschriebenen methodischen Anmerkungen wissen Sie nun, dass ein Ranking-Verfahren für die Priorisierung von Anforderungen zuverlässiger ist als ein Rating-Verfahren.

Natürlich können Sie ein Ranking-Verfahren nicht nur zur Priorisierung von Anforderungen verwenden. Es dient allgemein dazu, sich zwischen mindestens zwei Optionen zu entscheiden und dabei die Meinung mehrerer Beteiligter zu berücksichtigen. Sei es die beste Strategie, der beste Produktname oder die vielversprechendste Innovation: Mit einem Ranking-Verfahren entscheiden Sie und Ihre Befragten besser.

Ihre Gedanken zu diesem Artikel sind uns wichtig. Bitte teilen Sie Ihre Fragen oder Anregungen mit uns und hinterlassen Sie einen Kommentar. Danke und viel Spaß beim Weiterlesen!

Quellen

Anne-Wil Harzing & 26 co-authors (2009). RATING VERSUS RANKING: WHAT IS THE BEST WAY TO REDUCE RESPONSE AND LANGUAGE BIAS IN CROSS-NATIONAL RESEARCH? Published in International Business review, vol 18, no. 4, 2009.