SUS, UEQ, … – Nutzlose Werkzeuge oder hilfreiche Indikatoren?

Wozu eigentlich diese Usability- und UX-Fragebögen ausserhalb der akademischen Welt? Wenn wir im Usability-Test sitzen, können wir doch alles sehen, nachfragen, Intentionen ergründen, Erwartungen challengen und das «echte» Nutzerproblem eingrenzen. Warum also noch mit Befragungen hantieren, die «nur» eine Zahl liefern und keine Hintergrundinformationen? Und gibt es Gelegenheiten, in denen uns die Fragebögen auch sonst weiterhelfen?

Halten wir die Spannung hoch und schauen uns mal unsere Fragebogen-Favoriten an: SUS, UEQ, Attrakdiff2 und UTAUT2. Die eine oder andere Abkürzung ist uns in der Praxis geläufiger. Aber alle 4 bringen unterschiedliche Perspektiven in eine Untersuchung der Usability oder UX.

System Usability Scale – SUS

Die System Usability Scale (SUS) hat in der Praxis zwei grosse Vorteile: Es gibt nur 10 Fragen, die halbwegs natursprachlich sind und das Ergebnis ist leicht lesbar. Ein System erhält dabei eine Punktzahl zwischen 0 und 100, während 100 das beste Ergebnis ist. Darüber hinaus gibt es jede Menge Industriebenchmarks gegen die man sein eigenes System oder seine Website vergleichen kann. Wichtig, weil es oft nicht beachtet wird, der Fragebogen verhebt nur, wenn alle Fragen gestellt werden. Die Autoren des Fragebogens selbst nannten ihn «quick and dirty usability scale» – und so ist er auch: Eine Zahl, ein Benchmarkvergleich, und robust (das ist ein hohes Gut in der Statistik).

 

Vorteile:

• Nur 10 Fragen
• Klares Zahlenergebnis x von 100 Punkten, mit > 80 Punkten ist eine Website bereits über dem Durchschnitt;
• Zum Benchmarking geeignet, Industriedurchschnitte publiziert
• Robust (also recht flexibel, was die Einhaltung der Voraussetzungen betrifft)

Nachteile:

• Einige Fragen fühlen sich redundant an, obwohl sie es nicht sind
• Misst nur Usability (und Learnability)
• Keine genauen Hinweise zu Schwächen
• Weil Ankreuztendenzen vorgebeugt werden soll, sind Fragen mal positiv, mal negativ formuliert. Zu schnelle Personen kreuzen deshalb falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

User Experience Questionnaire – UEQ

Der UEQ, User Experience Questionnaire, befragt neben der Usability auch weitere emotionale Themen und kann demzufolge auch Schwierigkeiten über die reine Einfachheit der Interaktion hinaus aufdecken. Schön für eine Befragung ist es, dass man hier Kreuzchen zwischen Adjektivpaaren setzt nach dem Motto: Ist das System eher unverständlich oder verständlich? Das ist sehr einfach zu verstehen und geht recht schnell, auch wenn es insgesamt 26 solche Adjektivpaare sind. Der UEQ fragt aber damit mehr als ein Konstrukt ab und kann gekürzt werden. Die «Konstrukte» sind Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität. So kann man sich schliesslich entscheiden, z.B. Attraktivität nicht zu befragen und die entsprechenden Adjektivpaare aus dem Fragebogen zu entfernen. Dann wird’s allerdings mit dem Benchmark schwierig.

 

Vorteile:

• Leicht verständliche Adjektivpaare, leicht auszufüllen
• Nicht nur Usability sondern auch User Experience
• Im Gesamten zum Benchmarking geeignet
• Einfache Auswertung & Interpretation

Nachteile:

• Einige Adjektive ungewöhnlich (z.B. pragmatisch)
• Interpretation der Ergebnisse ist bei zu kleinen Stichproben mit Vorsicht vorzunehmen, wer das statistische Know-how nicht hat, achte daher auf ausreichende Stichproben
• Publizierte Benchmarkzahlen sind Sammelzahlen (zumeist aus webbasierten Applikationen), d.h. man benötigt idealerweise eigene Benchmarks
• Weil Ankreuztendenzen vorgebeugt werden soll, kreuzen auch hier zu schnelle Personen falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

Attrakdiff2

Nach einem ähnlichen Prinzip funktioniert der Attrakdiff2. Auch hier dürfen Adjektivpaare unterschieden werden und es wird in Konstrukten abgefragt. Sehr hübsch an den Konstrukten ist die Aufteilung der hedonischen Qualität (also die emotionalen Aspekte) in Stimulation (was letztlich Nutzungsfreude ist) und Identität. Letzteres ist in Zeiten der konsequenten Vernetzung von Corporate Content mit Community Content (über Social Media) ein interessanter Wert. Kann ich über die Nutzung des Systems meine gewünschte Identität kommunizieren? Dieser Fragebogen wie auch schon der UEQ lässt also die gesamte User Experience befragen und so nicht nur den Hygienefaktor Usability sondern auch, ob das System möglicherweise besonders oder eben entbehrlich ist. Insbesondere bei Vorher-Nachher-Vergleichen oder Variantenvergleichen ist der Fragebogen gut zu verwenden.

 

Vorteile:

• Nicht nur Usability sondern auch User Experience
• Differenzierte Betrachtung der emotionalen Komponenten des Erlebnisses
• Ab mind. 10 Befragten auch zu Varianten- oder Vorher-Nachher-Vergleichen geeignet
• Leicht auszufüllen (Adjektivpaare)
• Klassifizierung, ob begehrt oder nicht, ist auch ohne Benchmark möglich

Nachteile:

• Mehr ungewöhnliche Adjektive als beim UEQ (z.B. isolierend, ausgrenzend, … )
• Interpretation der Ergebnisse bei zu kleinen Stichproben mit Vorsicht
• Publizierte Benchmarkzahlen sind Sammelzahlen, man benötigt idealerweise eigene Benchmarks
• Weil Ankreuztendenzen vorgebeugt werden soll, kreuzen zu schnelle Personen falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

UTAUT2

Der UTAUT2 ist schon fast eine heilige Kuh. Aus dem Denkhaus für Technologieakzeptanz (Technology Acceptance Model) hat das Instrument eine lange Forschungsarbeit hinter sich, was denn die Nutzung eines Systems beeinflusst. Wir erhalten hie

raus also nicht nur eine Zahl zu Erlebnis oder Einfachheit der Anwendung, sondern auch zur Nutzungsabsicht durch die Befragten. Somit lässt sich im besten Fall sogar der Charakter der Applikation herausfinden, ob also zum Beispiel eher der erwartete Nutzen oder der erwartete Aufwand die Nutzung beeinflussen.

 

Vorteile:

• Umfassende Befragung der relevanten Einflüsse auf das Nutzungsverhalten
• Wirkmechanismen der einzelnen Einflüsse für die Nutzung der konkreten Applikation lassen sich untersuchen
• Nutzungsverweigerer lassen sich Nutzern gut gegenüberstellen
• Resultate können den Persona-Definitionen helfen

Nachteile:

• Komplexere Auswertung (es steht kein Werkzeug wie bei oben genannten Fragebögen zur Verfügung)
• Stichprobenumfang über den Daumen bei 30, wenn man Gruppen vergleichen möchte
• Weitestgehend (auch bei UX Experten) unbekannt
• Kompliziertere, recht viele Fragestellungen
• Ob meine Applikation „gut“ oder „schlecht“ ist, lässt sich nicht ermitteln

Und welches Tool nehme ich jetzt für mein nächstes Projekt?

Ganz einfach: Das was man am besten versteht und deren Ergebnis man verarbeiten kann und will. Am Ende muss die Auswertung einfach sein und gute Argumente zur Verbesserung des Produktes liefern. In unserem Fall entscheiden wir uns meist für den User Experience Questionnaire, da die Probanden den UEQ schnell ausfüllen können und trotzdem beim Ausfüllen auch immer das Produkt erneut hinterfragen. Ausserdem geht die Auswertung mit etwas Übung schnell vonstatten und die Ergebnisse können auch gut Aussenstehenden erklärt werden. Wo der jeweilige Kunde mit seiner Applikation steht und was er als erstes anpacken sollte, lässt sich zeigen und stellt die Priorisierung unserer qualitativ ermittelten Mängel (aus der Beobachtung eines Tests z.B.) in das entsprechende Licht.

Letztendlich braucht aber jedes neue Tool eine gewisse Einarbeitungszeit und kann dann je nach Produkt und Untersuchungsfrage eingesetzt werden. Am Ende zählt ja nicht das Testergebnis, sondern was man daraus macht 😉

 

[Ursprünglicher Artikel von Felix Schüfer]