Aus einer Pilotierung mit User Research lernen

Am Anfang unseres Talks an der Upfront-Thinking-Konferenz haben wir kurz gefragt, welche Erfahrungen das Publikum mit Pilotierung hat. Erfreulich, dass die Mehrheit Piloten für sehr nützlich hält und nur etwa ein Drittel das «So-la-la»-Gefühl ihnen gegenüber teilt.

In der Tat werden Pilotierungen zwar häufig eingesetzt, aber nur selten systematisch aufgesetzt und durch geeignete Methoden begleitet, um den Erkenntnisgewinn möglichst hoch zu halten. «Ja, wir schaun dann mal, was so rauskommt, und ob die Nutzenden das überhaupt verwenden.» – Bitte nicht! Wenn die Ausreden für das Nichtnutzen aufkommen, muss dagegen etwas getan werden. Es sollten Nutzende motiviert, Bedienung noch mal erklärt, Vorgesetzte sensibilisiert oder Feedback anderer Nutzenden gespiegelt werden. Ein Pilot mit User Research ist richtig Arbeit im Grossen und im Kleinen. Dabei er verhindert er teure, missglückte Gesamteinführungen, die nur selten ohne Reputationsschaden der Sache an sich oder der Beteiligten vonstatten gehen.

Nach der Upfront-Thinking, möchte ich noch einmal die Gelegenheit nutzen, einige Fragen, die nach unserer Präsentation entstanden, zu beantworten. Und das sind die Spannendsten:

• Was ist denn nun wirklich anders an Pilotierung mit User Research im Vergleich zu meinen Nutzertests? Finde ich das nicht sowieso alles raus?
• Lohnt es den Vorbereitungsaufwand und das Absorbieren des ganzen Teams?
• Gibt es Literatur/Forschung hinter der Vorgehensweise?
• Wie macht man einen Piloten auf ein Feature oder MVP? Wann lohnt sich eine Pilotierung, wann nicht?

1. Was ist anders bei einer Pilotierung im Vergleich zum Nutzertest?

In den meisten Fällen, wenn wir so arbeiten durften, wie wir es uns als User Experience Berater:innen vorstellen, führen wir Nutzertests durch auf Klick-Prototypen, unvollständigen Systemen oder mit Hilfe von Mock-ups. Dabei versetzen wir Testpersonen in die Nutzungssituation. Das bringt uns immens Erkenntnisse für die Weiterentwicklung unseres Entwurfs.

Aber genau wie wir auf andere Methoden zurückgreifen müssen, um vor dem Nutzertest zu evaluieren, sollten wir es auch danach tun. Die Erkenntnistiefe soll mit der Reife des Artefakts (= Prototyp usw.) zunehmen. Ohne Pilotierung mit User Research verpasse ich Umgebungseinflüsse, die in einem immer noch eher artifiziellen Nutzertest nicht geprüft werden können: Zeitdruck der Mitarbeiter, Einfluss der realen Infrastruktur über die Zeit, konkurrierende Aktivitäten, Ausfälle von Umsystemen, Umgehungslösungen der Nutzer oder kreativer Einsatz von Funktionalitäten durch den Lerneffekt sind nur einige Beispiele. Aber es gibt kein Entweder-Oder. Das Testen von Entwürfen gehört in den Methodenkoffer. Leider sind wir UXer oft nicht mehr dabei, wenn unsere Systeme zum Leben erwachen, dabei lässt sich gerade in der ersten Phase der echten Nutzung noch so viel über die Nutzenden und den Gebrauch lernen, was den Piloten so wertvoll macht. Wann low-fidelity-Prototypen eingesetzt werden und wann high-fidelity-Prototypen, haben auch Norman und Nielsen einmal zusammen getragen.

Wichtig dabei ist noch, dass aus der Sicht der Applikation unser UX-Prototyp ein sogenannter Horizontalprototyp ist. Er deckt die Interaktionen zum Nutzer hin weitgehend ab. Ein Pilot ist idealerweise ein Vertikalprototyp, da er sich durch mehr als eine Schicht der Applikation zieht. In der Praxis soll ein Pilot auch nicht verworfen werden, was unsere User Experience-Arbeit voraussetzt. Mehr zu Prototypen und Prototyping aus Applikationssicht gibt z.B. dieser Wikipedia-Artikel her.

2. Lohnt es den Vorbereitungsaufwand und das Absorbieren des ganzen Teams?

Aus meiner Sicht lohnt sich Pilotierung langfristig. Wenn das Team nicht allzu sehr im Projektmodus (also kurzfristig gemeinsam unterwegs) sondern im Produktmodus (längerfristig zusammengestelltes Team für das Produkt) arbeitet. Dann entwickelt das Team so gemeinsam den User-Scent, also das Näschen für Nutzerbedürfnisse und den Drang, Suboptimales zu verbessern.

3. Gibt es Literatur/Forschung hinter der Vorgehensweise?

Kurz: Ja.

Länger: Zum Prototyping habe ich bereits oben einige Anmerkungen gemacht. Pilotierung mit User Research ist eine «Action-Research»-Methodik (siehe z.B. diesen Artikel über Pilotierung aus dem Jahr 2000).

Ganz kurz formuliert sind das solche Methodiken, bei denen die Forschende nicht neutral zuschaut, sondern Teil des Untersuchungsfeldes ist. Damit durchlebt sie Phasen der Immersion und durch Disziplin Phasen der Abstraktion. An die Stelle der Forschenden setzen wir jedes Projektmitglied. Die Immersion entsteht durch die direkte Konfrontation mit dem Arbeitsalltag der Nutzenden und der Pflicht, diesen zu verbessern. Die Abstraktion entsteht durch das Auswerten, Gruppieren und Diskutieren der Erkenntnisse im Team.

Idealerweise wird dieser Prozess moderiert durch jemanden, der die nutzerzentrierte Anforderungsentwicklung beherrscht (ob das ein Business Analyst, Requirements Engineer oder User Experience Spezialist:in ist, ist wirklich nebensächlich). Kombiniert mit aktivem Stakeholdermanagement wird daraus eine praktische Methode. Die Merkmale von Changemanagement-Aktivitäten (z.B. Nutzen von Vorbildwirkung, Dialogformate mit den Betroffenen, Weiteres wie in dieser Übersicht von basis-wissen.de) sind ebenfalls zu berücksichtigen. Wir müssen uns dabei immer vor Augen halten, dass wir, wenn wir Software entwickeln, immer etwas Neues schaffen, wenn nicht global betrachtet, dann aber immer für das Unternehmen oder die Organisation. Befürchtungen, Ängste und Abwehrreaktionen müssen also einen Kanal finden, in dem sie proaktiv behandelt werden können.

4. Wie macht man einen Piloten auf ein Feature oder MVP? Wann lohnt sich eine Pilotierung, wann nicht?

Pilotierungen mit User Research lassen sich auf allen kleinen oder grossen Einheiten des Produkts durchführen. Ob sich das lohnt, ist eine Funktion des dafür notwendigen Aufwands, der Erkenntnisse, nach denen wir suchen (also des Nutzens) und der Menge an Funktionalität. Kleinere Anpassungen wie überarbeitete Usability passen besser ins Beta-Testing oder A/B-Testing. Das Hinzufügen eines Features in einem bestimmten Geschäftsprozess ist je nach Kritikalität bereits ein Kandidat für die Pilotierung. Da aber bei der Pilotierung das erste Mal etwas ausserhalb der Kontrollgrenzen des Projekts angewendet wird, muss viel getan werden, um den Kontrollverlust durch Feedback auszugleichen. Diesen Aufwand zu betreiben lohnt sich eben erst, wenn die Änderung bemerkbar gross ist für die Nutzer.

Der Gesamtrahmen bei kleineren Untersuchungsgegenständen ist zudem auch geringer gestaltbar. Statt einer persönlichen Erklärung des wichtigsten Vorgesetzten der Nutzenden, wie wichtig ihm ist, dass sie den Piloten wirklich nutzen, kann ggf. nur eine E-Mail versendet werden. Anstelle von Befragungen vor Ort können Remote-Tests durchgeführt werden. Augenmass und Erfahrung mit Pilotierungen helfen hier, die richtige Kleidergrösse für diese zu wählen. Eine Form der Pilotierung mit User Research ist beispielsweise das Testen der ersten Attraktivität und der tatsächlichen Nutzung eines potenziellen neuen Produkts mit Hilfe eines Pretotypes.

Wichtig für Pilotierungen sind letztlich in jeder Ausprägung:

• Nutzende zum Gebrauch des Produkts motivieren
• Aktiv Feedback einholen
• «Ausreden» der Nutzenden einfangen und aushebeln
• Das ganze Team beteiligen
• Klar für Nutzende, Team und Stakeholder starten und enden

 

Slideshare-Presentation von der UpfrontThinking 2017