Atomic UX Research, der neuste, heisse Scheiss?

Der neuste, heisse Scheiss für UX/User Researcher? Wer versucht, Erkenntnisse über Nutzer, Nutzerverhalten oder die Entwicklung digitaler Produkte über eine ganze Produktesuite und über die Zeit und über Teams (hui…) zu skalieren, kommt am Konzept von Atomic UX Research irgendwann vorbei. Denn: Skalierung bedeutet, dass standardisiert werden muss. Standardisierung ist auch die Basis für die Entwicklung oder Einführung von Tools zur Unterstützung von Prozessen, die skalieren sollen. Und gerade bei Research sind Unternehmen doch sehr individuell unterwegs. Wer regelmässig Studien ausser Haus gibt weiss, jede Marktforschung oder UX-Unternehmung arbeitet (mindestens ein bisschen) anders. Wer ein Team von UX-Experten beschäftigt weiss, dass jeder von ihnen seine Research-Erkenntnisse unterschiedlich erhebt, dokumentiert und verarbeitet. Und diese ganze Unterschiedlichkeit erhöht sich noch, wenn es in Richtung Stakeholderkommunikation geht.

Nicht nur deshalb haben wir uns einmal den generischen und spezifische Forschungsprozesse vorgenommen und die Möglichkeiten des Atomic Research durchleuchtet.

1.1 Der Forschungsprozess

Die meisten User Researcher, manche wissen es explizit, die meisten machen es intuitiv, folgen einem chronologischen Forschungsprozess. Am Anfang kommt die Forschungsfrage, ihr folgt die Ableitung der Methodik und die Erstellung der Erhebungsinstrumente sowie die Durchführung der Erhebung selbst, die Transkription, das Coding, die Auswertung und Interpretation sowie das Berichten über die Erkenntnisse. Leichte Variationen ergeben sich durch möglicherweise vorhandene Vorstudien, die Integration von externen Partnern in den Prozess und Grösse des beauftragenden Unternehmens sowie des forschenden Teams. Der Forschungsprozess lebt allerdings von zwei wesentlichen Eigenschaften, um wirklich Produktentscheide nachhaltig zu beeinflussen: Schnelligkeit und Anschlussfähigkeit.

1.2 Der schnellere Prozess gewinnt

Der Grund, weshalb viele Unternehmen immer mehr auf die «Lean»-Methodiken setzen, ist ihre Erfahrung mit der Schwerfälligkeit althergebrachter Vorgehensweisen. Sie passen nicht in agile Organisationsformen und erzeugen zu wenig schnell Erkenntnisse und Ergebnisse. Die Schwierigkeiten an «Lean»-Vorgehensweisen aus der Expertensicht sind dann aber häufig «unerlaubte Abkürzungen», die gefährliches Halbwissen und unausgegorene Teilergebnisse erzeugen.

Systematische Datenanalyse

Eine typische Abkürzung ist das Auslassen einer systematischen Datenanalyse, vor allem bei qualitativen Erhebungen. Des Öfteren sehen wir bei evux «Rohdaten» in den Kundenorganisationen, wie Interviewmitschriften oder ganze Transkripte, CRM-Notizen der Kundendienst- oder Vertriebsmitarbeitenden, die bei einer systematischen Analyse deutlich mehr, bisweilen sogar völlig anderen Input liefern könnten. Statt aber eine solche bisweilen aufwändige Analyse durchzuführen, wird nach der Datenerhebung trotzdem wieder die Persona aus der Nase gezogen. Ihre Eigenschaften haben nur zufällig mit den Daten zu tun. Eine Triangulierung mit anderen Daten in der Organisation findet nicht statt. Die Gefahren von blinden Flecken sind sehr hoch. Auch das Erheben von Daten zu Themen, die längst bekannt sind in der Organisation, ist kein seltener Fall.

Mangelhafte Rekrutierung

Eine weitere Abkürzung ist die mangelhafte, systematische Rekrutierung der Befragungs- oder Beobachtungsteilnehmenden. Das Screening findet oft hemdsärmelig statt und wenig systematisch. So werden beispielsweise bekannte, dem Unternehmen sehr zugewandte Kunden zu Interviews aufgeboten oder die für eine Arbeitsplatzbeobachtung aufgebotenen Personen informell so stark vorgebrieft, dass ihre Aussagen kaum verwertbar sind. Oder die Teilnehmenden werden derart grossflächig angefragt, dass das Screening eigentlich erst in der eigentlichen Erhebung stattfindet. Damit steigt die Gefahr von No-Shows oder unmotivierten Teilnehmenden, es wird der Aufwand für Nacherhebungen erhöht, und falls der Weg der Nacherhebung nicht gangbar ist (meist wegen der Kosten dafür), steigt die Fehlerwahrscheinlichkeit immens.

Kommunikation und Präsentation

Auch bei der Kommunikation und Präsentation der Ergebnisse werden häufig Abkürzungen genommen, bevor eine vollständige Adaption stattgefunden hat. Was meinen wir mit Adaption? Das ist in unserem Fall die verstandesgemässe und emotionale Annahme der Studienergebnisse und ihre Verwendung in Projekten und in Produktentwicklungen. Wozu ist die Persona zum Beispiel da? Und was sagt mir jetzt als Frontend-Entwickler, dass die Nutzer die Primäraktion nicht finden? Und gilt das jetzt für jeden Nutzer? Die meisten der UX-Lieferobjekte sind wegen ihrer mangelnden Anschlussfähigkeit nicht besonders langlebig.

Wie also lässt sich der Prozess beschleunigen und seine Effektivität erhöhen? Bei evux schauen wir uns die Prozessteile mit dem grössten Reibungsverlust an und schauen, was Technologien und Prozessinnovationen für uns und euch leisten können. Zuletzt haben wir deshalb AIno «eingestellt», unsere künstliche Intelligenz, die für unsere Kunden im Internet nach Konversationen sucht, die uns Aufschluss über ihr Verhalten und ihre Einstellung zur Firma, ihren Dienstleistungen und Kanälen liefern. Ein weiterer vielversprechender Ansatz ist das Atomic User Research – denn es standardisiert den Forschungsprozess. Und was standardisiert ist, lässt sich durch Tools unterstützen oder sogar teilautomatisieren.

1.3 Was ist Atomic UX Research

Angefangen hat das Ganze wohl mit glean.ly-Gründer Daniel Pidcock. Aus der Überlegung heraus, dass Erkenntnisse sich letztlich in Stufen der Erkenntnisgewinnung zerlegen lassen analog dem Atomic Design, worin ein Design in Basisbestandteile zerlegt und so ein konsistenteres Bild erzeugt wird, entstand ein Wirkmechanismus. Dieser Wirkmechanismus definiert sich wie folgt: Aus Experimenten resultieren Fakten, aus Fakten entstehen Einsichten, aus Einsichten werden Folgerungen für das Produkt geschlossen.

Als Experiment wird definiert: wir haben das gemacht. Facts geben wieder, was wir aufgedeckt haben. Insights erklären, was wir uns über die Facts denken, sind also Interpretationen. Aus den Insights dann leiten wir die Conclusions ab, also die Empfehlungen, was getan werden sollte. Eine solche Empfehlung kann selbstredend sowohl eine Aktivität für die Implementierung im Produkt sein als auch eine neue Untersuchung mit einer tiefergehenden Forschungsfrage. Bei allen Stufen des Verfahrens lässt sich zurückverfolgen, auf welchen Details der vorigen Stufe ein Eintrag beruht. Ich kann also erkennen, welche Fakten zusammengezogen wurden, um eine Interpretation zu bilden.

Das Konzept ist also halbwegs einfach und eröffnet uns einige organisatorische und operationelle Vorteile.

1.4 Was sind die Vorteile von Atomic UX Research?

Ohne dass die nachfolgende Auflistung vollständig ist, lassen sich diese 3 Merkmale als deutliche Vorteile des Verfahrens gegenüber Forschungsprozessen ausmachen, die auf die Vorlieben des einzelnen Forschers setzen.

Atomic UX Research ist einfach zu erklären. Durch den einfachen 4-stufigen Zusammenhang, wird die Research-Black-Box aufgelöst und Stakeholder:innen (dazu gehört auch das Entwicklerteam) können leichter nachvollziehen, wie es zu einer Empfehlung kam. Damit wird der Research-Prozess auch ein Stück weit demokratisiert. An der Bildung von Insights oder Conclusions können nun auch weitere Personen ausser die Researcher partizipieren. Das hängt zwar auch von den Prozessregeln und den eingesetzten, unterstützenden Tools ab, ist aber nun grundsätzlich zugänglich. Zudem ist eine Kontrolle der Insights und ihrer Gültigkeit durch den nachverfolgbaren Pfad möglich.

Atomic UX Research erlaubt direkt Triangulation. Da das Framework direkt davon ausgeht, sämtliche Studien eines Unternehmens zu verwalten, lassen sich Erkenntnisse und Einsichten aus mehreren Studien zusammenziehen und sich so ein reichhaltigeres Bild vom Untersuchungsgegenstand herstellen.

Atomic UX Research standardisiert den Erkenntnisprozess und ermöglicht damit den Einsatz von Unterstützungstools. Researcher arbeiten nun mit den jeweils gleichen Vorgehensweisen bei der Erkenntnisgewinnung unabhängig von der Erhebungsmethode. Quantitative und qualitative Erhebungen können einbezogen werden und es wird eine «Single Source of Truth» möglich. Damit lässt sich auch eine geregelte Sekundärforschung ermöglichen, also das Erstellen eines «Experiments» aus anderen Experimenten. Beispieltools, die den Ansatz bereits implementieren: glean.ly, consider.ly und dovetailapp.com.

1.5 Was sind die Nachteile von Atomic UX Research?

Wie alles in dieser Welt, gibt es Fallen und mögliche Zielkonflikte, denen wir uns bewusst sein müssen.

Atomic UX Research braucht einen geregelten Fachprozess.

Bei aller Demokratisierung öffnet das Konzept auch Tür und Tor für Unfug bei der Generierung von Insights. Menschen, die Interpretationen bilden, sollten mit Daten umgehen können. Das gilt für qualitative wie für quantitative Daten. Wenn im üblichen Prozess Korrelation mit Kausalität verwechselt wird, passiert das hier auch. Das bedeutet, dass ein guter Handhabungsprozess erarbeitet und trainiert werden muss. Wir empfehlen hier den Aufbau eines Trainings für UX Researcher und für Stakeholder:innen. Beide Nutzergruppen müssen auf unterschiedliche Dinge achten, um am Prozess sinnvoll teilzunehmen. Die Verantwortlichkeiten und Rollen in dem Prozess müssen wie für jeden anderen Prozess in einer Organisation geklärt werden und bedürfen einer ordentlichen Anforderungsentwicklung vor der Einführung des Prozesses und etwaiger Unterstützungstools.

Atomic UX Research bevorzugt den Gruppenvergleich.

In einfachen Worten gesagt, ist der Gruppenvergleich in Interviews das Zusammenwerfen aller Aussagen zu einer Frage und die Analyse auf allen Antworten gleichberechtigt. Die für viele, für uns wichtige Synthesen wie Personas und Journeys notwendige Einzelfallanalyse ist nur durch einen Workaround im Framework möglich. Falls ihr eine andere Bezeichnung verwendet: Bei der Einzelfallanalyse erarbeitet ein Forscher beispielsweise aus Interviews zunächst eine Zusammenfassung je befragter Person, bevor dieser eine Generalisierung versucht. So bleibt die Information bestehen, in welchem demographischen oder auch verhaltensspezifischen Kontext eine Erkenntnis zustande kam. Mit entsprechenden Tags oder Verschlagwortung von Facts ist es theoretisch möglich, die Verbindung der Facts jeweils zu bewahren. Die Erklärung an einen Nicht-Forscher verliert dann aber die Schönheit der Einfachheit des Frameworks.

Atomic UX Research kann trivialisieren.

Die Erkenntnistiefe bestimmter Erhebungsverfahren ist nun einmal unterschiedlich zu gewichten. Und es deshalb immer für den Forscher klar, dass Beobachtungen erkenntnisschärfer sind als Interviews und dass ein reales Feldexperiment mit Vergleichsgruppe über eine längere Zeit realistischere Erkenntnisse über Verhalten liefert als die Umfrage mit lauter im Konjunktiv formulierten Fragestellungen. Da in der Regel jedoch die oberflächlicheren Methoden zur Erhebung in Unternehmen überwiegen (z.B. Mystery Shoppings, Umfragen, Interviews), stellen sie auch die Mehrzahl der «Facts». Zu befürchten ist hier, dass bei gleichgewichteter Behandlung aller «Facts», die trivialen Insights überwiegen. Da sie sich aber auch widersprechen können, wird das Erklärungsaufwand produzieren, der sich bei einem weniger transparenten Prozess bereits im Vorhinein abfangen lässt.

1.6 Unser Fazit zu Atomic UX Research und Empfehlung

Der Ansatz ist vielversprechend, wenn wir beginnen wollen, Product Owners, Business-Analysten, Requirements Engineers, Softwareentwickler und weitere Stakeholder (übrigens im Besonderen andere Designer, die auf anderen Produkten schaffen) stärker in den Research Prozess zu integrieren. Wenn der organisatorische Fachprozess gut erarbeitet ist, lassen sich sogar produktübergreifende Regeln aus diesen Researchprozessen ableiten.

Einen Vollblutresearch wird das Zerlegen in Atome nicht vollständig befriedigen. Insbesondere die Studien und Forschungsfragen, die nicht spezifisch auf ein Produkt und seine Interaktion zielen, benötigen die Möglichkeit von Einzelfallanalysen, Clusteranalysen, statistischen Tests und ein Studiengesamtresultat. Für Evaluationen oder feingranulare Experimente wie A/B-Tests, also wirklich als Werkzeug für die inkrementelle Verbesserung eines digitalen Produkts überwiegen die Vorteile die Trade-offs.

Brauchst du Sparring bei der Einführung eines demokratischen Research-Prozesses? evux hilft dir gerne, die Ansprüche von Stakeholdern, deinen Researchern und den Produktteams zu erheben und den Fachprozess auszuarbeiten. Bei der Einführung der Toolunterstützung und der Ausarbeitung und Durchführung der Trainings packen wir auch gern mit an. Lass uns drüber reden!