UX360 Research Summit – Konferenzreview

Eine UX Research Konferenz ist selten. Deshalb hab ich beim UX360 Research Summit direkt zugeschlagen. Konferenzen zu besuchen in dieser Zeit, ist vielleicht an sich nicht ganz so lustig. Keine andere Stadt besuchen, keine neuen Fachverbündeten zum Apéro treffen und es ist definitiv eher schwierig, die Redner nach den Talks noch einmal ins Gespräch zu verwickeln. Der UX360 Research Summit hat sich allerdings alle Mühe gegeben, dass für alles Platz ist.

Neben unseren Schweizer Events wie dem World Usability Day, den Meetups von UX Schweiz oder UX Research Guild Zurich, besuche ich auch gerne in jedem Jahr mindestens eine internationale Konferenz. Eines meiner letzten Highlights war dabei definitiv die BA & Beyond in Brüssel und Amsterdam.

Der UX360 Research Summit war ein 2tägiger Event und fand vom 8.2. bis 9.2.2022 statt. Der Online-Konferenztag startete für uns Mitteleuropäer um 14:00 Uhr und endete um 22:00 Uhr.

Die Organisation

Der Start war sehr nett gemacht mit einem kleinen virtuellen Empfangsraum, wo uns Teilnehmerinnen und Teilnehmern die Technik, also wie Handheben im Tool und wie den Chat nutzen und so weiter erklärt wurde. Danach ging es in einem Schlagabtausch in Talks und Networking-Slots. Die Networking-Slots wurden mir auch noch einmal per E-Mail 10 Minuten vor dem Start angekündigt.

Das Timing hatten die Veranstalter bestens im Griff. Das lag vermutlich auch daran, dass die Talks Aufzeichnungen waren. Ich war allerdings nicht darauf vorbereitet und hab das erst am zweiten Konferenztag mitbekommen. Denn da antwortete im Chat tatsächlich die entsprechende Rednerin während ihr Talk lief. Huch. Na ja, aber das war ziemlich effizient. Nach dem ersten Schreck fand ich das sehr angenehm, direkt meine Fragen oder Kommentare zu platzieren, die die Redner bereits während des Talks thematisieren konnten. Generell lief dadurch auch die Diskussion im Anschluss an den Talk sehr flüssig.

Die Networkingslots fanden in wonder.me statt. Das kann man mögen oder nicht. Hier hätte ich mir ein bisschen mehr Führung durch die Oberfläche gewünscht. Die Stände der Sponsoren hatten ihre Bereiche und sonst war da nichts. Eventuell hätten hier ein paar Gesprächsanfacher geholfen. Auf der Fläche stellte sich bald ein dominantes Verhalten ein: Um die Sponsorenfelder herum eiern, bloss nicht berühren, das ist heisse Lava und vor allem einfach verschwinden, obwohl man grad zu 5t oder 6t im Gespräch ist. Na das ist ja was… Sowas kriegt man besser in den Griff mit einem geeigneteren Tool und vor allem ein, zwei Volunteers, die sich um die Gäste sorgen. Trotzdem mit der Organisation war ich alles in allem sehr zufrieden.

Die Agenda

Die Agenda versprach doch einiges. Grosse Labels und digitale Vorbilder wie Amazon, Google und Netflix neben erfrischender Weise auch was Bekanntem für mich (REWE, eine deutsche Supermarktkette) oder auch mir bisher völlig unbekannte Firmen. Schöne Mischung, das bestätigte sich auch im Inhalt.

Neben den Brands schau ich mir gern auch noch die Rollenbezeichnungen der Personen an. Hier sind es doch sehr viele Heads, Leads und Directors. Für mich weckt das regelmässig das Vorurteil, dass das entweder wirklich ein cooles Konzept ist, das vorgestellt wird mit organisatorischen Einblicken oder es wird extrem flach, weil die eigentliche Arbeit ja jemand anderes macht. Und irgendwie stimmt beides. Aber es schärft meine Sinne, nach den Talks besonders zu schauen, wo auch „einfache“ UX Researcher:innen beteiligt sind. Und solche Talks gabs auch.

Neben Talks und Networking standen auch Panel-Diskussionen auf dem Plan – und alle Themen sind extrem spannend:

• Democratization of UX research: Yay or nay?
• Ethics in UX Research: What does it mean to be human(e) and why ethical research paves the way for creating human-centered products
• The Future of UX research: Where are we headed as a discipline?

Leider hab ich das letzte Panel nicht mehr erlebt, bin eingeschlafen 😉 – das lag aber an der Uhrzeit. Ich kann in den nächsten Tagen mein Versäumnis mit dem Schauen der Aufnahme wieder ausgleichen.

Der Inhalt

Neben der Konferenz habe ich wie üblich informell meine kleinen Umfragen gemacht. Zum Beispiel: Wie ist das Verhältnis der Anzahl Researcher auf Entwickler in den Unternehmen der Teilnehmer und wie sieht der fachliche Hintergrund der Teilnehmer aus? Mein Eindruck basiert nur auf meinen informellen Gesprächen, kein Anspruch auf statistische Korrektheit 😉 )

Meine kleinen Überraschungen

• Offenbar hatte nur eine deutliche Minderheit an der UX Research Konferenz einen Designhintergrund. Ich weiss gar nicht, warum ich überrascht bin. Ich hab schliesslich auch keinen. Aber ich hatte mit etwas anderem gerechnet.
• Die Organisationen scheinen genauso unterschiedlich aufgestellt wie bei uns in der Schweiz, also auch in den USA oder UK oder Ukraine haben wir Verhältnisse von 1:70 oder cooler 1:40 oder sogar 1:20 (Researcher zu Entwickler). Hier hatte ich wirklich gehofft, dass das besser ist in anderen Ländern und eine homogenere Verteilung sich bereits durchgesetzt hat.
• Wir sind trotzdem reifeverzögert (nicht überraschend): Während wir hier in der Schweiz damit kämpfen, dass Organisationen das Gefühl haben, dass Research jeder machen kann, der einen Telefonhörer in die Hand nehmen kann, werden in UX-reiferen Ländern bereits die Skalierungsprobleme adressiert, an die wir jetzt gerade erst stossen.

Inspiration und Fragen, die bleiben

Yana Beranek hat meine Gedanken befeuert, weniger nach Zielgruppenspezifika zu rekrutieren und mehr nach Eigenschaften von Menschen. Dort liegen heute noch Chancen, unerreichte Nischen zu erkunden. Das meint im Klartext ethischer zu rekrutieren (Da denke ich spontan an das Humanforschungsgesetz, Artikel 6: ¹ Niemand darf im Rahmen der Forschung diskriminiert werden. ² Ohne triftige Gründe darf insbesondere bei der Auswahl der Personen für die Forschung keine Personengruppe übermässig in die Forschung einbezogen oder von der Forschung ausgeschlossen werden.).

Jacob Harbord hat mich dazu inspiriert, die UX-ifizierung von Research als Taktik zu hinterfragen und statt situativ darauf zu reagieren, das Ganze durch Strategien zu beantworten. Auch Stakeholdern den Unterschied besser zu erklären, sollte mit der Konzeptualisierung von Jacob möglich sein. Grundsätzlich spiegelt Jacob mit seiner Präsentation wider, was ich als Grundschwingung an der Konferenz wahrnehme: Die Beschleunigung von Research-Aktivitäten durch kleinere Stichproben und weniger breiten Rekrutierungen duldet man für den zweiten Diamanten des Double-Diamond-Modells, nicht aber für den ersten. Neben technischen und strategischen Schulden, die durch unsaubere Arbeit an Architektur und Business Modell aufgebaut werden, baut man durch die Abkürzungen auch Erkenntnisschulden auf (Insight Debt – jetzt hab ich endlich ein Wort für „wir haben keine Ahnung“). Und ja, die müssen wir dringend anschauen, reduzieren und vielleicht sogar vermeiden. Das Konzept UX-ifizierung von Forschung ist ein sehr spannendes Erklärmodell, das uns helfen kann, die Brücke zwischen Generalisierbarkeit, Agilisierbarkeit und Verhaltensvorhersage (besser) zu schlagen.

Heisse Themen an der UX Research Konferenz UX360 Research Summit

Zwei heisse Themen wurden durch die Konferenztage hauptsächlich diskutiert: Demokartisierung von Research und Ethik in UX Research.

Demokratisierung von Research

Der Tenor der UX Research Konferenz: ja, aber nicht in der Discovery-Phase. Der Bezug ist wieder der Double Diamond. Ich bin nicht sicher, ob ich das teile. Die Demokratisierung von Research heisst, bestimmte Aufgaben an Nicht-Researcher abzugeben und den Prozess sowie die (Zwischen-)Ergebnisse einem grösseren Adressatenkreis verfügbar zu machen. Sie soll eigentlich zwei Probleme lösen: 1. Haben wir zu viel Research-Bedarf, um ihn mit Spezialisten zu decken. Das ist eine begrüssenswerte Errungenschaft, die uns der menschzentrierte Ansatz ermöglicht hat. 2. Stakeholder in den Prozess einzubeziehen, soll die Nutzung von Erkenntnissen verbessern. Denn Forschung zu ignorieren, an der man selbst beteiligt war, ist deutlich schwieriger als wenn sie von irgendwo daher kommt.

Soweit so gut. Warum beschützen wir dann die Discovery-Phase und die Umsetzungsphase geben wir weg? Die Antwort darauf ist mir zu trivial. Der Schaden von lokal nicht so gut ausgeführter Research (z. B. ein Nutzertest für ein konkretes Produkt) ist geringer als der Schaden bei der Grundlagenforschung. Oder ist es, weil Researcher einfach ihre Methoden noch nicht parat haben für die Geschwindigkeit von Vorhaben, weil sie das Management des Research-Prozesses nicht expliziert und standardisiert haben? Das was man macht durch diese Phasenaufteilung ist schlicht, zu definieren, dass Research diese Art von Studien macht und die UX-Lüt im Produktteam machen eine andere Art von Studien. Das ist nicht Demokratisierung, das ist Abgrenzung und niemand muss sein Verhalten anpassen.

Demokratisierung von UX Research braucht mehr als Abgrenzung

Hier fehlt mir ganz deutlich ein vernünftiges Requirements Engineering für den demokratischen Forschungsprozess. Wer hat welche Ansprüche zu welcher Zeit, welche (Zwischen-)Ergebnisse gibt es und wer sind die Nutzenden dieser Resultate? Die diskutierten Ansätze schützen allesamt die Marktforschungsstudien und werfen die Research auf dem konkret entstehenden Produkt zum Nehmen ins Feld. Schauen wir mal in die Kisten rein, sollte unser Anspruch einerseits auch bei produktbezogener Forschung sein, dass sie rigoros durchgeführt wird. Andererseits lassen sich schnell erlernbare Aktivitäten auch in der generativen, explorativen Forschung genauso gut an trainierte Nicht-Researcher abgeben wie ein Nutzertest.

Auch wehren sich offenbar viele hauptsächlich dagegen, dass andere UX-Rollen die Daten erheben. Bei allem Respekt: Die Durchführung von Interviews, Nutzertests und sogar gute Arbeitsplatzbeobachtungen kann man schnell lernen (noch ein bisschen schneller, wenn die Lernenden Lust darauf haben und nicht dazu verdonnert werden). Der Zauber aber steckt doch in der Analyse und Interpretation. Beides braucht so viele Voraussetzungen, dass es nicht genügt, dafür affin zu sein. Und hier ist auch ein grosser Teil der ethischen Verantwortung zu erfüllen, der über geschriebene Regeln hinaus geht. Hier muss ich Verzerrungen berücksichtigen, manifest von latent unterscheiden und sauber bei den Daten bleiben. Und das ist auch so, wenn Beobachtungsprotokolle angefertigt werden zum neuen Produkt, das in der Pilotphase genutzt wird.

Mein Fazit: Die Demokratisierung von Forschung hat kein Zielbild. Die vorgestellten Systematiken und Strategien sind die Verteidigung des Status quo. Auch Offenheit gegenüber technologischer Unterstützung wird so nicht erreicht. Dafür müssten Prozesse standardisiert werden, denn ohne Standard kein Tool.

Research und Ethik

Das Thema zog sich wie ein stiller Begleiter durch beide Konferenztage der UX Research Konferenz. Immer einmal wieder haben wir das Thema tangiert. Und bei mir bleiben einiger Fragen, die wir uns als Researcher aber auch und vor allem unseren Unternehmen, die an den Nutzenden und ihren Bedürfnissen dran bleiben möchten, stellen sollten.

• Fragen wir uns, wie krass wir Menschen mit transaktionalen Messungen auf die Nerven gehen (das sind die Pop-ups, die wir während des Onlineeinkaufs kriegen „Wie wahrscheinlich ist es, dass du unsere, Produktauswahl an Kollegen empfiehlst?“) und welchen Effekt diese Praxis auch auf das Markenerlebnis hat.
• Wie diskriminieren wir keine Menschen durch unsere Nutzerakquise nach Zielgruppendaten statt nach menschlichen Faktoren?
• Ist eine Befragung wirklich nötig, wenn wir die Frage auch mit zwei, drei bereits vorhandenen Studien beantworten können?
• Wann haben wir uns das letzte Mal gefragt, ob ein Studienteilnehmer in der richtigen Verfassung ist, den Fragebogen zu beantworten?
• Wann haben wir das letzte Mal unseren (internen) Kunden erklärt, dass man sich über Testteilnehmer nicht amüsieren soll (und es passieren ja wirklich viele lustige Sachen in Nutzertests)?
• Eine Einverständniserklärung am Anfang von Interviews zu erklären und gegenzeichnen zu lassen, ist einfach nur ein Qualitätsmerkmal des Prozesses aber noch keine ethische Haltung. (Das Panel hat das Thema mit der ethischen Einstellung aber recht gut diskutiert, denke ich.)
• Braucht ethische User Research wirklich mehr Zeit und Geld oder ist es nicht einfach so, dass wir schlicht unsere Aktivitäten neu sortieren? (Wenn jemand Zahlen hat, her damit!)
• Wo sind die Zielbilder für ethische Forschung in Unternehmen?

Mein Fazit

Da geh ich gern wieder, wenn ich kann. Eine UX Research Konferenz, die vielseitig und abwechslungsreich war. Vielleicht noch ein bisschen wenig Europa… Zwischendrin hatte ich ein bisschen Bedenken, dass ich zu wenig mitnehme. Aber beim Schreiben dieses Blogs hatte ich doch grosse Freude, über welche Themen ich mir wieder einmal Gedanken machen durfte. Übrigens gab es neben den grossen Themen auch kleinere, sehr interessante Geschichten. Die zwei Redner von REWE haben zum Beispiel ihre ersten Gehversuche mit einem Accessibility Nutzertest vorgestellt und das sehr anschaulich. Mixed Methods als so ein trendy Thema darzustellen, hat zwar nicht mich, aber viele andere angesprochen. Also auch auf etwas detaillierterer Ebene war was dabei.