Research Repositories – Ist eine Implementierung sinnvoll?

Research Repositories sind zentrale und verlässliche Wissensquellen in denen Informationen aus Studien, Umfragen und (Touchpoint-) Analysen zusammenfliessen. Dadurch können Unternehmen schnell und unkompliziert Daten bzw. Erkenntnisse finden und diversen Stakeholdern zugänglich machen. Forschende sowie Projektverantwortliche können zielgerichtet organisieren, erforschen, suchen und entdecken.

Klingt super, oder? Aber ist es auch wirklich sinnvoll und nutzbringend? Wir sagen: Ja, aber… die Zahl an verfügbaren Tools ist umfangreich und die Entscheidung für eine Lösung hängt stark von den eigenen Bedürfnissen und Prozessen ab. Für welchen Anbieter sollte man sich zwischen all den Möglichkeiten entscheiden? Da heisst es: «Probieren geht über Studieren», wie das Sprichwort schon sagt. Deshalb haben wir im Rahmen unseres evux Lab eine Auswahl an Dienstleistern unter die Lupe genommen und deren Angebote getestet.

Bei evux generieren wir mit unseren täglichen Aktivitäten eine Meeeenge Daten: User Research, das Pretotyping, die AI-Personas unserer Mitarbeitenden AINO, die Befragungen, die Nutzungsanalysen, die Nutzungstests und Interviews sowie die (Ideen-)Workshops sind nur eine  Auswahl an datenproduzierenden Tätigkeiten, deren Output es stets zu strukturieren gilt. Da sind Research Repositories besonders interessant!

3 Vorteile von Research Repositories

1. Ein Research Repository hilft, redundante Daten zu vermeiden. So wird sichergestellt, dass dieselbe Studie nicht doppelt durchgeführt wird. Das spart Zeit und Geld.
2. Der durch das Repository vereinheitlichte Prozess schafft Transparenz und konsistente Ergebnisse. Die Durchführung und Dokumentation der Studien folgen einer klaren Struktur.
3. Ein Research Repository bietet ausserdem einen besseren Blick über die Zusammenhänge gesammelter Informationen und erlaubt Meta-Studien durchzuführen. Dadurch lassen sich aus den Daten und Ergebnissen unterschiedlicher Studien wiederum neue Erkenntnisse ableiten.

Prozess vor Tool

Erfahrungsgemäss ist der Forschungsprozess in Unternehmen von Mensch zu Mensch häufig sehr unterschiedlich. Für die Skalierung von Prozessen ist allerdings eine Standardisierung notwendig. Diese bildet die Basis für die Entwicklung bzw. Einführung von Tools. Es ist deshalb wichtig den Forschungsprozess genau zu kennen und allfällige Änderungen im Prozess vorgängig zu festigen. Nur so bringt die Einführung eines Tools einen Nutzen und erzielt die gewünschten Ergebnisse. Ohne eine klare Definition des Prozesses kann es schwierig sein, das Tool sinnvoll und effektiv zu implementieren.

Ein definierter Prozess hilft dabei, den Zweck und die Ziele des Tools zu verstehen, die Art und Weise, wie das Tool verwendet werden soll, zu klären und sicherzustellen, dass es in den Arbeitsablauf passt. Ausserdem werden mögliche Hindernisse und Schwierigkeiten identifiziert, die bei der Implementierung des Tools auftreten können. Durch die Definition des Prozesses vor der Einführung des Tools können unnötige Kosten, Ressourcen-Verschwendung und Zeitverlust vermieden werden. Daneben fällt den betroffenen Personen die Implementierung leichter, da das Tool sie im Prozess unterstützt und ihnen einen ersichtlichen Nutzen bringt.

evux unterstützt bei Einführungen von Research Repositories mit Leistungen wie der Prozessklärung, dem Involvieren der Primärnutzenden (Forschende) und Sekundärnutzenden (Stakeholder), führt die Anforderungserhebung durch und evaluiert den Nutzen bei den Nutzenden. Auch hier braucht es manchmal die Stimme von aussen, die neutrale Stelle, wo Performance-Bedenken abgeladen werden können und dann sicher Massnahmen gefasst werden.

Die Auswahl an Anbietern ist gross

Im Bereich Atomic UX Research sind insbesondere glean.ly (und bis vor einiger Zeit consider.ly) bekannt. Ausserdem gibt es weitere Anbieter wie zum Beispiel Condens, Aurelius, Dovetail, EnjoyHQ, MaxQDA und viele mehr, die zum Teil auf mehrere Dekaden Nutzung zurück schauen. Um so erstaunlicher fanden wir dann unsere engere Auswahl. Nach mehreren Iterationen haben wir uns dafür entschieden, die Lösungen von Aurelius, Condens und glean.ly auf Herz und Nieren zu prüfen. Unser Vergleich ist jedoch keinesfalls abschliessend.

Unsere Erfahrungen mit Aurelius

Aurelius ist ein amerikanisches Unternehmen, dessen webbasierte Anwendung die Möglichkeit bietet, Daten direkt zu erfassen. Diese kann man als Excel-Sheets hochladen oder mithilfe diverser Schnittstellen (zum Beispiel Zoom-Integration) einfügen. Aurelius nennt diese Daten «Notes». Bei Videos kann man ausserdem ein Transkript erstellen lassen. Mithilfe von Tags wird dann die Analyse von der forschenden Person direkt im Tool vorgenommen. Neue Features kommen stetig hinzu, wie zum Beispiel das «Analysis Board» mit Drag-and-Drop-Funktion. Aus der Analyse lassen sich dann Key Insights und Empfehlungen formulieren. Des Weiteren bietet die Anwendung eine Funktion zur Erstellung von Reports, die einfach per Link an Stakeholder gesendet werden können. Auch gibt es die Möglichkeit einzelne Videoausschnitte als Highlights herauszuschälen und zum Beispiel in den besagten Reports einzufügen.

Das hat uns besonders gefallen

• Die Recommendations sind klar abgreifbar und aktionsorientiert. Stakeholder sehen auf einen Blick welche Massnahmen vorgenommen werden sollten und in welchem Status die Umsetzung der einzelnen Empfehlungen ist. Für Unternehmen, die mit Jira arbeiten, gibt es eine entsprechende Integration.
• Das Collections-Feature erlaubt es den Nutzenden Key Insights und Recommendations von unterschiedlichen Projekten zu bestimmten Kernthemen, Personas, Produkten oder Funktionen zu gruppieren und zu organisieren.
• Für erstellte Reports und Collections gibt es eine Vielzahl von Einsatzmöglichkeiten. Man kann die Funktionen so nutzen, wie es für einen selbst am sinnvollsten ist. Aufgrund fehlender Vorlagen kann das allerdings zu unterschiedlichen Artefakten und Inkonsistenzen führen.
• Die Suchfunktion überzeugt dadurch, dass man sowohl innerhalb eines Projekts als auch global über das gesamte Repository hinweg suchen kann.
• Mithilfe von Künstlicher Intelligenz generiert das System bei den Notes automatische Keywords und schlägt diese aufgrund ihrer Häufigkeit als Tags vor. Diese Funktion spart Zeit und gibt einen ersten Überblick.

Das hat uns weniger gefallen

• Da wir die Mehrheit unserer Interviews und Nutzertests auf Schweizerdeutsch durchführen, ist die Transkriptions-Funktion leider nicht anwendbar.
• PDFs, die ins Tool hochgeladen werden (zum Beispiel die Quelle einer Notiz), können innerhalb des Tools nicht angeschaut werden. Dieses Feature ist jedoch für 2023 geplant.
• Man sieht nicht, ob Notes bereits zu Insights hinzugefügt wurden bzw. wie oft eine Notiz bereits in den nachgelagerten Schritten referenziert wurde.
• In den Systemeinstellungen kann zwar Deutsch angewählt werden, jedoch ist es nicht möglich in den Tags Umlaute zu schreiben.
• Wir haben eine verhältnismässig kleine Menge an Testdaten verwendet. Bei einer hohen Anzahl Tags und Notes nimmt die Übersichtlichkeit unserer Meinung nach stark ab. Ausserdem können alle bisher gemachten Forschungen und Studien nicht gesamthaft in einer Übersicht dargestellt werden.

Unsere Erfahrungen mit Condens

Condens verspricht eine einfache und schnelle Speicherung, Analyse und gemeinsame Nutzung aller Forschungsdaten. Das Unternehmen hat seinen Sitz in Deutschland und die Funktionen ähneln jenen von Aurelius. Hinzu kommt, dass man bei Condens ein Feature zur Erstellung eines eigenen Teilnehmenden-Pools erhält.

Das hat uns besonders gefallen

• Die Punkte, die uns bei Aurelius weniger gut gefallen haben, konnte Condens vollumfänglich bieten. Also diese:
  • PDF sauber anzeigen
  • Nachweis der verwendeten Notizen
  • die Verwendung von Umlauten
• Unter dem Navigationspunkt Home erhält man einen Überblick über alle derzeit laufenden sowie die abgeschlossenen Studien.
• Es gibt zahlreiche Templates für das Anlegen eines neuen Projektes als auch für das Erstellen von Artefakten. Das spart Zeit und stellt die Konsistenz dieser sicher.
• Die automatische Transkription hat uns überrascht. Sie ist zwar nicht perfekt, aber definitiv mit Schweizerdeutschen Materialien nutzbar. Die Bereinigung des Transkripts ist dabei einfach und zeitsparend, da man im Text die Videosequenz direkt anwählen und allfällige Fehler korrigieren kann.
• Über alle Prozessschritte hinweg kann man ein Dialogfenster öffnen und vielerlei Artefakte «on the go» generieren. Das können einfach Notizen, Findings oder sogar schon erste Reports sein.

Das hat uns weniger gefallen

• Empfehlungen sind unserer Meinung nach weniger klar abgreifbar. Man kann zwar verschiedene Artefakte bilden, muss diese jedoch in einem Report zusammenfügen damit sie mit Stakeholdern geteilt werden können.
• Einige der Funktionen sind für uns schlichtweg nicht interessant, wie zum Beispiel der Teilnehmenden-Pool oder einige der Artefakt-Vorlagen.

Unsere Erfahrungen mit glean.ly

Die Nutzerführung von glean.ly bildet die bekannten Atomic UX Research Schritte ab: Aus Experimenten resultieren Fakten (Facts), aus Fakten entstehen Einsichten (Insights), aus Einsichten werden Folgerungen (Recommendations) für das Produkt geschlossen. Die Art und Weise, wie Inhalte abgebildet werden, unterscheidet sich bei glean.ly dadurch deutlich von den anderen beiden getesteten Tools.

Das hat uns besonders gefallen

• Glean.ly gelingt es sehr gut den Zusammenhang von Fact, Insight und Recommendation abzubilden.
• Das Anhängen von Bildern, PDFs, Videos und Audio-Dateien ist sowohl bei Facts als auch bei Insights und Recommendations möglich.
• Sofern man sich vorab Gedanken zum Vorgehen macht (also den Prozess definiert) und flexibel bleibt, sind vielseitige Forschungsergebnisse abbildbar (Expert Reviews, Nutzertests, Umfragen, usw).

Das hat uns weniger gefallen

• Fehlende Kommentar- / Kollaborationsmöglichkeit. Teammitglieder oder Stakeholder haben keine Möglichkeit, ihre Gedanken zu einzelnen Punkten an der entsprechenden Stelle festzuhalten. Die vorhandene Änderungshistorie der einzelnen Elemente wäre zwar ein Anfang, allerdings ist sie dafür zu wenig detailliert.
• Die Anwendung verwendet häufig Pop-Ups, welche im Zusammenhang mit unterschiedlichen Klickwegen und stets notwendigen Bestätigungen durch den Nutzenden verhindern, dass der Arbeitsfokus aufrechterhalten werden kann. Ein Beispiel hierfür sind Tags, die nicht erstellt werden, weil man vergessen hat dies mit der Eingabetaste zu bestätigen.
• Die Reportfunktion zur Berichterstattung an die Stakeholder ist relativ neu und unseres Erachtens noch zu rudimentär.
• Obwohl es eine Darstellung aller Studien gibt (analog Condens) wird es bei vielen einzelnen Facts oder Insights relativ schnell unübersichtlich, weil diese nicht in einer projektbasierten Gesamtübersicht angezeigt werden können.

Evaluative vs. Generative Forschung

Die Mehrheit der Tools basiert auf den Prozessschritten der evaluativen Forschung.  Evaluative Forschung bezieht sich auf die Untersuchung von bereits entstandenen Konzepten, Prototypen oder Systemen, um zu beurteilen, was noch nicht stimmt (formativ) oder wie effektiv oder erfolgreich sie sind (summativ). Ziel ist es, einen Überblick darüber zu bekommen, was bereits bekannt ist und welche Bereiche möglicherweise verbessert werden können (Rosson & Carroll, 2002).

Generative Forschung hingegen konzentriert sich darauf, neues Wissen und Verständnis für die Nutzenden, ihre Aufgaben und Ziele sowie den Nutzungskontext zu schaffen. Das Ziel ist hierbei Erkenntnisse zu gewinnen, die innovative Ideen ermöglichen und das Verständnis in einem bestimmten Bereich erweitern. Dieses Vorgehen erfordert mehr Prozessschritte und wird leider von keinem der drei getesteten Tools vollumfänglich unterstützt.

Unser Fazit zum Thema Research Repositories

Ein Research Repository zu implementieren ist definitiv sinnvoll aber wie so oft gilt auch hier: Testen lohnt sich! Auf den ersten Blick erscheinen die Funktionen und die Handhabung der Tools ähnlich. Wenn man sich jedoch vertieft mit ihnen befasst, wird schnell klar, ob die Features den eigenen Bedürfnissen entsprechen. Die Tools sind deshalb nicht unbedingt per se besser oder schlechter – sie passen vermutlich einfach nicht zu den eigenen Anforderungen. Diese Erkenntnis ist durchaus wertvoll. Unserer Meinung nach bieten alle drei Anwendungen attraktive Ansätze und Einsatzmöglichkeiten.

Während des Testens haben unsere Erfahrungen gezeigt, dass die Anbieter dankbar sind, wenn sie Feedback erhalten. Da sie das Feedback von den Nutzenden sehr ernst nehmen, entwickeln sie die Tools stets weiter. Und das, obwohl es einige davon bereits seit vielen Jahren gibt. Die Verbreitung solcher Lösungen scheint auch heute noch eine Nische zu sein. Wir sehen dennoch künftig sehr viel Potenzial für die Implementierung von Research Repositories. Nicht zuletzt deshalb werden wir weiterhin solche Lösungen testen und euch auf dem Laufenden halten.

Du möchtest dich bei einem (virtuellen) Kaffee zum Thema austauschen oder hast eigene Erfahrungen mit Research Repositories gemacht? Dann melde dich bei uns!

 

Quelle

Rosson, M. B., & Carroll, J. M. (2002). Usability engineering: scenario-based development of human-computer interaction. Morgan Kaufmann.