Synthetic User Research: Wie verlässlich ist KI-basierte Nutzerforschung?

Synthetic User Research ist in aller Munde – aber was steckt wirklich dahinter? Wie lassen sich synthetische Nutzer erstellen, die mehr sind als nur KI-Spielerei? Welche Informationen brauchen sie und wie lassen sie sich sinnvoll in Projekte integrieren? Um erste Antworten auf genau diese Fragen zu finden, haben wir eine eigene Studie durchgeführt und dabei spannende Erkenntnisse gewonnen.

Was ist Synthetic User Research überhaupt?

Das Ziel von Synthetic User Research ist das gleiche wie beim klassischen User Research: es wird versucht, das Verhalten und die Einstellungen von Nutzern mittels verschiedener Methoden zu untersuchen. Jedoch werden beim Synthetic User Research die echten Nutzer durch KI-generierte Nutzer ersetzt, die Nutzerinteraktionen, Gedanken, Bedürfnisse und Erfahrungen simulieren.

Bild eines echten Nutzers im Hintergrund. Im Vordergrund ist der selbe Nutzer illustriert als Sinnbild für einen KI-generierten Nutzer.

Synthetische Nutzer simulieren echte Nutzergruppen

 

Die Vorteile von Synthetic User Research liegen auf der Hand: klassischer User Research ist zeitaufwändig, teuer und oft mit komplexer Rekrutierung verbunden. Synthetische Nutzer hingegen sind jederzeit verfügbar und können beliebig oft und lang befragt werden – ohne Incentives und Terminchaos. Zusätzlich können sogar künstliche Nutzer erstellt werden, die schwer erreichbare oder unterrepräsentierte Zielgruppen, wie medizinisches Fachpersonal und Menschen mit Migrationshintergrund simulieren. Fast zu schön, um wahr zu sein – doch bisher ist noch unklar, ob die Ergebnisse auch die Realität abbilden.

Wie erstellt man synthetische Nutzer?

Künstliche Nutzer können durch LLMs wie ChatGPT oder Claude mittels Prompts generiert werden. Zur Simulation eines Nutzers wird dabei das LLM aufgefordert eine bestimmte Person zu simulieren. Ein Beispiel für einen solchen Prompt ist folgender:

„Adopt the identity of {persona}. Answer the questions while staying in strict accordance with the nature of this identity.“ [1]

Der Platzhalter {persona} wird dann durch eine Beschreibung der zu simulierende Zielgruppe ersetzt. Beispielsweise für die Zielgruppe eines Online-Handyshops:

{Noah, a 27-year-old German, owns an Apple iPhone 15 with a contract for 50 GB data volume and unlimited calls and texts.}

Die Informationen, die in einer {persona} enthalten sind, können aus jeder Art von Informationen über persönliche Merkmale einer Person bestehen. Zum Beispiel dem Alter, Herkunft, Beruf, Bedürfnissen oder Anforderungen und Gefühlslagen.

Was wir untersucht haben

„Wie viele Informationen über eine Zielgruppe müssen mitgeben werden, um passende synthetische Nutzer zu erzeugen?“

Mit dieser Frage haben wir uns intensiver auseinandergesetzt und geschaut, welchen Einfluss die Menge an Hintergrundinformationen über eine Zielgruppe auf die Fähigkeit eines LLMs eine spezifische Zielgruppe zu simulieren hat. Dafür haben wir zwei synthetische Nutzer erstellt, die sich durch die Menge an Informationen über die zu simulierende Zielgruppe unterscheiden. Wir haben mit den beiden synthetischen Nutzern mehrfach dasselbe Interview zum Thema Handy und Vertragskauf durchgeführt und die Ergebnisse verglichen. Zur Bewertung der synthetisch generierten Daten haben wir zusätzlich Interviews mit realen Nutzern aus derselben Zielgruppe durchgeführt.

Drei Vergleichgruppe. Gruppe 1 und 2 sind synthetische Nutzer mit verschieden viel Hintergrundinformationen. Gruppe 3 sind echte Nutzer.

Vergleichsgruppen

Das haben wir herausgefunden

Unsere Studie zeigt: Synthetische Nutzer liefern inhaltlich konsistente und nachvollziehbare Antworten. Besonders auffällig ist, dass sie innerhalb eines Interviews nicht widersprüchlich argumentieren.

Je mehr Hintergrundinformationen im Prompt enthalten sind, desto ähnlicher und konsistenter werden die Antworten über verschiedene Durchläufe hinweg. Das bedeutet: Eine detailliertere Beschreibung der Zielgruppe hilft der KI dabei, die Rolle besser zu „verinnerlichen“ und bei mehrfacher Durchführung stabil in ihrer Rolle zu bleiben.

Interessanterweise zeigen sich inhaltlich aber kaum Unterschiede zwischen den synthetischen Nutzern mit viel und wenig Informationen. Die zentralen Aussagen bleiben gleich – die zusätzliche Information macht die Antworten nicht unbedingt besser, sondern vor allem konsistenter.

Am spannendsten ist nun wahrscheinlich, wie gut die synthetischen Daten zu den Ergebnissen aus den realen Daten passen. Ein Großteil der Aussagen der synthetischen Nutzer findet sich auch in den realen Nutzerinterviews wieder. Das unterstreicht, dass KI-generierte Nutzer durchaus in der Lage sind, typische Denk- und Verhaltensmuster einer Zielgruppe realistisch zu simulieren – zumindest in unserer Studie bei Interviews zum Thema Handy und Vertragskauf.

Wann lohnt sich der Einsatz?

Die Ergebnisse zeigen: Synthetic User Research kann ein nützliches Werkzeug sein – vor allem dann, wenn Zeit, Budget für klassischen Research fehlt und Annahmen getroffen werden müssen. In frühen Projektphasen helfen synthetische Nutzer dabei, erste Perspektiven auf Zielgruppen zu gewinnen und Hypothesen zu entwickeln.

Ein weiterer spannender Anwendungsfall ergibt sich aus der Beobachtung, dass synthetische Nutzer bei mehr Hintergrundinformationen konsistenter und verlässlicher antworten. Das eröffnet Potenziale für den späteren Projektverlauf: Wenn bereits viele Informationen über eine Zielgruppe vorliegen – etwa aus früheren Interviews, Umfragen oder Workshops – können diese gebündelt und in einen synthetischen Nutzer überführt werden. So wird vorhandenes Wissen nicht nur bewahrt, sondern durch den KI-Nutzer für andere im Team direkt nutzbar gemacht. Statt Personas als statisches Dokument abzulegen, können sie über eine KI basierte Persona zum Leben erweckt werden – häufig auch Living Persona genannt. Diese dynamische Form der Persona gibt bekannte Erkenntnisse zuverlässig wieder und ergänzt bei Bedarf plausible Annahmen. Richtig eingesetzt, können Living Personas so dabei helfen, Research-Ergebnisse im Projektteam präsent zu halten, Rückfragen zu beantworten oder Ideen frühzeitig aus Nutzerperspektive zu reflektieren – ohne auf die nächste Research Maßnahme warten zu müssen.

 

Das solltest du beachten

Wichtig ist dabei jedoch: Der Einsatz synthetischer Nutzer erfordert eine bewusste Abwägung. Einerseits bietet er die Chance, schnell und effizient zu Erkenntnissen zu kommen. Andererseits besteht immer ein Restrisiko, dass einzelne Aussagen nicht verlässlich sind. Besonders kritisch ist, dass sich ohne weitere Research Maßnahmen mit realen Nutzern kaum feststellen lässt, welche Aussagen tatsächlich valide sind – und welche womöglich auf Halluzinationen des Modells beruhen.

Synthetic User Research sollte daher nicht als Ersatz für klassischen Research verstanden werden, sondern als sinnvolle Ergänzung. Richtig eingesetzt, kann es dazu beitragen, kontinuierlich mit Nutzerperspektiven zu arbeiten – besonders dann, wenn klassische Methoden aus zeitlichen oder finanziellen Gründen gerade nicht umsetzbar sind.

5 Take-aways

1️⃣ Guter Output trotz wenig Input
Wenige Informationen über die Zielgruppe können ausreichen, um plausible Ergebnisse zu erzeugen.

2️⃣ Realitätsnah
Viele Aussagen decken sich mit denen realer Nutzerinterviews.

3️⃣ Einsatz zu Projektbeginn
Hilfreich zur Entwicklung von Hypothesen und zur Einarbeitung in eine Zielgruppe.

4️⃣ Wertvoll im Projektverlauf
Gesammeltes Wissen über die Zielgruppe kann mit Living Personas gebündelt und Projektteams besser zugänglich gemacht werden.

5️⃣ Kein Ersatz
Synthetic User Research ist eine sinnvolle Ergänzung – echte Nutzer bleiben jedoch unverzichtbar.

__

[1] Gupta, S.; Shrivastava, V.; Deshpande, A. et al.: Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs Ausgabe 2023.

🔒 Ihre Daten behandeln wir vertraulich. Wir melden uns werktags in der Regel innerhalb von wenigen Stunden zurück.