User Testing: Saskia und Katrin erklären die Grundlagen
Was bringt ein User Test (auch: Usability Test), wie führe ich ihn durch und was muss ich dabei beachten? Ich habe mit meinen beiden Kolleginnen Saskia und Katrin gesprochen, beide UX-Konzepterinnen bei hello x, um dir mit diesem Blogpost den Nutzen eines richtig gemachten User Testings ans Herz zu legen.
Florian Schmetz
21/12/2022
User Testing | Usability Test | UX Analyse
Grundlegendes zum User Testing
Florian: Was bedeutet User Testing?
Katrin: Als Konzepterin und UX-Designerin ist man verantwortlich für die Bedienbarkeit, das Look and Feel und das Nutzungserlebnis eines Produktes, einer Software oder eines (digitalen) Services. Dabei gilt der Grundsatz: Ich bin nicht mein User, d.h. ich konzipiere nicht nach meinen persönlichen Anforderungen.
Deshalb sollte man gleich zu Anfang, mittendrin, kurz vor Abschluss – also am besten durchaus häufiger – die potenzielle Zielgruppe mit einbeziehen und befragen. So stellen wir einen belastbaren Erkenntnisgewinn zu einem frühen Zeitpunkt sicher, damit unser Produkt nachher auch eine hohe Akzeptanz und zufriedene User findet.
Ein User Test ist also eine Echtzeit-Überprüfung und Bewertung durch tatsächliche Nutzer:innen. Das heißt, User Testing verspricht im besten Fall – oder sagen wir im Idealfall – schonungslos ehrliches Feedback und damit die Möglichkeit auf durchdachte Adaptationen meines Produkts. Das erspart auch Zeit und Geld. Spät herauszufinden, dass man die Anforderungen der Nutzer:innen nicht trifft, ist immer aufwändiger und teurer.
weiterlesen
Florian: Gibt es unterschiedliche Formen des User Testings?
Saskia: Es gibt zum einen das unmoderierte oder unbegleitete User Testing als Variante, bei der die User ohne Assistenz auf ein Produkt losgelassen werden und im Nachgang entweder befragt werden oder ihre Eindrücke schriftlich dokumentieren. Das heißt, die User bekommen konkrete Instruktionen und führen den Test dann eigenständig durch.
Demgegenüber gibt es das moderierte User Testing, bei dem ich durchgängig beobachte, was die Testperson gerade tut. Der Vorteil der begleiteten Variante liegt auch darin, dass wir dabei Dinge beobachten, die den Usern selbst unter Umständen gar nicht auffallen, oder die sie nicht als wichtig erachten.
Katrin: Zudem können wir zwischendurch eingreifen und ggf. die Richtung nachjustieren.
Saskia: Bei unbegleiteten User Tests wiederum ergibt sich die Schwierigkeit, dass man Ernsthaftigkeit und auch Motivation der User nicht wirklich beurteilen kann. Mitunter scheitert es dabei schon daran, dass die Testenden gar nicht in Gänze die vereinbarten Tests durchführen und sich somit kein vollständiges Bild zeichnen lässt.
Katrin: Beim begleiteten User Testing erfolgt in der Regel eine Art Schulterblick. Das bedeutet, dass ich als Moderatorin den Testenden bei ihrer Interaktion mit dem Produkt so über die Schulter schauen kann, dass ich sehe, wie sie damit interagieren. Zugleich muss ich aber auch die Mimik verfolgen können. Das lässt sich bei einem digitalen Produkt leicht via Screensharing und Webcam auf zweitem Monitor gut abbilden. In der Pandemie-Zeit gab es ohnehin keine Alternative zum Remote User Testing und ein anderer Vorteil hierbei liegt natürlich auch in den geringeren Kosten.
Florian: Qualitatives oder Quantitatives User Testing. Wo ist der wesentliche Unterschied?
Katrin: Quantitatives Testing erfordert eine Vielzahl von Usern, damit ich statistisch belastbare Zahlen erhalte. Hier ist mein Ergebnis also eine eindeutige Kennzahl im Gegensatz zu “Indizien”, die aus Beobachtungen und dem direkten Austausch mit den Testteilnehmenden resultieren.
Florian: Somit kann man also Google Analytics auch als eine Form des quantitativen User Testings definieren? Wobei hier dann nicht immer klar ist, woran es liegt, dass 90 von 100 Leuten zum Beispiel an einer Stelle abspringen. Hier interpretiert man und kann bestenfalls eine Hypothese aufstellen, kleinere Änderungen vornehmen, die dann nach einem gewissen Zeitraum wieder mit der gleichen Kennzahl überprüft werden.
Saskia: Ja genau. Quantitatives User Testing zeigt also Probleme auf, liefert alleine aber keine Erklärung. Idealerweise hat man einen Vergleichswert. Wenn die eine oder die andere Lösung bessere Zahlen liefert, ist die Entscheidung leicht.
Das Ziel von User Tests
Florian: Bringen wir es also nochmal auf den Punkt. Was bringt mir also User Testing?
Katrin: In der Konzeption treffen wir gewisse Annahmen für Zielgruppen. Wir stellen Hypothesen auf. Diese gilt es frühzeitig aber im Idealfall auch kontinuierlich zu validieren oder zu widerlegen und so das Produkt entsprechend für die Zielgruppe zu optimieren. Haben wir unsere Aufgaben erfüllt und uns so gut mit unseren Annahmen an die Zielgruppen angepasst, dass es funktionieren wird? Kommen die User einfach von A nach B? Verstehen sie, wie sie das Produkt bedienen sollen? Diese Fragen überprüfen wir und das können wir auch im Live-Betrieb immer noch wiederholen, um weiter zu optimieren. In einem frühen Stadium würde ich das User Testing als „Proof of concept“ definieren.
Typische Probleme und Herausforderungen
Florian: Welche typischen Probleme ergeben sich bei User Tests? Habt ihr Tipps?
Saskia: Die Testsituation ist und bleibt unnatürlich. Man sollte darauf achten, die eigentlich unnatürliche Testsituation möglichst natürlich und entspannt erscheinen zu lassen. Das kann man zum Beispiel durch die Einleitung mit vergleichbaren Worten schaffen: „Du kannst nichts falsch machen…es geht hier ausschließlich um das Produkt“. Zudem ist es wichtig, wie vorhin erwähnt, die Szenarien möglichst allgemein zu halten und so zu schreiben, dass die Teilnehmenden sich damit identifizieren können.
Ein anderer wichtiger Aspekt ist, als Moderatorin immer neutral zu bleiben und sich zurückhalten. Manchmal ist man versucht, etwas anzustupsen, vor allem, wenn die User scheinbar ein Problem nicht lösen können. Hier gilt es, das erstmal auszuhalten. Außerdem sollte man sich als Moderatorin immer unbefangen verhalten und nicht anfangen, das Produkt zu verteidigen, wenn ein User Kritik äußert.
weiterlesen
Katrin: Ja, das ist ein wichtiger Aspekt. Das kann in beide Richtungen schwierig sein. Kulturelle Hintergründe können umgekehrt dazu führen, dass User sehr höflich sind und ungerne Kritik äußern. Hier sollte man sich nicht verleiten lassen und davon ausgehen, dass diese User einschränkungslos begeistert sind. Vor allem ist es wichtig, persönliche Emotionen außen vor zu lassen. Neutralität ist für die Moderierenden unabdingbar, auch wenn man selbst das Produkt mit verantwortet und somit natürlich lieber positives Feedback erhalten würde.
Ein weiterer guter Tipp ist die Think-Aloud Methode, sie liefert wertvolle Erkenntnisse. Wir wollen ja nicht nur beobachten, was die User tun, sondern wir wollen auch verstehen, warum sie es tun und was dabei in ihnen vorgeht. Darum gibt es im Briefing bereits die Instruktion: „Beschreibe was du siehst, tust und denkst.“ Das hilft dabei, das Verständnis für die Probleme der User zu vertiefen.
Saskia: Primer-Fragen helfen zusätzlich. Diese einleitende Fragen sind hilfreich, um die Teilnehmenden selbst und auch das Testgeschehen einzuordnen. Wir kennen die individuellen Kenntnisse und Voraussetzungen zu Beginn noch nicht. Bei einem digitalen Produkt erlauben Fragen „Wie gut kennst du dich grundsätzlich mit digitalen Medien aus?“ oder „Wie erfahren bist du im Umgang mit der Software xy?“ eine bessere Einordnung von auftretenden Problemen der User während des Tests.
Organisation und Ablauf
Florian: Wie ist der Ablauf inklusive der Vorbereitung?
Katrin: Die Vorbereitung ist wie immer das A und O. Zunächst muss natürlich definiert werden, was genau überprüft werden soll. Daraus ergibt sich die Art des Tests. Ggf. spielen äußere Bedingungen hier stark mit rein. Allen voran ist die Rekrutierung der jeweiligen Zielgruppe entscheidend – also die Frage; wie komme ich an die Leute?
Bei international ausgerichteten Produkten oder Projekten spricht dann natürlich vieles schon für eine Remote-Lösung.
Zunächst muss man sich überlegen, wie viele User man einbezieht. Bei 5-8 Proband:innen ist davon auszugehen, dass man schon mindestens 80% der potenziellen Probleme eines Produkts aufdecken kann.
weiterlesen
Im Anschluss muss das Szenario definiert werden, da man in der Regel nicht das gesamte Produkt testen lässt, sondern nur gewisse Aspekte oder im Falle einer Website z.B. die Hauptpfade. Außerdem überlegt man vorab, auf welche Stellen mit hoher Komplexität man die User gezielt lenken kann. Beispielsweise kann das ein Registrierungsprozess, ein Formular oder eine Bestellstrecke in einem digitalen Produkt sein.
Saskia: Empfehlenswert sind anfängliche Warmup-Fragen zur Einordnung der jeweiligen User. Leichte Fragen zu Beginn schaffen erstmal eine angenehme Gesprächsatmosphäre und nehmen den Proband:innen die Aufregung, die mitunter zu erkennen ist.
Florian: Wie komme ich an die Leute?
Katrin: Ein Stück weit hängt das immer vom Produkt ab. Für die Rekrutierung von Proband:innen gibt es unterschiedliche Wege. Grundsätzlich sollten Anreize gesetzt werden. Ist keine Motivation bei den Usern vorhanden, wird höchstwahrscheinlich kein gutes Ergebnis erzielt. Das Minimum sind Snacks für die Bewirtung, wenn meine User vor Ort präsent sind. Es gibt spezielle Dienstleister oder Agenturen, die über große Datenbanken von potentiellen Proband:innen verfügen. Ansonsten hilft erstmal das eigene Umfeld. Wobei hier keine vorherigen Berührungspunkte zum Produkt vorhanden sein sollten, und idealerweise keine direkten Bekanntschaften zu den Moderator:innen.
Saskia: In anderen Fällen – beispielsweise bei der Einführung eines Social Intranet – ist es wiederum vielleicht gar nicht nötig, zusätzliche Anreize zu setzen. Man kann meistens davon ausgehen, dass sich hier genug Leute finden werden, die ein eigenes Interesse mitbringen, das Intranet zum Erfolg zu machen. Wenn ich ein digitales Produkt testen möchte, für das ich mir die genau passenden Proband:innen rekrutiert habe, sollte ich auch davon ausgehen können, dass diese ein grundsätzliches Interesse an meinem Produkt haben, schließlich möchte ich sie ja später auch als echte Nutzer:innen gewinnen.
F: Danke euch beiden!