Wenn ich erzähle, dass ich fast wöchentlich Usability-Tests durchführe, fragen mich Kollegen aus der Internet-Branche häufig, woher ich denn die Probanden nehme, die daran teilnehmen. In diesem Artikel beschreibe ich mein Vorgehen – kostenlos, mit wenig Aufwand und trotzdem recht professionell.
Ich habe viele Menschen getroffen, die keine Usability-Tests durchführen, weil sie den Aufwand scheuen: Testpersonen rekrutieren, Test-Aufgaben vorbereiten, die Sitzung aufzeichnen und nachbereiten – das alles klingt nach viel Arbeit. Tatsächlich kann man diese Arbeit aber sehr stark reduzieren, ohne dass die Qualität dabei leiden muss. Wie mache ich das nun? Vor über einem Jahr stand ich selbst vor genau dieser Frage. Wir waren mit dem Produkt moviepilot an einem Punkt angekommen, wo wir unbedingt eine Aussensicht gebraucht haben. Die erste Version der Seite war online und wir wollten wissen, wie sie genutzt wird. Was funktioniert? Was machen die Besucher ganz anders als wir dachten?
Von Peter Hogenkamp hatte ich auf dem Barcamp Berlin 2 bereits gelernt, dass man nicht seine Freundin vor den Rechner bitten sollte, sondern z.B. den Kollegen der Freundin (Peters Folien: Der 30 Minuten Usabilitytest für jedermann). Steve Krug schlägt in seinem Buch „Don’t make me think“ (Probekapitel) ebenfalls diesen Weg vor. Allerdings klang das noch immer nach viel Arbeit für mich. Soll ich meinen ganzen Freundeskreis bitten, ihren Kollegen auf die Nerven zu gehen? Um so einen Gefallen wollte ich sie nicht bitten.
Vier Dinge waren mir wichtig:
- Die Probanden müssen potentielle Nutzer sein. Für moviepilot hiess das, sie müssen sich für Film interessieren.
- Die Probanden müssen gut durchmischt sein. Für moviepilot wollte ich z.B. Nutzer, Nicht-Nutzer, Junge, Alte, Frauen, Männer, DVD-Käufer, Kinogänger, Filesharing-Nutzer, usw. Damit wollte ich einerseits Verzerrungen ausgleichen, andererseits konnte ich so unterschiedliche Anwendungsfälle und Szenarien testen.
- Die Probanden-Rekrutierung darf nur wenig Arbeit machen und soll zuverlässig jede Woche funktionieren.
- Es soll nichts oder nur sehr wenig kosten.
Wenn ich einfach eine E-Mail an den Studentenverteiler einer Film-Universität geschickt hätte, hätte ich sicher kurzfristig Probanden finden können. Allerdings wären sie alle recht ähnlich und man kann auch nicht jede Woche einen Mailverteiler zumüllen.
Schließlich hatte ich die Idee, einen zweistufiges Rekrutierungsverfahren aufzubauen:
- Für die Teilnahme werben und einen Pool an Probanden aufbauen
- Probanden auswählen und einladen
Um dieses Verfahren umzusetzen, musste ich nur eine kleine Website online zu stellen, auf der sich Interessierte eintragen konnten. Die Seite hatte eine einfache URL und bestand praktisch nur aus dem Formular, einer kleinen Erklärung und dem Impressum. Auf einem einfachen PHP-Server installierte ich dafür das kostenlose Umfragetool LimeSurvey. Der Vorteil dieses Programms bestand darin, dass man als Administrator schon online seine Probandengruppe auswählen kann. Nachteilig war, dass das Backend etwas gewöhnungsbedürftig zu bedienen ist. Es bräuchte auch mal ein paar Usability-Tests! Ich entdeckte aber, dass LimeSurvey ein exzellentes Tool auch für anspruchsvolle Online-Befragungen ist. Sogar eine Exportmöglichkeit für SPSS ist vorhanden. Als Alternative für die einfache Probanden-Rekrutierung würde ich heute evtl. Google Docs empfehlen, mit dem man einfach Formulare generieren kann, die dann direkt eine Spreadsheet-Tabelle befüllen.
Welche Fragen kommen ein das Eintragungs-Formular?
- Demografische Basisfragen wie Geschlecht und Alter
- Fragen zur Internetnutzung. Ein gutes Vorbild dafür ist die ARD/ZDF-Onlinestudie.
- Spezifische Fragen zum Thema. Bei moviepilot waren beispielsweise der Filmkonsum und die Kanäle sehr wichtig.
- Fragen zur Bekanntheit und Nutzung des Angebots und der Wettbewerber
- Kontaktdaten: E-Mail Adresse und Handynummer (!)
Nun konnte ich den Link zum Anmelde-Formular bewerben. Dafür verwendete ich den kurzen Satz „2 Kinogutscheine für Teilnahme an Filmbefragung“ und dann folgte der Link zur Mini-Website.
Diese Botschaft verbreitete ich auf folgenden Wegen:
- E-Mail-Verteiler, vor allem von Universitäten in meiner Stadt (findet man auf den Fachschaftsseiten der Studiengänge).
- Kijiji.de und andere Kleinanzeigen-Websites.
- Kleinanzeigen in der regionalen Presse.
- Social Networking Dienste wie Twitter und Facebook.
Außer dem Angebot in einem Satz gab ich keine Erklärung, denn dafür war ja die Mini-Website da.
Mein Ziel war es, für einen Termin in einer Woche vier Probanden zu finden. Nach einem Tag hatten sich bereits mehr als 50 Personen als Probanden eingetragen. So war der Test-Tag gesichert.
Der Vorteil dieser zweistufigen Methode wurde jetzt so richtig deutlich. Die eingetragenen Interessenten konnte ich zu einem späteren Zeitpunkt direkt anschreiben, ohne erneut Werbung für die Mini-Website machen zu müssen.
Im ersten Usability-Tests wollte ich die wichtigsten Einstiegsseiten und den Registrierungsprozess testen. Deshalb wählte ich in LimeSurvey nur die Leute aus, die angegeben hatten, dass sie moviepilot nicht kannten. Außerdem wollte ich mit Film-affinen Menschen sprechen und filterte nur diejenigen heraus, die mindestens einmal im Monat ins Kino gingen. Beides hatteich im Eintragungsformular abgefragt. Die verbleibenden Fragebögen exportierte ich im Excel-Format auf meinen Rechner. Dann verfasste ich eine Einladungsmail an mich selbst und setzte alle potentiellen Probanden in BCC (Blindkopie). Bei weniger als 20 Adressen funktioniert das noch recht gut, wenn es mehr sind muss man ein Newsletter-Tool verwenden (mehr darüber mal in einem anderen Artikel).
Auch die E-Mail-Einladung war knapp geschrieben, enthielt aber alle wichtigen Angaben:
- Was: Einladung zur Filmbefragung (ich habe es absichtlich nicht Usability-Test genannt)
- Warum: 2 Kinogutscheine kriegen, helfen
- Wann: Absolutes Datum mit Wochentag (nie relative Angaben wie „morgen“ machen!). Auch die geschätzte Dauer mit angeben.
- Wo: Komplette Adresse mit Stadtteil und Link zu einem Stadtplan-Ausschnitt (z.B. Google Maps). Ggf. mit genaueren Hinweisen zu Klingel und Eingang („In der 2. Durchfahrt, 3.OG“)
- Wie: „Antworten Sie auf diese E-Mail, ob Sie kommen können und welche 2 Termine für Sie passen.“ Ich habe sogar einen Antwortabschnitt als Text ans Ende der Mail geschrieben, den die Empfänger nur „ankreuzen“ mussten:
( ) Ja, ich nehme teil oder ( ) Nein, ich nehme nicht teil. Ich kann zu folgenden Terminen: _____ oder _____
So vergas keiner die Uhrzeiten mit anzugeben.
- Wer: Geschäftlicher E-Mail-Footer mit Name, Position, Firma und Telefonnummer
- Abbestellen: Ein Hinweis, dass man sich jederzeit austragen lassen kann
Nach meiner Erfahrung antworten 10-30% auf diese E-Mail, vor allem wenn sie nie zuvor angeschrieben wurden. Die meisten dieser Antworten sind hoffentlich Zusagen. 🙂 Nun sage ich telefonisch denjenigen zu, die in meine Zeitfenster passen. Im Telefonat können offene Fragen geklärt werden und es hilft, die Nichterscheinung (No-Show-Rate) gering zu halten und offene Fragen zu klären (man sollte aber noch nichts Inhaltliches über den Usability-Test erzählen). Ich beende das Gespräch immer mit dem Satz: „Ich rechne nun damit, dass Sie kommen. Falls sie doch nicht können, sagen Sie mir bitte ab.“ Wenn ich alle Termine voll habe, sage ich allen anderen, die geantwortet haben, per E-Mail ab.
Die No-Show-Rate lässt sich noch weiter reduzieren, wenn man am Tag vor dem Test noch einmal jeden Probanden anruft. Marty Cagan berichtet in seinem Buch „Inspired“ (Buch-Preisvergleich), dass dann statt 50% nur 5-10% der Leute nicht auftauchen. Auch in meiner Zeit bei moviepilot habe ich diesen Effekt festgestellt.
Der Usability-Test kann nun durchgeführt werden. Wenn die Rekrutierung soweit aufgebaut ist, dann genügt es monatlich den Link zur Mini-Website zu bewerben und eine Woche vor jedem Test sich Probanden heraus zu suchen. Mit standardisierten E-Mails und den Telefonnummern der Teilnehmer sollte das nicht mehr als 1 Stunde dauern.
So hat sich das basteln einer kleinen Website bis heute als nützlich zur Rekrutierung von Test-Personen für Usability-Tests erwiesen.
Wie sind eure Erfahrungen mit der Rekrutierung von Test-Personen? Schreibt eure Probleme und Tipps in die Kommentare.