Wie man Testpersonen für Usability-Tests bekommt – kostenlos, einfach und professionell

Wenn ich erzähle, dass ich fast wöchentlich Usability-Tests durchführe, fragen mich Kollegen aus der Internet-Branche häufig, woher ich denn die Probanden nehme, die daran teilnehmen. In diesem Artikel beschreibe ich mein Vorgehen – kostenlos, mit wenig Aufwand und trotzdem recht professionell.

Ich habe viele Menschen getroffen, die keine Usability-Tests durchführen, weil sie den Aufwand scheuen: Testpersonen rekrutieren, Test-Aufgaben vorbereiten, die Sitzung aufzeichnen und nachbereiten – das alles klingt nach viel Arbeit. Tatsächlich kann man diese Arbeit aber sehr stark reduzieren, ohne dass die Qualität dabei leiden muss. Wie mache ich das nun? Vor über einem Jahr stand ich selbst vor genau dieser Frage. Wir waren mit dem Produkt moviepilot an einem Punkt angekommen, wo wir unbedingt eine Aussensicht gebraucht haben. Die erste Version der Seite war online und wir wollten wissen, wie sie genutzt wird. Was funktioniert? Was machen die Besucher ganz anders als wir dachten?

Von Peter Hogenkamp hatte ich auf dem Barcamp Berlin 2 bereits gelernt, dass man nicht seine Freundin vor den Rechner bitten sollte, sondern z.B. den Kollegen der Freundin (Peters Folien: Der 30 Minuten Usabilitytest für jedermann). Steve Krug schlägt in seinem Buch „Don’t make me think“ (Probekapitel) ebenfalls diesen Weg vor. Allerdings klang das noch immer nach viel Arbeit für mich. Soll ich meinen ganzen Freundeskreis bitten, ihren Kollegen auf die Nerven zu gehen? Um so einen Gefallen wollte ich sie nicht bitten.

Vier Dinge waren mir wichtig:

  1. Die Probanden müssen potentielle Nutzer sein. Für moviepilot hiess das, sie müssen sich für Film interessieren.
  2. Die Probanden müssen gut durchmischt sein. Für moviepilot wollte ich z.B. Nutzer, Nicht-Nutzer, Junge, Alte, Frauen, Männer, DVD-Käufer, Kinogänger, Filesharing-Nutzer, usw. Damit wollte ich einerseits Verzerrungen ausgleichen, andererseits konnte ich so unterschiedliche Anwendungsfälle und Szenarien testen.
  3. Die Probanden-Rekrutierung darf nur wenig Arbeit machen und soll zuverlässig jede Woche funktionieren.
  4. Es soll nichts oder nur sehr wenig kosten.

Wenn ich einfach eine E-Mail an den Studentenverteiler einer Film-Universität geschickt hätte, hätte ich sicher kurzfristig Probanden finden können. Allerdings wären sie alle recht ähnlich und man kann auch nicht jede Woche einen Mailverteiler zumüllen.

Schließlich hatte ich die Idee, einen zweistufiges Rekrutierungsverfahren aufzubauen:

  1. Für die Teilnahme werben und einen Pool an Probanden aufbauen
  2. Probanden auswählen und einladen

Um dieses Verfahren umzusetzen, musste ich nur eine kleine Website online zu stellen, auf der sich Interessierte eintragen konnten. Die Seite hatte eine einfache URL und bestand praktisch nur aus dem Formular, einer kleinen Erklärung und dem Impressum. Auf einem einfachen PHP-Server installierte ich dafür das kostenlose Umfragetool LimeSurvey. Der Vorteil dieses Programms bestand darin, dass man als Administrator schon online seine Probandengruppe auswählen kann. Nachteilig war, dass das Backend etwas gewöhnungsbedürftig zu bedienen ist.  Es bräuchte auch mal ein paar Usability-Tests! Ich entdeckte aber, dass LimeSurvey ein exzellentes Tool auch für anspruchsvolle Online-Befragungen ist. Sogar eine Exportmöglichkeit für SPSS ist vorhanden. Als Alternative für die einfache Probanden-Rekrutierung würde ich heute evtl. Google Docs empfehlen, mit dem man einfach Formulare generieren kann, die dann direkt eine Spreadsheet-Tabelle befüllen.

Welche Fragen kommen ein das Eintragungs-Formular?

  • Demografische Basisfragen wie Geschlecht und Alter
  • Fragen zur Internetnutzung. Ein gutes Vorbild dafür ist die ARD/ZDF-Onlinestudie.
  • Spezifische Fragen zum Thema. Bei moviepilot waren beispielsweise der Filmkonsum und die Kanäle sehr wichtig.
  • Fragen zur Bekanntheit und Nutzung des Angebots und der Wettbewerber
  • Kontaktdaten: E-Mail Adresse und Handynummer (!)

Nun konnte ich den Link zum Anmelde-Formular bewerben. Dafür verwendete ich den kurzen Satz „2 Kinogutscheine für Teilnahme an Filmbefragung“ und dann folgte der Link zur Mini-Website.

Diese Botschaft verbreitete ich auf folgenden Wegen:

  • E-Mail-Verteiler, vor allem von Universitäten in meiner Stadt (findet man auf den Fachschaftsseiten der Studiengänge).
  • Kijiji.de und andere Kleinanzeigen-Websites.
  • Kleinanzeigen in der regionalen Presse.
  • Social Networking Dienste wie Twitter und Facebook.

Außer dem Angebot in einem Satz gab ich keine Erklärung, denn dafür war ja die Mini-Website da. 

Mein Ziel war es, für einen Termin in einer Woche vier Probanden zu finden. Nach einem Tag hatten sich bereits mehr als 50 Personen als Probanden eingetragen. So war der Test-Tag gesichert.

Der Vorteil dieser zweistufigen Methode wurde jetzt so richtig deutlich. Die eingetragenen Interessenten konnte ich  zu einem späteren Zeitpunkt direkt anschreiben, ohne erneut Werbung für die Mini-Website machen zu müssen.

Im ersten Usability-Tests wollte ich die wichtigsten Einstiegsseiten und den Registrierungsprozess testen. Deshalb wählte ich in LimeSurvey nur die Leute aus, die angegeben hatten, dass sie moviepilot nicht kannten. Außerdem wollte ich mit Film-affinen Menschen sprechen und filterte nur diejenigen heraus, die mindestens einmal im Monat ins Kino gingen. Beides hatteich im Eintragungsformular abgefragt. Die verbleibenden Fragebögen exportierte ich im Excel-Format auf meinen Rechner. Dann verfasste ich eine Einladungsmail an mich selbst und setzte alle potentiellen Probanden in BCC (Blindkopie). Bei weniger als 20 Adressen funktioniert das noch recht gut, wenn es mehr sind muss man ein Newsletter-Tool verwenden (mehr darüber mal in einem anderen Artikel).

Auch die E-Mail-Einladung war knapp geschrieben, enthielt aber alle wichtigen Angaben: 

  • Was: Einladung zur Filmbefragung (ich habe es absichtlich nicht Usability-Test genannt)
  • Warum: 2 Kinogutscheine kriegen, helfen
  • Wann: Absolutes Datum mit Wochentag (nie relative Angaben wie „morgen“ machen!). Auch die geschätzte Dauer mit angeben.
  • Wo: Komplette Adresse mit Stadtteil und Link zu einem Stadtplan-Ausschnitt (z.B. Google Maps). Ggf. mit genaueren Hinweisen zu Klingel und Eingang („In der 2. Durchfahrt, 3.OG“)
  • Wie: „Antworten Sie auf diese E-Mail, ob Sie kommen können und welche 2 Termine für Sie passen.“ Ich habe sogar einen Antwortabschnitt als Text ans Ende der Mail geschrieben, den die Empfänger nur „ankreuzen“ mussten:
    (  ) Ja, ich nehme teil oder 
    ( ) Nein, ich nehme nicht teil. 
    Ich kann zu folgenden Terminen: _____ oder _____
    

    So vergas keiner die Uhrzeiten mit anzugeben.

  • Wer: Geschäftlicher E-Mail-Footer mit Name, Position, Firma und Telefonnummer
  • Abbestellen: Ein Hinweis, dass man sich jederzeit austragen lassen kann

Nach meiner Erfahrung antworten 10-30% auf diese E-Mail, vor allem wenn sie nie zuvor angeschrieben wurden. Die meisten dieser Antworten sind hoffentlich Zusagen. 🙂 Nun sage ich telefonisch denjenigen zu, die in meine Zeitfenster passen. Im Telefonat können offene Fragen geklärt werden und es hilft, die Nichterscheinung (No-Show-Rate) gering zu halten und offene Fragen zu klären (man sollte aber noch nichts Inhaltliches über den Usability-Test erzählen). Ich beende das Gespräch immer mit dem Satz: „Ich rechne nun damit, dass Sie kommen. Falls sie doch nicht können, sagen Sie mir bitte ab.“ Wenn ich alle Termine voll habe, sage ich allen anderen, die geantwortet haben, per E-Mail ab.

Die No-Show-Rate lässt sich noch weiter reduzieren, wenn man am Tag vor dem Test noch einmal jeden Probanden anruft. Marty Cagan berichtet in seinem Buch „Inspired“ (Buch-Preisvergleich), dass dann statt 50% nur 5-10% der Leute nicht auftauchen. Auch in meiner Zeit bei moviepilot habe ich diesen Effekt festgestellt.

Der Usability-Test kann nun durchgeführt werden. Wenn die Rekrutierung soweit aufgebaut ist, dann genügt es monatlich den Link zur Mini-Website zu bewerben und eine Woche vor jedem Test sich Probanden heraus zu suchen. Mit standardisierten E-Mails und den Telefonnummern der Teilnehmer sollte das nicht mehr als 1 Stunde dauern.

So hat sich das basteln einer kleinen Website bis heute als nützlich zur Rekrutierung von Test-Personen für Usability-Tests erwiesen.

Wie sind eure Erfahrungen mit der Rekrutierung von Test-Personen? Schreibt eure Probleme und Tipps in die Kommentare.

Kino-Freikarten und DVDs verdienen bei Filmbefragung.de

Wer bei Filmbefragung.de bei einer Umfrage bzw. Interview mitmacht, erhält als Dankeschön Kinotickets oder DVD-Filme.
Wer hat Lust hat mitzumachen kann sich schon mal hier unverbindlich eintragen: www.filmbefragung.de. Dauert auch nicht lange. Die Einladung zur Befragung kommt dann per E-Mail.

Disclaimer: Die Befragung wird von meinem Arbeitgeber moviepilot durchgeführt und dient ausschließlich der Verbesserung der moviepilot-Website.

Kostenlose Gutscheine für Online-Shops

Online-Shop Gutscheine

Gutscheine finde ich eine angenehme Form der Werbung. Gerade Online-Shops können sie helfen, den Medienbruch zwischen Print-Werbung und Online-Einkauf zu überwinden. Inzwischen bekomme ich mit jeder Sendung aus Online-Shops Gutscheine für andere Shops dazu. Erfahrungsgemäß werden die Gutscheine nur sehr selten eingelöst und sind so eine sehr günstige Form der Neukundengewinnung.
Kostenlose Gutscheine für Online-Shops weiterlesen

Helvetica: Dokumentation über die berühmte Schriftart

Lange wurde dieser Film erwartet, nun ist er endlich verfügbar. Zwar nicht frei im Netz, wie ich zuerst annahm, aber im Handel, z.B. bei Amazon: „Helevetica – der Film“. Der Film dauert 1:22h.

Die Dokumentation zur Helvetica ist nicht nur für Designer empfehlenswert, sondern für alle interessierten Hobby-Typographen.

Die Bedeutung der Helvetica ist wirklich aussergewöhnlich, wie ich im Seminar Mediengestaltung gelernt habe. Dort habe ich ein Referat über die Helvetica gehalten, dessen Bilder ich bei dieser Gelegenheit mal als Powerpoint online stelle:

SlideShare | View | Upload your own

(Film-Tipp via Russ, der übrigens neulich mit seinem mowser-Projekt in der c’t war)

Wieder im Trend: Dinge Schnorren und Verschenken

freecycle logo

eine Beliebte Rubrik in der Zweiten Hand ist die Nr. 6815: „Verschenke“. Was man nicht mehr braucht, kann man so los werden – andere freuen sich darüber.

Warum sollte man die kostenlose Warenabgabe nicht ins Internet übertragen?

Nachdem einige Tausch– und Verschenknetzwerke schon im Jahr 2001 wieder zu gemacht haben, bekommt nun das Verschenk-Netzwerk freecycle immer mehr Zulauf. Weltweit 2.457 Communities mit 985.660 Mitgliedern zählt das Netzwerk bis heute.

Es gibt auch eine freecycle-Yahoogroup für Berlin. Ich habe den RSS-Feed des Berliner Verschenknetzwerks mal ein paar Tage beobachtet. Es war ordentlich was los, sowohl in der „BIETE:“-, als auch in der „SUCHE:“-Rubrik. Habe aber bisher nichts gebraucht. 😉

Ein Freund von mir, der in London lebt, hat aber darüber bereits kostenlos einen Fernseher, einen Drucker und einen Videorecorder besorgt. Dann nehme ich den Feed mal wieder in meinen Blogroll auf.

Merkwürdig an dieser angeblichen „grassroots-Bewegung“ ist das Trademark-Zeichen (TM) am Logo und Gerüchte um eine straffe, zentralistische Organisation des Netzwerks und andere Verschwörungstheorien.

Davon ist bei den Berlinern nichts zu spüren, Caroline freut sich einfach über Presseberichte und die vielen neuen Mitglieder.