Ich habe viele Menschen getroffen, die keine Usability-Tests durchführen, weil sie den Aufwand scheuen: Testpersonen rekrutieren, Test-Aufgaben vorbereiten, die Sitzung aufzeichnen und nachbereiten – das alles klingt nach viel Arbeit. Tatsächlich kann man diese Arbeit aber sehr stark reduzieren, ohne dass die Qualität dabei leiden muss. Wie mache ich das nun? Vor über einem Jahr stand ich selbst vor genau dieser Frage. Wir waren mit dem Produkt moviepilot an einem Punkt angekommen, wo wir unbedingt eine Aussensicht gebraucht haben. Die erste Version der Seite war online und wir wollten wissen, wie sie genutzt wird. Was funktioniert? Was machen die Besucher ganz anders als wir dachten?

Von Peter Hogenkamp hatte ich auf dem Barcamp Berlin 2 bereits gelernt, dass man nicht seine Freundin vor den Rechner bitten sollte, sondern z.B. den Kollegen der Freundin (Peters Folien: Der 30 Minuten Usabilitytest für jedermann). Steve Krug schlägt in seinem Buch “Don’t make me think” (Probekapitel) ebenfalls diesen Weg vor. Allerdings klang das noch immer nach viel Arbeit für mich. Soll ich meinen ganzen Freundeskreis bitten, ihren Kollegen auf die Nerven zu gehen? Um so einen Gefallen wollte ich sie nicht bitten.

Vier Dinge waren mir wichtig:

1. Die Probanden müssen potentielle Nutzer sein. Für moviepilot hiess das, sie müssen sich für Film interessieren.
2. Die Probanden müssen gut durchmischt sein. Für moviepilot wollte ich z.B. Nutzer, Nicht-Nutzer, Junge, Alte, Frauen, Männer, DVD-Käufer, Kinogänger, Filesharing-Nutzer, usw. Damit wollte ich einerseits Verzerrungen ausgleichen, andererseits konnte ich so unterschiedliche Anwendungsfälle und Szenarien testen.
3. Die Probanden-Rekrutierung darf nur wenig Arbeit machen und soll zuverlässig jede Woche funktionieren.
4. Es soll nichts oder nur sehr wenig kosten.

Wenn ich einfach eine E-Mail an den Studentenverteiler einer Film-Universität geschickt hätte, hätte ich sicher kurzfristig Probanden finden können. Allerdings wären sie alle recht ähnlich und man kann auch nicht jede Woche einen Mailverteiler zumüllen.

Schließlich hatte ich die Idee, einen zweistufiges Rekrutierungsverfahren aufzubauen:

1. Für die Teilnahme werben und einen Pool an Probanden aufbauen
2. Probanden auswählen und einladen

Um dieses Verfahren umzusetzen, musste ich nur eine kleine Website online zu stellen, auf der sich Interessierte eintragen konnten. Die Seite hatte eine einfache URL und bestand praktisch nur aus dem Formular, einer kleinen Erklärung und dem Impressum. Auf einem einfachen PHP-Server installierte ich dafür das kostenlose Umfragetool LimeSurvey. Der Vorteil dieses Programms bestand darin, dass man als Administrator schon online seine Probandengruppe auswählen kann. Nachteilig war, dass das Backend etwas gewöhnungsbedürftig zu bedienen ist.  Es bräuchte auch mal ein paar Usability-Tests! Ich entdeckte aber, dass LimeSurvey ein exzellentes Tool auch für anspruchsvolle Online-Befragungen ist. Sogar eine Exportmöglichkeit für SPSS ist vorhanden. Als Alternative für die einfache Probanden-Rekrutierung würde ich heute evtl. Google Docs empfehlen, mit dem man einfach Formulare generieren kann, die dann direkt eine Spreadsheet-Tabelle befüllen.

Welche Fragen kommen ein das Eintragungs-Formular?

• Demografische Basisfragen wie Geschlecht und Alter
• Fragen zur Internetnutzung. Ein gutes Vorbild dafür ist die ARD/ZDF-Onlinestudie.
• Spezifische Fragen zum Thema. Bei moviepilot waren beispielsweise der Filmkonsum und die Kanäle sehr wichtig.
• Fragen zur Bekanntheit und Nutzung des Angebots und der Wettbewerber
• Kontaktdaten: E-Mail Adresse und Handynummer (!)

Nun konnte ich den Link zum Anmelde-Formular bewerben. Dafür verwendete ich den kurzen Satz “2 Kinogutscheine für Teilnahme an Filmbefragung” und dann folgte der Link zur Mini-Website.

Diese Botschaft verbreitete ich auf folgenden Wegen:

• E-Mail-Verteiler, vor allem von Universitäten in meiner Stadt (findet man auf den Fachschaftsseiten der Studiengänge).
• Kijiji.de und andere Kleinanzeigen-Websites.
• Kleinanzeigen in der regionalen Presse.
• Social Networking Dienste wie Twitter und Facebook.

Außer dem Angebot in einem Satz gab ich keine Erklärung, denn dafür war ja die Mini-Website da. 

Mein Ziel war es, für einen Termin in einer Woche vier Probanden zu finden. Nach einem Tag hatten sich bereits mehr als 50 Personen als Probanden eingetragen. So war der Test-Tag gesichert.

Der Vorteil dieser zweistufigen Methode wurde jetzt so richtig deutlich. Die eingetragenen Interessenten konnte ich  zu einem späteren Zeitpunkt direkt anschreiben, ohne erneut Werbung für die Mini-Website machen zu müssen.

Im ersten Usability-Tests wollte ich die wichtigsten Einstiegsseiten und den Registrierungsprozess testen. Deshalb wählte ich in LimeSurvey nur die Leute aus, die angegeben hatten, dass sie moviepilot nicht kannten. Außerdem wollte ich mit Film-affinen Menschen sprechen und filterte nur diejenigen heraus, die mindestens einmal im Monat ins Kino gingen. Beides hatteich im Eintragungsformular abgefragt. Die verbleibenden Fragebögen exportierte ich im Excel-Format auf meinen Rechner. Dann verfasste ich eine Einladungsmail an mich selbst und setzte alle potentiellen Probanden in BCC (Blindkopie). Bei weniger als 20 Adressen funktioniert das noch recht gut, wenn es mehr sind muss man ein Newsletter-Tool verwenden (mehr darüber mal in einem anderen Artikel).

Auch die E-Mail-Einladung war knapp geschrieben, enthielt aber alle wichtigen Angaben: 

• Was: Einladung zur Filmbefragung (ich habe es absichtlich nicht Usability-Test genannt)
• Warum: 2 Kinogutscheine kriegen, helfen
• Wann: Absolutes Datum mit Wochentag (nie relative Angaben wie “morgen” machen!). Auch die geschätzte Dauer mit angeben.
• Wo: Komplette Adresse mit Stadtteil und Link zu einem Stadtplan-Ausschnitt (z.B. Google Maps). Ggf. mit genaueren Hinweisen zu Klingel und Eingang (“In der 2. Durchfahrt, 3.OG”)
• Wie: “Antworten Sie auf diese E-Mail, ob Sie kommen können und welche 2 Termine für Sie passen.” Ich habe sogar einen Antwortabschnitt als Text ans Ende der Mail geschrieben, den die Empfänger nur “ankreuzen” mussten:

  (  ) Ja, ich nehme teil oder
  ( ) Nein, ich nehme nicht teil.
  Ich kann zu folgenden Terminen: _____ oder _____
  

  So vergas keiner die Uhrzeiten mit anzugeben.

• Wer: Geschäftlicher E-Mail-Footer mit Name, Position, Firma und Telefonnummer
• Abbestellen: Ein Hinweis, dass man sich jederzeit austragen lassen kann

Nach meiner Erfahrung antworten 10-30% auf diese E-Mail, vor allem wenn sie nie zuvor angeschrieben wurden. Die meisten dieser Antworten sind hoffentlich Zusagen. Nun sage ich telefonisch denjenigen zu, die in meine Zeitfenster passen. Im Telefonat können offene Fragen geklärt werden und es hilft, die Nichterscheinung (No-Show-Rate) gering zu halten und offene Fragen zu klären (man sollte aber noch nichts Inhaltliches über den Usability-Test erzählen). Ich beende das Gespräch immer mit dem Satz: “Ich rechne nun damit, dass Sie kommen. Falls sie doch nicht können, sagen Sie mir bitte ab.” Wenn ich alle Termine voll habe, sage ich allen anderen, die geantwortet haben, per E-Mail ab.

Die No-Show-Rate lässt sich noch weiter reduzieren, wenn man am Tag vor dem Test noch einmal jeden Probanden anruft. Marty Cagan berichtet in seinem Buch “Inspired” (Buch-Preisvergleich), dass dann statt 50% nur 5-10% der Leute nicht auftauchen. Auch in meiner Zeit bei moviepilot habe ich diesen Effekt festgestellt.

Der Usability-Test kann nun durchgeführt werden. Wenn die Rekrutierung soweit aufgebaut ist, dann genügt es monatlich den Link zur Mini-Website zu bewerben und eine Woche vor jedem Test sich Probanden heraus zu suchen. Mit standardisierten E-Mails und den Telefonnummern der Teilnehmer sollte das nicht mehr als 1 Stunde dauern.

So hat sich das basteln einer kleinen Website bis heute als nützlich zur Rekrutierung von Test-Personen für Usability-Tests erwiesen.

Wie sind eure Erfahrungen mit der Rekrutierung von Test-Personen? Schreibt eure Probleme und Tipps in die Kommentare.

Wie man Testpersonen für Usability-Tests bekommt – kostenlos, einfach und professionell ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• How to conduct a five second test to improve your landing pages
• Features priorisieren mit “relativem Gewichten”
• Wie man Produkte macht, die Kunden lieben
• First Productcamp in Europe – How was it?
• ProductCamp am 18. Oktober in Amsterdam

Welches bringt aber am meisten, ist die wichtigste? Worum sollen wir uns zuerst kümmern? Eine Methode will ich hier vorstellen und am Beispiel eines imaginären Online-Shops veranschaulichen.

Neben der Kano-Analyse, die ich in einem früheren Artikel beschrieben habe, kann zur Entscheidungsfindung das “Relative Gewichten” weiterhelfen. Vom relativen Gewichten habe ich u.a. im Video “Prioritizing Your Product Backlog” von Mike Cohn erfahren.

So sieht das relative Gewichten beispielsweise aus:

nach rechts scrollen um die Prioritäten zu sehen!

Diese kostenlose Excel-Vorlage downloaden.

Und so funktioniert das relative Gewichten in 7 Schritten:

1. Notiere die Features, die Du vergleichen möchtest

Die Features sind die Produkteigenschaften (Themen), die Du umsetzen willst. Lasse dabei die Pflicht-Features außen vor, denn diese musst Du ja sowieso umsetzen. Betrachte nur “Exciter” und “lineare Features”, wie in der Kano-Analyse beschrieben.

Beispiel: Nehmen wir an, ein Online-Shop für Schuhe möchte seine Website ausbauen. Folgende Features stehen zur Diskussion:

• “Typberatungs-Quiz” – Als Kunde möchte ich mit einem Quiz herausfinden, welcher Schuh-Typ ich bin und passende Angebote bekommen.
• “Schuhsortiment nach Schuhgröße filtern” – Als Kunde/Kundin möchte ich nur Schuhe sehen, die in meiner Größe vorrätig sind.
• “Produktvideos anbieten” – Als Anbieter möchte ich die 50 erfolgreichsten Schuhtypen mit professionell erstellten Online-Videos zusätzlich präsenteren, damit sie stärker verkauft werden.
• “Zahlungsart per Sofortüberweisung” – Als Käufer/Käuferin möchte ich die Schuhe per Sofortüberweisung bezahlen, weil ich den anderen Zahlungsarten misstraue.

2. Bewerte jedes Feature nach erwartetem Nutzen und drohender Schaden

Auf einer Skala von 1 bis 10 – wie hoch ist der Nutzen für jedes einzelne Thema? Und wie hoch wäre die drohende Einbuße, der Schaden? Diese Schätzung trifft man am besten nach einem Gespräch mit allen Beteiligten. Es geht nicht um konkrete Größen, sondern um ein “Bauchgefühl”. Dieses sollte aber durchaus auf Recherche basieren und diskutiert werden.

Beispiel: Das Typberatungs-Quiz wurde bei einer Befragung unter internet-affinen Schuhkäuferinnen als wünschenswert erachtet. Deshalb erhoffen wir uns eine Verkaufssteigerung und schätzen den Nutzen auf 5 von 10 Punkten. Allerdings hat das Quiz bisher nie ein Kunde vermisst. Der Schaden, es nicht zu bauen, wird von uns daher auf 0 von 10 Punkten eingeschätzt.

3. Die Summe aus Nutzen und Schaden ergibt den Gesamtwert des Features.

Addiere jetzt für jedes Features beide Zahlen: Die Nutzen- und die Schadenspunkte.

Beispiel: Das Typberatungs-Quiz hat einen Nutzen von 5 und einen Schaden von 0. Das ergibt in der Summe 5 Punkte.

4. Berechne nun den prozentualen Gesamtwert für jedes Feature

Teile den Gesamtwert eines einzelnen Features durch die Summe der Gesamtwerte aller Features. Die Excel-Tabelle am Ende dieses Artikels macht das automatisch.

Beispiel: Der Gesamtwert des Quiz-Features ist 5. der Gesamtwert aller Features, die wir vergleichen wollen, ist 34 (siehe Beispiel-Tabelle). 5 geteilt durch 34 multipliziert mit 100 ist gerundet 15 Prozent (das sagt auch der Google-Taschenrechner)

5. Schätze den Aufwand für jedes Feature.

Wie teuer ist es in etwa, dieses Feature umzusetzen? Ob die Kosten in Euro, in Manntagen oder in einer anderen Einheit geschätzt werden, ist egal. Am besten Du fragst diejenigen, die es umsetzen sollen.

Beispiel: Der freie Designer hat so etwas schon einemal gebaut und kann Design und HTML an 1 Tag liefern und der Entwickler des Schuh-Shopsschätzt, dass er dann 3 Tage zum Einbauen braucht. Wir schätzen den Aufwand also auf 4 Tage.

6. Berechne den prozentualen Kostenanteil für jedes Feature

Wie vorhin beim Gesamtwert ermitteln wir nun auch den prozentualen Anteil der Kosten für jedes Feature. Der einzelne Kostenpunkt wird geteilt durch die Summe der Kosten aller Features. Auch das macht die Excel-Tabelle (unten) automatisch.

Beispiel: Das Quiz kostet 4 Manntage, alle Features würden insgesamt 26 Manntage kosten (siehe Beispiel-Tabelle). 4 geteilt durch 26 multipliziert mit 100 ist gerundet 15 Prozent (auch das weiss Google )

7. Berechne die Priorität

Teile nun den prozentualen Wert durch die prozentualen Kosten. Daraus ergibt sich die gesamte Priorität dieses Features. Das Feature mit der höchsten Priorität sollte zuerst in Angriff genommen werden, denn da bekommt man das beste Ergebnis im Verhältnis zu den eingesetzten Kosten.

Beispiel: Das Quiz-Feature hatte einen Wert von 15% und Kosten von 15%, das Ergibt 100% (in der Beispiel-Tabelle wurde ohne Rundung gerechnet und das genaue Ergebnis ist dort 96%). Das Feature “Filtern nach Schuhgröße” hat aber die Priorität 344%! Diese Werte können wir nun vergleichen! Wir sollten den Filter also zuerst einbauen.

Fazit

Das relative Gewichten hilft, systhematisch darüber nachzudenken, wie nützlich ein Feature ist und wie es im Vergleich zu alternativen Features einzuschätzen ist. Probiere es selbst aus: Du kannst die Excel-Vorlage downloaden.

Was meint ihr?

Habt ihr Erfahrungen mit relativem Gewichten gemacht? Wie ist der Entscheidungsprozess bei euch? Schreibt einfach einen Kommentar.

Features priorisieren mit “relativem Gewichten” ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Wie man Testpersonen für Usability-Tests bekommt – kostenlos, einfach und professionell
• How to conduct a five second test to improve your landing pages
• First Productcamp in Europe – How was it?
• ProductCamp am 18. Oktober in Amsterdam
• Die 10 größten Probleme als Online Produktmanager

The five second test is like a bootstrapped eye tracking experiment for one page. But it does not replace other forms of usability testing, not even in an agile setting.

Why it is helpful, IMHO:

If the visitor doesn’t get the main point of a page in five (or maybe ten) seconds it is likely he will just click the back button. To test landing page designs, the test can be very helpful.

I sometimes use it as the beginning of an in-person usability test. The “live” five second test goes like this:

1. Tell the proband she (or he) was searching for something related to your page (and make sure the proband is actually interested in that)
2. Tell the proband she clicked on a link (or search result) and lands on the page you are going to show her.
3. Show the page and minimize it after a 5-10 seconds. Now ask her what she remembers.

If you tell her in advance that you will give her only seconds, she will probably try to scan as much as she can and just repeat the words afterwards. So do not tell her in advance, it will make the test more realistic.

How to conduct a five second test to improve your landing pages ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Wie man Testpersonen für Usability-Tests bekommt – kostenlos, einfach und professionell
• Wie man Produkte macht, die Kunden lieben
• Features priorisieren mit “relativem Gewichten”
• Was wollen die Nutzer? Wie “mentale Modelle” bei der Produktentwicklung helfen
• Eyetracking-Videos

Egal ob Verbaredungen zum Grillen oder Schlittschuh laufen – das Wetter spielt bei der Terminplanung manchmal eine Rolle. Hier eine Schnell-Anleitung, wie man das lokale Wetter automatisch in Kalendern wie iCal oder Google Calendar anzeigen lassen kann – egal ob für New York, Paris oder Berlin.

Es sind zwar 8 Schritte, geht aber schnell.

1. Gehe zu wunderground.com
2. Tippe links oben die Stadt ein, für die Du das Wetter in Deinem Kalender abonnieren möchtest (z.B. Berlin)
   
   
3. Suche in den Suchergebnissen die richtige Stadt aus (z.B. Berlin, Germany)
   
4. Wichtig: Ändere in der linken Spalte die Ansicht von Fahrenheit zu Celsius (es sei denn, du kannst mit Fahrenheit etwas anfangen)
   
5. Kopiere den Link, der sich hinter dem ICAL-Symbol versteckt (rechte Maustaste “Link-Adresse kopieren” oder bei Mac crtl-Klick)
   
6. Füge einen neuen Kalender zu Apple iCal hinzu und gib ihm einen Namen (z.B. Berlin Wetter)
   
7. Öffne mit crtl- und Maustaste das Kontextmenü und gehe auf “Abonnieren..”. Füge in dem Dialogfenster den ICAL-Link ein
   
8. Bestätige nun noch den nächsten Dialog und fertig. Nun hast Du immer das aktuelle Wetter in deinem iCal-Kalender
   

Wie gesagt funktioniert das auf die gleiche Weise auch für Google Kalender und alle anderen Kalender, die das ICAL-Format unterstützen.

Warum ich das schreibe: Mich fasziniert, wie weit die Syndizierung verschiedener Datenquellen schon möglich ist. Vielleicht kann man noch nützlichere Dinge damit machen.

Immer aktuelle Wetter-Vorhersagen in iCal oder Google Kalender ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Rückblick: 7 Internet-Trends für 2007
• Googles Experimente
• Google News jetzt auch auf deutsch
• Was ist Web Produktmanagement?
• Vergleichen Sie DVD-Rekorder

Ob die Aufmerksamkeitsspanne von Kindern damals wirklich noch 15 Minuten lang waren?

Und hier noch die IMDB-Info dazu!

(via praegnanz.de)

Zähneputzen nicht vergessen! ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Personalisierte Trailer bei moviepilot
• Inspiriert vom “Lauf der Dinge”
• Die Kunst und Wissenschaft verführerischer Interaktionen
• How to conduct a five second test to improve your landing pages
• Und welcher Robotertyp bist Du?

RunDll32 advpack.dll,LaunchINFSection %windir%infmsmsgs.inf,BLC.Remove

(via tacktech)

How to uninstall MSN Messenger ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Immer aktuelle Wetter-Vorhersagen in iCal oder Google Kalender
• Zähneputzen nicht vergessen!
• How to find a room in Bangalore
• Wie man die richtige Digitalkamera findet

• Get in the yahoogroup of Bangalore trainees. They are very friendly and they recommended me a person who I could call for a room.
• Have a look at the classifieds at click.in and/or post your listing
• expatriates.com and craig’s list both offer classifieds as well.

Hope that helps.

How to find a room in Bangalore ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Versicherungsvergleich für längerfristige Auslandskrankenversicherungen
• Wie man die richtige Digitalkamera findet
• Ich gehe nach Indien!
• Kino-Freikarten und DVDs verdienen bei Filmbefragung.de
• Kostenlose Gutscheine für Online-Shops

Wo fange ich mit der Kamera-Suche an?

• Halte Ausschau nach Prospekten der großen Elektronik-Discountmärkte (Mediamarkt, Saturn, ProMarkt, Makromarkt). Deren Websites sind meistens ziemlich schlecht. Daher lohnt sich der Gang in die Filiale. Dort kann man auch gleich mal ein paar Geräte anfassen. Auch ist das Angebot in den Filialen größer als im Prospekt.
• Suche nach Digitalkameras auf der Kamerasuche von digitalkamera.de. In der linken Spalte kann man nach Suchkriterien filtern.
• Suche nach Digitalkameras im Buying Guide von dpreview.com. Dort findet man auch die ausführlichsten Tests (Reviews) von Kameras, die ich je im Web gesehen habe!
• Lies Tests in Zeitschriften wie c’t, CHIP, Stiftung Warentest, usw. Der Bahnhofskiosk hat die größte Auswahl.

Ich habe nun ein paar Digitalkameras im Auge. Welche soll ich nehmen?

• Überlege dir, welche Eigenschaften dir am wichtigsten sind. Manche Leute machen sich gerne eine Excel-Tabelle, um ihre Favoriten besser vergleichen zu können. Eine Kamera hat vielleicht ein großes Display, eine andere ist aber kompakter und dafür teurer usw. Mit einer selbst gebastelten Übersichtstabelle kann man schnell sehen, wo die Unterschiede liegen.
• Lies Tests, Kritiken und Erfahrungsberichte zu deinen favorisierten Kameras. Hier helfen neben dpreview.com die Seiten ciao.com, dooyoo.de, amazon.de, Google und viele Preisvergleich-Websites (siehe unten). Beachte dabei, dass Erfahrungsberichte von Laien oft sehr unkritisch sind (wer gibt schon gerne zu, dass seine Kamera für 1000 Euro ein Fehlkauf war?). Ich sortiere deswegen gerne die “schlechtesten Bewertungen zuerst” und erfahre so von Schwächen der Kamera.

Wo finde ich das günstigste Angebot für eine bestimmte Kamera?

• Hier helfen Preisvergleich-Websites. Meine Favoriten sind geizhals.at/deutschland, guenstiger.de und preissuchmaschine.de. Wer den heutigen Wert von gebrauchten Kameras wissen will, dem hilft eine Suche bei ebay mit der Suchoption “Beendete Angebote”. Ansonsten ist ebay nach meiner Erfahrung meistens teurer als die Onlineshops, die die Preisvergleicher ausspucken.
• Um den Bogen zu schließen: Vielleicht ist ja eine auch der lokale Discountmarkt am billigsten, zumal man das Gerät gleich mitnehmen kann. Die oben erwähnten bieten auch eine 14-tägige Rücknahmegarantie, falls die Kamera doch nicht den Wünschen entsprechen sollte. Das bieten übrigens auch alle Versandhändler.

Dieses Vorgehen funktioniert im Prinzip mit allen Konsumgütern und Dienstleistungen. Ich denke, die meisten “Internet-Schnäppchenjäger” gehen da ähnlich vor wie ich.

Allen Mitsuchern wünsche ich eine glückliche Jagd!

Wie man die richtige Digitalkamera findet ist ein Artikel von: Web Produktmanagement Blog

Ähnliche Artikel

• Kein Online-Quicken für Deutschland
• Save the Internet
• Rückblick: 7 Internet-Trends für 2007
• Bluetooth Social Networks werden marktreif
• reboot 7.0 – Wäre gerne dort gewesen