Zurück zu allen Wissensbeiträgen

Die Sendung mit der Metrik #40: “Ohne Testing bringt es nichts” mit Thorsten Biedenkapp/Biedenkapp IT

Glaubst du Best Practices anderer Unternehmen und übernimmst sie einfach? Oder testest du, was DEINE Kunden wollen? Hältst du Testing für eine einmalige Sache oder ist es bei dir schon Teil der Unternehmenskultur? Wie auch immer: Du solltest dringend hier in das erste Vis-a-vis-Gespräch mit Thorsten Biedenkapp reinhören, damit du erfährst, was genau du mit Testing erreichen kannst und welche Möglichkeiten es gibt.

Wieder eine Menge “Holz” für dich und natürlich gibt’s am Ende drei Tipps von Thorsten (das ist der Herr links im Bild)!

Thorsten Biedenkapp (li) und Maik (re) nach der Aufnahme.

Viel Spaß beim Hören.

Abonniere auf Android Abonniere auf iTunes

In dieser Folge:

  1. Die Sendung
  2. Shownotes
  3. Die Folge zum Nachlesen
  4. Kommentare


Wenn du wissen möchtest, warum du unbedingt testen solltest, höre hier rein!


Lade die Folge runter (Rechtsklick und “Speichern unter”)

Meine Bitte: Wenn dir diese Folge gefallen hat, hinterlasse bitte eine 5-Sterne-Bewertung bei iTunes oder wo immer du abonniert hast, gerne ein Feedback im Blogpost oder bei Facebook und abonniere diesen Podcast. Zeitinvestition: Maximal ein bis zwei Minuten. Dadurch hilfst du mir den Podcast zu verbessern und die Inhalte zu liefern, die du gerne hören möchtest. Ich danke dir jetzt schon dafür. Oder hinterlasse auch gerne einfach einen Kommentar hier.

Wenn du das Ganze lieber lesen möchtest, unten gibt’s das komplette Interview in Textform.

Shownotes

Links:

Hier findet ihr Thorsten Biedenkapp:

Allgemein

Das war die Folge “Ohne Testing bringt es nichts” mit Thorsten Biedenkapp/Biedenkapp IT

Hallo? „Die Sendung mit der Metrik“, der Webanalyse-Podcast mit Maik Bruns und seinen Gästen. Heute mit Thorsten Biedenkapp. Viel Spaß!

Maik Bruns: Hey Analyse-Held, hier ist der Maik. Herzlich willkommen zu einer neuen Folge „Die Sendung mit der Metrik“. Super, dass du wieder am Start bist. Ich freue mich sehr darüber, dass auch die Hörerzahlen so langsam, aber sicher immer höher gehen und das passiert nicht, weil ich hier so unglaublich viel rum teste im Podcast. Trotzdem möchte ich das Thema Testing heute auf die Agenda setzen, denn ich finde, das Thema Testing ist A) völlig unterbewertet, nicht nur im Kontext Webanalyse, das ist eine der wichtigsten Anwendungen wie ich finde, um seine Website, sein Produkt, sein Marketing insgesamt zu optimieren. Doch es geht einfach darum, wie optimiere ich denn eigentlich und kommst du eben schnell auf das Thema Testing. Aber es wissen längst nicht alle, was es damit auf sich hat, welche Möglichkeiten es gibt und wie man da ganz praktisch auch mal herangehen kann. Daher habe ich mir heute jemanden dazu geholt, der sich mit dem Thema sehr gerne auseinandersetzt und der da auch edukativ unterwegs ist, so wie ich das auch immer versuche, und das ist der Thorsten Biedenkapp. Erst mal herzlich willkommen Thorsten. Ich stelle dich gleich nochmal ein bisschen genauer vor. #00:01:26.1#

Thorsten Biedenkapp: Hallo Maik, grüß dich. Hallo liebe Zuhörer. #00:01:28.0#

Maik Bruns: Hallo, super, dass du da bist. Der Thorsten, der kommt aus dem schönen Mörfelden-Walldorf. Wer jetzt nicht weiß, wo das ist, das ist in der Nähe von Frankfurt oder gehört streng genommen sogar irgendwie zu Frankfurt dazu. Thorsten ist seit 2007 auch schon Inhaber und Geschäftsführer von Biedenkapp IT und er nennt sich selber Online-Marketing-Generalist und ich habe eben schon eine ganze Weile mit ihm gesprochen, kann ich euch bestätigen, der ist auf jeden Fall gut unterwegs im Online-Marketing. Er ist auch Lehrbeauftragter zum Beispiel an der Leipzig School of Media, ebenfalls an der Hochschule Rhein-Main in Wiesbaden. Er schult generell viel zu den Themen rund um Online-Marketing, kennt sich AdWords super aus. Also ihr merkt schon, der ist generell sehr gut unterwegs und hat eine sehr gute und sehr starke Meinung glaube ich auch zum Thema Testing. Darüber wollen wir heute mal sprechen. Thorsten, super, dass du da bist. Übrigens Premiere. Heute das erste Mal Live-Interview vis-à-vis. Ansonsten wird das immer online gemacht, aber heute sitzen wir uns tatsächlich gegenüber. #00:02:28.7#

Thorsten Biedenkapp: Das macht dir wahrscheinlich auch ein bisschen Angst oder? #00:02:31.1#

Maik Bruns: Null. #00:02:31.6#

Thorsten Biedenkapp: Nein, null okay, dann bin ich zufrieden. #00:02:33.6#

Maik Bruns: Ich liebe es, einfach sich gegenüberzusitzen und über sowas zu sprechen, was wir jetzt heute machen. Deswegen alles super. Aber meine erste Frage an jeden Gast. Wie kommst du zu diesem ganzen Thema Analyse, Webanalyse vielleicht sogar strenggenommen. Hast du überhaupt viele Berührungspunkte damit oder ist dein Punkt einfach wirklich so das Testing? #00:02:52.3#

Thorsten Biedenkapp: Naja, wie kommt man zur Webanalyse? Meistens kommt irgendwann die Frage auf, man hat was ins Internet gestellt, guckt sich das überhaupt jemand an? Ich habe schon relativ früh was ins Internet gestellt. Ich war 2001/2002 herum beteiligt an einem Online-Radio. Wir haben tatsächlich mit Kapital versucht einen professionellen Radiosender im Internet aufzuziehen und dann kam natürlich sehr schnell die Frage auf, wer nutzt denn das? Dann hat man dann solche Tools wie AWStats und was man da so alles so hatte und hat da mal so reingeguckt und das war fantastisch. Irgendwann kam Google auf die fantastische Idee Urchin zu kaufen und Google Analytics daraus zu bauen. Das hat man natürlich erst mal installiert. Also ich bin da ganz offen, ich bin da nicht von Tag Null an der Experte gewesen und habe wahrscheinlich wie viele andere auch mich erst mal auf so Vanity Metriken wie Besucherzahlen, Page Impressions und sowas verlassen und irgendwann aber festgestellt, das kam eigentlich so mit dem Aufkommen der ersten großen Spam-Welle, wo dann plötzlich, wie hießen diese ganzen Dinger, seo4online.com und sowas, wo die dann einem die Ergebnisse kaputtgemacht haben, dass da möglicherweise doch ein bisschen mehr dran ist, dass man im Prinzip sich mal damit auseinandersetzen sollte, welche Datenqualität man da hat und was misst man da eigentlich genau? Wo kommt der Traffic her? Was macht der Traffic? Was machen die Leute auf der Website? Weil es ist auf der einen Seite sehr schön zu wissen, dass es 100 Millionen Menschen gibt, die dein Produkt lieben, aber eigentlich, wenn dann am Ende der wirtschaftliche Outcome nicht da ist und du keine Verkäufe hast oder nicht die gewünschten Ziele erreichst, dann bringt dir das halt relativ wenig. Dann habe ich dann angefangen mich mehr mit Google Analytics auseinanderzusetzen und mich dann ein bisschen tiefer einzuwühlen. Dann kamen sehr früh Google Tag Manager dann dazu und hat mich irgendwie angefixt, macht Spaß und ist ein wichtiger Bestandteil auch meiner Arbeit geworden. #00:04:42.0#

Maik Bruns: Das heißt also irgendwann kamst du natürlich auch an den Punkt, wo du gesagt hast, so, ich möchte mein Online-Marketing mit diesen Zahlen optimieren oder das meiner Kunden oder wem auch immer. Dann kommst du an diesen Punkt, wie kann ich das generieren und wie kann ich Dinge optimieren auf der Seite und dann wirst du irgendwann auf das Thema Testing gekommen sein. #00:04:58.7#

Thorsten Biedenkapp: Ja, beziehungsweise das Thema Testing war schon früher während meines Studiums. Ich habe Medizin studiert ursprünglich und da habe ich eine wissenschaftliche Arbeit gemacht und dann ging es dann auch sehr schnell um das Thema Eyetracking. Dann ist man im Prinzip sehr schnell auch in diesem qualitativen Testen drin und habe mich damit beschäftigt. Das ist dann so ein bisschen eingeschlafen über die Jahre und es passt aber ganz gut zusammen. Im Prinzip die Webanalyse macht erst mal transparent, was da so auf so einer Seite passiert oder dass da überhaupt etwas passiert. Dann in einem zweiten Schritt dann mit einem qualitativen Testen dann nochmal herauszufinden, was denn möglicherweise auch Gründe dafür sind, dass etwas passiert oder was da passiert. Das hat mich dann natürlich gereizt und dann haben sich die beiden wiedergefundenen und vereint. So kam das zueinander. #00:05:48.8#

Maik Bruns: Lass uns erst nochmal definieren, was genau überhaupt mit Testing gemeint ist. Jetzt haben wir schon ein paar Mal das Wort in den Mund genommen, aber im Sinne des Online-Marketings vor allen Dingen, was bezeichnen wir denn als Testing? #00:06:00.5#

Thorsten Biedenkapp: Die Definition ist natürlich relativ schnell gesagt. Im Prinzip immer, wenn ich ein Experiment habe und ich möchte am Ende mich noch nicht festlegen, was dabei herauskommen soll, sondern lass mich davon überraschen, was das Ergebnis ist, dann ist das erst mal Testing, so ganz einfach gesprochen. Was sehr oft passiert, ist, dass Testing so in einem Atemzug gleich mit A/B-Testing genannt wird. Das ist nicht zwingend so. Es gibt noch sehr viele andere Testverfahren, also mal nur, um einen Blick über den Tellerrand zu werfen für Online-Marketer. Es gibt auch sowas wie Unit Tests, das ist praktisch ein Test innerhalb einer Software, der die Funktionalität einer Software sicherstellt, sodass ich, wenn ich komplexe Software-Produkte habe, testen kann, ob da drin noch alles funktioniert, wenn ich irgendwas verändere. Oder es gibt Selenium-Tests, das sind Frontend-Tests, die vollautomatisiert ablaufen können, bei denen man zum Beispiel testen kann, ob das Online-Formular einfach funktional ist. Es gibt ein Tool dafür, das installiert man als Browser Extension, dann macht das im Prinzip die Eingaben in so ein Formular und drückt auf Absenden und dann wird überprüft, ob dann am Ende immer die gleiche Statusmeldung kommt. Wenn ich was in meinem Software-Code verändert habe, kann sich das teilweise sehr drastisch verändern. Wenn man also irgendwas im Online-Marketing macht, wird das kennen, neues Deployment und plötzlich ist alles anders. Und sowas kann ich auch testen. Das ist so auf der Basis des sogenannten Akzeptanz-Testes und relativ etabliert und auch alte Verfahren. Was den Online-Marketer wahrscheinlich mehr interessiert, sind eher solche Verhaltenstestverfahren, also praktisch, wo am Ende ein Nutzerverhalten daraus abgeleitet wird. Ein Beispiel. Was muss ich machen, damit in meinem Warenkorb die Abbruchquote geringer wird. Das ist so das, womit sich Conversion-Rate-Optimierer beschäftigen. Das wäre so im Prinzip dieses Testing. Ich habe praktisch ein Experiment, das ich aufstelle mit einer Arbeitshypothese. Was das ist, werden wir wahrscheinlich gleich nochmal besprechen. Und anhand dieser Hypothese versuche ich mit meinem Experiment herauszufinden, ob die Hypothese eintritt und ob sie nicht eintritt. Und das ist erst mal Testing. #00:08:10.7#

Maik Bruns: Gibt’s einen bestimmten Zeitpunkt, an dem man sagt, da soll man grundsätzlich testen oder? #00:08:16.3#

Thorsten Biedenkapp: Nein, die Antwort darauf wird vielen nicht gefallen und es ist auch so nur meine Antwort da drauf. Möglicherweise gibt es noch andere. Wir reden im Online-Marketing im Prinzip seit 10 Jahren über Nutzer-Zentrierung, der Kunde ist König und wie man alles um den User gestaltet, um die beste User-Experience zu machen. Es gibt ein paar Disziplinen, die sich da rausgeschält haben, die da als Kreuzritter voranschreiten und sagen, das ist hier heilige Gral, wir haben ihn gefunden, so funktioniert das eigentlich bei den Usern. In der Wahrheit ist es aber oft so, dass man sehr schnell auf Taktikebene ist und versucht dann Best-Practice-Beispiele zu imitieren, also sich Artikel wie, das musst du in deiner Headline reinschreiben, damit du noch mehr Conversion hast. Die sind halt populärer als mach mal einen aufwendigen Test, um nachher herauszufinden, was du in deiner Headline haben musst. Das Problem bei diesen Best-Practice-Beispielen ist, dass man eigentlich schwer abschätzen kann, wie denn dieses Test-Setting war, unter welchen Bedingungen das überhaupt getestet wurde. Also praktisch, gibt es da vielleicht einen methodischen systemischen Fehler da drin? Und man hat oft auch eine andere Zielgruppe und das Nutzerverhalten ist extrem zielgruppenabhängig. Es gibt so ein paar Sachen, die sind common sense, also praktisch, wenn ich möchte, dass irgendwo jemand draufklicken kann, sollte ich einen Link oder ein Button oder irgendwas hinterlegen, das ist schon klar, aber, ob der Button jetzt grün oder rot besser aussieht, ist nicht eine reine Design-Entscheidung, ist auch keine Best Practice Entscheidung, sondern muss am Ende an dem Nutzer ausgetestet werden. Das hört sich jetzt erst mal sehr aufwendig an und ist vielleicht auch ein bisschen sehr dogmatisch, das mache ich aber auch ganz bewusst so, um eben mal die grauen Zellen anzuregen, dass wenn ich über eine Nutzerzentrierung, Nutzerorientierung rede, dass ich das entweder konsequent tue in allem, was ich tue oder eben das lieber sein lasse und mich auf Best Practice verlasse, dann aber auch damit leben muss, dass möglicherweise Sachen nicht so eintreten wie Best Practice mir das verspricht. #00:10:25.4#

Maik Bruns: Du bist im Prinzip auch der Meinung, es gibt keinen konkreten Testing-Zeitpunkt, wo du da ran musst an das ganze Thema? #00:10:33.3#

Thorsten Biedenkapp: Nein, Testing ist immer. Testing ist eine Kulturfrage. Wenn ich möchte, dass mein Produkt, meine Software, mein Online-Shop, was auch immer, an meinem Kunden orientiert ist, dann ist Testing ein ganz essenzieller Bestandteil von meiner Unternehmenskultur. Da gibt’s gar keine Fragen. Da gibt es auch nicht Meinungen. Ich differenziere sehr stark zwischen Meinung und Haltung. Eine Haltung ist etwas, was ich mir bilde daraus, dass ich sie begründen kann. Eine Meinung ist möglicherweise vorschnell. Ich komme sehr schnell zu der Meinung, dass mir das oder jenes nicht gefällt, aber ich muss es begründen können, wieso das so ist. Und das entspricht dieser Haltung, die ich dann einnehmen kann. Ich finde es wichtiger eine Haltung zu haben als eine Meinung. Ich finde es vor allem viel wichtiger zu sagen, wenn ich teste, dann mache ich das konsequent. Wenn ich einmal damit angefangen habe, höre ich auch nicht mehr damit auf. Das begleitet mich im gesamten Produktlebenszyklus von A bis Z und ich kann nicht zwischendrin aussteigen und sagen, so, jetzt habe ich genug getestet. #00:11:36.4#

Maik Bruns: Das kommt mir irgendwie bekannt vor, weil auch im Rahmen der Webanalyse kommst du immer wieder an diesen Punkt, wo du aus dem Ablesen von Zahlen, was passiert überhaupt auf der Website und das ist eine vergangenheitsbezogene Orientierung, hingehst zu einem, warum tun Nutzer das, was sie da tun? Und dann den Übergang dazu, die Nutzer auch tatsächlich zu fragen, warum sie das tun, indem man entweder Dinge auf der Seite verändert oder indem man sie konkret befragt. Da werden wir sicherlich auch noch ein bisschen genauer darüber reden. Nur diese Punkte, die werden viel zu häufig übersehen, weil oftmals davon ausgegangen wird, dass so ein Tool schon diese Analyse und die Optimierung eigentlich für einen übernehmen, aber das tun sie in keinster Weise, sondern … #00:12:13.5#

Thorsten Biedenkapp: Sie unterstützen sehr gut, also manche Tools besser, manche schlechter. Es kommt natürlich auch immer auf den Anwender an, was er für eine Fragestellung hat, wenn er so ein Tool einsetzt. Aber letzten Endes, im Online-Marketing beobachte ich, dass häufig sehr tool-driven gedacht wird und man hofft, dass ein Tool Probleme erschlägt. Das ist leider beim Testing auch nicht so. Also alle, die bis hierhin gehofft haben, es geht so, können jetzt beruhigt den Podcast abschalten oder sehr neugierig auf das sein, was wir noch erzählen. #00:12:43.7#

Maik Bruns: Ich hebe nur mal den Punkt Webanalyse hier heraus. Speziell, wenn wir Webanalyse-Tools uns hier anschauen, dann haben wir es auch im Prinzip mit einer Art Nutzerbefragung zu tun, eigentlich mit einer hoffentlich maximal großen Stichprobe, nämlich alle Nutzer, die die Website betrachten oder zumindest die, die einen speziellen Teil dieser Website betrachten. Wir machen dann eben keine Einzelbefragungen auf der Seite, sondern nehmen uns eine möglichst große Gesamtheit. Vielleicht grenzt du nochmal ab, ist das ein besseres Testing zum Beispiel, als wenn du 5 Nutzer fragst? #00:13:17.0#

Thorsten Biedenkapp: Das ist eine Abwägung, die finde ich gefährlich. #00:13:23.4#

Maik Bruns: Ich provoziere mal. #00:13:24.1#

Thorsten Biedenkapp: Ich kann auch erklären, warum. #00:13:25.5#

Maik Bruns: Das ist gut. #00:13:25.9#

Thorsten Biedenkapp: Wir sind alle, egal ob jemand Online-Marketing macht oder in der Metzgerei arbeitet oder was auch immer, da drauf geschult, dass Zahlen irgendwie Beweise darstellen. Das lernen wir schon sehr früh. Was man irgendwie in Zahlen ausdrücken kann, muss automatisch richtig und gut sein. Letzten Endes gibt es aber noch etwas, was sich im Zwischenmenschlichen abspielt, in einem Bereich, den ich möglicherweise mit Zahlen erst mal primär nicht so wahnsinnig gut erfassen kann. Wenn man also versucht immer empirisch heranzugehen und dann, man hat jetzt eine Grundgesamtheit, ich mache mal vielleicht ein besseres Beispiel. Meine Zielsetzung ist herauszufinden wie das Kaufverhalten der Deutschen in Online-Shops ist. Dann ist meine Grundgesamtheit erstmal alle, die in Deutschland leben. Jetzt könnte ich natürlich sagen, das fängt schon ein bisschen an, dass ich schon mal definieren muss, wer ist denn das? Sind es alle, die einen deutschen Pass haben oder sind das alle, die in Deutschland leben tatsächlich? Sind es auch Leute, die hier nur mal kurz sind im Urlaub, wer ist das? Das muss ich ja schon ein bisschen genauer definieren. Dann merke ich, da habe ich schon erste Einschränkungen und die erste Einschränkung, die ich habe, ist, es müssen Leute sein, die müssen einen Online-Anschluss haben. Das hört sich jetzt vielleicht banal an, aber ist gar nicht so banal. Denn, wenn ich nur meine User teste auf meiner eigenen Webseite, dann habe ich nur lauter Leute getestet, die meine Marke schon kennen. Wenn ich aber immer über eine Zielgruppe rede, rede ich ganz oft über Leute, die meine Marke noch nicht kennen und da mache ich einen Stichprobenfehler, und zwar einen ziemlich gewaltigen. Deswegen kann es interessant sein über ein qualitatives Testverfahren, wo ich eben im Recruiting von Probandinnen und Probanden Menschen finde, die meine Marke noch nicht kennen, die gezielt heranzuholen und die mal zu befragen, wie die mein Produkt oder meine Website oder mein was auch immer finden. Deswegen bin ich so ein bisschen dagegen, das gegeneinander aufzuwiegen. Also empirische Verfahren haben absolut ihre Berechtigung. Sie zeigen bis zum gewissen Grad, was passiert. Ab einem gewissen Grad der Frage nach dem Warum können empirische Verfahren nicht immer die Antwort liefern. Ich sag das mal bewusst mit einer Klammer. Es kommt eben ganz darauf an, wie das empirische Setting aussieht und mit welchen Tests und welchen Methoden ich da ran gehe. Aber im Endeffekt ist möglicherweise gerade und ich gehe mal nicht davon aus, dass der Podcast nur von den Amazons und Googles dieser Welt gehört wird, also von Webseiten, die richtig reichweitenstark sind, sondern auch vieler kleinerer Shop-Betreiber und auch kleinere Webseiten-Betreiber, dass man hier mit einem qualitativen Verfahren möglicherweise auch viele Erkenntnisse finden kann, die man beim empirischen Verfahren erst nach einer sehr großen Stichprobe zusammen hätte. #00:16:21.9#

Maik Bruns: Da kommt auch eine Studie ins Feld, die du mir im Vorfeld schon mal genannt hast oder unter anderem auch eine Ansicht von Nielsen, der auch etwas gesagt, wenn du mit 5 bis 8 Nutzern irgendwie testest, dann erschlägst du eigentlich schon 85 Prozent deiner Probleme, wenn du diese Nutzertests vernünftig machst. #00:16:40.0#

Thorsten Biedenkapp: Richtig, ja. Und Nielsen, Jakob Nielsen, hat das schon erstaunlich früh gemacht. Das ist auch immer wieder lustig, im Online-Marketing wärmen wir gerne mal Suppen auf, die schon 30 Jahre alt sind. Aber das ist nicht schlimm, wir lernen alle gerne dazu und eine dieser Gruppen ist aus den 90er Jahren. Jakob Nielsen, einer der führenden Köpfe in der Usability-Forschung, vor allem im Bereich Web Usability, schon sehr früh, als Internet noch in den Kinderschuhen steckte, hat er versucht aus, man muss da zwei Verfahren unterscheiden, das eines ist eine summatives Setting, das ist also praktisch ein Test mit sehr vielen Probanden, um dann statistisch eine sehr hohe Stichhaltigkeit zu bekommen, sehr hohes Konfidenzintervall und das andere, was er vorgeschlagen hat ist ein qualitatives Setting, wo ich wenige Leute befrage. Dann hat er verschiedene Tests gemacht und ist in einer sehr gut geführten Studie dazu gekommen, dass es tatsächlich ausreicht, wenn ich das Thema Usability einer Webseite betrachte, dass ich 5 bis ungefähr 8 Personen brauche, um einen Großteil der Usability-Probleme zu erschlagen. Er hat das Ganze charmant gemacht in der Zusammenfassung, er hat geschrieben: Wenn ich mit einer Person teste, ist es besser, als wenn ich gar nicht getestet habe. Und wenn ich zwei getestet habe, habe ich auf jeden Fall doppelte Insight, wie wenn ich eine Person getestet habe, dann passiert lange relativ wenig. Und der Erkenntnisgewinn mit jeder weiteren Person ist maximal, aber ab sage ich mal 8 Personen hat er dann festgestellt, dass dann der Erkenntnisgewinn im einstelligen Prozentbereich ist, wenn überhaupt. Und es auch gar nicht das Ziel ist 100 Prozent zu erreichen, sondern dass man mit 85 Prozent schon verdammt viele Probleme erschlagen kann und man überhaupt mal anfängt. Wenn wir dann wieder zurückgehen auf deine Ausgangsfrage, wann soll ich überhaupt testen und wenn ich sage, dass Testen Unternehmenskultur ist, dann erschlage ich halt immer wieder 85 Prozent und komme dann natürlich annähernd irgendwann an die 100 Prozent ran. #00:18:30.6#

Maik Bruns: Was ist denn die Grundlage für Tests? Ich spiele jetzt ein bisschen darauf ab, hast du irgendwelche Daten, die dir sagen, hier stimmt irgendetwas nicht oder hast du vielleicht eine Idee, dass du sagst, irgendetwas muss hier auf der Website besser werden oder ist das Bauchgefühl oder woran kann man so ein Test Szenario überhaupt erstmal entwickeln? #00:18:51.9#

Thorsten Biedenkapp: Klassisch ist es ja so, jetzt in meinem Zusammenhang, der Kunde ruft an und sagt, ich habe nicht genug Verkäufe auf der Website. Also er drückt das meistens sehr laienhaft aus und oder irgendwo merkt er, dass im Geschäft tatsächlich irgendwo der Schuh drückt. Das drückt sich meistens in Euro aus. #00:19:13.1#

Maik Bruns: Ja, den Schuh kenn ich auch. #00:19:14.5#

Thorsten Biedenkapp: Und die interessiert jetzt relativ wenig, wo es herkommt, die haben so ein Gefühl dafür, dass es möglicherweise mit der Webseite zusammenhängt, wahrscheinlich eher dann, wenn Webseite das einzige Geschäftsmodell ist, aber dann guckt man da mal eben nach. Dann fängt das meistens an, dass man dann in die Webanalyse reinschaut und dann, oh Wunder, man muss erst mal die Zugangsdaten suchen und so fängt das meistens an. Dann hat man dann reingeschaut und stellt dann fest, oh, da ist irgendwas passiert und man versteht es noch nicht so genau. Dann kommt dieses Gefühl dafür, ja, wir müssen jetzt was verändern und meistens kommen Vorschläge wie, dann machen wir es jetzt wie Amazon oder wir machen es jetzt wie der und der und ich habe das da und da gesehen und die machen das auch ganz schlau. Ich glaube, da ist man gut beraten und oder man ist ein guter Berater, wenn man da schnell auf die Bremse tritt und sagt, lass uns das doch mal nicht uns entscheiden, weil wir kaufen den Kram ja nicht, sondern wir lassen das tatsächlich den Nutzer entscheiden. Insofern, das ist jetzt natürlich, ich möchte jetzt nicht gegen Designer oder Softwareentwickler sprechen und sagen, ihr seid schuld, aber letzten Endes sind diese Gruppen im Online-Geschäft schon schuld daran, wenn Usability schlecht ist. Denn alles, was sie abliefern, sind Vorschläge, gutgemeinte Vorschläge, das möchte ich betonen, wie sie glauben, dass es funktioniert, aber am Ende hat der User meistens eine völlig andere Denke und da eignet es sich natürlich hervorragend in das Thema Test rein zu gehen. #00:20:46.5#

Maik Bruns: Wenn man jetzt dann vor dieser Entscheidung steht, wir müssen irgendwas verändern, wir wollen unsere Website optimieren, wie kann man jetzt vielleicht an so ein Test-Szenario rangehen? Wenn wir jetzt beispielsweise die Daten als Grundlage nehmen, das heißt wir haben irgendwo festgestellt, die Nutzer springen vielleicht an irgendeiner bestimmten Stelle im Warenkorb immer ab oder vielleicht wir verkaufen zu wenig, die Leute betrachten die Produktseiten nicht, was auch immer am Ende eine Rolle spielt, wie kann man denn jetzt an so ein Test-Szenario rangehen? Was sollte man vielleicht zuerst entwickeln? #00:21:15.2#

Thorsten Biedenkapp: Das erste, was man entwickeln sollte, ist eine Arbeitshypothese, sprich, man sollte sich als erstes mal überlegen, was will ich denn überhaupt erreichen bei der ganzen Geschichte? Um so eine Hypothese zu formulieren, gibt es mehrere Möglichkeiten vorzugehen. Eine wäre, man könnte eine Frage stellen. Das ist so diese offene Hypothesenformulierung, was muss ich alles tun, damit die Conversion-Rate in meinem Shop nach oben geht? Dann könnte ich mir eine Liste von verschiedenen Ideen aufschreiben, was man alles machen könnte und das dann eben testen. Das wäre die eine Vorgehensweise. Halte ich nicht immer für die geeignetste, weil man dann doch so ein bisschen im Vagen sich fühlt. Das kann man machen, wenn man sehr erfahren ist. Ich würde es eher in Form einer Aussage formulieren: Ich verändere in meinem Online-Shop dieses und jenes, beispielsweise füge ich vertrauensbildende Maßnahmen in Form von Gütesiegeln hinzu und erwarte, dass da meine Conversion-Rate um 3 Prozent nach oben geht. #00:22:15.3#

Maik Bruns: Das ist so eine typische „Wenn dies, dann das, weil …“ Geschichte. #00:22:19.0#

Thorsten Biedenkapp: Und dann, weil ich das verändert habe, geht das um 3 Prozent und das ist das Entscheidende, ich habe mir ein Ziel gesetzt, was ich auch irgendwie überprüfen kann. Und dann setze ich in einem Verfahren, beispielsweise in einem A/B-Test oder in einem Multivariaten-Test, was das ist, kann ich gleich nochmal erzählen, das gegeneinander und schaue dann eben, ob das eintritt, also ob die Aussage verifiziert ist oder ob das nicht eintritt, ob die Aussage falsifiziert ist. Man muss eben mit beidem leben können. Das ist die Grundvoraussetzung, dass man sich als Test-Leiter, der man dann natürlich ist in dem Moment und seinen persönlichen Anspruch erst mal rausnimmt und beide Ergebnisse auch zulässt. Dann kann man das auch ordentlich testen. #00:23:03.5#

Maik Bruns: Ich bin bei sowas, gerade bei Testings bin ich immer der Meinung, entweder man gewinnt durch den Test oder man lernt. #00:23:09.9#

Thorsten Biedenkapp: Das ist genau die Haltung, die du haben musst. Ja. #00:23:11.9#

Maik Bruns: Ich glaube, wenn du nämlich denkst, oh, wir haben jetzt 2 Tests, 4 Tests in Folge in den Sand gesetzt, dann kann man das so sehen, dass man einen Verlust gemacht hat oder man erkennt, dass die Dinge eben nicht so sind, wie wir sie angenommen haben und etwas anderes, eine vielleicht noch viel bessere Erkenntnis am Ende des Tages dahintersteckt. Welches Testverfahren bringt denn so, gibt es sowas wie, gibt’s die besten Insights aus einem bestimmten Testverfahren? Ich bin total provokativ, aber … #00:23:40.0#

Thorsten Biedenkapp: Ich merke es. #00:23:42.4#

Maik Bruns: Aber was hat einen A/B-Test vielleicht an Vorteilen gegenüber einer Nutzerbefragung oder gegenüber einem multivariaten Test oder? #00:23:50.9#

Thorsten Biedenkapp: Ich mache mal ein Beispiel. Wenn ich sehr viele Nutzer auf meiner Webseite habe, dann kann es sinnvoll sein einen A/B-Test zu machen, weil ich dann mit einem hohen Konfidenzintervall rauslaufe, den niedrigen statistischen Fehler habe und dann auch gescheite Ergebnisse zusammenbekomme. Wenn ich aber am Tag 20 Nutzer auf meiner Webseite habe, teste ich mich möglicherweise aus statistischen Gründen zu Tode mit einem A/B-Test. #00:24:21.0#

Maik Bruns: Weil die Testlaufzeit extrem lang wird, weil … #00:24:23.7#

Thorsten Biedenkapp: Man kann das ja mal ausrechnen. Ich habe zum Beispiel eine Konversionsrate von 5 Prozent und dann weiß ich um eine einzige Konversion zu erhalten, brauche ich also 20 Personen, die auf meinem Online-Shop gewesen sind. Dann habe ich also einmal einen Kauf. Hervorragend! Und man weiß ungefähr, dass man so zwischen 200 und 300 Fälle braucht, wo immer das gleiche Verhalten auftritt in einem A/B-Test, um eine statistisch hohe Konfidenz zu haben, um zu wissen, das ist tatsächlich so. Ich habe mir jetzt nicht nur einen Ausschnitt des Kuchens angeguckt, sondern ich habe den ganzen Kuchen gesehen. Wenn ich das jetzt mache und ich habe praktisch meine 20 Personen und muss das mal 300 nehmen, dann brauche ich also mal mindestens 6000 Views auf meiner Webseite. Wenn ich am Tag aber 100 Views habe, dann teste ich 60 Tage und in dem Fall würde das ziemlich lange sein, weil möglicherweise sich im Online-Marketing in der Zwischenzeit schon alles wieder geändert hat. Google ändert Meta Description Länge und macht dieses und jenes und das Rad dreht sich ja jeden Tag neu. Deswegen kann das nicht sinnvoll sein über zwei, drei Monate eine einzige Test-Variante zu machen. Wenn man das Ganze in einem multivariaten Test hat, also praktisch, wo ich mehrere Variablen habe in meinem Test, also Button-Größe, Text-Länge, ein Bild, Copy, alles Mögliche und dann verschiedene Variationen habe, ein Beispiel, ich hätte jetzt 24 Variationsmöglichkeiten, dann muss ich 24 mal 6000 nehmen, das sind 144.000 Variationen. Aber trotz allem, da merkt man mal, wie lange das dann dauern würde bei 100 Aufrufen. Das dauert zu lange. Ich kann natürlich große summative Kundenbefragungen machen auch dann, also sprich, ich könnte jetzt zum Beispiel rausgehen und Fragebögen verschicken oder vor Ort fragen und Telefoninterviews, ist alles super, wenn ich viel Geld habe und auch entsprechend Zeit. Jetzt gehen wir mal davon aus, dass der kleinere Online-Shop-Betreiber das jetzt gerade hört und sagt, um Gottes Willen, das schaffe ich ja nie. Für ihn ist möglicherweise ein Verfahren wie ein qualitatives Testverfahren besser geeignet. Ich sage ganz bewusst, möglicherweise. Das muss man im Einzelfall abwägen. Da gibt es auch kein Schwarz und kein Weiß. Es kann gut sein, dass das für ihn geeignet ist. Dann würde er, jetzt bitte nicht 5 Freunde einladen, sondern er würde 5 reale Kunden einladen und würde denen Aufgaben stellen auf seiner Website und beobachten wie die damit umgehen und dann hätte er eine Variante B und würde die Variante B testen und würde denen auch die gleichen Aufgaben stellen und beobachten wie die damit umgehen und sich daraus dann seine Schlüsse zurechtlegen, ob seine Hypothese, wenn ich jetzt das und das und das gemacht habe, Warenkorb Veränderung, Gütesiegel, dass die Leute das tatsächlich angenehmer empfinden. Das kann man auch machen remote und unattended, das geht auch, es gibt so ein Tool, sowas wie ein Mouseflow heißt das eine, glaube ich, dass andere heißt Hotjar. Das ist jetzt keine Werbung dafür, ihr könnt euch entscheiden, welches Tool besser zu euch passt, aber das sind so, immer das gleiche Verfahren ungefähr. Man installiert einen Tracking Code auf der Webseite und dann werden die Mausbewegungen aufgezeichnet und die werden immer sehr schön in Heat Maps abgebildet, dann sieht man also, wo war viel Mausbewegung, wo wurde häufig geklickt, wo wurde wenig geklickt. Und dann gibt es häufig ein zweites Feature, bei dem man die einzelnen Sessions, die die User hinterlassen haben, auch sich als Video angucken kann. Man kann so tatsächlich sehen, wie der User die Maus über den Bildschirm geführt hat und sozusagen dem User über die Schulter schauen kann. Jetzt sagen viele Leute, ach, das ist ja ganz toll, da erfahre ich endlich mal, warum die Leute das machen. Dann sage ich, nein, das erfahrt ihr nicht, ihr erfahrt immer noch nur, was die Leute da so genau gemacht haben. Warum, wissen wir immer noch nicht, weil wir mit denen nicht gesprochen haben. Also in einem klassischen Usability-Test würde man so eine Aufzeichnung machen, also eine Beobachtung und man würde die User bitten, Thinking Aloud zu betreiben, also beim Test laut zu sprechen, was sie gerade denken, was sie gerade antreibt, was sie gerade als Nächstes vorhaben, damit man im Prinzip diese Brücke in den Kopf hineinzuschauen bildet. Und daraus kann man dann Schlüsse ziehen. Bei Hotjar ist es dann oft so, dass das Problem aber gar nicht so sehr in der Aufzeichnung liegt wie auch beim Mouseflow, sondern das ist häufig das Auswerteproblem. Man muss da mit diesem offenen Mindset, das du vorhin beschrieben hast, entweder man lernt was oder man gewinnt, rangehen und vor allem nicht das Nutzerverhalten als Schuldigen suchen. Denn der Schuldige sitzt nicht vor dem Bildschirm, sondern das ist derjenige, der diesen Mist erstellt hat und das ist man meistens selbst. Und der Nutzer ist nie zu blöd, sondern der Nutzer hat immer recht. Das ist die Haltung, die man dafür braucht. Und dann sucht man nach Anomalien. Das kann man auch mit erhöhtem Tempo machen. Man muss sich jetzt also nicht alle 20 Minuten Sessions im Warenkorb angucken, sondern kann die auch in 5 Minuten abfrühstücken. Man sieht sofort, wenn irgendwo was passiert, was nicht gewöhnlich ist. Das markiert man sich, notiert man sich und versucht es dann später zu priorisieren und dann diesen Fehler auch zu beheben. Es gibt keinen Fehler, der noch so klein ist, als dass er nicht behebungswürdig wäre. #00:30:00.4#

Maik Bruns: Gerade diese Thema Anomalien, das du ansprichst, finde ich extrem wertvoll, weil das ist auch etwas, was in der Webanalyse immer wieder gesucht wird. Viele gehen einfach nur hin und betrachten sich ihre Zahlen mit großem Wohlwollen und achten aber nicht auf die feinen oder manchmal auch großen Unterschiede zwischen den Zahlen. Beispielsweise schauen sie sich vielleicht die Durchschnittswerte im Seitenbericht an oder sowas und gucken dann, hey, Absprungrate 70 Prozent, alles super. Wohingegen dann aber tatsächlich sehr interessant ist, wie es dann auf den einzelnen Seiten da drunter vielleicht läuft oder sogar noch stärker segmentiert und kommt das Thema Segmentierung auch nochmal schnell ins Feld, dass man schaut, wie verhalten sich denn verschiedene Benutzergruppen vielleicht auf verschiedenen Seiten, springen die einen auf der einen Unterseite vielleicht mit einer 10 Prozent höheren Wahrscheinlichkeit sogar ab als auf einer anderen oder andere Benutzergruppen. Und das herauszufinden, dieses Herausextrahieren von zumindest erstmal Optimierungsansätzen und Hypothesenbildung, das finde ich so wertvoll. Viele gehen einfach nur über die Zahlen und klopfen sich auf die Schulter und sagen, ja, alles super, aber ich glaube, dieses Anomalien suchen ist mit der Kern in Analysen überhaupt. #00:31:10.2#

Thorsten Biedenkapp: Überhaupt, ja. Man kann auch gar nicht anders vorgehen. Wenn ich eine gewisse Menge an Daten habe und ich sag jetzt mal bei Hotjar mache ich 300 Aufzeichnungen, ich kann da nicht alles, was da geklickt wird, in Daten erfassen und das dann nachher irgendwie groß analysieren. Da wird man wahnsinnig. Um das noch ein bisschen praktikabel zu halten, ist es einfach wichtig, dass man da nach Anomalien sucht. Das ist eine gewisse Übungsfrage, das will ich mal vielleicht so als Vorwarnung mitgeben. Also man wird nicht sofort in den ersten 3 Minuten Anomalien finden. Man muss schon ein paar Hundert Recordings gesehen haben, um ein Gefühl dafür zu entwickeln, wenn was nicht stimmt. Aber das stellt sich relativ fix ein. Ich kann nur dazu ermuntern, zumindest diese Art des naja, Testens, ist es ja nicht richtig, ist eigentlich eher eine Nutzerbeobachtung, mal anzuwenden. Denkt immer an die DSGVO. #00:32:03.7#

Maik Bruns: Nicht alles tracken. #00:32:05.1#

Thorsten Biedenkapp: Nicht alles tracken. Und sich das anzugewöhnen, sich mal damit auseinanderzusetzen, was die Nutzer tatsächlich auf der Webseite machen, also als Film. Und dann kriegt man auch ein gutes Gefühl dafür. Ich glaube, wenn man so seine ersten 1000 Recordings gesehen hat, da weiß man dann schon Bescheid. Bei manchen geht es schneller, bei manchen geht es langsamer. #00:32:23.1#

Maik Bruns: Meine Oma hätte gesagt, da bekommst du viereckige Augen von, aber … #00:32:26.1#

Thorsten Biedenkapp: Ja, hat sie recht. #00:32:27.0#

Maik Bruns: Hat sie recht. #00:32:27.7#

Thorsten Biedenkapp: Also wenn man mich anschaut, dann … #00:32:30.1#

Maik Bruns: Wenn ich jetzt hingehe und ich baue mir eine Arbeitshypothese oder eine Testhypothese auf und sage, oh, jetzt habe ich aber nicht nur eine, ich habe irgendwie 20. Alles irgendwie interessant. Wonach würdest du priorisieren? Was wäre so, hättest du Gesichtspunkte, bei denen du sagst, sortiere mal nach dem Kriterium? #00:32:51.6#

Thorsten Biedenkapp: Natürlich, es gibt empfindliche Arbeitshypothesen, die das Geschäft als solches direkt betreffen, also wo am Ende mehr oder weniger Euro rauskommt. Und dann gibt es welche, die sind halt, in Schönheit sterben. Also das wäre eine Möglichkeit zu priorisieren. Ich würde es vielleicht nochmal noch offener machen und würde mal den ersten „Test“, in Anführungszeichen, also ist kein richtiger Test, mal mit einem völlig offenen Ergebnis und ohne Arbeitshypothese machen. Einfach mal so 200, 300 Recordings mal aufzeichnen und erstmal ein Gefühl dafür bekommen. Und das ist ganz wichtig, also nicht gleich mit einer Meinung wieder rangehen und sagen, jetzt finde ich hier aber was, sondern einfach erstmal gucken, was passiert da überhaupt? Mal ohne ein Ergebnis. #00:33:38.1#

Maik Bruns: Also Irgendwas ändern und mal gucken, was passiert? #00:33:39.9#

Thorsten Biedenkapp: Nein, auch gar nicht was ändern, sondern erstmal nur gucken, Status Quo, wo stehe ich denn gerade? Erst mal Bestandsaufnahme. Weil das findet häufig nicht statt, sondern es wird immer sehr schnell geändert, weil man den Status Quo vermeintlich kennt und dann hat man möglicherweise aber Dinge übersehen. Ich empfehle erst mal, man guckt sich das erst mal an, was man da so überhaupt hat, sortiert das erst mal und kategorisiert das für sich selbst ein, dass man es erst mal verstanden hat. Dann würde ich aus einem dieser Probleme, die dann daraus resultieren, eine erste Arbeitshypothese ableiten. Denn ich kann mich jetzt natürlich hier Nachmittage Weise hinsetzen und tolle Hypothesen überlegen, aber die meisten davon werden völliger Humbug sein oder beziehungsweise, die werden nicht das Problem, das meine User haben, betreffen. Also nochmal, Nutzerzentrierung heißt, ich gucke, was macht mein Nutzer und nicht, ich gucke, was mich interessiert. Und in dem Fall müsste ich jetzt mal hier schauen, was machen die eigentlich? Und dann ergibt sich sehr schnell ein erster Ansatz. #00:34:36.7#

Maik Bruns: Ist sowieso immer ein guter Aspekt sich die Brille des Nutzers aufzusetzen und nicht die eigene rosa Brille des Marketings? #00:34:44.3#

Thorsten Biedenkapp: Ja oder was auch noch eine Möglichkeit ist und das ist auch eine wissenschaftlich gut überprüfte Methode, ebenfalls von Jakob Nielsen, aber nicht denken, dass ich jetzt ein Jakob Nielsen Fanboy bin, sondern der hat halt leider sehr viel gemacht in diesem Feld. Er hat das sogenannte Heuristic Evaluation genannt. Heuristiken sind ja so Pi mal Daumen Regeln und er hat einen Fragenkatalog aus 12 Fragen entwickelt, die verschiedene Bereiche eines Online-Produkts abdecken. Man kann den Fragenkatalog kostenlos herunterladen, muss man nach Heuristic Evaluation und Nielsen suchen. Wir machen das mit Sicherheit in die Shownotes und da geht es in verschiedene Kategorien. Ich mache mal ein Beispiel. Man hat jetzt so ein klassisches Webformular. Das kommt in jedem Online-Shop in jeder Webseite irgendwie vor. Wir kennen das alle. Wir haben jetzt brav alles ausgefüllt und sind der Überzeugung, jetzt haben wir uns schon nackig genug gemacht, jetzt drücken wir auf Absenden und dann kommt eine Meldung im besten Fall, es ist ein Fehler aufgetreten. Punkt. Die ist auch noch rot, sodass man es möglicherweise sieht. Manchmal ist es auch gar nicht rot oder es ist auch gar nicht anders gestaltet, sondern es steht nur irgendwo dazwischen. Aber es steht jetzt nicht dran, was für ein Fehler. Und es ist jetzt sozusagen das fröhliche Rate mal mit Rosenthal. Rosenthal, wer das noch kennt, ist alt genug. #00:36:07.6#

Maik Bruns: Ich kenne die auch. #00:36:08.8#

Thorsten Biedenkapp: Und dann kann man dann herausfinden, was denn da jetzt schiefgelaufen ist. Manche Leute haben eine erstaunlich hohe Frustrationstoleranz und probieren dann alles Mögliche aus. Dann muss aber der Drive, das Produkt haben wollen, extrem groß sein, aber ein Großteil bricht dann halt auch da ab. Mit dieser Heuristic Evaluation würde zum Beispiel überprüft werden, ob so ein Formular eine adäquate Fehlerrückmeldung gibt. Da ist eine Frage dabei: Erhalte ich ein hilfreiches adäquates Feedback? Wenn ich eine Eingabe in ein Eingabefeld mache, ist das irgendwie beschränkt? Ist das offen? Meldet mir das System, wenn ich einen Fehler gemacht habe? Das jetzt nur so in diesem Fehlermeldungs-Bereich. Dann gibt es einen Bereich, der ist Gestaltung. Sind die Grundprinzipien guter Gestaltung eingehalten? Kontrast, Nähe, Gruppierung, sowas in der Art. Und das ist da drin. Das kann man mal machen. Das Schöne ist, man kann das als Experteninterview machen. Man setzt sich mal selbst vor sein eigenes Produkt, schaut sich diese Fragen an und kann die dann bewerten. Es empfiehlt sich das zum Beispiel skaliert zu machen mit so einer Punkteskala. Man würde jetzt nicht mit Schulnoten, das würde ich jetzt nicht empfehlen, das ist ein bisschen schlecht damit rumzurechnen, aber man könnte mal anfangen mit einer Skala, mit „trifft voll und ganz zu“, „trifft zu“, „trifft gar nicht zu“. So eine 5er-Skala und dann die mit einem Punktwert von 0 bis 5 versehen und dann kann ich da auch prima mit rumrechnen. Dann sehe ich schon mal, wo habe ich denn so meine Schwächen und in welchem Bereich? Dann kann ich noch, wenn ich möchte, in der Fehler-Priorisierung die Wahrscheinlichkeit des Auftretens hinzuaddieren. Das kann ich dann auch skaliert machen und kann dann sehr schnell eine priorisierte Liste haben, mit welcher Arbeitshypothese ich mich als Erstes beschäftigen sollte, mit welchem Bereich ich mich als Erstes beschäftigen sollte. So würde ich da vorgehen. Also nicht nach Bauchgefühl und was mir jetzt gerade am schönsten gefällt, sondern tatsächlich versuchen erst mal ganz nüchtern datenbasiert die drängendsten Probleme auch zu identifizieren. Die Wahrscheinlichkeit des Auftretens kann man übrigens so herausfinden, man schaut mal in sowas Schickes wie Matomo oder Google Analytics. Ich merke, ich habe Matomo zuerst genannt. #00:38:27.1#

Maik Bruns: Ja, ich habe es gerade bemerkt. Schrägstrich, Piwik. #00:38:28.2#

Thorsten Biedenkapp: Maik ist schon ganz nervös geworden, aber man muss ja auch mal mit diesen Leuten reden. Nee, aber schaut da mal rein und schaut einfach mal nach, wie hoch ist der Aufrufzahl im letzten Jahr gewesen im Vergleich zu einer anderen Seite? Also wenn ihr ein Kontaktformular habt, das ein sehr einsames Dasein fristet und irgendwie 12 Aufrufe im Jahr hat und dann habt ihr halt einen Warenkorb und der hat 5 Millionen Aufrufe im Jahr, dann ist es ganz klar, womit ich mich zuerst beschäftigen müsste. #00:38:57.8#

Maik Bruns: Ich habe auch vielleicht ein etwas anderes Vorgehen noch, also gerade, wenn es um das Bilden von Arbeitshypothesen geht. Die schreibt man sich dann meinetwegen runter. Ich habe eigentlich immer so 3 Kategorien, nach denen ich dann quasi am Ende irgendwie einen Durchschnittswert biete. Einfach nur für diejenigen, die vielleicht jetzt nicht so unglaublich evaluiert da schon rangehen wollen. Weil ich finde dein Vorgehen super, aber du brauchst auch eine gewisse Erfahrung, dass du überhaupt … #00:39:17.7#

Thorsten Biedenkapp: Das ist richtig. Ja. #00:39:18.3#

Maik Bruns: Und ich bewerte immer nach, also es gibt da so 3 Spalten bei mir. Da steht dann einmal Wichtigkeit, also wie wichtig ist dieser Test grundsätzlich? Dann Business Impact oder vermuteter Business Impact, so auf einer Skala von 1 bis 10 meinetwegen. Also bringt das jetzt so richtig was oder vermuten wir das zumindest oder ist das eher so, ach Gott, lass mal. Und das Dritte ist dann auch noch so etwas wie Leichtigkeit der Umsetzung. Daraus kann man dann vielleicht am Ende eine Priorität ableiten. Also vielleicht ein Durchschnittswert, wenn du jeweils eine Skala von 1 bis 10 hast oder so, dann kommt halt am Ende 3,5 raus gegenüber 4 bei einem anderen. Dann hast du zumindest schon mal eine Idee, was du priorisieren möchtest. #00:39:55.0#

Thorsten Biedenkapp: Das finde ich auch ein sehr gutes und praktikables Vorgehen. #00:39:57.0#

Maik Bruns: Ist zumindest erst mal einfach und ich glaube, gerade wenn du so im Einsteigerbereich unterwegs bist, dann brauchen die Leute irgendwie noch so ein, du musst den glaube ich manchmal Angst nehmen von dem Testing. Dann was maximal Einfaches erstmal. #00:40:10.2#

Thorsten Biedenkapp: Wobei ich kann jetzt aus der Praxis erzählen, also an der Hochschule Rhein-Main in Wiesbaden habe ich einen Lehrauftrag für das Fach Mensch-Computer-Interaktion im Fachbereich Medieninformatik und mache dort die Vorlesung und auch das Praktikum. Das sind ja alles keine erfahrenen Usability-Tester … #00:40:28.2#

Maik Bruns: Das ist wohl wahr. #00:40:28.9#

Thorsten Biedenkapp: … und in diesem Praktikum behandeln wir über ein ganzes Semester eine App, die von den Studierenden dann auf Herz und Nieren hinsichtlich Usability getestet wird mit echten Probandinnen und Probanden. Das heißt die kümmern sich um die Rekrutierung, die Durchführung, das Design, das Testen und das lernen die da alles. Das Schöne ist, am Anfang mache ich mit denen auch diese Heuristic Evaluation und das haben die alle geschafft. Also um euch da draußen die Angst zu nehmen, ich würde mal damit anfangen. Das kann man sehr gut leisten. Wirklich Fragebogen runterladen und mal versuchen durch diese Fragen, die meiner Meinung nach sehr gut geeignet sind, um einen Perspektivwechsel mal zu vollziehen, dann die mal abarbeiten und mal schauen, was dabei rauskommt. Perspektivwechsel ist auch vielleicht ein ganz gutes Stichwort auch für, das ist ein häufig gemachter Anfängerfehler, dass man sich zu schnell im Detail verliert. Es ist aber oft ganz wichtig und das hast du sehr schön beschrieben mit Business Impact, so ein bisschen die Vogelflug-Perspektive beizubehalten und von außen so auf das Produkt zu schauen und mal zu gucken, was ist denn hier so am herausstechendsten gerade. Wenn man da schon zu sehr im Detail ist und das ist das, was das A/B-Testing oder das, was man über das A/B-Testing erzählt, suggeriert, dass man da mal schnell die Button-Farbe auf orange stellt und die Schriftfarbe auf weiß im Button und schon ist alles gut, das ist eben nicht so. Ich glaube, da gibt es erst einmal die grundsätzliche Vogelperspektive, dass man da von außen erst mal so reinschaut und wenn man das A/B-Testing auch richtig verstanden hat, dann weiß man, dass A/B nicht Button ist und nicht Schriftgröße und nicht Bild ausgetauscht, sondern das sind zwei möglicherweise sehr unterschiedliche Grundvorschläge, konzeptionelle Grundvorschläge, wie eine solche Seite aufgebaut sein kann. Und die testet man gegeneinander, damit man schon erst mal ein Grundgefühl dafür bekommt, ob Variante A oder die sehr andere Variante B. Es kann echt sein, da fehlt oben dann das Bild und der Button ist ganz unten am Ende der Seite und da gibt’s 3 Formulare und auf der anderen Seite gibt es gar kein Formular. Dass man das erst mal gegeneinander testet, um dann erst mal so einen Anhaltspunkt zu haben und dann kommt man in den zweiten Bereich, das ist dieses multivariate Testen, wo ich dann anfange, einzelne Elemente nochmal gegeneinander zu testen und Kombinationen dieser Elemente gegeneinander. #00:42:48.7#

Maik Bruns: Ich finde es sehr wertvoll, was du gerade gesagt hast, dass du bei Testings nicht nur Kleinigkeiten veränderst mitunter, sondern wirklich konzeptionell auch mitunter völlig anders vorgehst. #00:42:56.9#

Thorsten Biedenkapp: Das kann passieren. #00:42:57.5#

Maik Bruns: Ich sage meinen Kunden dann mitunter auch, sie sollen einfach mal krass denken. Einfach mal etwas völlig anderes generieren als das, was sie sonst irgendwo schon mal gehört haben, sondern einfach mal ganz normal aufs Reißbrett die Sache nehmen und mal ein ganz anderes Konzept zu einer Sache zum Warenkorb, zur Produktseite, was auch immer, einfach mal sich vornehmen und den Nutzern als Angebot geben, um zu schauen, was passiert. Ich meine, was ist die Erwartungshaltung gegenüber kleinen Änderungen? Da wird nicht viel passieren in der Regel. Da wird es vielleicht eine statistisch sogar nicht signifikante Änderung geben am Ende. #00:43:31.2#

Thorsten Biedenkapp: Ja gut, es kommt immer auf die Perspektive drauf an. Wenn ich Amazon bin und ich mache halt in meinem Warenkorb am Tag 1800, 2000 Tests in verschiedenen Variationsmöglichkeiten und ich finde am Ende heraus, dass mein Umsatz 0,00001 Prozent gestiegen ist und wenn man das dann in Euro übersetzt, es halt immer noch am Tag 3 bis 4 Millionen Euro Umsatz sind, so gefühlt, dann hat das schon einen Impact. Dann ist man mit den Kleinigkeiten sehr gut beraten, sich darum zu kümmern. Aber jetzt sind wir mal realistisch, das betrifft die allerwenigsten. Dieses Luxusproblem haben die allerwenigsten. Ich glaube, deswegen ist es ganz wichtig erst mal eine etwas größere gröbere Perspektive einzunehmen und erst mal vom Groben ins Feine vorzuarbeiten. Oder wie ich, das wird jetzt wahrscheinlich das Zitat des Jahrhunderts sein, ich sage immer, man kann natürlich auch heiraten und kinderkriegen ohne das erste Date. Das ist natürlich auch praktisch, aber ist vielleicht jetzt nicht so empfehlenswert. Man sollte vielleicht vorher mal prüfen, was sich ewig bindet. So geht man da mal ran, erst mal langsam voran tasten und dann tatsächlich Fakten schaffen. Das ist auch der Unterschied zwischen Taktik und Strategie, also ist das eigentlich. #00:44:44.5#

Maik Bruns: Du hast eben auch das große böse Wort Fehler erwähnt. Was sind denn so typische Fehler, die du beim Testing entdeckt hast bei der Zusammenarbeit mit Menschen? Wo hakt es denn, wenn Leute an sowas Komplexes wie ein Testing auch manchmal rangehen? #00:45:01.8#

Thorsten Biedenkapp: Naja, es gibt, das hört sich jetzt super wissenschaftlich an, aber im Prinzip gibt es aus der Psychologie bekannt 3 Test-Gütekriterien, die beschreiben wie gut ein Test ist. Ich versuche es mal einfach runter zu brechen. Das erste ist Objektivität. Das heißt, dass es unabhängig vom Untersucher immer zum gleichen Ergebnis kommen muss. Also ob Maik das macht oder Thorsten das macht, da kommt immer das Gleiche raus, weil die Methode einfach so normiert ist, dass immer das gleiche rauskommt. Das zweite Test-Gütekriterium ist Reliabilität, dass verlässlich immer das gleiche Ergebnis herauskommt, egal ob ich den Test einmal, zweimal oder tausendmal mache. Und das letzte Test-Gütekriterium, das ist am schwierigsten zu erreichen, das ist die Validität. Das bedeutet, dass ich auch tatsächlich das messe, was ich messen möchte. Dass ich also nicht irgendwas messe, sondern dass ich tatsächlich meiner Arbeitshypothese auf den Grund gehe und da tatsächlich die dann irgendwie wie gesagt bestätige oder verwerfen kann. Meistens stelle ich fest, dass Anfänger den Fehler machen, dass sie nicht objektiv genug sind. Da hapert es schon. Das heißt sie erwarten ein gewisses Ergebnis und tun alles dafür, damit dieses Ergebnis auch eintritt. Egal, ob ich A/B-Tests mache, Multivariat, User-Interviews, das ist eigentlich schon, da ist das ganze Ding gelaufen. Das heißt diese Haltung, von der wir jetzt hier schon ein paar Mal gesprochen haben, dieses entweder lernt man dazu oder man gewinnt und das mal auch ganz entspannt zu sehen und locker durch die Hose zu atmen, das ist eben wichtig. Wenn ich das schon nicht kann, dann sollte ich mich vielleicht möglicherweise oder wenn ich einen gewissen Druck habe, das kann auch ein politischer Druck sein, mein Arbeitgeber erwartet ein gewisses Ergebnis, dann ist es möglicherweise nicht gut zu testen. Dann sind andere Dinge vielleicht schlauer. Dann kann das auch und dann schließt sich so ein bisschen der Kreis zum Anfang und ich widerspreche mir selbst, aber dann kann das möglicherweise aus politischen Gründen auch schlau sein mal auf Best Practices herumzureiten, aber das muss man abwägen. Ich empfehle natürlich Test, aber wenn sich das nicht durchsetzen lässt, dann ist es besser man macht Best Practice als bevor man da den völligen Stillstand einläutet. #00:47:31.5#

Maik Bruns: Tatsächlich ja. Ich erlebe in meiner Praxis auch häufig, dass zum Teil falsche Hypothesen gestellt werden, dass manchmal auch zu komplex getestet wird, also zu viele Dinge gleichzeitig verändert werden, … #00:47:45.4#

Thorsten Biedenkapp: Das ist auch ein Problem. Ja. #00:47:46.4#

Maik Bruns: … dass häufig gar nicht mehr Ursache und Wirkung irgendwie in Verbindung gebracht werden könnten. Und auch, was ich auch erlebe und ich halte es für einen Fehler, dass einfach auch zu wenig getestet wird. Wenn du alle 3 Monate mal einen Test fährst, klar, abhängig von deinem Traffic, den du überhaupt leisten kannst auf deiner Seite oder abhängig von dem Geld, was du ausgeben kannst, vielleicht ist da eine Frage unklar, muss man immer ein bisschen abwägen. Aber gerade, wenn du über einfache Mittel und einfaches Mittel ist zum Beispiel ein Tool wie Google Optimize, Dinge einfach mal zu verändern auf der Seite und danach dann aber wieder in die Integration der Ergebnisse zu kommen, noch überhaupt einen neuen Test anzustoßen danach, weil wir haben eben am Anfang auch schon gesagt, es geht hier um einen Kreislauf. #00:48:29.9#

Thorsten Biedenkapp: Ganz genau. Ich fange immer am Prinzip mit dem Ende des Tests einen neuen Test an und habe eine neue Arbeitshypothese, einen neuen Ausblick auf das, was ich da tun will. #00:48:37.4#

Maik Bruns: So lange bis irgendwas mal durchoptimiert ist oder wo man das Gefühl hat, jetzt passiert hier nichts mehr, selbst wenn ich jetzt noch 20 Ideen da reinbringe. #00:48:44.3#

Thorsten Biedenkapp: Es passiert immer was. Manchmal sind die Sachen dann sehr kleinteilig und man kommt auch automatisch in so eine Phase, in der sich sehr wenig tut. Das liegt aber dann meistens an der Hypothesenbildung. Das muss man dann auch mal hinterfragen, wenn man lange nicht viel beobachtet oder nur sehr marginale Dinge beobachtet, dann ist es Zeit mal mit einem radikalen Ansatz heranzugehen. Was vielleicht ein spannendes Instrument ist, um mal so einen radikalen Ansatz offen zu hinterfragen, ob der denn nötig ist. Es gibt einen sehr schönen Fragebogen, der hat eigentlich einen anderen Einsatzzweck, aber manchmal kommt eben sowas dabei auch heraus und das ist der UEQ, der wurde mal von SAP entwickelt. Der hat in der Langfassung 26 Items, also Fragen und in der Kurzfassung 11 Fragen. Den kann man auch kostenlos herunterladen mit Manual. Bevor ihr den einsetzt, bitte dieses 13-seitige PDF-Manual lesen und verstehen. Man muss das genauso anwenden wie das in dieser Bedienungsanleitung drinsteht, ansonsten ist das Ding nicht mehr gültig. Ich mache mal ein Beispiel, wo der jetzt eingesetzt wurde. Meine Studierenden haben genau diesen Fragebogen oder eine Gruppe von meinen Studierenden hat das eingesetzt. Die sind so in kleinen Teams unterwegs und simulieren Usability Test Startups und da hat sich die eine Gruppe dafür entschieden das zu machen. Da gibt es einen Bereich, der nennt sich hedonistisches Verhalten, also praktisch, wie viel Spaß, Joy of Use heißt das ja so schön, wie viel Spaß macht das, wie süchtig macht das Produkt? Will ich das immer wieder machen? Und da hat diese App halt extrem schlecht abgeschnitten. Dann haben die mich gefragt, was machen wir denn jetzt? Dann habe ich gesagt, naja, möglicherweise ist das halt eben der passende Punkt, um über eine neue Konzeption nachzudenken, wenn das bei Ihrer Zielgruppe und bei Ihrer Messung rausgekommen ist. Man ist immer überzeugt, dass das eigene Ding das Beste und das Schönste und das Tollste ist und möglicherweise ist die Außensicht eine andere. Und wenn man in so eine Phase kommt, in der sich relativ wenig verändert oder wo man glaubt man ändert nur das Komma, die zehnte Stelle hinterm Komma irgendwie, dann kann das sinnvoll sein auch mal wieder mit so einer Methode ranzugehen, nochmal qualitativ zu testen, mit Usern zu sprechen, sie nochmal zu befragen. Vielleicht auch nochmal eine innere Marktschau zu machen. Das kann man auch mit Usern machen, indem man mal das Konkurrenzprodukt gegen das eigene hält und man beide miteinander in so einem qualitativen Setting dann mal durchtestet und dann herausfindet, oh, die machen da genau das gleiche wie beim Konkurrenten, haben aber die Hälfte der Probleme. Das sind auch so Ansätze, wo ich sage, okay, vielleicht ist jetzt Zeit für einen radikalen Neuansatz. Das sollten wir sowieso alle mal ein bisschen mehr wagen. Wobei ich auch zum Beispiel das Testing extrem empfehlen kann für das Thema Relaunch. Das ist ja so ein Modethema momentan. Es ebbt zum Glück wieder ein bisschen ab. Jetzt haben alle ihren Relaunch gemacht, in zwei Jahren ist es wieder so weit, da kommt das Thema wieder. Aber der Relaunch als solches ist auch immer ein radikaler Neuansatz. Ich finde es immer gefährlich, wenn der Relaunch nicht datenbasiert erfolgt, sondern wenn der wieder geschmacksbasiert erfolgt. Man macht dann wieder einen gut gemeinten Vorschlag und fängt möglicherweise ganz bei null an. Und wenn man ein kontinuierliches Testing etabliert hat, kann man natürlich auch mal in einem A/B-Test so einen Relaunch vorher mal mit einer kleineren Stichprobe durchtesten und dann mal auch gucken, ob das dann ein gutgemeinter oder ein guter Vorschlag war. So könnte man da auch rangehen. Oder man kann das machen wie das eine Hotelkette hier in Deutschland produziert. Die machen das so, dass sie sagen, wir haben eine No-Relaunch-Policy und die machen im Prinzip lauter kleine Tests mit kleinen Veränderungen und verändern so Schritt um Schritt ihre Website und kommen dem optimalen Produkt immer näher. Das wäre die Alternative. Deswegen Testen ist immer super, nicht nur um Conversion-Rates zu steigern. Und vielleicht, dass man mal auch versteht, warum rede ich immer wieder von Usability? Wenn man kritisch … ich sage es anders. Liebe Conversion-Rate-Optimierer, bitte seid jetzt nicht böse, aber das, was ihr am Anfang eines Projekts im Regelfall macht, ist das Beseitigen von Usability-Fehlern. Von denen gibt es zum Glück auf Webseiten und Online-Shops extrem viele, sodass das ein gewinnbringendes, ein gutes Geschäft ist und ihr macht mit Sicherheit hervorragende Arbeit. Aber der Uplift, der da draus resultiert, ist nicht zwingend irgendwie einer tollen Psychologie geschuldet, sondern meistens, dass ein Benutzer aus technischen oder Designaspekten heraus eine Website einfach ums Verrecken nicht benutzen kann. Und deswegen, wenn ihr kein Geld habt für einen tollen Conversion-Rate-Optimierer, kümmert euch um eure Usability, denn dann habt ihr auf jeden Fall auch schon mal so einen guten Uplift und dann könnt ihr euch vielleicht einen Conversion-Rate-Optimierer leisten, der dann auch diese psychologischen Aspekte beleuchtet. #00:53:52.4#

Maik Bruns: Ja, ich glaube, das sind ein sehr wertvolle Hinweise, die du gerade gegeben hast, auch insbesondere das Thema. Ich meine, ich habe das selber schon mal in einem Podcast verarbeitet, was ich von Relaunches halte. Das deckt sich ungefähr mit deiner Meinung. Ich bin auch eher der Meinung iterativ zu testen, wirklich entspannt zu bleiben, nicht diesen großen Wurf zu machen und dann am Ende dazustehen und zu sagen, so, warum kommen denn jetzt weniger Nutzer? Und keiner kann mir irgendwie sagen, woran es jetzt gelegen hat am Ende des Tages. Das halte ich auch für sehr gefährlich und auch eben das Thema Usability-Optimierung, da auch immer wieder zu erwähnen, weil ich halte es für sehr wichtig dem Nutzer es so einfach und so gut, bequem wie möglich zu machen auf der Website und ihm auch bitte keine technischen Hürden zu geben oder so wenig wie möglich am besten, damit er sich zurechtfindet, damit er das tut, was ihr von ihm auf der Website auch wollt. Und was ich persönlich auch aus Erfahrung immer sagen kann, wenn ihr dann diese technischen Hürden erst mal erledigt habt, dann könnt ihr auch ganz andere Dinge noch ins Feld führen, die auch möglicherweise sogar für echte Uplifts am Ende des Tages nochmal sorgen können, was eure Conversion-Optimierung angeht. Zum Beispiel einfach den Nutzer zu motivieren bestimmte Dinge zu tun. Also nicht nur zu sagen, hey, wir haben jetzt alle Farben durch und die Anzahl der Formularfelder sind auch so gering wie möglich und so weiter, sondern auch zu sagen so, was kann ich denn in so einen Button reinschreiben, damit er tatsächlich auch eher und lieber kaufen würde? Wie kann ich denn meine Produkte so gestalten, dass er das letztendlich einfach haben möchte? Was kann nicht drumherum stricken? Also das Thema Motivation dann auch nochmal reinzubringen. Und auch da kann man ich glaube Unmengen an Tests machen bevor man da am Ende irgendwie die Weisheit hat. #00:55:32.0#

Thorsten Biedenkapp: Man kann jetzt mal so ein heißes Eisen anfassen an der Stelle, das Thema Content-Marketing, ja, ist ein spannendes. Da geht es ausnahmsweise nicht um einen Conversion-Uplift in einem Online-Shop. Vielleicht irgendwann am Ende, aber jetzt mal primär geht es da drum nicht. So, dann habe ich 10 Kunden mit einer tollen Story überzeugt und habe eine ganz tolle Story gemacht und dann kommt immer die Frage, was passiert danach? Jetzt habe ich eben die Möglichkeit mit einem Test auch mal auszuprobieren, ob ich so ein nerviges Newsletter-Popup-Banner da einbauen soll oder nervt das nur mich oder nervt das meine Kunden? Ist immer eine gute Frage. Funktioniert sowas vielleicht tatsächlich oder habe ich das nur gehört, dass das funktioniert? Oder ich kann auch mal andere Methoden ausprobieren, kann ich den irgendwie anders in mein Sales-Funnel hineintreiben. Da ist Testing doch ideal dafür. Ich finde, man sollte solche, ich glaube, dass das Testing letzten Endes, das sagen natürlich alle Disziplinen des Online-Marketings von sich, aber das Testing ist schon etwas, was viele Disziplinen auf eine sehr sinnvolle Art und Weise verbindet, denke ich, ist die richtige Formulierung. Testing ist nicht alles, aber beim SEO ist eines der Hauptanliegen Leute auf die Webseite zu treiben, also Traffic zu generieren und dann kommt der zweite Aspekt. Jetzt habe ich die schon auf der Seite, jetzt möchte ich sie auch nach Möglichkeiten nicht verlieren. Wäre natürlich schlau. Dann kann ich natürlich mit Testing und dem Ausmerzen von echten Fehlern auf der Webseite, die ich konzeptionell verbrochen habe, dazu beitragen, dass die Leute dann noch dableiben. Beim Content-Marketing genau das Gleiche. Ich habe sie jetzt mit einem tollen Seeding-Budget auf meine Seite gelockt, weil da so eine super Story ist und jetzt sind sie da und jetzt möchte ich sie aber gerne dabehalten. Wie kann ich da einen Call to Action machen, der sie zum Beispiel tiefer in die Seite hineintreibt außer dem recht einfallslosen, das könnte Sie auch noch interessieren unten drunter mit 3 Artikeln. Ich meine, das ist so ein Common Sense Ding, aber möglicherweise gibt‘s auch dafür viele verschiedene Ansätze, die ich einfach mal durchprobieren könnte. #00:57:31.4#

Maik Bruns: Bevor wir gleich zu deinen 3 Tipps kommen … #00:57:34.3#

Thorsten Biedenkapp: Ach du meine Güte. #00:57:35.0#

Maik Bruns: Hast du deinen Zettel dabei? #00:57:36.5#

Thorsten Biedenkapp: Nein. Nein, den habe ich professionell zu Hause gelassen. In Hessen sagt man, daheim habe alle Buben Klicker. Aber das ist halt, die, die nicht aus Hessen kommen und sich fragen, was sind Klicker sind? Das sind Murmeln. #00:57:48.4#

Maik Bruns: Bevor wir das machen und wir nach Hessen müssen, wir können vielleicht nochmal über ein paar Buchtipps sprechen, die du auch in petto hast, was sowas angeht. Welche Werke würdest du den Leuten gerne an die Hand geben, um zu sagen, hier, informiere dich mal zum Thema Testing, zum Thema Usability? #00:58:08.5#

Thorsten Biedenkapp: Ich fange mal vom Groben ins Feine an. Das Standardwerk rund ums Thema gut benutzbare Produkte und Objekte, es geht nicht nur um online, sondern überhaupt, was sind die Grundprinzipien eines guten Produkts, ist mit Sicherheit: „The Design of Everyday Things“ von Don Norman. Das Buch ist ja auch schon ein bisschen älter. Ich glaube, das ist mittlerweile in zweiter oder dritter Auflage erschienen. Don Norman ist sozusagen der Gott der Usability. Er hat einige sehr wesentliche Überlegungen getroffen dazu, was ein gutes Produkt ausmacht. Das berühmteste, was man von ihm kennt, ist die sogenannte Noman Door, die geistert auch immer wieder mal durch irgendwelche Vorträge. Bei dem Beispiel ging es darum, dass man oft Türen hat, die sind wahnsinnig schick designt, solche Glastüren und es ist eigentlich nicht klar, ob ich an diesen Türen drücken oder ziehen muss. Und was macht man? Man stellt sich hin und man drückt erst, weil man da rein will und dann merkt man, das geht nicht, weil die Mechanik das nicht erlaubt, das ist ein sogenannter Constraint. Und dann zieht man daran, weil das natürlich die logische Erkenntnis ist, was man als nächstes machen könnte. Wenn das beides nicht hilft und man das dann vereinfachen will, dann macht man sogenannte Signifier, also Schildchen dran, um zu schreiben, „hier ziehen“, „da drücken“ und so weiter. Er beschreibt mit seiner Norman Door eigentlich, wie man das Problem lösen könnte, nämlich dass man nicht auf beiden Seiten einen Griff hat, der dazu einlädt, daran zu ziehen, sondern dass man auf der Seite, auf der man die Tür aufdrücken kann, tatsächlich gar nichts hat, dass man auf die Tür drückt und auf der anderen Seite, wo man ziehen kann, eben den Griff. Was auch so, wenn man das so erzählt, relativ logisch klingt. Aber es gibt in diesem Buch dann noch weitere sehr gute Beispiele für die Grundprinzipien von gutem Produktdesign. Das kann man auch wunderbar abstrahieren auf alles, was sich im Bereich online bewegt. Wenn ich schon irgendwo viele Schildchen dranmachen muss oder Erklärungstexte, dann weiß ich, dass es mit meiner Usability möglicherweise auf den ersten Blick nicht so weit hergeholt ist. So im zweiten Teil des Buches wird er dann sehr philosophisch. Davor muss man so ein bisschen warnen, wenn man jetzt nur so ein rein datengetriebener Typ ist. Da drauf muss man sich erst mal einlassen können. Aber nichts desto trotz ist das ein sehr wertvolles Buch und ich finde, es hat trotz seines Alters nach wie vor einen sehr hohen Stellenwert und eine sehr hohe Berechtigung. Es ist auch recht günstig zu haben. Man muss immer sagen, Leute kauft kein Bitcoin, kauft Usability-Fachbücher, denn die werden nur in sehr kleinen Auflagen aufgelegt, weil die Community ist nicht so wahnsinnig groß. Dann werden sie meistens nicht nochmal neu aufgelegt und dann steigen sie enorm im Wert. Ich habe hier Bücher, die haben mal im Original 12 oder 13 Euro gekostet beim Ladenverkaufspreis und die kann man jetzt bei Momox für 120, 140 Euro kaufen. Also ihr merkt, da ist richtig Musik drin. Das nächste Buch, was ich empfehlen kann, ich sage mal das Mickymaus-Heft des Usability-Testings. Es ist sehr unterhaltsam. Das ist Steve Krug. Der Titel heißt: „Don’t make me think“. Ist auch einer der Klassiker der Web Usability. Hier geht es jetzt schon mehr um das Thema Internet und eben ihrer Prinzipien. Er nimmt natürlich wie viele andere auch die Grundprinzipien von Norman, Jeffrey Rubin und Jakob Nielsen auf, das sind so die großen Namen in dieser Szene, und verarbeitet die und präsentiert die extrem anschaulich und unterhaltsam. Das Buch ist auch nicht sehr dick, das kann man entspannt in zwei Stunden gelesen haben. Das hat irgendwie so 70, 80 Seiten. Das ist eher so, deswegen sage ich Mickymaus-Heft, so eher ein Heftchen. #01:01:48.4#

Maik Bruns: Ich hab’s gelesen, ich fand’s großartig. #01:01:50.1#

Thorsten Biedenkapp: Ist großartig, ist sehr anekdotenhaft erzählt. Mir ist es manchmal so eher zu sehr an der Oberfläche, aber für einen Einstieg ist das ein sehr gutes Buch und er hat auch viel … #01:02:01.5#

Maik Bruns: So von der Denkweise. #01:02:01.8#

Thorsten Biedenkapp: Das ist eine gewisse Denkhaltung und dann hat er noch ein Folgebuch geschrieben. Das ist leider sehr schwer zu bekommen. Ist wieder so eins, was man bei Momox teuer bezahlen muss. Das heißt „Rocket Surgery made easy“. Das ist im Prinzip die Fortsetzung davon, gleiche Erzählweise, gleiche Buchdicke, also auch wieder in zwei bis drei Stunden zu lesen. Er geht da ein bisschen tiefer auf die Grundprinzipien, die er im ersten Buch angerissen hat, ein und geht dann auch mal dazu über wie man mit einfachen Methoden so einen Usability-Test, eine Nutzerbefragung machen kann. Also er spricht nicht über kleine lustige Popup-Boxen, die auf Seiten ungefragt auftauchen, wo man seine Meinung reinschreiben kann, sondern es geht darum wie man mit echten Menschen, die man persönlich kennenlernt, einen Usability-Test machen kann. Das wäre so ein Buchtipp noch. Also da haben wir schon 3 Stück. Ich hätte noch so einen … #01:03:00.1#

Maik Bruns: Ach komm, einer geht noch. #01:03:01.1#

Thorsten Biedenkapp: Einer geht immer noch. Eigentlich ist das ein anderthalber. Der ganz große Klassiker des Usability-Testings ist das „Handbook of Usability Testing“ von Jeffrey Rubin und Dana Yousef bildet die Testing von Jeffrey Rubeln und Dana Chisnell. Das ist das Standardwerk. Das ist sowas wie die Grundbibel, wie mache ich einen Usability-Test mit einem sogenannten formativen Setting, also mit wenigen Probanden, so wie wir es vorhin besprochenen haben, 5 bis 8 Probanden. Wie führe ich den durch? Wie plane ich den? Warum mache ich den überhaupt? Wie gehe ich an das Design meiner Persona heran? Da gibt es auch große Unterschiede zu dem, was man in der Wildnis draußen so erlebt. Dann kommt an den nächsten Punkt, wie werte ich das ganze aus? Wie priorisiere ich dann am Ende die Ergebnisse und wie handle ich dann? Das ist eine sehr gut anleitungshaft geschriebenes Buch. Der Nachteil ist, als das Buch geschrieben wurde, war das Internet so noch vor Lycos, dem Internet-Hund, und die Beispiele lassen das auch so ein bisschen vermuten. Man muss schon ein bisschen abstrahieren können. Minimal moderner, aber nach einem ähnlichen Duktus ist das Buch von Carol M. Barnum, „Usability Testing Essentials“. Also Carol Barnum ist wie ich finde eine extrem gute Autorin und auch in der wissenschaftlichen Community sehr arrivierte Wissenschaftlerin im Bereich Usability Testing und Usability. Sie hat basierend auf dem Handbook von Jeffrey Rubin ein sehr ähnliches Buch geschrieben, das aber allerdings einen sehr viel moderneren Ansatz verfolgt. Jetzt könnte man sagen, dann kauft das modernere. Das hat einen Vor- und einen Nachteil. Es ist moderner geschrieben und man kommt schneller rein und es hat auch so etwas, nicht so ganz so abgehobene wissenschaftliche Sprache stellenweise, sondern ist so ein bisschen sehr hemdsärmelig. Nachteil ist, es ist manchmal ein bisschen zu technisch, also es geht eher um die Methode. Und bei Jeffrey Rubin gibt es zwei ganze Kapitel, die ich extrem wertvoll finde für, wie verhalte ich mich als Test-Leiter bei einem Usability-Test, weil da kann ich extrem viel falsch machen. Und so dieses Zwischenmenschliche spielt beim Ergebnis eines Usability-Test eine große Rolle. Ich kann nur empfehlen, geht in eine Bibliothek und leiht euch den Jeffrey Rubin aus. Den zu kaufen, das ist so ein 120 Euro Buch wieder. Es lohnt sich, wenn man das nun mal jetzt erst mal anfangen will, noch nicht. Also schaut mal in eine Bibliothek im Präsenzbestand nach, das ist es garantiert an irgendeiner Uni. Ansonsten kauft euch die Carol Barnum, die kostet 30 Euro oder sowas, das ist gut erhältlich. Das wären so Buchtipps, um mal in diese Test-Denke auch reinzukommen und mal mit einem einfachen Test-Setting anzufangen. Und natürlich, wer kein Englisch sprechen möchte, es gibt von vielen dieser Bücher deutschsprachige Übersetzung. Und vielleicht noch ein Buch zu erwähnen, was sich mit dem Thema Conversion-Rate-Optimierung beschäftigt, was auch schon ein bisschen in die Tage gekommen ist, ist der Klassiker von André Morys hier aus Deutschland, „Conversion-Rate Optimization“. Das kann ich auch nur empfehlen. Er beschreibt doch recht anschaulich Unterschiede zwischen den verschiedenen Testverfahren und dann erklärt er das anhand eines Lift-Modells, also angelehnt an das Lift-Modell, wie man dann im Prinzip über verschiedene Treiber die Conversion-Rate nach oben treiben kann. Das können gute Ideen sein für erste Arbeitshypothesen. #01:06:28.2#

Maik Bruns: Das wird den Andréa freuen, dass du … #01:06:29.5#

Thorsten Biedenkapp: Ja, schöne Grüße, André. #01:06:33.1#

Drei Tipps von Thorsten Biedenkapp zu Testing

Maik Bruns: Ja, ist denke ich ein sehr gutes Buch, wie ich finde. Super. Thorsten, wir müssen, jetzt haben wir schon eine ganze Weile gesprochen, jetzt müssen wir nochmal irgendwie ein bisschen runterbrechen auf deine 3 Tipps. Was würdest du den Leuten da draußen sagen, den Unternehmen, die jetzt davorstehen und sagen, soll ich testen, soll ich nicht testen? Welche 3 Tipps gibst du ihnen mit auf den Weg, wenn es so rund um dieses Thema Testing geht? #01:07:00.6#

Thorsten Biedenkapp: 1. Tipp: Testen ist immer besser als nicht zu testen. Punkt. Wer nicht testet, verliert langfristig. #01:07:10.6#

Maik Bruns: Punkt 2. #01:07:11.2#

Thorsten Biedenkapp: Nein, das ist nicht Punkt 2, das gehört noch dazu. #01:07:13.2#

Maik Bruns: Testen immer besser. #01:07:14.2#

Thorsten Biedenkapp: Testen ist tatsächlich immer besser. Vor allem dieses kontinuierliche Testen immer wieder, Testen zu einer Unternehmenskultur zu machen und das mit einzubacken, sich zu entfernen von Meinungen und tatsächlich sich nutzerzentriert aufzustellen und den Nutzer zu betrachten, was da wirklich passiert. Dabei ist es völlig egal, ob ich jetzt da empirisch vorgehe oder formativ und mit kleinen und großen und so, Testen ist immer besser, als wenn ich nicht teste.

Der 2. Tipp ist: Bevor ich anfange wild los zu testen, weil es vermeintlich so einfach ist, sollte ich mich mit den Grundlagen beschäftigen, was überhaupt ein gutes Produkt ausmacht. Nehmt euch ein Wochenende Zeit und lest den Don Norman, den kann man entspannt an einem Samstagnachmittag und Sonntagnachmittag gelesen haben und verschafft euch mal so ein bisschen einen Überblick darüber, warum das überhaupt wichtig ist und welches grundsätzliche Mindset man haben sollte, nämlich dass der Nutzer nicht schuld ist, sondern dass man das leider immer selbst verbrochen hat.

Und als 3.: Habt bitte Spaß beim Testen. Wenn Test eine Pflichtübung ist, macht man es ungerne. Richtet euch darauf ein, dass ihr Durststrecken habt, wo wenig passiert, wo wenig rauskommt, aber baut das immer wieder ein und macht nicht den Fehler falsche Versprechungen zu machen gegenüber Vorgesetzten oder Kunden und zu sagen, jetzt testen wir so ein bisschen und alles wird gut, sondern seid immer ehrlich und sagt, das kann auch passieren, dass wir nichts finden. Aber dann wissen wir wenigstens, dass das, was wir bisher gemacht haben, gut war. Und so würde ich da so ein bisschen rangehen. Das ist jetzt gar nicht so das Handwerkliche innen drin, sondern das sind jetzt sehr allgemein gehaltene Tipps. Vielleicht so als Bonus-Tipp: Entfernt euch ein bisschen von dem Gedanken, dass ein Tool eure Probleme löst. Das Denken müsst ihr immer selbst machen. Also ein Hotjar, ein Mouseflow oder ein was weiß ich auch immer, Google Analytics, wird eure grundsätzlichen Probleme nicht lösen, sondern ihr müsst euch eine saubere Hypothese bilden und vom Groben ins Feine vorarbeiten. Das vielleicht nochmal zum Schluss. Das wäre es so. #01:09:45.8#

Maik Bruns: Perfekt. Super Tipps. Super überhaupt die ganzen Insights, die wir heute hier rausgeholt haben. Ich glaube so, dass die vielen da draußen, die jetzt mit Testing noch nicht viel zu tun hatten oder das vielleicht auch völlig falsch angegangen sind und die das hier gehört haben bis zum Ende und wir sind jetzt schon bei über einer Stunde Sendezeit, aber ich glaube, das ist es ernsthaft wert. Wer da Bock drauf hat, der muss sich einfach ein bisschen damit auseinandersetzen und der muss sich auch mal ein bisschen tiefer eingraben. Deine Buchtipps, hervorragend. Einige davon kenne ich selber schon, deswegen also, tolle … #01:10:13.8#

Thorsten Biedenkapp: Vielleicht nochmal so zum Abschluss, mir ist es immer wichtig, weil solche Themen wie Testing, die sind halt riesig groß. Da könnten wir auch noch 1000 Stunden drüber sprechen und hätten immer noch nicht alles gesagt. Wir haben jetzt heute in dieser einen Stunde, die übrigens super viel Spaß gemacht hat, also auch großes Lob an dich als Live-Moderator, du hast deine Feuertaufe bestanden, das sagt der ehemalige Radioprofi. Ich kann dir nur sagen, wir können natürlich in so einer Stunde nicht alles behandeln und wir haben jetzt heute mal so an der Oberfläche gekratzt und versucht das wichtigste darzustellen, aber da gibt es noch sehr viel mehr zu sagen zu vielen Punkten. Auch in der Differenzierung pro & contra Empirie versus qualitatives Testen können, da streiten sich die Gelehrten auf hohem Niveau darüber. Das war letzten Endes auch der Anlass, weswegen ich überhaupt hier bin. Das muss man mal so sagen. Die sehr lohnenswerte Facebook-Gruppe „Digital- und Webanalyse-Helden“ kann ich wirklich nur jedem ans Herz legen und nein, Maik, ich sage niemanden, dass du mir jetzt 10 Euro zugesteckt hast. Da gab es eine Frage, die sich am Ende mit irgendwie Webanalyse und Conversion-Rate beschäftigte im weitesten Sinne, wenn ich mich richtig erinnere und ich habe dann in einer sehr verkürzten Darstellung gesagt, dass es vielleicht schlauer ist erst mal die Usability-Probleme in den Griff zu bekommen bevor man sich über A/B-Testen und Usability, äh, A/B-Testen und Webanalyse Gedanken macht und dann irgendwelche coolen Tools auszuprobieren. Daraufhin hat der von mir sehr geschätzte Tom Alby gemeint, steile These, das mache ich doch mit Empirie. Natürlich ist am Ende herausgekommen, dass wir beide das richtige meinen, aber auf Facebook solche Diskussionen einfach schlecht geführt werden können aus bestimmten Gründen. Aber das war eigentlich der Anlass, weswegen ich gesagt habe, wir sollten mal vielleicht über qualitatives Testen reden, weil das immer so stiefmütterlich behandelt wird. Ich glaube und ich bin der festen Überzeugung, dass es sehr viele wertvolle Insights liefern kann, die möglicherweise einfacher zu bekommen sind als mit Empirie, weil ich dort eben doch deutlich größere Fallzahlen und häufig dann auch aufwendigere Methoden brauche. Also es lohnt sich. Wer nochmal sowas ausprobieren will, wie so ein Usability-Test ausgefüllt sein kann, es gibt sogenannte Usability-Test-Essen. Wir können ja mal den Link zu ein paar Usability-Test-Essen in die Shownotes packen. Ihr müsst euch das so vorstellen, das ist wie eine große Pizza Party, dann kommen Marketer aus allen Disziplinen oder auch Designer und Programmierer zusammen und dann bringt jemand ein Produkt mit oder eine Webseite und dann schauen sich die anderen das an und geben mal so ihre Meinung vom Stapel, wieso was nicht funktioniert und was wo klemmt. Das ist jetzt zwar kein echtes normatives Setting, das ist sowas ähnliches, aber man kriegt trotzdem schon mal sehr gute Insights. Da könnte man zum Beispiel auch mal hingehen mit seinem eigenen Online-Shop, lässt ein bisschen die Hosen runter und erzählt mal, wo denn der Schuh drückt. Man kriegt zumindest mal ein erstes Feedback. Das kann ich durchaus empfehlen. Es lohnt sich auch, ist eine lustige Runde meistens. Also geht mal zu einem Usability-Test-Essen. #01:13:29.4#

Maik Bruns: Das ist cool. Fördert im Übrigen auch das Netzwerk. Also insofern … #01:13:33.1#

Thorsten Biedenkapp: Ja immer, also Netzwerkveranstaltungen, geht auf Barcamps. #01:13:36.6#

Maik Bruns: Macht alles! #01:13:36.9#

Thorsten Biedenkapp: Macht alles! Besucht Web-Montage, das lohnt sich immer. Und über den Tellerrand schauen, so und so. #01:13:42.5#

Maik Bruns: Ja, das kann ich nur unterschreiben. Super, toll. Ich glaube, das waren nochmal 100 Bonus-Tipps extra gerade. Insofern, wer aus dieser Sendung nichts mitnimmt, das muss man auch entsprechend nochmal promoten, wer aus dieser Sendung nichts mitnimmt, der hat einfach nicht zugehört. Ich glaube, am besten nochmal zurückspulen und nochmal durchhören. Ich weiß ja, wie ihr das macht. Ihr hört gerne mal bei zweifacher Geschwindigkeit, aber vielleicht doch nochmal … #01:14:05.1#

Thorsten Biedenkapp: Ich habe auch extra versucht heute langsamer zu sprechen als sonst. Ich weiß ja, dass ihr das so macht. #01:14:09.8#

Maik Bruns: Ja, das ist gut. Ich bin auch selber so ein zweifacher Geschwindigkeitshörer. Insofern, ich muss mir die Dinge dann auch manchmal nochmal anhören, wenn sie für mich wertvoll waren. Okay, Thorsten, habe vielen Dank dafür, dass du hier warst. Hat super Spaß gemacht mit dir darüber zu sprechen, weil ich einfach merke, du hast da eine Riesen-Passion und hast da auch eine Mission, habe ich das Gefühl. #01:14:28.6#

Thorsten Biedenkapp: Naja, das weniger, ich will jetzt niemanden davon überzeugen zu testen, aber wenn das jemand macht, freue ich mich, aber ich denke, es ist immer wichtig erst mal zu verstehen, was man überhaupt machen kann und dann kann man auch eine Entscheidung treffen. Vielleicht habe ich was dazu beitragen können, dass der ein oder andere sich pro oder contra Testen entscheiden konnte. #01:14:45.5#

Maik Bruns: Ja, macht was draus aus der Information. Vielen Dank und Thorsten, wenn du magst, nochmal das letzte Wort für dich und ich sage, Tschüss, bis nächste Woche. Wir hören uns. #01:14:53.2#

Thorsten Biedenkapp: Mein letztes Wort, hoffentlich nicht für immer, sondern nur für diese Sendung. Es hat einen Riesenspaß gemacht hier im beschaulichen Emsdetten, dem digitalen Teil des Emslandes, das ist ja nicht Emsland, das ist ja hier Münsterland, man muss da aufpassen, zu sein bei Maik. Ich kann das übrigens jedem empfehlen, der mit Maik künftig mal einen Podcast machen wird, tatsächlich vor Ort zu sein. Das ist ein super angenehmer Gesprächspartner, nicht nur im Podcast. Das zweite vielleicht nochmal, ja, ich habe es schon gesagt, testet halt, was das Zeug hält. Es macht Spaß. Tschüss! #01:14:53.2#

Abonniere auf Android Abonniere auf iTunes
Maik Bruns
Letzte Artikel von Maik Bruns (Alle anzeigen)

Passend zum Thema:

Die Sendung mit der Metrik #26: “Webanalyse bedeutet Veränderung” Die Sendung mit der Metrik #36 “Goldgrube Site Search Reports” Die Sendung mit der Metrik #38 “Segmentiere oder lass die Analyse bleiben – Acht Möglichkeiten in Google Analytics” Die Sendung mit der Metrik #39 “Echtzeitberichte – wofür brauchst du sie (wirklich)?”

Noch mehr Insights

Was ist Unassigned Traffic in GA4, wo finde ich ihn und wie lässt er sich beheben?

Keine klare Zuordnung des Traffics zu Kanälen, kein direkter Zusammenhang zu euren Marketing-Maßnahmen – und dementsprechend keine Aussagekraft, ob eure Kampagnen wirken oder nur Geld verbrennen und euren ROI runterdrücken. Nervig, oder? Genau das passiert in vielen Setups, die wir sehen, durch den sogenannten “Unassigned”-Traffic. 

Dadurch verliert ihr wertvolle Einblicke, weil GA4 euren Traffic nicht eindeutig zuordnen kann.

Mehr erfahren >
Top