Immer noch gilt A/B-Testing als der heilige Gral in der UX Optimierungs-Landschaft. Doch oft gelangt man damit allein an Grenzen: Man kann gar nicht so viel testen, wie man müsste. Und ein Uplift von 0,X % ist nicht viel. Deshalb ist es wichtig, von Anfang an die richtige Methoden-Kombination zu wählen.  Das A/B-Testing liefert uns wichtige Informationen zur Perfomance der ausgespielten Varianten in Form bloßer Kennzahlen, kann aber die Frage nach dem „Warum“ nicht beantworten. Wir wissen nicht, warum die eine Variante besser performt als die andere und ob wir uns der optimalen Lösung nähern oder nur an der Oberfläche des Potentials kratzen.   In unserem Beitrag zeigen wir, warum die Aufzeichnung und Analyse von Mausspuren oder Touch-Gesten eine unerlässliche Quelle für die Priorisierung Ihrer A/B-Tests sind und wie erst ein Blick auf das echte  Nutzerverhalten ermöglicht, optimale Test-Varianten zu entwerfen. Erfahren Sie, wie Sie Ihre A/B-Tests mit qualitativen Daten anreichern, wann genau sie andere Methoden einsetzen sollten und welche zusätzlichen Ergebnisse Sie davon erwarten können.  Denn das Potential von A/B-Testing kann nur ausgeschöpft werden, wenn die Erstellung von Varianten nicht auf subjektiven Erfahrungswerten basiert, sondern durch reale Nutzungsdaten abgesichert ist. Eine qualitative Analyse während des A/B-Tests deckt auf, ob und wie Ihre Zielgruppe auf Varianten reagiert und spart dadurch wertvolle Test-Zyklen und damit Zeit und Geld.

1. m-pathy
Warum A/B-Tests nur die halbe Wahrheit sind.
Wer A sagt, muss auch fragen „Warum?“

2. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 2
BEISPIEL - SONNENKLAR.TV
KORREKTUREN A
KORREKTUREN B
100 % MEHRNUTZUNG
1,8 %
3,6 %
Nutzer erkennen am
Symbol die Funktion nicht.
Potential von ca. 16% bleibt
ungenutzt, mangels
qualitativer Daten.

3. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 3
BEISPIEL - SONNENKLAR.TV

4. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 4
BEISPIEL - SONNENKLAR.TV

5. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 5
DURCHBLICK IM METHODEN-DSCHUNGEL
Goals &
attidudes
What people
say
How many and
how much
Quantitativ
Behaviors
What people
do
Qualitativ
Why and
how to fix
Customer Support
Data Analysis
User Surveys/
On-Site Befragungen
A/B Testing
Site Traffic/
Log File Analysis
Remote Usability
Testing
Heatmaps:
Aggregation
Eye Tracking
Usability
Testing
Diary/
Journal Studies
Participatory Design
User Interviews/
Journal Studies
Focus Groups
Card Sorting
Field
Studies
UX Consulting /
Expert Review
Session-
Playback
UX
Methoden

6. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 6
OPTIMIERUNGS ZYKLUS ERGÄNZT DURCH MOUSETRACKING UND BEFRAGUNGEN
Echte Hürden identifizieren
A/B
Testing
Kreativ werden
Refinement
Hypothesen
bilden
Exploration
Ziele
definieren
Testen
Auswerten
Varianten
gestalten
Potentiale berechnen
weitere Potentiale aufdecken
Conversion!
Kundenreise verstehen und Ziele ableiten
Zusätzliche Hypothesen
widerlegen / bestätigen
Meinungen
Viele Ideen
Interaktions-
Analyse
Komplexe Varianten
auswerten
Live Qualitätssicherung
der Varianten
Absicherung der Erkenntnis
Signifikanz
abwarten

7. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 7
„If you think of technology as something that's spreading like a sort of fractal
stain, every moving point on the edge represents an interesting problem.“
Paul Graham
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
MESSBARE ZIELE ENTWICKELN

8. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 8
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
MESSBARE ZIELE ENTWICKELN
Herausforderung ist, die
Ansätze für Optimierung zu
identifizieren, die das
höchste Potential
hinsichtlich Ihrer Ziele
haben.

9. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 9
SIE DENKEN, SIE HABEN EINE HYPOTHESE?
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Agentur-
MeinungAktionismus
Mitbewerber
kopieren
Chef hat Artikel
gelesen
#FAIL
Firmen-
Brille

10. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 10
DATENGETRIEBENE INSIGHTS
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Web-Analyse Heuristiken
Qualitative Befragungen
User TestingMouse Tracking
INSIGHT

11. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 11
SIE DENKEN, SIE HABEN EINE HYPOTHESE?
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Die Lösung des Problems
liegt nicht immer dort, wo
die Kennzahl auffällig ist.
Hohe Bounce-Rate auf
Ergebnisliste. Ursache in
vorgelagertem Schritt -
keine Abschätzung der
Ergebnismenge während
der Filterung möglich -> zu
viele Angebote.

12. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 12
SIE DENKEN, SIE HABEN EINE HYPOTHESE?
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Tatsächliche Hürden
sichtbar machen mit
qualitativer Analyse der
Interaktionsdaten.

13. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 13
HYPOTHESENGENERIERUNG - BOUNCER AUF AUSVERKAUFTEN ARTIKELN
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Hohe Bounce-Rate auf ausverkaufte Artikel bei externen
Einsprüngen.

14. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
PRIORISIERUNG
14
Sie wissen die Conversion,
Rechnen statt Raten - echte Prognosen!
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
• bei Direkteisprung
• auf Out-of-Stock Produkte
• mit Empfehlungen im sichtbaren Bereich
• und Klick auf Empfehlung
= berechnetes Potential

15. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 15

16. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
VALIDITÄT SICHERN
16
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Fehler im Detail

17. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
VALIDITÄT SICHERN
17
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Live-Qualitätssicherung
Ihres A/B Testing-Anbieters
und vermeiden von
invaliden Tests.

18. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
VALIDITÄT SICHERN
18
Ladezeiten im Auge behalten!
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Komplexe Varianten führen
bei client-seifigen A/B
Testing-Tools zu
verlängerten Ladezeiten.

19. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
DER KÖNIGSWEG - A/B TEST - KOMPLEXITÄT
19
hohe Wirksamkeit / Potential
kürzere Laufzeit als bei seq. Tests
Beantwortung mehrere Hypothesen
Entwicklungskosten
Zuordenbarkeit Erfolg / Maßnahme
Auswertungsaufwand
Varianten-Komplexität
Kleine viele Tests oder einen
komplexen mit großer
Wirkung?

20. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
DER KÖNIGSWEG - A/B TEST + BEFRAGUNG + MOUSE-TRACKING
20
• Conversion
• Vergleich
• Information
Viele verschiedene Ziele
Variante A (Alt)
Variante B (Neu)
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung

21. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
DER KÖNIGSWEG - BEFRAGUNG
21
3. Wiederkehrabsicht1. Ziel
2.1 Grund Ziel nicht erreicht
2. Zielerreichung
}
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
Auswertung von Teilzielen möglich.
Subjektive Wahrnehmung durch Freitextantworten
Verknüpfung mit Interaktionsdaten.

22. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
DER KÖNIGSWEG - INTERAKTIONS-ANALYSE
22
Zielfindung
Exploration
HypothesenImplementierung
Testen
Auswertung
• Absicherung der quantitativen Ergebnisse
• Ausschluss von Hypothesen über Ursache
• weitere Optimierungsansätze für nicht erreichte Teilziele entwickeln

23. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
TEST-ZYKLEN VERKÜRZEN DURCH METHODEN-MIX
23
20 %
30 %
28 %
31 %
30 %
32 %
Iteration 1 Iteration 2 Iteration 3
klassisches
A/B Testing
43 %
40 %
46 %
bessere Ausgangs-Varianten
durch Status-Quo Analyse
Aufdecken weiterer
Optimierungsmöglichkeiten
durch visuelle Analyse der
Varianten
Frühzeitiges Finden der
optimalen Variante
durch Ergänzung um
Interaktions-Analyse
Quantitative Verifikation
der Siegervariante
Methoden-Mix

24. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?"
ERFOLGSKONTROLLE
24
Quantifizierung des Erfolgs
möglich.

25. m-pathy | Martin Wunderwald | DMEXCO 2016 | Wer A sagt, muss auch fragen „Warum?" 25
https://www.m-pathy.com
Danke für die
Aufmerksamkeit!
Martin Wunderwald
martin.wunderwald@m-pathy.com
+49 351 50141517