A/B-testen is een onmisbaar middel voor iedere webshop die structureel de digitale omzet wil verhogen. Variant A met variant B vergelijken klinkt heel simpel, maar de uitvoering blijkt toch vaak ingewikkeld te zijn. A/B-testen is tegenwoordig erg populair en tools maken het eenvoudig om een test op te zetten. Er zijn echter een aantal elementen waarmee u rekening dient te houden bij de opzet van een A/B-test. Niet correct een dergelijke test opzetten betekent dat u resultaten gaat interpreteren die niet weergeven wat u wilde meten. Een verkeerde conclusie is dan snel getrokken. Tijdens haar presentatie legde ISM'er Mayke van de Ven uit wat het belang is van A/B-testen en hoe u een test correct opzet.

1. Mayke van de Ven
Webanalytics & Conversie Optimalisatie
Consultant
De aanpak voor succesvolle A/B-testen

2. Mayke van de Ven – Conversie Optimalisatie Consultant
Tilburg University
Msc. Economic
Psychology
Coca Cola Enterprises
Shopper Marketeer
Lead Today
Junior Online Markteteer
ISM eCompany
Webanalytics & Conversie
Optimalisatie Consultant
• Werkt o.a. voor
60%
CRO, Usability & Psycholoog
m.vandeven@ism.nl
+316 12 09 24 92

3. Agenda
1. Wat is A/B-testen en waarom is het zo belangrijk?
2. Wat ga je A/B-testen?
3. Hoe zet je een succesvolle A/B-test op?
4. Wat je niet mag vergeten!
5. Vragen

4. 1. Wat is A/B-testen?
En waarom is het zo belangrijk?

5. AB-testen = testmethode om de effectiviteit van twee (of meerdere)
varianten te testen

6. Voorbeeld AB-test
V
ORIGINEEL A

7. Voorbeeld AB-test
V
VARIANT B
+ 11.20% uplift in transacties
Potentiëleomzetbijdrage opjaarbasis: €25.420,-
+ 8.60% uplift in transacties
Potentiëleomzetbijdrage opjaarbasis:
€65.806,-

8. Luister niet naar je onderbuik gevoel ..

9. Wat als je het al bij de concurrent ziet?
V

10. De variant werkt op webshop A, dus dan werkt het bij ons ook

11. Wat bij de ene shop wel werkt ..
ORIGINEEL A VARIANT B
+ 4.6% uplift
in transacties

12. werkt bij de andere shop niet..
ORIGINEEL A VARIANT B
geen effect op
transacties

13. Wat bij op het ene apparaat wel werkt ..
ORIGINEEL A VARIANT B
+ 3.5 % uplift
in transacties

14. werkt het op andere apparaat niet..
ORIGINEEL A VARIANT B
-11.10% in
transacties

15. -25%
-20%
-15%
-10%
-5%
0%
5%
10%
15%
20%
%impactopconversiepercentage
-8%
aanpassing
bestelproces
15%
bestelproces
aanpassing
5% USP’s
5% CTA
button
15%
achteraf
betalen
-19%
menu
navigatie
Je voert winnaars en verliezers door
Traditionele werkwijze – potentiële verbeteringen direct doorvoeren

16. Je voert enkel winnaars door
0%
5%
10%
15%
20%
25%
%impactopconversiepercentage
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
Datagedreven werkwijze – A/B testen

17. Kun je dan niet achteraf het effect van de wijziging achterhalen?
April
Conversiepercentage 1%
+ 50%??
ORIGINEEL A VARIANT B
Mei
Conversiepercentage 1.5%

18. Perioden vergelijken geeft géén geisoleerd effect
Uitsluiten
✓ Sale
✓ Wijzigingeninonline/offlinecampagnes
✓ Wijzigingeninassortiment
✓ Seizoensinvloeden
✓ Feestdagen
✓ Overigewijzigingenaandewebshop

19. 2. Wat ga je A/B-testen?

20. Weer dat onderbuikgevoel ..

21. Het CRO-proces

22. Inzichtenverzamelen

23. Inzichtenverzamelen

24. 24
Inzichtenverzamelen
Benchmark vs Fred: relatief lage visitor to cart
Benchmark: percentage bezoek naar
winkelmand op dekstop hoger dan mobile
Fred de la Bretoniere: percentage bezoek naar
winkelmand op dekstop lager dan mobile

25. Inzichtenverzamelen

26. kan de schoen soms niet op een voet zien, of in
een totaalbeeld, wat juist erg fijn zou zijn om
hem juist te kunnen inschatten
26
wil de schoenen in zijn geheel zien
kan niet inzoomen en 360graden check
zou graag de vorm van de neus van
de schoen zien. Nu niet zichtbaar
plaatje is door tweeën maar sluit niet op
elkaar aan als afbeelding
Inzichtenverzamelen
Klantfeedback
beeld in tweeën

27. 27
Inzichtenverzamelen

28. Inzichtenverzamelen

29. 29
Inzichtenverzamelen
Scrollmap analyse:
Veel bezoekers krijgen niet eens de
beste product-afbeeldingen te zien

30. 30
Inzichtenverzamelen

31. Verbeterpunten prioriteren

32. Advanced PIE model
Potential Importance
Ease
Score = Prioriteit

33. Advanced PIE model - Potential
Score = Prioriteit
Potential Importance
Ease
• Direct zichtbaar?
• Wetenschappelijk onderbouwd?
• Eerder bewezen met AB-testen?
• Klantfeedback?
• Usability onderzoek?
• Webinteractie?
• Webanalytics data?
• Type verbeterpunt?

34. Advanced PIE model - Potential
Type verbeterpunt

35. Advanced PIE model - Importance
Score = Prioriteit
Potential Importance
Ease

36. Advanced PIE model - Importance
Potential Importance
Ease
Funnelanalyse

37. Advanced PIE model - Ease
Score = Prioriteit
Potential Importance
Ease

38. Verbeterpunten prioriteren

39. 3. Hoe zet je een succesvolle
A/B-test op?

40. Hoe zet je een succesvolle A/B-test op?

41. Hypothese opstellen

42. Hypothese opstellen
AANLEIDING: data-gedreven onderzoek
Hypothese:
WAT: de productfoto's compacter weergeven waarbij het hele product direct boven de vouw
zichtbaar + mogelijkheid tot sliden en inzoomen
WAAROM: meer bezoekers zullen de hele productafbeelding zien waardoor zij gestimuleerd worden
om meerdere productfoto's te bekijken en in te zoomen waardoor zij een beter beeld van het
product kunnen vormen
EFFECT: meer bezoekers producten in winkelmand toevoegen en meer transacties afronden
WAAR: op desktop op de productdetailpagina

43. Hypothese opstellen
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te
geven waarbij het hele product direct boven de vouw zichtbaar is en de productweergave een
mogelijkheid tot sliden en inzoomen heeft (aanpassing) zullen meer bezoekers de hele
productafbeelding zien, sneller gestimuleerd worden om meerdere productfoto's te bekijken en in te
zoomen, waardoor zij een beter beeld van het product kunnen vormen (impact gevoel/gedrag) en
waardoor zij sneller geneigd zullen zijn het product aan de winkelmand toe te voegen en vaker een
bestelling zullen plaatsen (KPI).
Hypothese:

44. Belang van een goede hypothese

45. Testplan maken

46. Hoe ziet een testplan eruit?

47. Hoe ziet een testplan eruit?

48. Testduur berekenen

49. Testduur berekenen
Periode: 30 dagen
Aantal unieke paginaweergaven:
Totaal / data-range
(8308 / 30 dagen) = 277

50. Testduur berekenen

51. Testduur berekenen
Conversiepercentageproductpagina – desktop:
Aantal transacties / aantal unieke paginaweergaven
(2344 / 8308 ) * 100% = 28.21%

52. Testduur berekenen

53. Voorkom p-hacking
Continu monitoren van het experiment en deze stoppen zodra de waargenomen p-waarde onder een
drempelwaarde daalt, en dus significant is

54. Testvarianten maken

55. Testvarianten maken
Pas je meerdere elementen aan in de variant of is
het één specifieke aanpassing?
Wie ontwerpt de varianten? Kijkt er een UX designer mee?

56. Testvarianten maken
Pas je meerdere elementen aan in de variant of is het één specifieke aanpassing?

57. Één element aanpassen
Afbeeldingen
toegevoegd
+ 65.5%
transacties
> €200.000
Op jaarbasis

58. Multivariate testen
Toegevoegd micro-copy:
Wekelijks 2500 tevreden klanten
Toegevoegd micro-copy:
Bestel snel! Een account is niet verplicht
+ 3.6% visitor to checkoutGeen effect

59. Meerdere aanpassingen tegelijkertijd testen
Hoge impact
Korte testduur

60. Wie ontwerpt de varianten?

61. Wie ontwerpt de varianten?
ORIGINEEL A VARIANT B
+ 4.7 % uplift
in transacties

62. Wie ontwerpt de varianten?
ORIGINEEL A VARIANT B
+ 5.63 % uplift
in transacties

63. AB-test live zetten

64. AB-test live zetten
Test of alle elementen op je testpagina correct functioneren
✓Werken alle functionaliteiten op de testpagina nog?
✓Zijn er geen elementen verschoven?
✓Check verschillende browsers
✓Check verschillende browserversies
✓Check verschillende resoluties

65. Koppel de test-tool aan je statistiekprogramma

66. Koppel de test-tool aan je statistiekprogramma - Rapportage

67. De test loopt ..

68. Analyseren van de testresultaten

69. Recap van de test!
Hypothese
Door op desktop (apparaat) op de productdetailpagina (testlocatie) de productfoto's compacter weer te geven waarbij het hele
product direct boven de vouw zichtbaar is en de productweergave een mogelijkheid tot sliden en inzoomen heeft (aanpassing)
zullen meer bezoekers de hele productafbeelding zien, sneller gestimuleerd worden om meerdere productfoto's te bekijken en in te
zoomen, waardoor zij een beter beeld van het product kunnen vormen (impact gevoel/gedrag) en waardoor zij sneller geneigd
zullen zijn het product aan de winkelmand toe te voegen en vaker een bestelling zullen plaatsen (KPI).

70. Analyseren van de testresultaten

71. Analyseren van de testresultaten
+ 15.05 % uplift
in transacties
https://abtestguide.com/bayesian/

72. Users vs. Sessions

73. Het gaat om hoeveel users converteren,
USERS SESSIONS TRANSACTIES
10 20 5
Conversiepercentage(zoals in GA):
(5/20) *100 = 25%
User conversiepercentage:
(5/10) *100 = 50%
niet om in hoeveel sessies zij hebben geconverteerd ..

74. Doorvoeren van resultaten

75. Doorvoeren van resultaten

76. Stimuleer doorvoering van winnende AB-testen
Omzetbijdrage

77. Wat als je test niet significant is?
ORIGINEEL A VARIANT B

78. Wat als een test niet significant is?

79. Wat als een test niet significant is?

80. Zoom in op de resultaten

81. Zoom in op de resultaten
Variant B
Origineel A

82. Zoom in op de resultaten
Segmentatie mogelijkheden voorAnalyse
✓ Nieuwe vsterugkerende bezoekers
✓ Verkeersbronnen
✓ Prijs-ofproductcategorieën
✓ Leeftijd
✓ Browsers
Letop!
✓ Segmenten(minstens300transacties) moetengrootgenoegzijnom
valideconclusiestetrekken,anderseennieuwetestopzetten.

83. Wat als je test een negatief resultaat geeft?
ORIGINEEL A VARIANT B
-10.2% in
transacties

84. Je test is nooit mislukt!
0%
5%
10%
15%
20%
25%
%impactopconversiepercentage
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B test: Winnaar
+ learnings
doelgroep
A/B-test: Winnaar
+ learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
A/B-test: Geen
winnaar +
learnings
doelgroep
Datagedreven werkwijze – A/B testen

85. Learnings delen + nieuwe inzichten

86. Learnings delen + nieuwe inzichten
+ 7% meer transacties
91,50% succeskans
+5,5% meer bezoekers naar de checkout
91,50% succeskans

87. Learnings delen + nieuwe inzichten
+ 12% meer transacties
97% succeskans

88. Recap – CRO proces
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvariantenmaken
A/B test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering
doorvoeren?
Nee JaVerwerpenen
naar volgende test
Maakticket voor
Development
Hoog
LIVE
Change backlog
o Webanalytics data
o Externe expert analyses
o Sessie recording analyses
o Onsite klantfeedback
o Usability onderzoek
o Gedragsonderzoek
o Analyse klantenservice
vragen
o Interviews met klanten
o Etc.
Bronnen voor
conversieverbeteringen

89. Wat je niet mag vergeten!

90. Wat mag je niet vergeten?
Meest gemaakte A/B-test fouten
1. Doe geen aannames over bezoekersgedrag
2. De variant werkt op webshop A dus dan werkt het bij ons ook!
3. Verbeteringen doorvoeren en perioden vergelijken
4. Verbeterpunten aandragen op basis van gevoel
5. Geen of slechte hypothese
6. P-hacking
7. Test-tool niet koppelen aan statistiekprogramma
8. Analyseren op basis van onjuiste KPI’s
9. Winnaars niet doorvoeren naar live
10. De testvariant verliest, dus je test is mislukt..

91. Evenementen – meld u aan www.ism.nl/evenementen:
[Webinar] Best Practices voor uw webwinkel op Magento
Donderdag 19 september
Romy Kuijper, E-commerce Consultant, ISM eCompany
[Webinar] De 12 bouwstenen voor een goede online marketingstrategie
Donderdag 5 september
Kees Beckeringh, Online Marketing Strateeg, ISM eCompany
Shopping Today
Donderdag 19 september
ISM geeft drie sessies
[Webinar] Klantreisoptimalisatie: een datagedreven strategie in zes stappen
Donderdag 17 oktober
Sander Berlinski, E-commerce Strateeg, ISM eCompany
LET OP: aanstaande donderdag!

92. Van Nelleweg 1, 3044 BC Rotterdam +31 (0)10 243 60 000 info@ism.nl www.ism.nl
Bedankt voor je tijd en aandacht!