Het is inmiddels ruim 4 jaar geleden dat we in januari 2021 CRO en A/B-testen op grote schaal zijn gestart. Na meerdere verzoeken van klanten ‘’of we ook CRO deden’’ was er besloten dit aan de dienstverlening van Yellowgrape toe te voegen. Inmiddels dus ruim 4 jaar verder zijn we recentelijk de grens van 600 A/B-testen gepasseerd. Een goed moment om eens terug te blikken op wat voor impact er gemaakt is bij klanten en de inzichten die zijn opgedaan. Maar zijn er ook conclusies die we kunnen trekken over web optimalisatie na al die testen?
Voordat we naar de conclusies gaan delen we graag eerst even wat statistieken over onze testen. Te beginnen met de succesratio, deze is over ruim 600 A/B-testen uitgekomen op 46%, een percentage waar we trots op zijn. We rekenen een test als succesvol als er een significante toename te zien is op de primaire KPI. De succesratio alleen is geen bepalende metric, want ook de negatieve testresultaten hebben waarde. We zijn daarentegen natuurlijk wel blij dat we zo’n hoog succespercentage kunnen overleggen naar onze klanten toe!
Een vaak gehoorde vraag die we krijgen is ‘’kunnen jullie niet gewoon even wat best practices doorgeven en dan voeren we meteen alles door wat werkt?’’. Onze reactie is dan altijd dat het niet zo makkelijk is en dat we toch heel vaak zien dat vergelijkbare testen verschillende uitkomsten hebben bij verschillende webshops. Daarmee hameren we op het belang van testen binnen jouw webshop en doelgroep. Pas dan weet je echt zeker of de aanpassing het gewenste resultaat oplevert. Een goed voorbeeld hiervan is het toevoegen van een sticky filter op de mobiele categoriepagina. Het idee is om een sticky filter toe te voegen zodat bezoekers niet altijd naar boven hoeven te scrollen als ze een filter willen toe- of aanpassen. Dit is een test die we meermaals bij verschillende klanten hebben getest, maar dus met verschillende resultaten. Wat we consistent zien is dat de interacties met de filters significant toenemen. We kunnen daarmee dus duidelijk gedrag veranderen. Dit zorgt echter niet altijd voor meer transacties. Als jouw filtering toch niet helemaal op orde blijkt of niet gebruiksvriendelijk werkt, dan zorgt het sticky maken van de filterknop juist voor een negatief effect.
En nu gaan we onszelf eens mooi tegenspreken. Waar we dus heel veel wisselende resultaten zien bij de testen die we hebben gedaan zijn er ook zeker testen met een consistent hoge succesratio. Zo was er één type experiment waar we altijd succes mee hadden: het minimaliseren van het navigatiemenu in de checkout. Wat we toch nog vaak zien is dat het volledige navigatiemenu nog getoond wordt in de checkout, inclusief zoekbalk en alle productcategorieën. Dit zijn onnodige exit-mogelijkheden, een bezoeker die het stadium van de checkout heeft bereikt moet zo min mogelijk worden afgeleid en de focus moet liggen op het afronden van de transactie. Daarom adviseren wij dan ook altijd om het navigatiemenu te minimaliseren. En met succes, van de 6 testen was hij ook 6 keer succesvol! Probeer het eens!
Door al onze testen te documenteren in een uitgebreide backlog zijn we in staat om meta-analyses te doen over de testen. Zo documenteren we de paginatypes, devices, CRO factoren, maar ook welke vorm van onderbouwing er is gebruikt bij het formuleren van de hypothese. Gebruikte optimalisatietechnieken documenteren we nog niet, maar dat gaan we vanaf 2025 wel ook doen! Terug naar de onderbouwing van de testen. De data uit de meta-analyse laat ons zien dat de succesratio van de testen met onderbouwing beduidend hoger ligt dan wanneer deze ontbreekt en de hypothese het gevolg is van een brainstorm. Tegelijkertijd moeten we ook bekennen dat veel testen ook nog in de laatste categorie vielen. Daar is dus nog werk aan de winkel voor ons. Hierin willen we vooral inzetten op kwalitatief onderzoek (surveys, interviews en user testing) omdat we specifiek bij deze databronnen zien dat ze tot succesvolle hypotheses leiden. Uiteraard vergeten we hierbij niet om ook naar kwantitatieve databronnen zoals web analytics data kijken!
Samenvattend zijn we erg trots op de resultaten die we tot nog toe hebben weten te behalen voor onze klanten. We kijken uit naar de toekomst om nog meer te testen voor nog meer klanten. Hopelijk kunnen we op korte termijn zelfs de grens van 1000 A/B-testen passeren. Hulp nodig met CRO of A/B-testen? Neem dan zeker even contact met ons op!
