DDTT8: CRO & A/B testing

Geplaatst op 3 april 2018

DigitalData Tips Tuesday: VidaXl, Travix en Randstad over CRO & A/B testing

Regelmatig gaan wij Radyologen de wijde wereld in om onze kennishorizon te verbreden. Zo vertrok ik op een zonnige dinsdag in maart richting Amsterdam om daar de DigitalData Tips Tuesday bijeenkomst bij te wonen met als thema CRO & A/B testing: growing up, georganiseerd door webanalisten.nl.

Tijdens de introductie werd duidelijk gemaakt dat we in een aantal jaren zijn gegaan van telefoontjes richting online bureaus in de trant van “kunnen jullie niet eens een A/B test voor ons opzetten?” naar een in de organisatie geïntegreerd proces van continue optimalisatie aan de website waarbij er altijd wordt getest. Een drietal organisaties was bereid hun avontuur op dit vlak voor het publiek uit de doeken te doen. Interessant is dat ondanks dat wij als online marketeers het overduidelijk vinden dat CRO (Conversion Rate Optimization) en A/B testing waardevol zijn, men intern toch allemaal nog moeite ervaart om draagvlak en resources los te krijgen. Hoe verliepen deze processen bij VidaXL, Travix en Randstad?

VidaXL: over taalbarrières, interne testgroepen en mobile first

Van snelgroeiende e-commerce organisatie VidaXL waren webshop manager Esther van der Kaaij en CRO specialist Laurey-Anne Krammer aanwezig. Het traject wat omschreven werd bestond uit succesverhalen van ogenschijnlijk kleine veranderingen die grote impact op de CR hadden. Maar er waren ook veel interne hordes te nemen: spanningsvelden tussen beschikbaarheid van ondersteunende resources en de wens om veel te testen. Taalbarrières met developer teams in Azië. Laurey-Anne omschreef een boeiende reis richting een professioneel proces waarbij uiteindelijk een team is gevormd om de webshops van VidaXL constant te optimaliseren. Een leuke vondst vond ik onder andere interne testdagen waarop medewerkers werd gevraagd taken op de website te volbrengen en terug te geven waar men tegenaan liep. Hier bleken veel waardevolle inzichten uit voort te komen en het draagt bij aan het draagvlak voor de CRO activiteiten.

Esther keek ook even kort vooruit naar de toekomstplannen van VidaXL. Er wordt hard gewerkt om vanuit de mobile first gedachte een complete redesign door te voeren. Vanaf 2016 was er meer mobiele traffic dan desktop op hun shops maar de conversie bleef achter. VidaXL stelt nu de klant centraal in haar ontwikkelingen op de site in plaats van het product en wil dan ook user testing gaan inzetten.

VidaXL vertelt zo een boeiend verhaal beginnend met een CRO-specialist die als eenling haar weg door de organisatie moet vinden tot een professioneel team binnen een optimalisatiecultuur.

Travix: about McGyver, the A-team and our product army

Daarna was het podium voor Matthijs Hielkema, Director Global Customer Experience van Travix, de partij achter onder andere Cheaptickets, Vliegwinkel en BudgetAir. Ook Matthijs had een traject doorlopen van eenling naar, in zijn geval, een “optimization army”. Hun traject had hij samengevat in drie fasen.

In de eerst fase is er een soort ‘alleskunner’: de McGyver. Een eenling die zonder al te veel structuur aan de slag gaat met de optimalisatie van de website. A/B tests worden echt gezien als ‘marketing baby’, blijven beperkt tot de kleur van CTA buttons en soortgelijke zaken en leveren onder de streep nog niet heel veel op.

De tweede fase noemt Matthijs de A-Team approach. De naam zegt het al: McGyver heeft nu een multidisciplinair team tot zijn beschikking wat meer ruimte geeft voor gestructureerde aanpak en de klantbehoeften in kaart brengen. Er wordt gewerkt met korte termijn doelen (plat gezegd: optimalisaties die omzet verhogen) en voor de langere termijn wordt gekeken naar wat de klantbehoeften zijn. In deze fase noemt Matthijs ook dat er conflicterende KPI’s kunnen ontstaan tussen de product roadmaps en het optimalisatieprogramma. Denk aan het opleveren van nieuwe functionaliteit terwijl er ook een A/B test ingericht moet worden. Beiden zijn taken voor een development team wat hier keuzes in moet maken. In de A-Team tijd wordt gewerkt met 3 KPI’s: snelheid (zoveel mogelijk tests doen), kwaliteit (de verhouding tussen tests die succesvol zijn en tests die dat niet zijn) en de waarde (hoeveel kost het en levert het op?).

De derde fase is de “Optimization Army approach”. Er is een ‘Optimization Lighthouse Team’ wat het overzicht bewaart en toeziet op de product teams waarin volop getest wordt. Belangrijk is bijvoorbeeld dat per type pagina maar een test wordt gedraaid om de validiteit van de uitkomst te borgen. Ook in deze fase is er het spanningsveld product roadmap en optimization program waardoor er binnen de product teams wat focus verloren gaat. Wel gaf Matthijs aan dat later in deze fase de product roadmaps zelf gedreven worden door de tests en inzichten, het ultieme doel van iedere CRO specialist lijkt me 🙂

Moneyz bij Randstad

Als laatste een spreker van een grote jongen op het internationale podium van de HRM, Randstad. Guido Jansen is Global CRO Lead daar en neemt ons mee in het proces van het creëren van een optimalisatiecultuur.

Binnen een grote organisatie als Randstad is het niet mogelijk om vanuit hoofdkantoren mensen te verplichten met iets als CRO aan de slag te gaan. De landen opereren behoorlijk onafhankelijk en het zit niet in ieders natuur om met A/B tests aan de slag te gaan. Daarom is Guido’s plan opgebouwd rond het creëren van een cultuur waarbinnen hij werkt aan een internationale aanpak van CRO voor alle sites.

Opvallende aftrap is dat binnen Randstad CRO pas vrij recent meer aandacht heeft gekregen. Ook anders dan anders is natuurlijk dat Randstad niets online verkoopt. Het gaat om ‘lead-gen’: mensen die solliciteren of zich inschrijven bijvoorbeeld. Doordat er nog weinig focus op was, zijn de lokale resources beperkt, maar Guido gaf aan dat er wel budget voldoende vrij te maken was voor zijn werk. In zijn eigen woorden: ‘moneyz’ genoeg.

Iets waar veel bevestigend op geknikt werd was de opmerking dat de tegenstelling CRO en brand management ook bij Randstad een ding is. Testen met elementen van de huisstijl wordt op zijn zachtst gezegd niet gewaardeerd.

Het doel is lokale teams met experts, gesteund van hoofdkantoor met specialisten. Omdat Guido nog in de fase zit van het opbouwen van de business case binnen Randstad ging zijn verhaal met name hierover. Het was een leuk inkijkje in hoe op wereldwijd niveau je een dergelijk traject opstart. Goede vondst was een buddy systeem waarbij mensen uit landen die al langer aangehaakt zijn op het traject de nieuwe aansluiters op sleeptouw nemen. Ook speciale aandacht voor Google+ (Ja, je leest het goed) wat wordt gebruikt voor interne kennisdeling.

Al met al een interessant kijkje in drie totaal verschillende keukens waar toch ook gezamenlijke uitdagingen uitkomen zoals het intern draagvlak voor het constant testen en de beperking van IT resources.