Hoofdstuk 2
Conversion Optimization Requires Controlled Testing
Gecontroleerde (wetenschappelijke) onderzoeken worden (te) weinig uitgevoerd in de marketing, terwijl er steeds
meer mogelijkheden voor zijn. Online biedt de mogelijkheid om goedkoop kwantitatief te testen in een
gecontroleerde omgeving
The Scientific Method Of Controlled Testing
In dit hoofdstuk wordt uitgelegd wat wetenschappelijk testen in een gecontroleerde omgeving inhoudt. Het is
belangrijk om naast de experimentele groep, die de aangepaste, de verbeterde versie, een controlegroep hebben
die tegelijkertijd de onaangepaste versie, het origineel, ziet. Factoren die de test kunnen beïnvloeden moeten
goed in de gaten worden gehouden. Dan kan het verschil in conversieratio worden toegeschreven aan de
veranderingen. De verschillen moeten significant zijn om een ‘winnaar’ aan te wijzen.
Selecting a Sample (Not a Free One, a Statistical One)
Wetenschappelijke benaming van hetgene van wat je wil onderzoeken (steekproef). Je kunt niet alle bezoekers
onderzoeken, er wordt een selectie gemaakt van een totale groep. In dit geval een selectie van jouw
websitebezoekers. De selectie moet homogeen zijn, oftewel dezelfde kenmerken of verkeersbron hebben. De
personen die meedoen aan de test moeten passen binnen deze selectie, anders zijn de resultaten niet bruikbaar.
-Note: Er wordt voor het gemak aangenomen dat websitebezoekers representatief zijn voor de targetgroep,
omdat de kosten van het vinden van precies de juiste personen die passen binnen de doelgroep niet opwegen
tegen de voordelen ervan-
Voor het selecteren van een goede ‘sample’ is het kiezen van een juiste tool van groot belang (Adwords heeft bv
beperkingen met het omzetten van data naar unieke bezoekers)
Using a Tool Designed for Controlled Testing
Een goede sample selecteren is niet het enige voordeel. Tools bevatten functionaliteiten om a/b-testen te
controleren op je website. Tools verschillen onderling maar bevatten in ieder geval:
Bezoekers verdelen over de verschillende versies
Cookies achterlaten zodat bezoekers steeds op dezelfde versie terechtkomen
De doelconversie meten
Conversieratios van verschillende versies laten zien
Significantie van de testresultaten laten zien.
Proces van testtool:
Bezoeker bezoekt website – Tool laat cookie achter (bezoeker deel van experimentgroep of niet) – Tool geeft
origineel weer, of past content aan voor experimentversie – Resultaten worden weergegeven in accountomgeving
van de tool
Best Practices Are Not Conversion Optimization
Conversieoptimalisatie vaak verward met best-practice consulting.
Veel best practice-tips van experts zijn ongetest.
Als voorbeeld: McAfee/HackerSafe buttons op de site zetten (tip van expert), uit test blijkt dat conversieratio daalt
als deze te groot in beeld zijn.
Het testen/valideren van hypotheses is anders dan de opinies van ‘experts’ als waar aannemen. Niets aannemen
voordat je het zelf hebt getest. Ook omdat de tips van experts niet in elke situatie van toepassing zijn.
The Before and After Method Is Not Conversion Optimization (Pre & Post test)
Hiermee wordt bedoeld: aanpassingen doen op de site en kijken wat er gebeurd met de statistieken. Een ‘succes’
is hier de toename van conversie, die wordt toegeschreven aan de aanpassing op de website. Als naar
langetermijn-data wordt gekeken, kan die ‘toeschrijving’ alweer onderuitgehaald worden.
External factors mess with your data
Conversion Optimization Requires Controlled Testing
Gecontroleerde (wetenschappelijke) onderzoeken worden (te) weinig uitgevoerd in de marketing, terwijl er steeds
meer mogelijkheden voor zijn. Online biedt de mogelijkheid om goedkoop kwantitatief te testen in een
gecontroleerde omgeving
The Scientific Method Of Controlled Testing
In dit hoofdstuk wordt uitgelegd wat wetenschappelijk testen in een gecontroleerde omgeving inhoudt. Het is
belangrijk om naast de experimentele groep, die de aangepaste, de verbeterde versie, een controlegroep hebben
die tegelijkertijd de onaangepaste versie, het origineel, ziet. Factoren die de test kunnen beïnvloeden moeten
goed in de gaten worden gehouden. Dan kan het verschil in conversieratio worden toegeschreven aan de
veranderingen. De verschillen moeten significant zijn om een ‘winnaar’ aan te wijzen.
Selecting a Sample (Not a Free One, a Statistical One)
Wetenschappelijke benaming van hetgene van wat je wil onderzoeken (steekproef). Je kunt niet alle bezoekers
onderzoeken, er wordt een selectie gemaakt van een totale groep. In dit geval een selectie van jouw
websitebezoekers. De selectie moet homogeen zijn, oftewel dezelfde kenmerken of verkeersbron hebben. De
personen die meedoen aan de test moeten passen binnen deze selectie, anders zijn de resultaten niet bruikbaar.
-Note: Er wordt voor het gemak aangenomen dat websitebezoekers representatief zijn voor de targetgroep,
omdat de kosten van het vinden van precies de juiste personen die passen binnen de doelgroep niet opwegen
tegen de voordelen ervan-
Voor het selecteren van een goede ‘sample’ is het kiezen van een juiste tool van groot belang (Adwords heeft bv
beperkingen met het omzetten van data naar unieke bezoekers)
Using a Tool Designed for Controlled Testing
Een goede sample selecteren is niet het enige voordeel. Tools bevatten functionaliteiten om a/b-testen te
controleren op je website. Tools verschillen onderling maar bevatten in ieder geval:
Bezoekers verdelen over de verschillende versies
Cookies achterlaten zodat bezoekers steeds op dezelfde versie terechtkomen
De doelconversie meten
Conversieratios van verschillende versies laten zien
Significantie van de testresultaten laten zien.
Proces van testtool:
Bezoeker bezoekt website – Tool laat cookie achter (bezoeker deel van experimentgroep of niet) – Tool geeft
origineel weer, of past content aan voor experimentversie – Resultaten worden weergegeven in accountomgeving
van de tool
Best Practices Are Not Conversion Optimization
Conversieoptimalisatie vaak verward met best-practice consulting.
Veel best practice-tips van experts zijn ongetest.
Als voorbeeld: McAfee/HackerSafe buttons op de site zetten (tip van expert), uit test blijkt dat conversieratio daalt
als deze te groot in beeld zijn.
Het testen/valideren van hypotheses is anders dan de opinies van ‘experts’ als waar aannemen. Niets aannemen
voordat je het zelf hebt getest. Ook omdat de tips van experts niet in elke situatie van toepassing zijn.
The Before and After Method Is Not Conversion Optimization (Pre & Post test)
Hiermee wordt bedoeld: aanpassingen doen op de site en kijken wat er gebeurd met de statistieken. Een ‘succes’
is hier de toename van conversie, die wordt toegeschreven aan de aanpassing op de website. Als naar
langetermijn-data wordt gekeken, kan die ‘toeschrijving’ alweer onderuitgehaald worden.
External factors mess with your data
