De valkuilen van online enquêtes en hoe dit te voorkomen

De valkuilen van online enquêtes – Wat gaat er fout? En een eenvoudig 5 stappenplan om het goed te doen

Met 20 jaar ervaring in User Experience (UX) research en data-implementatie werk ik samen met bedrijven om diensten en producten aan te sluiten bij de doelgroep. Eerst bij Philips en als docent Research & Innovatie en nu werk ik als Lead UX Researcher bij theFactor.e. 

Deze ervaring heeft mij geleerd hoe belangrijk het is om directe feedback van de doelgroep te gebruiken bij innovatie. En misschien nog belangrijker, wat er gebeurt als je dit NIET doet.

Online enquêtes werken alleen goed wanneer je vooronderzoek doet

Het gebruik van kwantitatieve onderzoeksmethoden, zoals online enquêtes, is erg populair. Dat is logisch, want je kunt heel snel veel data verzamelen en zo vanachter je PC-tje. Vragenlijsten zijn daarom vaak de eerste keuze van onderzoekers en studenten om hun doelgroep beter te leren kennen. Het lijkt snel en eenvoudig; je begint met onderzoeksvragen en maakt daar enquêtevragen van.

Maar, en dit is een grote maar, voordat je meningen of gedrag gaat meten, moet je eerst goed begrijpen wie je gebruiker is. Doe je dit niet, dan krijg je verkeerde data, en op basis daarvan worden vervolgens verkeerde beslissingen genomen.

Waarom is dat zo? In de praktijk gaat het als volgt:

Onderzoekers bedenken vaak zelf de antwoordcategorieën na elke vraag. Goede voorbeelden van eenduidige vragen zijn bijvoorbeeld leeftijd of tevredenheid op een 5-puntsschaal over een zoekfunctie. Maar bij specifieke vragen over gedrag of behoeften gaat het mis. De onderzoeker bedenkt zelf de antwoordcategorieën. Daarna wordt de vragenlijst gecontroleerd door collega’s en/of de klant.  Er ontstaat een discussie of de categorieën en vragen kloppen (vaak op hoog analytisch niveau). De reden van het onderzoek wordt soms vergeten: wat moeten we leren van de doelgroep om verder te kunnen? Dit gebeurt met de beste bedoelingen, want de onderzoeker wil goed werk leveren. Door overleg krijgen de resultaten draagvlak, zo hebben we dat geleerd.

Dan gaat de vragenlijst live, en veel respondenten vullen de vragenlijst in en kiezen uit de gegeven antwoordcategorieën. Maar hier zit het probleem: er is geen garantie dat die categorieën passen bij de belevingswereld van de respondenten. Ze zijn bedacht door de onderzoeker, met input van interne en externe stakeholders. De uitkomsten worden als waarheid gezien, en op basis daarvan worden beslissingen genomen.

Mijn advies: doe vooronderzoek.

Je moet eerst begrijpen wat er leeft bij de gebruiker en wat hun belevingswereld is. Zo begrijp je de context, motivaties, gedrag en pijnpunten van gebruikers. Dit geeft een bredere kijk en voorkomt dat je je alleen richt op voor de hand liggende of vooraf bedachte vragen. Je stelt vragen die ertoe doen, wat de betrouwbaarheid van de resultaten verhoogt. Veel respondenten zijn al enquête-moe. Stel relevante vragen, zodat zij zich gehoord voelen en de kans op betrokkenheid en betrouwbare antwoorden groter is.

Ik geef een praktisch voorbeeld van wat er gebeurt wanneer de categorieën worden bedacht vanachter een pc en vervolgens na het doen van vooronderzoek.

Vraag: Waarom heb je uiteindelijk voor dit stagebedrijf gekozen?

De resultaten uit de enquête schetsen het beeld dat stagelopende studenten gaan voor flexibele werktijden, carrièremogelijkheden en de begeleiding die ze genieten. Opvallend is dat “Anders” een te hoog percentage heeft (tip van Flip: alarmbellen moeten gaan rinkelen wanneer “Anders” groter is dan 20%, want dan kloppen je antwoordcategorieën niet).

Wanneer je in die open opmerkingen duikt die studenten hebben ingevuld bij de categorie “Anders”, ontstaat er al een ander beeld van de belevingswereld van de doelgroep. We missen bijvoorbeeld de korte reisafstand en dat het gewoon goed staat op een cv. Door goed vooronderzoek zal de realiteit die geschetst wordt door de data er als volgt uitzien:

Vraag: Waarom heb je uiteindelijk voor dit stagebedrijf gekozen?

(Dit voorbeeld is voor dit opiniestuk gecreëerd en data is fictief)

Studenten zijn gewoon minder met het bedrijf bezig en meer met slimme en praktische overwegingen. De categorie “Anders” heeft een veel lager percentage en ziet er veel “gezonder” uit. 

Wanneer ik resultaten van sommige enquêtes lees, lukt het mij als expert vaak niet om betekenis te geven aan percentages, omdat de keuze om een enquête te houden nooit had mogen plaatsvinden. Korte toelichting: Wat mensen zeggen dat ze doen, is heel iets anders dan wat ze daadwerkelijk doen, en dit zul je op een andere manier in kaart moeten brengen. Maar dit komt later wel aan de orde.

Bij theFactor.e gaan we verder dan alleen een theoretische en door stakeholders gevoerde exercitie zoals hierboven beschreven. We moeten en willen eerst de doelgroep in de ogen hebben aangekeken voordat we de enquête live zetten. Daarnaast begeleiden we onze klanten in de bouw van een goede enquête. Dit resulteert in een vragenlijst die echt aansluit bij de belevingswereld van de gebruikers en die de relevante onderwerpen voor de organisatie onderzoekt.

Vaak ontstaan er na het doen van enquêtes extra vragen omdat getallen niet leven. Door het doen van vooronderzoek begrijp je ook hoe je de antwoorden moet interpreteren en kun je de resultaten in perspectief plaatsen en beter begrijpen. Hierdoor kan de klant betere beslissingen maken.

Tot slot: een vooronderzoek in 5 stappen

Graag laat ik je achter met een concreet stappenplan dat je kunt gebruiken voor je eigen (voor)onderzoek.

Stap 1: Bepaal wat je specifiek wil weten en van wie, bijvoorbeeld “Welke uitdagingen ervaren hbo-studenten bij het vinden van stages?” Bepaal je zoekgebied per vragenlijst.

Stap 2: Leer deze doelgroep kennen door het voeren van korte gesprekken. Praat met 5-10 mensen. Check ook online fora en social media zoals Reddit. Dit helpt je om actuele thema’s ervaringen en terminologie te identificeren die leven onder je doelgroep.

Stap 3: Ontwerp een simpele en korte enquête op basis van de inzichten uit stap 2 om je vragen te ontwerpen. Ga voor maximaal 10 multiple-choice- of andere soort vragen.

Stap 4: Waar mogelijk, voeg altijd een “Anders”- optie toe. Dit geeft respondenten de mogelijkheid om antwoorden te geven die je (nog) niet had voorzien. Hierdoor kan je de vragen verbeteren bij toekomstige enquêtes.

Stap 5: Test je vragen. Laat 3-5 mensen je enquête proberen (geen stakeholders!) en vraag wat ze denken dat je wilt weten met elke specifieke vraag. Dit helpt je om eventuele verwarrende of onduidelijke vragen op te sporen en te verbeteren.

Door deze praktische aanpak zal je enquête beter zijn dan nu, zelfs zonder uitgebreide wetenschappelijke methoden. Het toevoegen van een “Anders”-optie helpt je om de vragenlijst continu te optimaliseren en dichter bij de belevingswereld van je doelgroep te komen.

Oh ja ook een beginnersfout; vergeet niet om alle open opmerkingen mee te nemen in je analyse, want deze kunnen vaak onverwachte en waardevolle inzichten bieden. Tijdsdruk kan nu geen excuus meer zijn want AI is een snelle werker.