Drie wensen

Photo by Anne Nygård on Unsplash

De onderzoeker rommelde wat in een oude, reeds lang verlaten schuur en vond tot zijn verbazing een koperen lamp. Hij veegde het stof eraf en tot zijn verbazing verscheen er een geest. “Je mag drie wensen doen” zei de geest tot de verbaasde onderzoeker. De onderzoeker wist het wel. Hij rende terug naar huis, de geest achter hem aan zwevend, nam plaats achter zijn laptop en sprak vervolgens zijn drie wensen uit …

1e wens: representatief onderzoek

De onderzoeker stamelde wat onduidelijks, maar hij hervond zich al snel en zei “ik wens representatief onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker analyseerde snel zijn data met behulp van SPSS en zag dat de clustersteekproeven op correcte wijze aselect waren uitgevoerd. Hij analyseerde de respons met de chikwadraattoets om te bezien of de leeftijden en het geslacht van de respondenten representatief waren ten opzichte van de populatie. De gegevens van CBS erbij gehaald en opgenomen in de chikwadraattoetsing. En ja hoor! Allemaal p-waarden boven de 5%!

Tevreden leunde hij achterover.

2e wens: valide onderzoek

Nu dit voor elkaar was, wreef hij weer over de lamp en de geest, onvermoeibaar, verscheen weer voor hem. De onderzoeker wenste resoluut “ik wens valide onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker keek naar zijn vragenlijst en deze was op slag veranderd. Alle begrippen waar respondenten over konden struikelen waren allemaal aangepast. De volgorde van de vragenlijst was aangepast, alle matrixvraagblokken waren voorzien van een introductie, moeilijke begrippen stonden in een extra toelichting netjes uiteengezet. Ook de antwoordopties waren aangepast. Nette, equidistante Likertschalen, afgewisseld met semantische differentialen, half-open vragen en dichotomieën. En natuurlijk was als allerlaatste vraag toegevoegd “Heeft u vragen, opmerkingen of suggesties? We vernemen het graag.”

Tevreden leunde hij achterover.

3e wens: betrouwbaar onderzoek

Glimlachend keek hij naar de lamp en wreef er voor de derde keer erover. De geest verscheen en sprak hem toe “U heeft nog één wens, wat wenst u?”

Ook nu was de onderzoeker stellig “ik wens betrouwbaar onderzoek!”

“Uw laatste wens is vervuld” zei de geest.

De onderzoeker keek weer naar zijn data en zag dat elke analyse die hij deed meer dan 95% betrouwbaarheid in zich had. De pearsoncorrelatiecoëfficiënten waren allemaal met meer dan 95% betrouwbaarheid afwijkend van nul. Zijn t-toetsen om de gemiddelden te vergelijken gaven allemaal meer dan 95% betrouwbaarheid over het toetsresultaat. Ook zijn regressiecoëfficiënten gaven een betrouwbaar toetsresultaat.

Tevreden leunde hij achterover.

Eindrapportage

Tevreden met zichzelf presenteerde hij de resultaten aan zijn opdrachtgever. Hij ging zo op in zijn zelfgenoegzaamheid, dat hij niet merkte dat de wenkbrauwen van de opdrachtgever hoger en hoger van verbazing opgetrokken waren. Nog voordat hij klaar was met zijn presentatie kon de opdrachtgever zich niet meer inhouden en sprong op, gooide daarmee zijn stoel omver en riep uit “Dit onderzoek is niet bruikbaar!”

Gedesillusioneerd zat de onderzoeker weer achter zijn bureau en wreef de lamp tot glanzend koper in het zonlicht, maar zijn drie wensen waren verbruikt.

Representativiteit en extrapolatie resultaten

Vraag

Vraag van student: Ik onderzoek of men in Nederland betrokkenheid heeft met het merk X. Ik heb via mijn Facebookpagina respons verzameld en ik zie dat ik nu 51% mannen en 49% vrouwen heb, dat houdt toch in dat ik representatief onderzoek heb gedaan?

Antwoord

Ja, representatief en nee: niet extrapoleren. In de vraag van de student schuilt onbegrip over twee begrippen: representativiteit en extrapoleerbaarheid van de resultaten. Dat laatste houdt in dat de onderzoeksresultaten niet alleen geldig zijn voor de responspopulatie, maar voor de gehele populatie waar de steekproef uit getrokken is.

Voorbeeld

Ik vertaal dit probleem maar even als volgt.

Stel dat ik op het Vrijthof in Maastricht ga staan en ’s middags mensen op het Vrijthof vraag wat zij van de Nederlandse premier vinden. Naast het antwoord (goed / niet goed) noteer ik ook het geslacht van de mensen (man / vrouw / anders). Na vier uur enquêteren heb ik van 733 respondenten respons verzameld; het is een druk plein met het grand café Het Hikkende Heksje in de buurt .

Uit het resultaat blijkt dat de verdeling naar geslacht (man / vrouw) in lijn is met de resultaten van CBS. Dit is met de chikwadraattoets te controleren, dat laat ik nu even aan de lezer over. Zie tabel 1 en 2.

Welke onderzoeksvraag is nu te beantwoorden?

Is de verdeling geslacht man/vrouw representatief met betrekking tot de verhouding in Nederland? Ja

Is dit de mening van ‘de Nederlander’?
Nee: dit is de mening van de bezoeker van het Vrijthof.

Mag je dit resultaat extrapoleren naar ‘Nederland’? Nee. Waarom niet? Stel dat ik op de Grote Markt in Groningen gaan staan (ook een druk plein vanwege het grand café Het Hikkende Heksje in Groningen) en hetzelfde onderzoek herhaal en dan 800 mensen enquêteer. Dan is het zeer denkbaar dat al die mensen een heel ander antwoord geven dan de mensen op het Vrijthof. Om te bewijzen dat het de mening van ‘de Nederlander’ is,  zal in heel Nederland geënquêteerd moeten worden.