De onderzoeker rommelde wat in een oude, reeds lang verlaten schuur en vond tot zijn verbazing een koperen lamp. Hij veegde het stof eraf en tot zijn verbazing verscheen er een geest. “Je mag drie wensen doen” zei de geest tot de verbaasde onderzoeker. De onderzoeker wist het wel. Hij rende terug naar huis, de geest achter hem aan zwevend, nam plaats achter zijn laptop en sprak vervolgens zijn drie wensen uit …
1e wens: representatief onderzoek
De onderzoeker stamelde wat onduidelijks, maar hij hervond zich al snel en zei “ik wens representatief onderzoek!”
“Uw wens is vervuld” zei de geest.
De onderzoeker analyseerde snel zijn data met behulp van SPSS en zag dat de clustersteekproeven op correcte wijze aselect waren uitgevoerd. Hij analyseerde de respons met de chikwadraattoets om te bezien of de leeftijden en het geslacht van de respondenten representatief waren ten opzichte van de populatie. De gegevens van CBS erbij gehaald en opgenomen in de chikwadraattoetsing. En ja hoor! Allemaal p-waarden boven de 5%!
Tevreden leunde hij achterover.
2e wens: valide onderzoek
Nu dit voor elkaar was, wreef hij weer over de lamp en de geest, onvermoeibaar, verscheen weer voor hem. De onderzoeker wenste resoluut “ik wens valide onderzoek!”
“Uw wens is vervuld” zei de geest.
De onderzoeker keek naar zijn vragenlijst en deze was op slag veranderd. Alle begrippen waar respondenten over konden struikelen waren allemaal aangepast. De volgorde van de vragenlijst was aangepast, alle matrixvraagblokken waren voorzien van een introductie, moeilijke begrippen stonden in een extra toelichting netjes uiteengezet. Ook de antwoordopties waren aangepast. Nette, equidistante Likertschalen, afgewisseld met semantische differentialen, half-open vragen en dichotomieën. En natuurlijk was als allerlaatste vraag toegevoegd “Heeft u vragen, opmerkingen of suggesties? We vernemen het graag.”
Tevreden leunde hij achterover.
3e wens: betrouwbaar onderzoek
Glimlachend keek hij naar de lamp en wreef er voor de derde keer erover. De geest verscheen en sprak hem toe “U heeft nog één wens, wat wenst u?”
Ook nu was de onderzoeker stellig “ik wens betrouwbaar onderzoek!”
“Uw laatste wens is vervuld” zei de geest.
De onderzoeker keek weer naar zijn data en zag dat elke analyse die hij deed meer dan 95% betrouwbaarheid in zich had. De pearsoncorrelatiecoëfficiënten waren allemaal met meer dan 95% betrouwbaarheid afwijkend van nul. Zijn t-toetsen om de gemiddelden te vergelijken gaven allemaal meer dan 95% betrouwbaarheid over het toetsresultaat. Ook zijn regressiecoëfficiënten gaven een betrouwbaar toetsresultaat.
Tevreden leunde hij achterover.
Eindrapportage
Tevreden met zichzelf presenteerde hij de resultaten aan zijn opdrachtgever. Hij ging zo op in zijn zelfgenoegzaamheid, dat hij niet merkte dat de wenkbrauwen van de opdrachtgever hoger en hoger van verbazing opgetrokken waren. Nog voordat hij klaar was met zijn presentatie kon de opdrachtgever zich niet meer inhouden en sprong op, gooide daarmee zijn stoel omver en riep uit “Dit onderzoek is niet bruikbaar!”
Gedesillusioneerd zat de onderzoeker weer achter zijn bureau en wreef de lamp tot glanzend koper in het zonlicht, maar zijn drie wensen waren verbruikt.
