Drie wensen

Photo by Anne Nygård on Unsplash

De onderzoeker rommelde wat in een oude, reeds lang verlaten schuur en vond tot zijn verbazing een koperen lamp. Hij veegde het stof eraf en tot zijn verbazing verscheen er een geest. “Je mag drie wensen doen” zei de geest tot de verbaasde onderzoeker. De onderzoeker wist het wel. Hij rende terug naar huis, de geest achter hem aan zwevend, nam plaats achter zijn laptop en sprak vervolgens zijn drie wensen uit …

1e wens: representatief onderzoek

De onderzoeker stamelde wat onduidelijks, maar hij hervond zich al snel en zei “ik wens representatief onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker analyseerde snel zijn data met behulp van SPSS en zag dat de clustersteekproeven op correcte wijze aselect waren uitgevoerd. Hij analyseerde de respons met de chikwadraattoets om te bezien of de leeftijden en het geslacht van de respondenten representatief waren ten opzichte van de populatie. De gegevens van CBS erbij gehaald en opgenomen in de chikwadraattoetsing. En ja hoor! Allemaal p-waarden boven de 5%!

Tevreden leunde hij achterover.

2e wens: valide onderzoek

Nu dit voor elkaar was, wreef hij weer over de lamp en de geest, onvermoeibaar, verscheen weer voor hem. De onderzoeker wenste resoluut “ik wens valide onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker keek naar zijn vragenlijst en deze was op slag veranderd. Alle begrippen waar respondenten over konden struikelen waren allemaal aangepast. De volgorde van de vragenlijst was aangepast, alle matrixvraagblokken waren voorzien van een introductie, moeilijke begrippen stonden in een extra toelichting netjes uiteengezet. Ook de antwoordopties waren aangepast. Nette, equidistante Likertschalen, afgewisseld met semantische differentialen, half-open vragen en dichotomieën. En natuurlijk was als allerlaatste vraag toegevoegd “Heeft u vragen, opmerkingen of suggesties? We vernemen het graag.”

Tevreden leunde hij achterover.

3e wens: betrouwbaar onderzoek

Glimlachend keek hij naar de lamp en wreef er voor de derde keer erover. De geest verscheen en sprak hem toe “U heeft nog één wens, wat wenst u?”

Ook nu was de onderzoeker stellig “ik wens betrouwbaar onderzoek!”

“Uw laatste wens is vervuld” zei de geest.

De onderzoeker keek weer naar zijn data en zag dat elke analyse die hij deed meer dan 95% betrouwbaarheid in zich had. De pearsoncorrelatiecoëfficiënten waren allemaal met meer dan 95% betrouwbaarheid afwijkend van nul. Zijn t-toetsen om de gemiddelden te vergelijken gaven allemaal meer dan 95% betrouwbaarheid over het toetsresultaat. Ook zijn regressiecoëfficiënten gaven een betrouwbaar toetsresultaat.

Tevreden leunde hij achterover.

Eindrapportage

Tevreden met zichzelf presenteerde hij de resultaten aan zijn opdrachtgever. Hij ging zo op in zijn zelfgenoegzaamheid, dat hij niet merkte dat de wenkbrauwen van de opdrachtgever hoger en hoger van verbazing opgetrokken waren. Nog voordat hij klaar was met zijn presentatie kon de opdrachtgever zich niet meer inhouden en sprong op, gooide daarmee zijn stoel omver en riep uit “Dit onderzoek is niet bruikbaar!”

Gedesillusioneerd zat de onderzoeker weer achter zijn bureau en wreef de lamp tot glanzend koper in het zonlicht, maar zijn drie wensen waren verbruikt.

Betrouwbaarheid gegeven een steekproefomvang

Vraag van een student

Nu ik respons heb, zie ik dat ik de beoogde 384 respondenten niet heb gehaald. Dat betekent dat ik met minder betrouwbare resultaten genoegen moet nemen. Hoe bereken ik dat?

Antwoord

De steekproefformule voor een metrische variabele herschrijven we dan zodanig dat de betrouwbaarheid ‘eruit’ rolt. Zie onderstaande afleiding (zie p.211).

Om de z-waarde af te leiden, wordt het ongelijkteken een gelijkteken:

Vul de gegevens van de populatie en de steekproef in en voilà je krijgt de z-waarde. Van die z-waarde kun je dan in bijlage III (p.256) de bijbehorende betrouwbaarheid vinden. Stel dat deze gegevens beschikbaar zijn:

In bijlage III vind je dan in de tabel:

Dit is een maximumwaarde. Dus in plaats van 95% betrouwbaarheid, heb je maar 63% betrouwbaarheid. Bedenk dat het opgooien van een geldstuk 50% kans geeft op ‘kop’. Zoveel meer zekerheid biedt dit onderzoek dus niet. Wil je meer zekerheid dat je resultaten te veralgemeniseren zijn naar de populatie toe (extrapolatie), dan moet je je steekproef vergroten.