Steekproef – Het Hikkende Heksje

Neemt toeval af en toe toe of af?

Vraag van een student

Neemt de kans op toeval toe of af op het moment dat je steekproefgrootte groter wordt?

Antwoord

Stel je voor dat je lichaamslengte van mensen meet. Van CBS weten we dat gemiddelde lengte van de man ca. 1,84 meter is.

CBS: https://www.cbs.nl/nl-nl/nieuws/2021/37/nederlanders-korter-maar-nog-steeds-lang

Stel nu het volgende voor: je trekt een steekproef van 20 mensen uit het GBA (=Gemeentelijke Basis Administratie) van Utrecht. En je meet van die mensen de gemiddelde lengte, dat blijkt 2,02 meter te zijn.

“Wat is hier aan de hand?” denk je dan.

Controle van de steekproef geeft dat je heel toevallig allemaal mannen van de basketbalvereniging in je steekproef hebt. Dus als je je steekproef nu vergroot naar 350.000 mensen (ca. alle mensen in Utrecht) dan kom je wél uit op 1,84 meter gemiddeld.

Wikipedia (2021): https://nl.wikipedia.org/wiki/Utrecht_(stad)

Voorbeeld met leeftijden

Stel je trekt een steekproef met totaal 15 respondenten. Je berekent na elke trekking van een respondent steeds het nieuwe gemiddelde. Dus het gemiddelde over 3 respondenten is dan (24+12+66)/3=34.

Dat toeval afneemt en dus het werkelijke populatiegemiddelde benadert laat onderstaande grafiek zien op basis van bovenstaande gegevens van de tabel. De wijnrode lijn geeft de leeftijd van de respondent weer. De zwarte lijn het berekende gemiddelde over n respondenten.

Grafische weergave van de schommelende *gemiddelde leeftijd*.

Duidelijk is dat de gemiddelde leeftijd al snel (na respondent 5) rondom de veertig jaar schommelt, terwijl respondenten wisselende leeftijden hebben.

Conclusie

Het kan zijn dat als je de steekproef stapsgewijs vergroot, dat de toeval eerst toeneemt en dan afneemt, omdat het gemiddelde erg kan schommelen. Maar in het algemeen geldt dat …

Toeval neemt af naarmate de steekproef groter wordt.

Drie wensen

De onderzoeker rommelde wat in een oude, reeds lang verlaten schuur en vond tot zijn verbazing een koperen lamp. Hij veegde het stof eraf en tot zijn verbazing verscheen er een geest. “Je mag drie wensen doen” zei de geest tot de verbaasde onderzoeker. De onderzoeker wist het wel. Hij rende terug naar huis, de geest achter hem aan zwevend, nam plaats achter zijn laptop en sprak vervolgens zijn drie wensen uit …

1^e wens: representatief onderzoek

De onderzoeker stamelde wat onduidelijks, maar hij hervond zich al snel en zei “ik wens representatief onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker analyseerde snel zijn data met behulp van SPSS en zag dat de clustersteekproeven op correcte wijze aselect waren uitgevoerd. Hij analyseerde de respons met de chikwadraattoets om te bezien of de leeftijden en het geslacht van de respondenten representatief waren ten opzichte van de populatie. De gegevens van CBS erbij gehaald en opgenomen in de chikwadraattoetsing. En ja hoor! Allemaal p-waarden boven de 5%!

Tevreden leunde hij achterover.

2^e wens: valide onderzoek

Nu dit voor elkaar was, wreef hij weer over de lamp en de geest, onvermoeibaar, verscheen weer voor hem. De onderzoeker wenste resoluut “ik wens valide onderzoek!”

“Uw wens is vervuld” zei de geest.

De onderzoeker keek naar zijn vragenlijst en deze was op slag veranderd. Alle begrippen waar respondenten over konden struikelen waren allemaal aangepast. De volgorde van de vragenlijst was aangepast, alle matrixvraagblokken waren voorzien van een introductie, moeilijke begrippen stonden in een extra toelichting netjes uiteengezet. Ook de antwoordopties waren aangepast. Nette, equidistante Likertschalen, afgewisseld met semantische differentialen, half-open vragen en dichotomieën. En natuurlijk was als allerlaatste vraag toegevoegd “Heeft u vragen, opmerkingen of suggesties? We vernemen het graag.”

Tevreden leunde hij achterover.

3^e wens: betrouwbaar onderzoek

Glimlachend keek hij naar de lamp en wreef er voor de derde keer erover. De geest verscheen en sprak hem toe “U heeft nog één wens, wat wenst u?”

Ook nu was de onderzoeker stellig “ik wens betrouwbaar onderzoek!”

“Uw laatste wens is vervuld” zei de geest.

De onderzoeker keek weer naar zijn data en zag dat elke analyse die hij deed meer dan 95% betrouwbaarheid in zich had. De pearsoncorrelatiecoëfficiënten waren allemaal met meer dan 95% betrouwbaarheid afwijkend van nul. Zijn t-toetsen om de gemiddelden te vergelijken gaven allemaal meer dan 95% betrouwbaarheid over het toetsresultaat. Ook zijn regressiecoëfficiënten gaven een betrouwbaar toetsresultaat.

Tevreden leunde hij achterover.

Eindrapportage

Tevreden met zichzelf presenteerde hij de resultaten aan zijn opdrachtgever. Hij ging zo op in zijn zelfgenoegzaamheid, dat hij niet merkte dat de wenkbrauwen van de opdrachtgever hoger en hoger van verbazing opgetrokken waren. Nog voordat hij klaar was met zijn presentatie kon de opdrachtgever zich niet meer inhouden en sprong op, gooide daarmee zijn stoel omver en riep uit “Dit onderzoek is niet bruikbaar!”

Gedesillusioneerd zat de onderzoeker weer achter zijn bureau en wreef de lamp tot glanzend koper in het zonlicht, maar zijn drie wensen waren verbruikt.

Observatie

Om gebeurtenissen te operationaliseren voor je steekproef moet je scherp observeren wat de bepalende variabelen zijn voor die gebeurtenis.

Randomisatie

Student zegt vertwijfeld: ‘bij randomisatie krijg je elke keer weer iets anders!’

Betrouwbaarheid gegeven een steekproefomvang

Vraag van een student

Nu ik respons heb, zie ik dat ik de beoogde 384 respondenten niet heb gehaald. Dat betekent dat ik met minder betrouwbare resultaten genoegen moet nemen. Hoe bereken ik dat?

Antwoord

De steekproefformule voor een metrische variabele herschrijven we dan zodanig dat de betrouwbaarheid ‘eruit’ rolt. Zie onderstaande afleiding (zie p.211).

Om de z-waarde af te leiden, wordt het ongelijkteken een gelijkteken:

Vul de gegevens van de populatie en de steekproef in en voilà je krijgt de z-waarde. Van die z-waarde kun je dan in bijlage III (p.256) de bijbehorende betrouwbaarheid vinden. Stel dat deze gegevens beschikbaar zijn:

In bijlage III vind je dan in de tabel:

Dit is een maximumwaarde. Dus in plaats van 95% betrouwbaarheid, heb je maar 63% betrouwbaarheid. Bedenk dat het opgooien van een geldstuk 50% kans geeft op ‘kop’. Zoveel meer zekerheid biedt dit onderzoek dus niet. Wil je meer zekerheid dat je resultaten te veralgemeniseren zijn naar de populatie toe (extrapolatie), dan moet je je steekproef vergroten.

Aselecte steekproef

Een studente: ‘Ik heb met succes aselecte steekproef gedaan onder de eerstejaars mannelijke studenten’.