Martien Schriemer | 20-06-2014
Als onderzoekers mij ergens mee op de kast krijgen is het door te vragen of ik “neutraal” ben! Grrr. Nee! Ik ben niet neutraal! Ik geef toch antwoord!!
Zucht. Ik kom uitroeptekens tekort.
Likertschaal. In welke mate vindt u dat …
Laat ik het even uitleggen waarom dat in mijn allergiezone zit. Voor meer (en minder) doorgewinterde vragenlijstmakers is de Likertschaal een veel gehanteerde antwoordoptie. U weet wel, geef uw mening ergens over. Onderstaand twee voorbeelden van de toepassing van die Likertschaal.
De linker is fout. En wel om twee redenen. Enerzijds omdat getornd wordt aan de equidistantie, anderzijds omdat er iets gemeten wordt wat je niet wenst te meten. Het tweede aspect, begripsvaliditeit, maak ik aannemelijk in deze blog, de andere: het bewijs ervan is nog toekomst.
Perceptie van gelijke afstanden
De eerste reden is dat het de equidistantie aantast. Equidistantie is de perceptie die respondenten hebben dat de afstanden tussen de antwoordopties gelijk zijn. Het begrip is geleend van de kartografie waar het gehanteerd wordt in de context dat er …
(…) een vast hoogteverschil tussen twee opeenvolgende hoogtelijnen moet zijn (Encyclo (equidistantie)).
Dus dat de afstand tussen de antwoordopties 1-2 en 2-3 en 3-4 en 4-5 gelijk zijn. M.a.w. stel dat je honderd (procent-)punten mag verdelen dan zullen respondenten die honderd punten in vier gelijke porties van vijfentwintig punten verdelen over die vier afstanden. Maar goed, dat moet nog bewezen worden dat zulks dus niet het geval is in bovenstaand geval. Mocht iemand daar literatuur cq. onderzoek over weten: ik verneem het graag.
Validiteit, eh … wat bedoelt u?
Je “meet” iets als je een vraag stelt m.b.v. een vragenlijst. Dat brengt ons op het begrip validiteit. De tweede reden dat bovenstaande linkervraagstelling niet klopt is gebaseerd op begripsvalidatie: het begrip-zoals-bepaald (het begrip gemeten via een variabele) en het begrip-zoals-bedoeld (het theoretische begrip), zie Peet, Namesnik, Hox (2012, p.41). Verhoeven (2011, p.199) spreekt hier ook van constructvaliditeit, waarmee expliciet ingegaan wordt op het feit dat er iets geconstrueerd wordt, er iets gemaakt wordt. Van der Zee is vollediger bij het begrip validiteit en bespreekt o.a. de betekenis-validiteit zoals Swanborn het bedoeld heeft a.d.h.v. betekenis-exclusiviteit:
Daarmee wordt aangegeven dat de score die het meetinstrument oplevert maar op een manier opgevat kan worden en dat er geen andere uitleg is toegestaan (Van der Zee, 2004, p.44).
Het voorbeeld dat Slotboom geeft haal ik graag aan om bovenstaande toe te lichten.
Als een persoon vanwege woordblindheid een lage score haalt op een schriftelijke intelligentietest, is de meting niet valide: de test meet geen intelligentie maar woordblindheid wat niet de bedoeling is van een intelligentietest (Slotboom, 2012, p.25).
In bovenstaand geval is het kennelijk de bedoeling om de middenpositie te meten via het begrip “neutraal”. Zoals blijkt uit het bovenstaande: wat verstaan we daar eigenlijk onder? Een bekend voorbeeld van betekenis-validiteit is de vraag onder studenten “Ga je dit weekend naar huis?”. Het probleem is hier het begrip “huis”: de studentenkamer of het ouderlijk huis? Een ander voorbeeld waarbij er niet gemeten wordt wat je denkt te meten geven Markus en Oudemans.
Wanneer een respondente meent dat de ene antwoordcategorie meer ‘gewenst’ zou zijn dan de andere, meet je niet haar mening, maar meet je wat de respondent denkt dat jij als onderzoeker wilt horen. Dan meet je dus niet wat je wilt meten en is de validiteit van je onderzoek aangetast (Markus & Oudemans, 2011, p.68),
Er zijn dus nogal wat valkuilen die vermeden moeten worden door de vragenlijstmaker. Hoog tijd om het eens te onderzoeken …
Onderzoeksopzet
Onder 180 studenten van de Hogeschool Leiden is telkens aan het begin van een college gevraagd of zij mee wilde doen met een kort onderzoekje. Ze kregen een formulier uitgereikt waarop ze de klas, datum van respons moesten invullen en een omschrijving van een woord dat verteld werd door de desbetreffende docent. Toegelicht werd dat van hen gevraagd werd de betekenis van een woord ervan op te schrijven. Dat woord was “neutraal”.
Resultaten
Van de 180 studenten hebben er 179 een antwoord gegeven op de vraag over “neutraal”. Veel respondenten hebben een korte omschrijving gegeven van het begrip, waaruit blijkt dat men vaak bedoeld dat men onpartijdig is, geen kant kiest.
“Geen houding of mening / gedachte hebben of verkondigen die voor of tegen iets zijn, oftewel geen kant kiezen”.
Op basis van al die antwoorden is er een tekstanalyse gedaan m.b.v. SPSS naar de meest voorkomende woorden of begrippen dat de respondenten genoemd hebben. Het blijkt dat het meest genoemd is “geen mening” (43%), maar ook “(on)partijdig” (26%), “geen kant kiezen” (18%). Opvallender is dat men het begrip neutraal kennelijk ook associeert met “wit” (14%) en “Zwitserland” (9%).
“Lijkt op Nutrilon, Nutricia. Zwitserland. Nederland tijdens de 2e wereldoorlog”.
Zie onderstaande grafiek en tabel voor alle uitkomsten.
Handmatig zijn alle antwoorden door de onderzoeker beoordeeld of deze serieus te nemen waren. Het bleek dat er 1 niet als serieus bestempeld mag worden.
Conclusie
De antwoordopties van de Likertschaal zijn “gebalanceerd” rondom een centrum “noch oneens, noch eens”. Als een respondent de middenpositie selecteert, dan is hij dus niet “zonder mening”, maar geeft juist weer dat zijn mening tussen de twee uiterste optie in ligt. Immers, als hij “geen mening” had gehad, dan had hij die optie (de missing value-optie) wel aangekruist.
Neutraal is geen goed begrip om te hanteren voor de middenpositie, het meet niet wat je wilt weten. Respondenten associëren voornamelijk met “geen mening” of ook “zonder mening”. Maar als iets duidelijk is dat je als onderzoeker juist wel tot een mening oproept! met andere woorden: ongeschikt.
Bronnen
Afbeelding “geschikt, ongeschikt”. Geraadpleegd op 30-09-2013 via http://www.gerbil.nl/index.php?id=20.
Encyclo (equidistantie). Geraadpleegd op 30-09-2013 via http://www.encyclo.nl/lokaal/10770.
Wikipedia (likert scale). Geraadpleegd op 15-06-2014 via http://en.wikipedia.org/wiki/Likert_scale.
Literatuur
Markus, K. & Oudemans, A.M. (2011). Enquête research. 3e druk, ISBN 978-90-01-80939-3. Groningen/Houten: Noordhoff Uitgevers.
Peet, A. van, Namesnik, K. & Hox, J. (2010). Toegepaste statistiek. Beschrijvende technieken. 3e druk, ISBN 978-90-01-80243-1. Groningen/Houten: Noordhoff Uitgevers.
Slotboom, A. (2012). Statistiek in woorden. De meest voorkomende statistische begrippen van A tot Z. 5e druk, ISBN 978-90-01-81858-6. Groningen/Houten: Noordhoff Uitgevers.
Verhoeven, N. (2010). Wat is onderzoek. Den Haag: Boom Lemma Uitgevers
Zee, F. van der (2004). Kennisverwerving in de Empirische Wetenschappen. ISBN 90-9018850-9. Groningen: BMOO.