Kun je zelfoverschatting testen?

door Marten van der Meulen

Afgelopen dinsdag schreef ik (niet Milfje, maar Marten, zoals ook boven het stuk vermeld) een reactie op dit stuk van Rik Smits in Vrij Nederland. Smits schreef daarop hier (€) een reactie. Belangrijkste punt van zijn reactie lijkt dit:

"In mijn stuk staat namelijk helemaal niet dat Nederlanders slecht in Engels zijn, het wordt niet eens gesuggereerd en ik zou dat ook niet willen. Wat er staat is dat Nederlanders geneigd zijn hun kennis van het Engels te overschatten – ongeacht hun objectieve niveau."

Uit het feit dat Vrij Nederland over het stuk twittert met de hashtag #Dunglish én blijkbaar een inleiding schrijft die de lading van het stuk niet dekt, blijkt volgens mij dat dat niet helemaal zo is overgekomen. Maar goed, zelfs als het stuk daarover ging, dan blijft mijn centrale punt overeind: ook voor deze stelling geeft Smits geen bewijs. Sterker nog: in zijn repliek stelt hij dat dat niet hoeft en niet kan, omdat het een ervaringsfeit is, en dat hoeft geen bewijs. Voordat algemeen geïnteresseerde Milfje-lezertjes afhaken: het is niet alleen repliek-op-repliek wat ik hier doen. Ik zal namelijk ook een interessant methodologisch punt proberen te beargumenteren: hoe bestudeer je zelfoverschatting?

Eisen

Smits besteed een paragraaf om te zeggen dat het "een onzinnige eis" is van mij om te "eisen dat je niets mag beweren of opperen zonder sluitend bewijs." Ik eis dat helemaal niet: alles wat ik wil is dat je een bewering onderbouwt met argumenten. Ik ben zeker niet zo wetenschappelijk naïef om alleen sluitend bewijs te willen: alles in de wetenschap is alleen maar waar totdat het tegendeel bewezen wordt. En inderdaad, niet alles valt te meten of (empirisch) te bewijzen. Maar dat neemt niet weg dat ik in ieder geval een beetje onderbouwing wil. Smits spreekt schamperend over "metingen en representatieve steekproeven en p-waardes", alsof dat iets slechts is. 

Maar waarom is het erg om zulke dingen te verwachten, bij een kwalificatie van Nederlanders als zelfoverschatters? Een uitspraak over Nederlanders zonder representatieve steekproef kan altijd alleen een indicatie zijn. En dat is precies het probleem met ervaringsfeiten. Het kan wel een indicatie zijn, maar zeker weet je het nooit. Stel dat ik een autodealer ben, en ik zie steeds meer rode auto's in mijn showroom. Dat zou zeker kunnen wijzen op meer rode auto's in het algemeen, maar zeker weten kan ik dat niet: het kan ook aan mijn showroom liggen. Een ervaringsfeit is een uitgangspunt, niet een eindpunt.

Zelfoverschatting

Zoals gezegd geeft Smits noch in zijn originele stuk, noch in zijn repliek enige staving van zijn hypothese. Maar misschien was ik te hard: misschien kún je zelfoverschatting wel helemaal niet systematisch onderzoeken. Zou kunnen, maar laten we het op zijn minst proberen. Wij van Milfje zal de eerste zijn om toe te geven dat we niet zo in dit soort experimenten zitten. Maar ik bedacht wel gisteravond het volgende proefje, waarmee je in ieder geval een eerste stap kunt zetten. Eerst even terug naar de hypothese. Die is:

Nederlanders zijn geneigd zijn hun kennis van het Engels te overschatten – ongeacht hun objectieve niveau.

Een heel interessant uitgangspunt! Er staat dus dat iedereen, hoe goed zijn Engels ook is, denkt beter Engels te spreken dat dat hij eigenlijk doet. Dat betekent dat je in principe níet het objectieve niveau van Engels hoeft te testen: dat maakt voor de stelling niet uit. Sowieso is objectief niveau heel moeilijk te testen, zoals Marc van Oostendorp terecht opmerkte in een reactie op mijn stuk. Alles wat je moet testen is:

- hoe schatten proefpersonen hun kennis van het Engels in

- hoe waarderen anderen die kennis

Je kunt dat bijvoorbeeld onderzoeken, door mensen de eerste vraag te stellen (op een schaal van 1 tot 10, hoe goed is jouw kennis van het Engels?), vervolgens een tekstje in te laten spreken (of iets dergelijks), en daarna aan andere mensen te vragen om dat tekstje te beoordelen (hoe goed is de kennis van Engels van deze proefpersoon). Is er een discrepantie, dan kan er sprake zijn van zelfoverschatting. Je kunt ongetwijfeld ook nog allerlei andere manieren bedenken

Conclusie: je kunt zelfoverschatting wel degelijk onderzoeken. Sterker nog: het is weleens gedaan! In 2006 schreven Bert van Onna en Carel Jansen zowaar een rapport over precies deze vraag. Hun conclusie is inderdaad dat mensen hun taalvaardigheden over het algemeen overschatten. Ze gebruikten 293 proefpersonen, en zeggen zelf (p. 33) dat "Meer onderzoek is wenselijk om een preciezer beeld te krijgen van de situatie in Nederland". Mij lijkt het ook relevant om hetzelfde onderzoek in andere landen te doen, zodat we kunnen vaststellen of zulke zelfoverschatting iets Nederlands is, of iets wat mensen overal ter wereld doen. Maar het is hoe dan ook een eerste signaal dat Smits' stelling wel degelijk klopt.

Staven

Kijk, als je dít rapport noemt in een stuk in Vrij Nederland, dan maak je al een veel betere beurt. Ik ben het ook niet per se oneens met wat Smits zegt: het gaat me om hoe je iets beargumenteert. Dat gebeurt op een voor mij onacceptabele manier, hoe je het ook wendt of keert. Ik ben opgegroeid in een tijd dat je betogen schreef op school die je moest onderbouwen. Zoals meerdere reacties op mijn originele stuk gezegd werd: we leven in toenemende mate in een feitenvrije samenleving. Wij, als wetenschappers, vinden dat erg zorgwekkend: het is onze taak om juist feiten boven water te krijgen en te zorgen dat men in de media niet zomaar zaken roept zonder ze te onderbouwen. Dat lijkt mij überhaupt de taak van de wetenschapper. Zonder feiten ben je als wetenschapper nergens.