donderdag 15 september 2016

Kun je zelfoverschatting testen?

door Marten van der Meulen

Afgelopen dinsdag schreef ik (niet Milfje, maar Marten, zoals ook boven het stuk vermeld) een reactie op dit stuk van Rik Smits in Vrij Nederland. Smits schreef daarop hier (€) een reactie. Belangrijkste punt van zijn reactie lijkt dit:

"In mijn stuk staat namelijk helemaal niet dat Nederlanders slecht in Engels zijn, het wordt niet eens gesuggereerd en ik zou dat ook niet willen. Wat er staat is dat Nederlanders geneigd zijn hun kennis van het Engels te overschatten – ongeacht hun objectieve niveau."

Uit het feit dat Vrij Nederland over het stuk twittert met de hashtag #Dunglish én blijkbaar een inleiding schrijft die de lading van het stuk niet dekt, blijkt volgens mij dat dat niet helemaal zo is overgekomen. Maar goed, zelfs als het stuk daarover ging, dan blijft mijn centrale punt overeind: ook voor deze stelling geeft Smits geen bewijs. Sterker nog: in zijn repliek stelt hij dat dat niet hoeft en niet kan, omdat het een ervaringsfeit is, en dat hoeft geen bewijs. Voordat algemeen geïnteresseerde Milfje-lezertjes afhaken: het is niet alleen repliek-op-repliek wat ik hier doen. Ik zal namelijk ook een interessant methodologisch punt proberen te beargumenteren: hoe bestudeer je zelfoverschatting?


Eisen

Smits besteed een paragraaf om te zeggen dat het "een onzinnige eis" is van mij om te "eisen dat je niets mag beweren of opperen zonder sluitend bewijs." Ik eis dat helemaal niet: alles wat ik wil is dat je een bewering onderbouwt met argumenten. Ik ben zeker niet zo wetenschappelijk naïef om alleen sluitend bewijs te willen: alles in de wetenschap is alleen maar waar totdat het tegendeel bewezen wordt. En inderdaad, niet alles valt te meten of (empirisch) te bewijzen. Maar dat neemt niet weg dat ik in ieder geval een beetje onderbouwing wil. Smits spreekt schamperend over "metingen en representatieve steekproeven en p-waardes", alsof dat iets slechts is. 

Maar waarom is het erg om zulke dingen te verwachten, bij een kwalificatie van Nederlanders als zelfoverschatters? Een uitspraak over Nederlanders zonder representatieve steekproef kan altijd alleen een indicatie zijn. En dat is precies het probleem met ervaringsfeiten. Het kan wel een indicatie zijn, maar zeker weet je het nooit. Stel dat ik een autodealer ben, en ik zie steeds meer rode auto's in mijn showroom. Dat zou zeker kunnen wijzen op meer rode auto's in het algemeen, maar zeker weten kan ik dat niet: het kan ook aan mijn showroom liggen. Een ervaringsfeit is een uitgangspunt, niet een eindpunt.

Zelfoverschatting

Zoals gezegd geeft Smits noch in zijn originele stuk, noch in zijn repliek enige staving van zijn hypothese. Maar misschien was ik te hard: misschien kún je zelfoverschatting wel helemaal niet systematisch onderzoeken. Zou kunnen, maar laten we het op zijn minst proberen. Wij van Milfje zal de eerste zijn om toe te geven dat we niet zo in dit soort experimenten zitten. Maar ik bedacht wel gisteravond het volgende proefje, waarmee je in ieder geval een eerste stap kunt zetten. Eerst even terug naar de hypothese. Die is:

Nederlanders zijn geneigd zijn hun kennis van het Engels te overschatten – ongeacht hun objectieve niveau.

Een heel interessant uitgangspunt! Er staat dus dat iedereen, hoe goed zijn Engels ook is, denkt beter Engels te spreken dat dat hij eigenlijk doet. Dat betekent dat je in principe níet het objectieve niveau van Engels hoeft te testen: dat maakt voor de stelling niet uit. Sowieso is objectief niveau heel moeilijk te testen, zoals Marc van Oostendorp terecht opmerkte in een reactie op mijn stuk. Alles wat je moet testen is:

- hoe schatten proefpersonen hun kennis van het Engels in
- hoe waarderen anderen die kennis

Je kunt dat bijvoorbeeld onderzoeken, door mensen de eerste vraag te stellen (op een schaal van 1 tot 10, hoe goed is jouw kennis van het Engels?), vervolgens een tekstje in te laten spreken (of iets dergelijks), en daarna aan andere mensen te vragen om dat tekstje te beoordelen (hoe goed is de kennis van Engels van deze proefpersoon). Is er een discrepantie, dan kan er sprake zijn van zelfoverschatting. Je kunt ongetwijfeld ook nog allerlei andere manieren bedenken

Conclusie: je kunt zelfoverschatting wel degelijk onderzoeken. Sterker nog: het is weleens gedaan! In 2006 schreven Bert van Onna en Carel Jansen zowaar een rapport over precies deze vraag. Hun conclusie is inderdaad dat mensen hun taalvaardigheden over het algemeen overschatten. Ze gebruikten 293 proefpersonen, en zeggen zelf (p. 33) dat "Meer onderzoek is wenselijk om een preciezer beeld te krijgen van de situatie in Nederland". Mij lijkt het ook relevant om hetzelfde onderzoek in andere landen te doen, zodat we kunnen vaststellen of zulke zelfoverschatting iets Nederlands is, of iets wat mensen overal ter wereld doen. Maar het is hoe dan ook een eerste signaal dat Smits' stelling wel degelijk klopt.

Staven

Kijk, als je dít rapport noemt in een stuk in Vrij Nederland, dan maak je al een veel betere beurt. Ik ben het ook niet per se oneens met wat Smits zegt: het gaat me om hoe je iets beargumenteert. Dat gebeurt op een voor mij onacceptabele manier, hoe je het ook wendt of keert. Ik ben opgegroeid in een tijd dat je betogen schreef op school die je moest onderbouwen. Zoals meerdere reacties op mijn originele stuk gezegd werd: we leven in toenemende mate in een feitenvrije samenleving. Wij, als wetenschappers, vinden dat erg zorgwekkend: het is onze taak om juist feiten boven water te krijgen en te zorgen dat men in de media niet zomaar zaken roept zonder ze te onderbouwen. Dat lijkt mij überhaupt de taak van de wetenschapper. Zonder feiten ben je als wetenschapper nergens.

11 opmerkingen:

  1. De bevindingen van dit experiment is niet dat mensen hun eigen taalvaardigheid overschatten, maar dat er een discrepantie bestaat tussen een oordeel over jezelf en dat over anderen. Dat kan bijvoorbeeld ook komen doordat mensen juist geneigd zijn de taalvaardigheid van anderen te onderschatten.

    BeantwoordenVerwijderen
    Reacties
    1. de bevinding IS (voor anderen gaan zeuren over mijn taalvaardigheid).

      Verwijderen
    2. Goed punt! Maar dat lijkt wel voor te komen uit het eerste stuk van Smits: wij schatten onze vaardigheden hoog in, maar Engelsen/buitenlanders lager. Dat breng je hiermee dan toch wel in kaart?

      Verwijderen
    3. Ja, zeker. En het is niet ongebruikelijk om het oordeel van moedertaalsprekers als maatgevend te beschouwen, al is de vraag of dat nu wel zo'n goed idee is. Het is bijvoorbeeld mogelijk dat die moedertaalsprekers onredelijk worden afgeleid door een accent of een niet-idiomatische uitdrukking, terwijl de spreker het vooral te doen is om communicatie, en niet eens in de eerste plaats met moedertaalsprekers.

      Verwijderen
  2. Rias van den Doel's proefschrift 'Hoe friendly are the natives' in de LOT dissertatieserie is wellicht interessant in dit licht.

    BeantwoordenVerwijderen
  3. "Nederlanders zijn geneigd om ..." betekent volgens mij niet zozeer dat "iedereen", i.c. elke Nederlander, zichzelf in min of meerdere mate overschat, als wel dat er meer Nederlanders zijn die het wel doen dan die het niet doen, ofwel dat er verhoudingsgewijs meer Nederlanders zijn die zichzelf overschatten dan Belgen, Fransen, Duitsers en noem maar op. Het lijkt me van belang i.v.m. de eis tot onderbouwing: wat moet met name worden onderbouwd?

    BeantwoordenVerwijderen
  4. De discussie gaat nu vooral over de kracht van Smits’ argumentatie. Misschien is mijn reactie daarmee wat off-topic, maar ik kan het niet laten toch even in de pen te klimmen. Mijn (puur anekdotische) ervaringen geven Smits volkomen gelijk. Ik heb de indruk (vraag me niet om bewijs, dat heb ik niet) dat de meetlat die Nederlanders hanteren om hun taalbeheersing aan af te meten heel functioneel en instrumenteel is: als je erin slaagt de kern van je boodschap over te brengen, dan is dat voldoende. Als je (denkt dat je) begrepen wordt, is het goed genoeg. Dat leidt ertoe dat velen – zonder enige schroom - in hun CV durven zetten dat hun beheersing van het Frans ‘redelijk’ is als ze er met handen en voeten in slagen in Parijs een kop koffie en een croissant te bestellen. Middelmatigheid regeert en een inspanning om een vreemde taal tot in de finesses te beheersen wordt gezien als ‘onnodig’ of –nog erger- ‘dikdoenerij’.

    BeantwoordenVerwijderen
  5. Beste Milfje,
    "... wat ik hier doen." (werkwoordvervoeging?)
    "Ik zal ... proberen te argumenteren" (overbodige toekomende tijd)
    "Smits besteed ..." (werkwoordvervoeging)
    "Wij van Milfje zal de eerste zijn ..." (werkwoordvervoeging).
    ...
    Ik heb de indruk dat Milfje (hier Marten dus) zelden zijn tekst naleest (of laat nalezen door bv. een copywriter) alvorens die de wereld in te sturen. Jammer, want het leidt de aandacht van de lezer af van de kern van het betoog.

    BeantwoordenVerwijderen
    Reacties
    1. Ik heb de inhoud van het anonieme betoog aandachtig tot mij genomen. Er staan 0 spelfouten in, wat goed!

      Verwijderen
    2. Ha Anoniem,
      ik lees zeker mijn tekst na, en dat deed Sterre hier ook (wij zijn altijd elkaars copywriter). Ik vind het sympathiek dat je ons een copywriter wenst, maar dan overschat je toch wel hoeveel geld we in dit blog kunnen en willen pompen.

      Niet zozeer ter verdediging als wel ter uitleg:
      "wat ik hier doen" - ik verwijderde als laatste alle verwijzingen naar meervoud (we, wij), omdat ik dit onder persoonlijke titel schreef. Deze congruentie is er tussendoor geslipt.
      "ik zal" dat lijkt me een stijlkeuze, en niet per se overbodig
      "smits besteed" dit is een keiharde spelfout, en een die ik vaker maak.
      "wij van milfje zal" Gefeliciteerd! Wij van Milfje speelt al langer met ons duale bestaan, dat zowel enkelvoud als meervoud is. Tot nu toe had nog niemand de moeite genomen hier commentaar op te geven. Dit was dus expres.

      Overigens ben ik het wel met Marc eens: Anoniem reageren? Liever niet.

      Verwijderen
  6. Ik wil best met een naam reageren, alleen wordt dat me niet gemakkelijk gemaakt met al jullie keuzes. Gewoon een naam intikken, kan niet (heb ik de indruk)!

    BeantwoordenVerwijderen