Auteurstest test geen belezenheid

Het gaat talig goed op de Universiteit Gent. Eerder kwam daar al de woordenschat test: deelnemers konden zeggen of de woorden die ze werden voorgeschoteld al dan niet bestonden. Een succes, want meer dan een half miljoen mensen deed de test. Nu is er een nieuwe test: de auteurstest. Met deze test wil prof. Brysbaert testen hoe belezen mensen zijn, met als hypothese dat mensen die veel lezen ook een grote woordenschat hebben. Maar daar gaat het mis: de test lijkt helemaal geen belezenheid te testen.

De test werkt als volgt: er is een database van 22.000 namen samengesteld: 15.000 auteurs en 7.000 willekeurige andere mensen (wie weet kom je dus jezelf tegen!). De deelnemer krijgt 100 opeenvolgende namen te zien en moet J (ja) of F (nee) aanklikken. Op basis van hoeveel namen goed worden herkend wordt ge-extrapoleerd hoeveel auteurs de proefpersoon kent. "Per juiste naam in de test ken je naar schatting 230 auteurs", zo lezen we in de instructie. Voor wat het waard is: ik deed de test en had een score van iets van 1400.

Waar gaat het mis? Nou, ten eerste al bij de instructies: "Gok vooral niet, want per verkeerd antwoord verlaagt je score dramatisch! Een foute keuze weegt immers dubbel zo zwaar als een juiste". Maar als je 2 opties hebt, en je weet het antwoord niet, en je kunt alleen Ja of Nee kiezen: hoe doe je dat dan zonder te gokken?! Maar dat is niet het belangrijkste. Waar het m.i. pas echt misgaat is bij het feit dat belezenheid en veel namen kennen aan elkaar worden gekoppeld. Dat is volgens mij niet een één-op-één relatie: ik ken bijvoorbeeld Proust en Gogol en Perec, maar heb nooit een boek van ze gelezen. Ik herken die namen dus wel, waardoor mijn score oploopt.

Maar ook iemand die deze namen niet kent kan een hoge score halen. Ik denk wel dat mensen die belezener zijn inderdaad meer namen kennen, maar  als het uiteindelijk toch gokken wordt, dan maakt het niet meer zoveel uit of iemand belezen is. Wat er dan wordt getest, is volgens mij in hoeverre je op basis van iemands naam kunt zeggen of iemand auteur is. Oftewel: is het waarschijnlijker dat iemand die "Marja Groevenhoven" heet een boek heeft geschreven, of iemand die "Jean-Luc Palfrenier" heet? Erg interessant opzich, maar niet het doel.

Brysbaert zegt in de Volkskrant: "Ik vermoed dat die belezenheid de grootte van de woordenschat voorspelt, plus de snelheid waarmee men woorden herkent". Dat denk ik ab-so-luut ook. Geen twijfel over mogelijk. Maar het is een intuitie, en die moet je toetsen - maar dat kan niet op deze manier.
Hoe kan het dan wel? Dat is denk ik lastig: hoe test je belezenheid? Je zou fragmenten uit boeken kunnen geven, maar dan test je eerder geheugen en zoiets als stijlherkenning. Je zou ook hetzelfde spel met titels kunnen doen: knal 20.000 bestaande en niet-bestaande titels in een database en kijk wat mensen ermee doen. Maar ook dat levert misschien vertaalproblemen op. Ik zou het niet weten hoor; hoe het wel moet: ik sta open voor suggesties.

Misschien gaat dit onderzoek wel degelijk bewijzen dat wie veel auteurs kent een grote woordenschat heeft. Mocht dat het resultaat zijn, dan is dat best interessant. Maar ook vreemd: moeten wij kinderen dan stimuleren niet meer te lezen, maar veel auteursnamen te leren? Dat suggereren Brysbaert et al. natuurlijk niet. Maar hoe de koppeling tussen auteursnamen gokken en belezenheid dan wel werkt, dat is mij een raadsel.