Wiskundemeisjes

Een vertekend beeld van dolfijnen en M&M’s

Deze column staat vandaag in de Volkskrant.

Een vriend grapte laatst dat dolfijnen misschien wel onterecht zo’n sympathiek imago hebben: “Je hoort alleen verhalen over dolfijnen die een drenkeling redden, maar je hoort natuurlijk nooit iets van de eenzame zwemmer die door een dolfijn juist verder mee in zee is gesleept.” Niets ten nadele van dolfijnen, maar hij had een punt. Dit is een voorbeeld van vertekening.

Voorbeeld van een minder sympathieke dolfijn

Eén van de bekendste voorbeelden van vertekening komt uit het legendarische boekje How to lie with statistics dat Daniel Huff in 1954 schreef. Huff las in de krant dat de gemiddelde afgestudeerde van Yale $25.111 per jaar verdiende (dat is vergelijkbaar met een salaris van meer dan $200.000 in deze tijd). Hij vond dat salaris wat hoog klinken en probeerde te bedenken hoe ze aan dat bedrag kwamen. Ze hadden vast niet alle afgestudeerden benaderd, maar een steekproef genomen. En wie waren dan het makkelijkste te bereiken? Degenen die succesvol en rijk waren. De kans is groot dat de mislukkelingen onvindbaar waren of geen zin hadden om te antwoorden. Zo raakte het resultaat vertekend, waarschijnlijk was het echte gemiddelde salaris een stuk lager dan die genoemde $25.111 (en Huff legt uit dat er wel meer verdacht is aan dit zeer precieze bedrag).

Het idee achter een steekproef is dat je uit een klein aantal waarnemingen iets kunt zeggen over het grote geheel. Maar dan moeten die waarnemingen wel netjes willekeurig zijn gekozen. Nog een voorbeeld. Stel dat je een rockster bent en dat in je kleedkamer altijd een porseleinen vaas eist met tweeduizend blauwe en rode M&M’s. Omdat je de moeilijkste niet bent, schrijf je niet voor wat de verhouding tussen de blauwe en rode snoepjes moet zijn. Als je een keer wilt weten hoeveel blauwe M&M’s je precies hebt, dan moet je je roadie vragen om de snoepjes één voor één te tellen. Maar als je het alleen ongeveer wilt weten, dan kun je een flinke hand snoepjes graaien, die uittellen en aannemen dat de verhouding in de hele vaas hetzelfde zal zijn. Maar als alle rode M&M’s op de bodem liggen, dan zul je onterecht concluderen dat je alleen blauwe M&M’s heb gekregen. Je moet dus wel een goede steekproef nemen.

Dit klinkt nogal simpel, maar toch gaat het vaak mis. Een internetverkiezing geeft geen representatief beeld van wat het Nederlands publiek vindt, reaguurders zijn oververtegenwoordigd, de mening van computerschuwe ouderen verdwijnt. Soms zie je bij vertekening alleen de mislukkingen: als je op internet zoekt naar de ervaringen met een medische behandeling, dan vind je vooral de horrorverhalen. De mensen waarbij alles probleemloos is gegaan, hebben veel minder behoefte om hun verhaal aan anderen te vertellen.

In sommige gevallen hoor je juist alleen de succesverhalen, net als bij de mensenreddende dolfijnen. Neem de enquête die vraagt hoe leuk mensen het vinden om enquêtes in te vullen. Die zal laten zien dat mensen het echt superleuk vinden om enquêtes in te vullen, want degenen die een hekel hebben aan enquêtes gaan deze belachelijke vraag zeker niet beantwoorden.