Een correlatie betekent niet per definitie dat sprake is van een causale relatie, benadrukt Arjan Brouwer.
Discussie ColumnOoievaarstatistiek of struisvogelpolitiek?
Tijdens het college over hedge accounting besteed ik vaak aandacht aan ooievaars. Waarom? Om hedge accounting toe te passen moet een onderneming aan een aantal voorwaarden voldoen. Eén van de vereisten is dat ze aantoont dat er een economische relatie bestaat tussen het hedged item en het hedging instrument (bijvoorbeeld een derivaat). Terecht wordt daarover in IFRS 9 benadrukt dat louter het bestaan van een statistische correlatie tussen twee variabelen, op zichzelf nog onvoldoende basis is voor een conclusie dat de vereiste economische relatie bestaat.
Dat leidt soms tot vragende ogen in de collegezaal. Hoezo zou de economische relatie tussen het derivaat en de onderliggende positie niet aanwezig zijn als er een statistische correlatie bestaat tussen de twee? De uitleg dat correlatie niet meer en niet minder betekent dan dat twee variabelen een bepaalde samenhang vertonen of vertoond hebben, en dat dat iets anders is dan causaliteit, een oorzaak-gevolg relatie, overtuigt lang niet iedereen.
En dan is het tijd om het verhaal over de ooievaar, of meer specifiek 'ooievaarstatistiek', te vertellen. Onderzoekers hebben over een langere periode het verband onderzocht tussen het aantal ooievaars en het aantal geboortes. Wat bleek? Ze vonden een behoorlijk sterk verband tussen deze twee variabelen. De afname van het aantal geboortes hield gelijke tred met de afname van het aantal ooievaars. Replicatie van dit onderzoek over andere tijdvakken en in andere geografische gebieden leverde hetzelfde beeld op. En daarmee was dus statistisch aangetoond dat ooievaars de baby's bezorgen. Geloof het of niet, de feiten en statistiek spreken voor zichzelf.
Zo bestaat er ook een statistisch significant verband tussen het aantal verkochte ijsjes en het aantal verdrinkingen. Zou je van ijs eten slechter gaan zwemmen? Hoeveel ijsjes moet je dan eten? En wist je overigens dat het behoorlijk gevaarlijk is om naar bed te gaan? Het schijnt namelijk dat de kans dat je in bed sterft erg groot is.
Het is nu ongetwijfeld duidelijk dat correlatie iets anders is dan causaliteit. Sommige verbanden berusten op toeval, in andere gevallen is er een derde of vierde factor in het spel die beide variabelen beïnvloedt. Als er een relatie wordt gevonden tussen twee variabelen, is het daarom van belang nader te onderzoeken wat die relatie verklaart. Naarmate het gemakkelijker en goedkoper wordt om grote datasets te analyseren en verbanden te identificeren wordt dit nog belangrijker. Het wordt hierdoor namelijk steeds minder noodzakelijk voor onderzoekers om vooraf goed na te denken over de te verwachten verbanden en te verzamelen data.
Nieuwe technologieën maken het soms ook moeilijker om te begrijpen welke factoren precies leiden tot een onderzoeksuitkomst. Wu & Zhang publiceerden in 2016 een onderzoek waarin ze claimen dat ze met behulp van machine learning in staat waren om, op basis van profielfoto's, criminelen te onderscheiden van niet-criminelen. Het is niet helemaal duidelijk wat de resultaten heeft veroorzaakt, maar het lijkt erop dat niet-criminelen over het algemeen vrolijker op de voor de training gebruikte foto's stonden dan criminelen. Heb je dan een crimineeldetector ontwikkeld, of een glimlachdetector?
Hoe kom ik op dit onderwerp? Eerder dit jaar bracht de AFM een rapport uit waarin ze verslag doet van onderzoek naar de relatie tussen bepaalde kenmerken van accountantsorganisaties en de uitkomsten van kwaliteitstoetsingen. Van de vijftig kenmerken ging bij drie kenmerken een lampje branden en de resultaten suggereren een relatie tussen omvang van de accountantsorganisatie en kwaliteit. Het leidde tot geprikkelde reacties en kritiek op de onderzoeksmethodiek.
Ook hier geldt dat de correlatie niet per definitie betekent dat sprake is van een causale relatie; iets dat de AFM zelf op pagina 26 van het rapport ook benoemt. Dat betekent dat aan het verband niet zonder meer conclusies over te nemen acties verbonden kunnen worden. Het is wel zinvol om te onderzoeken wat de verschillen veroorzaakt. Net zoals het zinvol is om te onderzoeken waarom bepaalde kantoren, van vergelijkbare omvang, in de toetsingen positiever worden beoordeeld dan andere kantoren.
Data-analyse kan een eerste richting geven voor verdiepend, kwalitatief, onderzoek. Maar het is juist die diepgaande oorzakenanalyse die kan helpen om dieperliggende factoren te identificeren, die kantoren kunnen beïnvloeden voor het waarborgen van kwaliteit. Laten we daar vooral de energie in stoppen. Want het is goed om te waken voor ooievaarstatistiek, maar dat geldt ook voor struisvogelpolitiek.