Nart Wielaard

Twintig jaar geleden documenteerden onderzoekers Kathleen Mosier en Linda Skitka in een serie baanbrekende studies het fenomeen automation bias. Ervaren piloten kregen in een vluchtsimulator te maken met een motorstoring. Het elektronische checklist-systeem adviseerde hen om de verkeerde motor uit te schakelen, terwijl alle andere instrumenten in de cockpit duidelijk op de juiste motor wezen. Driekwart van de piloten volgde het advies van het geautomatiseerde systeem op. De ervaringen uit die simulatie-cockpit zijn uiterst relevant voor accountants, in een tijdperk waarin AI minstens een deel van hun (controle)informatie oplevert.

AI-fouten zijn van een fundamenteel andere aard. Ze zijn consistent en overtuigend.

Christophe Atten, een expert op het gebied van finance AI, schreef onlangs op Substack een analyse over navigating confident AI errors en legt daar een probleem bloot dat aandacht verdient van accountants: AI-tools die met veel zelfverzekerdheid informatie presenteren, maar niettemin compleet de plank misslaan. En de uitingsvorm van die fouten verschilt met (veel van de) menselijke fouten, waar vaak overduidelijk een fout is gemaakt. Atten betoogt dat de traditionele controleaanpak tekortschiet voor deze uitdaging. Die aanpak is immers ontworpen voor menselijke fouten: een verkeerde formule, een omgedraaid cijfer, een ontbrekende rij. Die fouten zijn zichtbaar, soms bijna theatraal zichtbaar. AI-fouten zijn van een fundamenteel andere aard. Ze zijn consistent en overtuigend. We zouden ze charmant kunnen noemen.

Verantwoordelijkheid

Atten somt in zijn analyse een rijtje zaken op die mis kunnen gaan (spoiler: dat gaat niet alleen over hallucinerende AI). Wat vaststaat: accountants hebben een eigen verantwoordelijkheid voor AI-fouten en kunnen zich daarbij niet verstoppen achter de technologie. De Britse Financial Reporting Council bevestigde dat bijvoorbeeld onlangs zonder meel in de mond: de audit partner draagt volledige verantwoordelijkheid, ook voor fouten die worden veroorzaakt door hallucinaties of datavervormingen. "You can't blame it on the box." In Nederland is dat niet anders, maar heeft de toezichthouder er zich voor zover bekend nog niet zo expliciet erover uitgelaten.

Sommigen wijzen erop dat AI-systemen gelukkig steeds beter worden en minder fouten maken, maar het is maar de vraag of dat de oplossing is. Sterker nog: dat kan het probleem van de automation bias juist vergroten, zo suggereert een pijnlijke paradox in dit onderzoek. Want naarmate het model betrouwbaarder wordt, neemt het menselijk vertrouwen disproportioneel toe. De onderzoekers stellen dat de gangbare human-in-the-loop benadering – een rode draad in wet- en regelgeving rond AI – precies daarom op zijn minst grote beperkingen heeft.

FAR-onderzoek

Die paradox is op een enigszins vergelijkbare wijze ook zichtbaar is gemaakt in onderzoek op het vlak van accountantscontrole van Anna Gold (Vrije Universiteit Amsterdam), Xiaoxing Li en Joe Brazel, mede mogelijk gemaakt door de Foundation for Auditing Research (FAR). Hun experiment onderzocht een technologische sprong voorwaarts in de audit: full population testing. Waar de accountant vroeger noodgedwongen werkte met steekproeven omdat de hoeveelheid data te groot was, kan de data-analist nu álle transacties toetsen. Deze honderd procent dekking klinkt natuurlijk als een zegen voor de controlekwaliteit. Maar er is ook sprake van een onverwacht neveneffect: accountants die full population testing hadden uitgevoerd, reageerden vervolgens minder kritisch op externe signalen van mogelijke fraude dan collega's die met een steekproef hadden gewerkt. De verklaring ligt in wat attribute substitution wordt genoemd: de accountant verwart voldoende bewijs met geschikt bewijs. Omdat de controle volledig was, voelt het alsof er verder niet zo veel meer hoeft te gebeuren. Het resultaat: wie de hele populatie heeft gezien, kijkt minder scherp naar de rest.

Scherp oog

Wat moet u hiermee als accountant, in de wetenschap dat AI-toepassingen steeds verder oprukken in financiële processen en controle, getuige bijvoorbeeld ook dit nieuwsbericht? De roep om een sterke professioneel-kritische instelling (PKI) is logisch, maar is die eigenlijk niet bedoeld voor het zien van menselijke fouten?

De accountant die begrijpt hoe hij of zij wordt beïnvloed door automation bias, wordt daarmee scherper.

Een succesrecept voor de ultieme oplossing is er niet. Wat in elk geval helpt, is om beter getraind te zijn op automation bias; zo leerde het experiment met de piloten. Als deze zich bewust waren van het fenomeen, maakten ze significant minder commissiefouten. Zonder er specifiek onderzoek naar te hebben gedaan, kunnen we waarschijnlijk wel concluderen dat dat ook voor accountants geldt. De accountant die begrijpt hoe hij of zij wordt beïnvloed door automation bias, wordt daarmee scherper. En het belangrijkste: die heeft niet alleen een scherp oog voor de lelijke en soms opzichtige fouten die door mensen zijn gemaakt, maar ook voor de charmante fouten van technologie.