Nieuws 28 januari 2025

ChatGPT slaagt nog niet voor RA-opleiding

AI-tool ChatGPT wist met aanvullende training te slagen voor gestandaardiseerde oefenexamens van internationale accountantsopleidingen. Maar het behalen van het Nederlandse examen voor registeraccountants lijkt nog een brug te ver.

Dat blijkt uit een recent experiment aan de Vrije Universiteit Amsterdam, uitgevoerd door VU-docent Rens Wildenbeest, tevens registeraccountant bij Kriton, samen met een team van correctoren.

Een door ChatGPT 4 gegenereerde uitwerking van het landelijk tentamen Audit & Assurance, gemaakt op 10 december 2024, werd beoordeeld door meerdere onafhankelijke correctoren. Zij wisten daarbij niet dat het om een AI-gegenereerde tekst ging. ChatGPT kreeg voor het ingeleverde werk een mager cijfer 5, dus niet voldoende om te slagen.

Uit de feedback van de correctoren bleek vooral dat de antwoorden niet specifiek genoeg waren, zo meldt Rens Wildenbeest via LinkedIn. "Hoewel ChatGPT een redelijke basis biedt, ontbreekt het nog aan de scherpte en de diepgaande inzichten die een registeraccountant kan toevoegen." Zijn conclusie is daarom: "ChatGPT is een hulpmiddel, maar de menselijke expertise is op dit moment nog wel noodzakelijk."

Internationaal onderzoek

Het experiment aan de VU volgt op eerder internationaal onderzoek naar de inzetbaarheid van ChatGPT in de accountantspraktijk. Duitse en Amerikaanse onderzoekers zetten de versies en mogelijkheden van ChatGPT-modellen in bij accountantsexamens zoals die voor Certified Public Accountant (CPA), Certified Management Accountant (CMA) en Certified Internal Auditor (CIA). Aanvankelijk vielen de eerste versies van de AI-tool daarbij nog door de mand, met duidelijk lagere scores dan studenten zelf.

De ChatGPT 3.5-versie kon nog geen enkel examen doorstaan, met een gemiddelde score over alle beoordelingen van ruim 53 procent. Maar de overstap naar het ChatGPT 4-model verbeterde de scores al met gemiddeld 16,5 procent. Extra training van de AI-tool verhoogde die scores met nog 6,6 procent en het toestaan ​​van het model om te redeneren en handelen (zoals gebruik van een ​​rekenmachine en andere hulpmiddelen) verbeterde de scores met nog eens 8,9 procent. Na al deze verbeteringen slaagde ChatGPT voor alle examens met een gemiddelde score van 85,1 procent.

Brug te ver

Het Nederlandse tentamen Audit & Assurance bleek dus nog een brug te ver voor kunstmatige intelligentie. De uitkomsten van het VU-experiment benadrukken het belang van "scherpte, diepgang en professionele oordeelsvorming in de rol van controlerend accountants", stelt VU-docent Tjibbe Bosman in reactie op het experiment van Wildenbeest. "Automatisering kan deze complexiteit ondersteunen, maar zal dit werk niet snel vervangen en alleen maar interessanter maken."

De internationale onderzoekers spreken op basis van hun resultaten tegelijk over een "significante, misschien zelfs dramatische, impact" van AI op het accountantsberoep en het accountantsonderwijs. "Misschien is de juiste vraag niet of we deze technologie overhypen, maar eerder of we die wel genoeg hypen."

Koffers pakken

In zijn jongste column op deze site is Pieter de Kok, al jaren aanjager van de vernieuwing van het beroep, in ieder geval stellig over de toekomst: "Geen enkel bedrijf zal een menselijke handtekening onder een jaarrekening nog serieus nemen, als AI de absolute standaard wordt."

Volgens De Kok is het tijd voor auditors om de koffers te pakken. "Het grote Kodak-moment van de auditsector is niet langer een dreigend schaduwbeeld. Het is hier, nu en het is onvermijdelijk."