Pieter de Kok

De ontwikkelingen gezien door de ogen van een kritische, maar nieuwsgierige auditor.

Discussie Column

AI in de audit morgen wordt echt niet veel spannender dan gebruik van data-analyse vandaag

"The future is already here – it's just not evenly distributed." Deze quote van sciencefictionschrijver William Gibson wordt door Josh W. Comeau treffend tot leven gebracht in zijn blog The Post-Developer Era. Hij stelt dat we misschien op weg zijn naar een tijd waarin AI een deel van het ontwikkelwerk overneemt, maar dat dit niet betekent dat de rol van de softwareontwikkelaar verdwijnt. Integendeel: die verandert.
Als auditor las ik zijn stuk met een mengeling van herkenning, nieuwsgierigheid en lichte argwaan. Want als dit geldt voor developers, geldt het dan ook voor ons? Spoiler: ja. Maar niet zoals je misschien denkt.

Ondertussen startte de AFM een themaonderzoek naar zowel inzet van data-analyse in de audit (ja, wij doen ook mee) als inzet van advanced analytics. En nee, wij zien nog geen mogelijkheid voor inzet van advanced analytics, behoudens een klein stukje process mining.
De inzet van LLM's (prompts) stel ik voor het gemak maar even gelijk aan het inzetten van Google Search, of het gebruik van grootmoeders receptenboek.

De uitkomst van het AFM-onderzoek naar advanced analytics zal naar mijn verwachting gelijk zijn aan de titel van deze bijdrage, het rapport van de AFM komt al deze zomer.

AI: de nieuwe assistent, geen nieuwe partner

Comeau laat zien dat zelfs de meest geavanceerde AI-tools, zoals GitHub Copilot of Google’s AI-geassisteerde programmeerhulp, niet zelfstandig software opleveren. Ze kunnen ondersteunen, versnellen, fouten suggereren – maar het blijft de menselijke ontwikkelaar die de code begrijpt, bewaakt en uiteindelijk publiceert.

Dat is in de auditpraktijk niet anders. Tools als Python, MindBridge.AI, DataSnipper, CaseWare IDEA, Power BI , Tableau, Alteryx of RPA-oplossingen (Robotic Process Automation) helpen ons om patronen te herkennen, risico's te signaleren en controles effectiever uit te voeren. En ja, in deze technologie zitten kleine stukjes AI verstopt. Maar dat betekent niet dat audits AI-driven zijn.
In mijn club gebruiken we bijvoorbeeld Alteryx en ja daar zit AI-techniek in, om data sneller en effectiever in te lezen en te rubriceren. En ja, je kunt op de knop 'voorspellingen' klikken en een en ander bekijken, maar de kern blijft: eerst zelf nadenken, dan scripten, dan duiden en er dan over praten. Er is niets AI aan deze audits. Het is data-analyse, een bekend fenomeen sinds de beginjaren negentig.

Welke andere AI-audit tools andere kantoren claimen te hebben en in te zetten in de audit is mij een raadsel. Hetzelfde geldt voor inzet van machine learning (getrainde audit algoritmes). En nogmaals, ik negeer even de LLM's.
Ja, ik ben nog steeds fan van process mining, hoewel het feitelijke gebruik van deze technologie in de audit volgens mij schromelijk wordt overdreven. Voor de liefhebbers: de AFM heeft AI, machine learning en process mining samen in de categorie advanced analytics geplaatst.
Let op, AI weet niets van materiële foutenmarges, controlestandaarden of professioneel-kritische oordeelsvorming. Daarvoor blijven wij nodig. De bekende HI-factor still rocks.

Het risico van audit op de automatische piloot

Maar stel nu dat we straks wel uiteenlopende AI-audit driven algoritmes hebben, zelfdenkend, zelflerend. Ik fantaseer er wel over. Wat Comeau "vibe coding" noemt - het klakkeloos overnemen van AI-gegenereerde suggesties - heeft straks dan ook wellicht een auditvariant. Laten we het "black box auditing" noemen: het vertrouwen op AI-analyses zonder te begrijpen hoe het model tot zijn conclusies komt.
Dát is gevaarlijk terrein. Niet alleen omdat we daarmee ons professioneel scepticisme inruilen voor gemak, maar ook omdat we mogelijk blind worden voor bias in data, foute aannames of overmatige correlaties die niets zeggen over causaliteit.

De NBA-handreiking over het gebruik van data-analyse in de controlepraktijk benadrukt daarom terecht het belang van begrip, documentatie en verantwoording. En dan gaat het hier over old school data-analyse, ofwel IST-data gebruiken in het nu, vergelijken met SOLL-posities, of logische verbanden reperformen.
AI kan vast veel, maar snapt geen context. AI ziet straks dat 'Leverancier X' altijd iets boven de € 9.900 factureert. De auditor weet dat dit nét onder de autorisatiedrempel ligt en dat dit reden is voor nader onderzoek.

AI-hype gepraat vraagt om nieuwsgierige auditors, om nu reeds te leren met bestaande technologie om te gaan, niet morgen. In plaats van onze rol te marginaliseren, daagt AI-hype gepraat ons uit om meer kennis te ontwikkelen. Over data. Over modellen. Over hoe data-analyse gebaseerde algoritmes werken. En vooral: over hoe we nu bestaande technologie gebruiken om onze controle-opdrachten krachtiger, actueler en relevanter te maken.
Dat vraagt om een andere mindset. Niet alleen bij jonge accountants, maar ook bij partners en opdrachtgevers.
De accountant van vandaag hoeft geen programmeur te zijn, maar wél datagedreven, kritisch en leergierig. Die weet hoe hij data-analyse-tools inzet én weet wanneer hij ze wantrouwt. En ja, mochten we straks die zelflerende AI-algoritmes hebben, "true AI", dan kunnen we de lessen van vandaag doortrekken naar de toekomst. Maar wat er ook gebeurt, het duiden, begrijpen en valideren zal altijd een rol van de auditor zelf blijven. Dus goed dat er in het beroepsprofiel nu meer aandacht komt voor data-analyse; het is als de pizza, de bodem is data-analyse.

De toekomst van de audit is menselijk - mét machine

De echte vraag is niet of AI de auditor vervangt. De vraag is: hoe zorgen we dat AI ons straks nog beter maakt? Hoe borgen we kwaliteit, onafhankelijkheid en integriteit in een tijd waarin technologie meer kan dan ooit, maar ook moeilijker uitlegbaar wordt?

Net als in de wereld van softwareontwikkeling komt het antwoord hierop niet uit de tool zelf, maar van de professional die ermee werkt. Of zoals Comeau afsluit: 'AI is a tool, not a teammate." Ik zou daaraan willen toevoegen: en het is aan ons straks om te bepalen hoe we dat gereedschap gebruiken. Met gezond wantrouwen, nieuwsgierigheid en vooral: met onze professionele verantwoordelijkheid.

Goed om die discussie nu al te voeren, ook met de AFM, maar laten we eerst nog maar eens de good old data-analysereis afmaken. Zelfs anno 2025 is dat nog een hele uitdaging. En voor de young professionals: maak je geen zorgen over de AI-hype, zelfs niet rond LLM's, jullie blijven keihard nodig.

Wat vindt u van deze column?

Reageer

Pieter de Kok is partner bij Coney Minds. Van 2010 tot en met 2014 was De Kok aanjager van vernieuwingsbeweging Tuacc.

Gerelateerd

10 reacties

Frans Kersten

Ik mis in dit soort discussies nog de aandacht voor wet en regelgeving inzake de toepassing van AI, zoals vanuit de EU. Deze stelt hoge eisen aan de toepassing van AI. Als de toepassing ook persoonsgegevens raakt, dan komt ook de AVG in beeld. De positie van de wettelijke accountantscontrole is daarin nog steeds niet verankerd (verzamelwet gegevensbescherming nog steeds in parlementaire traject.
De eerste voorbeelden van toepassing van AI die ik rond 1990 zag, hadden profilering als neveneffect, wat gezien werd als belemmerend voor de toepassing. Inmiddels hebben we diverse voorbeelden gezien die weliswaar de realiteit als uitkomst hebben, maar om uiteenlopende redenen als onwenselijk worden gezien.
De accountant ziet zich als verwerker waar het gaat om wettelijke controles. Hij past AI toe op persoonsgegevens en dat leidt tot profilering. De betrokken personen weten niet eens dat de accountant iets doet met hun gegevens want ze hebben alleen een relatie met diens opdrachtgever. Deze heeft wel een privacyreglement maar vermeldt niet de accountantscontrole. Leuke casus?

Pieter de Kok

Zeker Geert, super mooie ontwikkelingen allemaal. De reis is nog zeker niet af, ACL eind jaren’ 80, Big Data in 2005, Process Mining in 2012, LLM in 2022, i love it!

Ondanks al het techno geweld, hoeveel is mijn en jouw rol als auditors in afgelopen 30 jaar in de kern veranderd? Alle randvoorwaarden rondom “old school” data-analyse blijven relevant.

In mijn blog benadruk ik dat menselijke oordeelsvorming essentieel blijft, zeker en vooral bij AI (zelflerende…) algoritmes.

Ik kan ook een volgende blog schrijven over vibe coding, (of dit dan de boost wordt weet ik niet…)of over mijn idee dat LLMs straks worden vervangen door LCMs, ik ga vast op onderzoek uit.

Groet

Geert de Jonge

Vibe coding is echt wel een ding. Dat is AI die de hele analytics in de audit wel eens op de kop kan zetten en eindelijk een boost kan geven. Heel terecht dat Joris dit ziet als een fundamentele verandering.

Pieter de Kok

Ik denk van wel Joris. Dat heb ik net gedaan. LLM even geparkeerd.

Maar als jij ook je enthousiasme wil delen over LLM, dan hierbij gedaan. Dank voor je input. En allemaal waar, maar niet spannend.

Ron Heinen

@Arnout van Kempen

Dank voor de reactie.

Ik denk dat we beide praten over 2 verschillende dingen.

Jij hebt het over hoe code op een computer uitgevoerd wordt, ik heb het over achterhalen wat de code is.

Natuurlijk begrijp ik dat op moderne operating systemen je als programmeur de computer en processor niet geheel onder controle hebt.

Bij AI-Systemen heb je geen inzicht in elke instructie welke uitgevoerd wordt en bij hersenen heb je geen inzicht wat elk neuron doet.

Toch zijn er goede methoden om te bepalen hoeveel vertrouwen je kunt hebben in de antwoorden welke door AI-Systemen en Mensen gegeven worden.

Ik mijn eerste reactie op deze column heb ik hiervan een voorbeeld gegeven.

Joris Joppe

Ik denk niet dat je een punt over AI kunt maken als je LLMs voor het gemak maar gelijk stelt aan googlen of een receptenboek. Het is idd logisch om terug te vallen op 'traditioneel' data-anayse: de logica in een boekhouding laat zich immers makkelijk vatten in regels.
Maar het simpele feit dat LLMs kunnen helpen bij het schrijven van de python code of het bepalen welk statistisch model het beste past bij de gegeven situatie lijkt me minimaal net zo'n fundamentele verandering als de invoering van Excel (waar professionals destijds vast ook vragen bij stelden).
De waarde van huis/tuin/keuken LLMs zijn volgens al van onschatbare waarde voor elke assistent die data-analyse ambities heeft. De uren/dagen/weken die ik heb gespendeerd aan het leren van een simpele script-taal of python doe je nu echt anders. En vermoedelijk over 2 jaar weer anders. Dat vibe coding is zo slecht nog niet als je een duidelijk doel voor ogen hebt.
Ik denk dat niemand zal zeggen dat menselijke intelligentie onbelangrijk is maar we weten inmiddels ook dat mensen fouten maken en er is ook al wel bewijs dat computers sommige dingen gewoon beter doen dan mensen. Zolang we dit negeren en blijven hangen in het NV COS raamwerk, weet ik echter niet of we daar ten volle van kunnen profiteren.

Arnout van Kempen

Ron, ofwel je weet wel beter, of je hebt sinds MS-DIS geen modern besturingssysteem meer meegemaakt. Ik vermoed dat je wel beter weet. Een normale programmeur, ook bij gebruik van talen als C, heeft geen zicht op wat de computer werkelijk doet. Multi-tasking, multi-user, virtual systemen, zorgen dat je als reguliere programmeur niet meer bij het bare metalen komt.

En dat het in theorie wel KAN, en dat er ook systeemprogrammeurs zijn en rmbedded systems programmeurs weet ik ook wel. Maar we weten allebei dat dat theoretische schijnbewegingen zijn om mijn valide punt te weerleggen. We weten beiden echt wel beter.

Ron Heinen

@Arnout van Kempen

Je kunt op dit moment nog steeds ver komen om inzicht te krijgen in wat de machine werkelijk doet.

Als je bijvoorbeeld een .c programma hebt dan kun je met

>clang -S programma.c

de assembler code genereren.

Deze kun je vervolgens naar machinetaal laten vertalen.

Ook als je alleen een executable met machinetaal hebt, dan kun je bijvoorbeeld met Ghidra,

https://ghidra-sre.org/

deze executable reverse compileren.

Dit heb je bijvoorbeeld nodig om malware te analyseren.

Als mens kunnen werken in verschillende abstractie niveaus helpt enorm om willekeurige problemen aan te kunnen pakken.

En ik ben het met je eens dat AI hierin weer een volgend stapje is.

Door een AI-systeem te kunnen calibreren, zie bijvoorbeeld

https://drive.proton.me/urls/BF6TRH3GDM#2ZyIDCVIJEgS

kun je de betrouwbaarheid van het antwoord zelfs kwantificeren.

Arnout van Kempen

Interessant verhaal Pieter. De vergelijking met de developer vond ik treffend, niet zozeer vanwege de overeenkomsten in de komende 5 jaar, maar door de vergelijking met de afgelopen tientallen jaren.

De eerste developers van de eerste commerciële computers, programmeerden in machinecode, later in Fortran als het meer de wetenschappelijke/wiskundige kant op ging en in COBOL en RPG als het meer de business kant op ging.

Sindsdien zijn we een heel eind verder gekomen. Toen Fortran kwam, maakten "echte" programmeurs zich druk over het feit dat ze onvoldoende zicht hadden op wat de compiler deed, ze waren immers gewend alles zelf onder controle te hebben.

Tegenwoordig gelden talen als C, C++, Rust, als talen die heel dicht op de machine zitten, die totale controle geven. In werkelijkheid is dat veelal echt klets. Moderne operating systems bepalen welke virtuele computer jij als programmeur te zien krijgt, en compilers halen optimalisatietrucs uit waar je als programmeur niets van ziet, tenzij je er naar op zoek gaat.

Maar ook de libraries die je gebruikt waarin een enorm deel van de functionaliteit van je programma zit, welke programmeur weet echt exact wat daar in gebeurt?

AI is alleen maar een volgend stapje. We komen vanzelf op een punt dat zelfs Python, een interpreteer-taal, als "dicht bij de machine" zal worden gezien.

In de audit zie je precies dezelfde beweging. Welke accountant weet echt hoe het steekproefmodel van kantoor werkt?

Ron Heinen

Je schrijft: "Laten we het "black box auditing" noemen: het vertrouwen op AI-analyses zonder te begrijpen hoe het model tot zijn conclusies komt.
Dát is gevaarlijk terrein. Niet alleen omdat we daarmee ons professioneel scepticisme inruilen voor gemak, maar ook omdat we mogelijk blind worden voor bias in data, foute aannames of overmatige correlaties die niets zeggen over causaliteit."

Je dient de betrouwbaarheid van het AI-systeem te calibreren om het vertrouwen in het antwoord van het AI-systeem in te kunnen schatten.

https://drive.proton.me/urls/BF6TRH3GDM#2ZyIDCVIJEgS

is uitleg. Videouitleg op:

https://utwente.yuja.com/V/Watch?v=898086&node=4883345

Een manier om de betrouwbaarheid van het antwoord van het AI-systeem te testen is doorvragen.

Welke premissen (feiten en aannames) en redenaties (logische, juridische, etc.) zijn gebruikt om het antwoord te formuleren ?

Dan lukt het altijd om de betrouwbaarheid van het antwoord goed in te schatten.

Reageer op dit artikel

Spelregels debat

    Aanmelden nieuwsbrief

    Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

    Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.