Artificial intelligence in de audit is nog heel ver weg, net als het overhypte machine learning (ML) en het veel geroemde predictive analytics. Pieter de Kok krijgt inmiddels jeuk van alle roeptoeterverhalen.

Discussie Column 11 februari 2020

AI in de audit is nog heel ver weg

We kunnen nog maar net een beetje hardlopen met 'data-analyse' (voor de meesten nog niveau 'vijf kilometer binnen een halfuur'), maar er gaat geen dag voorbij of we lezen iets over machine learning (ML) of artificial intelligence (AI) in de audit.

Ik geloof wel degelijk in kracht van ML en statistiek in combinatie met data-analyse. Ik ben positief over recente publicaties over ML in de audit en het feit dat partijen in de markt experimenteren met ML, bijvoorbeeld bij de werkkostenregeling. Daar heb ik buitengewoon veel respect voor. Ik probeer alleen een realistisch geluid te laten horen rondom de weg naar voren, met AI als meest verre (onzinnige?) stip op de horizon.

Het antwoord op het recente CTA-rapport is niet: 'deep learning vervangt de accountant'. Noch moeten we de nieuwe generatie die overweegt verder te studeren in de accountancy (Coney ontvangt circa twintig vragen per maand), de indruk geven dat ze overbodig zijn (of worden).

Ik krijg inmiddels echt jeuk van de overhypte roeptoeterverhalen. Heel eerlijk, bij mij begint langzaam het idee te groeien dat we vrij weinig nieuws met AI in de audit kunnen. Zo ingewikkeld is ons vakgebied namelijk niet. Waarom denken we dat we beter gaan controleren door inzet van AI-technologie? Sneller? Slimmer? Effectiever? Beter? De huidige data-analyse technologie (feitelijke data, op basis van statistiek, toetsend aan normen) voorziet al in deze wensen, is al ruim voldoende in de markt beschikbaar, alleen gebruiken we het (grotendeels) niet.

'Artificial Intelligence learns by acquiring knowledge and learning how to apply it.' AI als het hoogst haalbare, de ultieme vervanging van mij als persoon, mijn rol, als controlerend accountant. Ik word vervangen door een neuraal netwerk. Ik zou iedereen met interesse in AI en ML willen aanbevelen om dit artikel eens te lezen. Een wereld van neurale netwerken en neutronen bepaalt jouw playlist op Spotify. Er is een groot verschil tussen AI en ML. Er is echter een nog veel groter verschil met data-analyse.

In de wereld om ons heen zien we steeds meer prachtige voorbeelden van vooral ML. Denk aan je Netflix-algoritme. Denk aan Siri op je Apple-device. Of denk aan indrukwekkende ontwikkelingen in de gezondheidszorg, waar neurale netwerken worden ingezet om met hoogst mogelijke zekerheid tumoren in een MRI te herkennen. Indrukwekkende technologie, potentieel zeer waardevol.

Machine vision

Begrijp mij dus niet verkeerd. Ik ben onder de indruk van ML. Specifieker, ik ben het meest onder de indruk van de ontwikkelingen rondom de zelfrijdende auto. Hier wordt gebruikgemaakt van een techniek die door de echte experts wordt samengevat als machine vision. Die techniek gaat een grote en cruciale rol gaan spelen in het verkeer, in zelfrijdende auto's. Daarbij zijn diverse factoren uiteraard van groot belang. Het systeem moet objecten, personen en situaties goed classificeren en dat moet zeer snel gebeuren. Hier liggen ongelofelijke complexe neurale netwerken aan ten grondslag. Hebben we deze neurale netwerken in de audit echt nodig om transactiestromen en interne beheersingsraamwerken van ondernemingen te toetsen als onderdeel van de jaarrekeningcontrole?

We hebben het hierboven nog steeds over ML. We hebben het over neurale netwerken die speciaal worden ingericht voor een specifieke taak. De architectuur en algoritmes worden afgestemd op de taak en het neurale netwerk wordt getraind met data, waarna het met echte samples aan de slag kan.

In geval van Spotify en Netflix wordt de trainingsdata gevormd door het kijk- en luistergedrag van alle andere abonnees en jij krijgt de output van de neurale netwerken te zien. Grote kans dat The Accountant als favoriete film binnen jouw Videolandprofiel past.

Spoiler alert. Een van de grootste uitdagingen anno 2020 is het trainen van een neuraal netwerk. Bij de trainingsmethodes die tot dusver ontwikkeld zijn, zijn zeer grote datasets nodig die correct zijn gelabeld, zodat de parameters gecorrigeerd kunnen worden en het neurale netwerk steeds beter wordt. Machine learning-toepassingen op kantoor- of klantenpakketniveau ontwikkelen vereist massa.

Om ML verder kleur te geven een overdreven voorbeeld vanuit perspectief van de auditpraktijk. Ik schets mijn vervanger. Wat moet het neuraal netwerk minimaal kunnen, wil ik onder de indruk zijn en data-analyse en statistiek bij het grofvuil zetten? Dan moet dit neurale ML netwerk data uit verschillende sources kunnen inlezen, onderdeel worden van een teamplanning event, samen met het team de initiële risk assessment kunnen afronden en, belangrijker, afwijkingen kunnen vaststellen op basis van getrainde datasets, die ik nu niet zou kunnen vaststellen met data-analyse of statistiek.

Het neurale netwerk hoeft voor mij geen verbanden (Starreveld) te kunnen maken (BETA-formules blijft data-analyse). Nee, het gaat om verbetering van de sensoren om afwijkingen vast te stellen die we nu nog niet kunnen vaststellen in verticale transactiestromen (omzet, verloning, voorraden etc.).

Voorbeeld: uitzendbureau Waffels heeft 100.000 inleenkrachten in tien verschillende sectoren met 25 verschillende door CAO bepaalde tarieven. Een ML-oplossing analyseert 1.300.000 verloningregels (dertien perioden van vier weken) en vindt op basis van getrainde datasets de afwijkingen. Dit is ML, geen scripting (old school data-analyse) maar een analyse op basis van een algoritme (supervised learning), dat door een auditteam drie jaar lang is getraind.

Dus als het neurale netwerk op basis van geautomatiseerde detailcontroles de betrouwbaarheid van data-variabelen vaststelt, afwijkingen heeft uitgezocht, geanalyseerd, gedocumenteerd en besproken met de cliënt, dan ben ik bijna om wat betreft ML.

Als al het bovenstaande resulteert in conclusies dat toereikende controle-informatie per vooraf gedefinieerde audit assertion is verkregen en de jaarrekening zelf in milliseconden aan elke GAAP is getoetst, dan stuur ik iedereen naar huis. Om hier te komen ben ik voor een auditpraktijk met zeg tien typologieën JAREN EN JAREN algoritmes aan het trainen, met inzet van duizenden uren aan data-science. Ik wil dit best, anderen ook? Moeten we dit niet samen doen?

Unsupervised machine learning

Nogmaals: om bovengenoemde werkzaamheden te automatiseren moet het ML-netwerk zijn getraind. Een paar miljoen keer, ik wens het veel succes. Nee, dan kunnen we onze kaarten beter inzetten op wat we unsupervised machine learning noemen. In een setting van unsupervised learning worden niet veel meer dan een paar algemene regels gedefinieerd en het algoritme moet zelf uit de gepresenteerde data opmaken wat gewenst is en wat niet.

Een veelgebruikt voorbeeld is Alpha Go Zero, dat zich schaken leerde door tegen zichzelf te spelen en niet veel meer had meegekregen dan de basisregels. Een paar uur later wist Alpha Go Zero met deze vorm van reinforcement learning een van de beste schaakprogramma's te verslaan. Kijk, als we zo’n Google-accountant kunnen ontwikkelen gaat het al een stuk sneller!

En dan is de stap van ML naar AI nog een veel grotere. AI-neurale netwerken blijven leren en kunnen ongoing met nieuwe situaties omgaan. Daarmee lijken ze nog sterker op de manier waarop hersenen werken. Zo kunnen recurrent neural networks ingezet worden om te leren en te blijven leren. Het hoogst haalbare.

Ander voorbeeld: Jouw audit cliënt heeft een concurrent overgenomen. De audit cycle moet nu (klassiek) opnieuw doorlopen worden. Maar niet bij inzet van een AI-neuraal netwerk. Vanuit het due diligence dossier leert het AI-netwerk namelijk op welke onderdelen deze onderneming anders is georganiseerd en past de werkprogramma’s automatisch aan. One day AI. Of niet. Want willen we dit, is het van meerwaarde?

Natuurlijk ontwikkelt de techniek zich door. Natuurlijk vragen ze zich bij de AFM ook stilletjes af of er nog een toezichthouder nodig is, als ML/AI het beroep van auditen grotendeels over heeft genomen.

Voor nu is het vooral sciencefiction. Dat betekent niet dat ML en AI niet al in het audit domein terecht zijn gekomen. Op LinkedIn lees ik heel veel posts rondom ML en AI in de audit. Ik moet altijd glimlachen. Soms stel ik weleens een vraag waarom de AI-toepassing een AI-toepassing is, behoudens dat die 'XX.Ai' heet. Een rel is dan snel geboren, want de marketing van AI dendert gewoon door; een redelijk simpel data-analyse script heet tegenwoordig al snel AI. Ik nodig mijzelf ook altijd uit om te mogen komen kijken in de AI-keuken. Ik krijg zelden of nooit een uitnodiging terug.

Er is geen AI in de audit. Niet in Nederland, niet in de USA, niet in China. Nergens. Er zijn kleine ontwikkelingen rondom ML, er is een beperkt aantal ‘plug and play’ ML-gebaseerde scripts die worden ontdekt. Ook in mijn team. We worstelen met ML. We hebben een roadmap, maar geen miljoenen op de bank voor grootschalige ontwikkeling.

Uitdaging

De echte uitdaging van vandaag is nog steeds, zelfs na dertig jaar, het goed inzetten van good old data-analyse in de audit. Data-analyse in vergelijking met ML en AI is als FC Knudde tegen FC Barcelona, is als een opgevoerde driewieler versus Max Verstappen, data-analyse stelt technisch gezien allemaal weinig voor, maar vooralsnog lukt het het accountantsberoep niet om deze techniek breed te omarmen en in te zetten.

Gisteren kreeg ik nog een mailtje van een top-25 accountantskantoor; of ik eens wilde komen praten om samen met het partnerteam te onderzoeken en te ontdekken wat de meerwaarde van data-analyse in de audit is. Ze overwegen om de stap naar data-analyse te maken….

Natuurlijk, geen enkel probleem, doe ik graag, we hebben er inmiddels wat ervaring mee. Ik was allang blij dat ze niet vroegen of we ze kunnen helpen met een ML- of AI-oplossing.

Laten we positief-kritisch zijn wat betreft de ontwikkelingen en vooral werken aan verbeteringen in de audit die vandaag al kunnen.