Accountantsdag 2023: AI spreekt niet de waarheid, maar is een superstagiair
AI spreekt niet de waarheid, maar het is de vraag of dat ook zou moeten. "Zie het als een superstagiair", stelden deskundigen op de Accountantsdag, tijdens de deelsessie over AI in de audit: waar blijft die revolutie toch? De tweede AI-sessie ging over de betrouwbaarheid van informatie in een wereld vol artificial intelligence. Want ook accountants dreigen een ‘shitload’ aan informatie over zich heen te krijgen.
Ronald Bruins
Spreekstalmeester Rens de Jong bekende dat hij veelgebruiker is van ChatGPT. "Bij versie 3.5 heb ik mijn jongens het laten zien. Papa was er op de belangrijke momenten wel." Met ChatGPT kwam AI voor het eerst in het collectieve bewustzijn.
De NBA onderzocht eerder de invloed van technologie op de accountantscontrole in het rapport Van bankzitter naar sterspeler. Schrijver, spreker en adviseur Nart Wielaard was medeauteur. "AI was een van de thema's, maar nog lang niet zo hip and happening als nu. In mijn tijdlijn op LinkedIn heb ik berichten van vele goeroes die claimen te weten hoe AI succesvol kan worden ingezet. Maar in deze fase van de technologie moet je vooral veel vragen stellen en niet roepen dat we alle antwoorden hebben."
Betrouwbare bewijslast?
Mocht AI voor de controle worden aangewend, kan het dan betrouwbare bewijslast opleveren. "Kunt u vol overtuiging gebruik van AI verdedigen tegenover toezichthouders en vakgenoten?" Dat wantrouwen was er ook bij de introductie van de elektrische deurbel eind negentiende eeuw, aldus Wielaard. "Mensen konden niet meer onder de motorkap zien hoe die deurbel werkte. Daardoor zouden we ons eigen denk- en redeneringsvermogen verliezen."
'Eerst maar eens onderzoeken hoe we kunnen komen tot AI-modellen die statistisch zijn te verantwoorden.'
Diezelfde vraag komt anderhalve eeuw later op bij AI. "Doet het model wat het zou moeten doen? Wetenschapper Karl Popper leerde ons met zijn falsificatietheorie dat elk model toetsbaar of weerlegbaar moet zijn. Zou dat ook niet moeten gelden voor AI-modellen in het auditvak? Immers, betrouwbaarheid is de ruggengraat van het vak. Het is goed dat het vak wat terughoudend is. Eerst maar eens onderzoeken hoe we kunnen komen tot AI-modellen die statistisch zijn te verantwoorden." Wielaard snapt dat daarom het vak nog niet massaal AI omarmt. "Maar moeten we ook niet mentaal ergens doorheen? Net als met de deurbel van een eeuw geleden? Misschien moeten we durven om wat vaker belletje te lellen."
Langs de liniaal van deskundigheid
Wie gebruikt er AI, wilde De Jong weten. Een accountant zegt ChatGPT te vragen wat de inherente risico's van een project zijn. "Dan krijg je relevante informatie terug. Het geeft dus een richting, maar het is niet het enige waar ik op bouw." Een interne accountant heeft juist de policy dat het niet gebruikt mag worden. Techexpert Jarno Duursma is in elk geval enthousiast. "Zie AI als een hardloopwedstrijd van drie kilometer, waarbij je de eerste twee kilometer cadeau krijgt. Dat laatste deel moet je zelf doen. Het is een superstagiair die je heel veel kunt vragen."
Ga er daarbij niet van uit dat het systeem de waarheid spreekt. "Geef hem dan niet taken waarbij de waarheid hard wordt beoordeeld. De output moet altijd nog langs de liniaal van jouw deskundigheid. Dan blijft er genoeg over. Denk aan een eerste versie van een brief, het helpen bij het neerzetten van risicoanalyses of het aandragen van nieuwe invalshoeken. Dan krijg je vijftien elementen, waarvan je er tien kunt weggooien, drie 'mwah' zijn en twee je toch op nieuwe gedachten brengen. Ook bij contracten kun je AI vragen om op jouw tekst te schieten."
'AI kan taakjes, maar we zijn zoveel meer dan dat.'
Microsoft komt met autopilot, een hulp ingebouwd in onder ander MS Teams. Duursma: "Stel je bent twaalf minuten te laat in een meeting, dan kan deze een samenvatting geven van wat er is besproken, inclusief wie wat zei." Hij laat belasting.ai zien, waarin alle content van de website van de Belastingdienst is ontsloten en komt tot een conclusie. "Maak een lijstje. Wat zijn taakjes die je wel door AI kunt laten doen? Dat doornemen is een bevrijdende ervaring." De mens wordt niet weg geautomatiseerd, concludeert de techexpert. "AI kan taakjes, maar we zijn zoveel meer dan dat. We hebben sociale, mentale en spirituele intelligentie."
AI-modellen zijn nooit perfect
Mona de Boer (partner data en technology PwC), Louren van Garderen (IT-audit expert en audit manager bij Joinson&Spice) beschikken over private AI-tools genaamd instances. Die zitten ingebed in de beheeromgeving van de accountantskantoren. De Boer: "Dan heb je ook meer ruimte om er gebruik van te maken." Als toepassing noemt ze het invullen van 1.200 datapunten van CSRD vanuit bestaande jaarrekeningen en duurzaamheidsverslagen. "Vervolgens moet je daar ook weer je deskundigheid over laten gaan. Waar zitten de gaten?" AI-modellen zijn nooit perfect, maar dat moet de accountant niet weerhouden om ermee te experimenteren. "Bijvoorbeeld om inzicht te krijgen in ongestructureerde data." Duursma: "Ik snap de huivering van accountants. Zij hebben de mindset om risico's te voorkomen. Maar je kunt AI ook gebruiken om de kritische vragen die je als accountant al hebt aan te vullen." Daarbij geldt: Hoe beter de vraag, hoe beter het antwoord. Van Garderen: "Maak een speeltuin en ga belletje lellen."
Betrouwbare informatie in een wereld vol AI
Een foto van het Pentagon met een rookwolk erbij. Dit beeld, gemaakt in AI-tool Midjourney, ging afgelopen voorjaar viraal. "De S&P 500 maakte een duikeling van jewelste om vervolgens weer op te krabbelen", constateerde Rens de Jong. "Zo’n incident geeft de impact van nepnieuws en nepinformatie weer." Nart Wielaard kwam met het voorbeeld van een Nieuw-Zeelandse supermarkt dat een experiment met een app op basis van artificiële intelligentie uit de hand zag lopen. De klanten kregen plots wel erg experimentele recepten voorgeschoteld. "Tot aan recepten uit giftig brood, muggenwerende gebakken aardappelen en zelfs dodelijk chloorgas aan toe." AI kan dus hallucineren, gaf Wielaard aan. "Wat moet je dan nog met die shitload aan informatie?" Maar er zit ook een andere kant aan, hield hij de accountants voor. "U bent op aarde om naar de betrouwbaarheid van informatie te kijken. Dan moet het vak zich wel opnieuw uitvinden. Start assuming its fake until it’s verified."
Mens past zich aan machine aan
Wielaard schoof samen met Siri Beerends, cultureel socioloog en tech-ethiek onderzoeker, Sebastiaan van der Lans, oprichter Wordproof en Van Ons en voorzitter van de Trusted Web Foundation, en Patrick Gabriëls, managing partner assurance EY Nederland, aan bij De Jong. Gabriëls: "Lange tijd was AI een buzzword. Het zou de accountancy overbodig maken, maar dat is niet gebeurd. Nu zien we een enorme versnelling en krijgen ook wij vragen van klanten. 'Wat doen jullie met AI?'" Beerends deed onderzoek naar AI en authenticiteit. "De vraag is niet of machines meer mensachtig worden, maar of wij niet meer op machines lijken. We passen ons bijvoorbeeld nu al aan algoritmes aan, omdat we weten hoe ze werken. Dat zie je ook bij ChatGPT, aan prompt engineering. Dat wil zeggen dat je bedenkt hoe je de beste vraag kunt stellen, zodat je het juiste antwoord uit de AI-tool krijgt."
Onechte informatie is van alle tijden
Volgens Gabriëls is onechte informatie van alle tijden. "Denk aan valse facturen die we moeten zien te herkennen. De vraag is of we met deze huidige technologie nog in staat zijn om de waarheid te achterhalen." Wielaard vroeg zich af of er onbewuste fake informatie kan ontstaan. "Als je ChatGPT vraagt een samenvatting te maken van een rapport, staat daar dan ook echt de conclusie in die je nodig hebt als accountant? En is dat dan een conclusie die je als accountant ook zou trekken?" Beerends: "AI bestaat uit patroonherkenning, het leggen van correlaties en rekenmodellen. Het heeft geen redenerend vermogen en geen begrip van de fysieke wereld. Niet alles wat belangrijk is, is in AI te vatten. We dichten er als mens te veel intelligentie aan toe. ChatGPT voorspelt op basis van correlatie het meest waarschijnlijke woord dat volgt. Dat is tricky."
'De vraag is of we met deze huidige technologie nog in staat zijn om de waarheid te achterhalen.'
Het risico van nepinformatie uit AI is dat die informatie weer gebruikt wordt door AI. "Dat kan een model collapse veroorzaken", aldus Beerends. "De kwaliteit van de informatie wordt dan alleen maar slechter en slechter. AI heeft nooit genoeg data. Het gaat dan ook data van generatieve AI gebruiken." Van der Lans: "AI is in feite superdom. Het voorspelt het meest sociaal wenselijke volgende woord. Dat kan haaks staan op wat de waarheid is." Zijn onderneming Wordproof gebruikt blockchaintechnologie, om aan te tonen door wie welke informatie wanneer is gepubliceerd. "We doen dat onder andere voor de Persgroep. Zes miljoen artikelen hebben we zo geverifieerd. Daarmee wordt de herkomst traceerbaar, vergelijkbaar met een audit trail."
Time stamps
Blockchain werkt met timestamps. Documenten krijgen deze mee als er een verandering in plaats heeft gevonden. Van der Lans: "Zo kun je checken of een document overeenkomt met wat jij hebt uitgegeven. Dat bestand kun je controleren door deze te slepen naar een website van een instantie. Denk aan een pdf van een verklaring van goed gedrag bij een gemeente, of een kaartje van een concertorganisatie. Als het geen of niet de juiste timestamp heeft, krijg je een rood kruis te zien op de website." Het zou volgens De Jong helpen als dit principe in boekhoud- maar ook ERP-systemen zou zitten. Ook Gabriëls ziet dat zitten. "Dan weet je of je naar een echte factuur zit te kijken omdat de timestamp klopt."
'Iedereen heeft de mond vol over Tata Steel, maar waarom niet over het energieverbruik van ChatGPT?'
Beerends benadrukt dat ChatGPT en andere AI-tools ook een enorme klimaatimpact hebben. "Iedereen heeft de mond vol over Tata Steel, maar waarom niet over het energieverbruik van ChatGPT?" Van der Lans ziet daarom meer in private AI, dan in public AI. "ChatGPT is getraind op basis van alle informatie op internet en dat is voor 95 procent rommel. Met private AI kun je binnen een organisatie gericht hulp van AI krijgen. Bijvoorbeeld bij het maken van een voorstel op basis van honderden offertes die hiervoor al zijn uitgegeven. Dat is veel gerichter." Hij juicht een internetsysteem toe waarbij zoekresultaten hoger komen naarmate ze geverifieerd zijn. Beerends zette daar een kanttekening bij. "Als alles een timestamp krijgt, hoe kan ik dan nog mijn privacy behouden? Waar ligt de grens?" Van der Lans: "Wat mij betreft krijgt niet alles een timestamp. Alleen dingen die een invloed op je leven of je geld hebben. Your money, your life. Daar moet het onderscheid liggen."
Gabriëls tot slot: "Big brother is een reëel risico. Net als biases van mensen die in algoritmes en AI-modellen naar voren kunnen komen. We moeten als accountants dus kritisch zijn op wat er uit systemen komt. Wees voorzichtig met waar je je oordeel op baseert."
Terugkijken van deze deelsessie van de Accountantsdag kan via het YouTube-kanaal van de NBA.
Gerelateerd
De jarenlange strijd van een FT-journalist
De Britse onderzoeksjournalist Dan McCrum ontdekte al in 2014 dat er zaken niet klopten bij de Duitse betaaldienstverlener Wirecard. Maar het definitieve bewijs...
'Zorg als accountant dat CSRD geen papieren tijger is'
In 2025 geven accountants voor het eerst assuranceverklaringen af bij duurzaamheidsinformatie op basis van de Europese richtlijn CSRD. Dat vergt veel professionele...
'Kans op hack is vandaag de dag groter dan brand'
Dankzij het internet zit je met één muisklik aan de andere kant van de wereld. Tegelijkertijd heeft het ons ook veel kwetsbaarheden gebracht. Daarover ging de themasessie...
Twijfel = goed
Na de introductie van ChatGPT startte Nart Wielaard een ontdekkingstocht over wat AI betekent voor de accountant. Dat bleek ook de basis voor zijn debuutroman met...
Kunnen groene voorlopers ook groene koplopers worden?
Pionier zijn in verduurzaming. Het klinkt mooi, maar is het ook verstandig als de nummer twee en drie zo je strategie of technologie kunnen overnemen en verbeteren?...