Symposium: Machine Learning in de audit
Hoe is het momenteel gesteld met de toepassing van Machine Learning in de audit? Aankondiging van een symposium.
Kees Voorhoeve
Artificial Intelligence (AI) maakt steeds meer deel uit van ons dagelijks leven. Elektrische tandenborstels geven feedback op je poetsgedrag en chattoepassingen helpen je met antwoorden op berichten. Vaak is dat nog een standaard "Top, dankjewel", maar de suggesties worden steeds meer to-the-point. Het vakgebied AI ontwikkelt zich verder razendsnel. Tegenwoordig kunt u op basis van een korte tekst een afbeelding of zelfs een filmpje genereren, waar dat vorig jaar nog onmogelijk was. Voor de auditor zou het kunnen betekenen dat ChatGPT of een vergelijkbare toepassing binnenkort op basis van de controleresultaten met een onderbouwde accountantsverklaring komt.
Achter deze kunstmatige intelligentie zitten op statistiek gebaseerde algoritmes die met grote hoeveelheden data zijn getraind. De algoritmes zijn in staat in de data patronen te herkennen en zo te leren hoe in soortgelijke gevallen te handelen. Dit trainen van algoritmes wordt Machine Learning (ML) genoemd en is een belangrijk onderdeel van het vakgebied AI.
Deze ontwikkelingen roepen de vraag op hoe het momenteel is gesteld met de toepassing van ML in de audit. Een antwoord op deze vraag wil de stuurgroep Statistical Auditing op 24 mei aanstaande geven op het jaarlijkse symposium 'Statistical Auditing'. Enerzijds door presentaties van directe vakcollega's, anderzijds door inspirerende voorbeelden uit aanpalende vakgebieden. Deze column leidt het onderwerp ML in, zodat deelnemers tijdens het symposium de voordrachten beter kunt plaatsen.
Twee soorten
Machine learning algoritmes kunnen globaal opgedeeld worden in twee soorten: supervised learning en unsupervised learning algoritmes. Wanneer bijvoorbeeld in honderden gevallen op basis van een aantal gegevens een krediet is verleend of afgewezen, dan kan de bank een algoritme daarmee trainen om in volgende gevallen overeenkomstig te handelen. Dat kan zijn in de vorm van een voorstel of zelfs een beslissing over de kredietverstrekking. Deze vorm van ML wordt supervised learning genoemd: Je traint het algoritme met bekende uitkomsten. Hier zit nog een aspect van belang aan: Laat je als organisatie het algoritme de medewerkers alleen adviseren, of mag het algoritme in bepaalde gevallen zelfstandig beslissen? Dat vraagt expliciet beleid op dit punt. Daarover later nog wat meer.
Tegenover supervised learning staat unsupervised learning: De computer maakt zelf groepen van gegevens die op grond van soortgelijke kenmerken bij elkaar horen, zonder dat is opgegeven wat die kenmerken zijn. De computer komt terug met de gevormde groepen en daarnaast met de belangrijkste kenmerken op basis waarvan de groepen gevormd zijn. Dit helpt de professional bij de analyse van grote hoeveelheden data én om de aandacht te focussen op de belangrijkste groepen.
Wanneer er eenmaal groepen zijn gemaakt, kunnen daar ook uitzonderingen op zijn; zogenaamde outliers. Anomalieën zijn daarnaast afwijkingen van verwachte patronen in de data. Uitzonderingen in een dataset zijn interessant, omdat ze kunnen duiden op een hoger risico in het algemeen en op fouten en fraude in het bijzonder. Gevallen met een hoger risico zijn altijd interessant voor auditors en toezichthouders. De sprekers zullen de hierboven aangestipte onderwerpen verder toelichten.
Michael Zuur van PwC gaat in op het gebruik van anomaliedetectie om de datakwaliteit in pensioencontracten te bewaken en te verbeteren. Tim Haarman van De Nederlandsche Bank laat zien hoe in een samenwerkingsproject met enkele banken outlier detectie wordt ingezet om betaaltransacties met een hoger witwasrisico te selecteren voor nader onderzoek.
Codering
In de boekhouding is het van belang dat de posten goed gecodeerd zijn. Een hiertoe getraind algoritme zou kunnen helpen met het controleren van de codering. Train daartoe het algoritme bijvoorbeeld met de helft van de posten, laat het de codering van de andere helft voorspellen en vergelijk deze met de aanwezige codering. De verschillen zijn kandidaten om te controleren. Een mogelijke supervised learning-toepassing voor de auditor.
Partha Mohapatra van de PCAOB komt uiteenzetten welke rol deze internationale toezichtorganisatie ziet voor de inzet van ML in de audit. Daarnaast zal Ferry Geertman, lid van de Stuurgroep Statistical Auditing en docent aan de accountantsopleiding bij Nyenrode aangeven hoe toekomstige auditors worden voorbereid op het omgaan met deze nieuwe technieken.
De mogelijkheden van ML brengen ook de discussie met zich mee over welk gebruik maatschappelijk verantwoord is. Om hun klanten hiermee te ondersteunen hebben de grote accountantskantoren inmiddels dienstverlening op het gebied van responsible AI ontwikkeld. Belangrijk is dat een organisatie een beleid heeft over welke rol AI binnen de bedrijfsvoering mag hebben. Helder moet zijn of de algoritmes alleen beslissingsondersteunend zijn, of dat er ook situaties zijn waarin een algoritme beslissingen neemt.
Naast beleid vormt een algoritmeregister het hart van de beheersing. Een organisatie moet weten wat ze in huis heeft aan algoritmes, in welke processen die functioneren en op welke data de werking ervan gebaseerd is. Tenslotte moet vastliggen wat de vertrouwelijkheid of privacy gevoeligheid van de data is en hoe goed de algoritmes presteren. Sietse Hitman en Sara Jahfari nemen ons mee in de opzet van het algoritmeregister van de Nationale Politie.
Tot zover een korte introductie in het zich snel ontwikkelende vakgebied van Machine Learning. Kom naar het Limperg Symposium Statistical Auditing op 24 mei voor meer verdieping.
Gerelateerd
Machine learning in de audit: stratificeren van bedrijfslocaties
In dit derde en laatste deel van een reeks columns over machine learning in de audit gaat het over clusteren. De auteurs laten zien hoe je met een open-source statistiekprogramma...
Machine learning in de audit: uitschieters bij vastgoedwaardering
Regressie is een vorm van machine learning met als doel het voorspellen van cijfers op basis van een aantal kenmerken. Met open-sourcesoftware kun je zonder programmeerkennis...
Machine learning in de audit: voorspellen van klantverloop
Het doel van machine learning is om voorspellingen te maken aan de hand van data. Binnen dit veld worden doorgaans drie hoofdtoepassingen onderscheiden: classificatie,...
De steekproefomvang ontmaskerd - deel 5
In vorige columns hebben we verschillende manieren besproken om tot een steekproefomvang te kunnen komen. Deze column is de laatste van de serie waarin we verschillende...
De steekproefomvang ontmaskerd - deel 4
Een accountant die gebruikmaakt van software om een steekproefomvang te berekenen, moet zeker weten dat die software dat goed doet. Daarvoor moet je de rekenmethode...