Wordt machine learning slimmer en beter dan de inzet van 'old school' data-analyse? Pieter de Kok weet het nog zo net niet.

Discussie Column 27 oktober 2020

Doorpakken op fraudedetectie

Maandagochtend 5 oktober lees ik in de verwachtingen van de Werkgroep Fraude: "Wij gaan ervaring met (nieuwe) technologie, data-analyse en artificial intelligence méér gebruiken en verder brengen ten behoeve van fraudedetectie. Hierbij hoort bijvoorbeeld ook kennis en ervaring delen (bijvoorbeeld over auditsoftware en tooling) en samenwerken, zowel binnen als buiten het accountantsberoep."

Er is veel aandacht voor dit thema en het zou heel vreemd zijn als ik bovenstaande mindset niet zou delen. Fraudedetectie met slimme tooling voelt inmiddels wel als een klein beekje dat zich, gevoed door alle negatieve aandacht, ontwikkelt tot een grote rivier. Als we niet oppassen zou deze rivier zo maar kunnen overstromen, een hoop mooie verwachtingen wegspoelend. Daar wil ik een beetje voor waken.

Ik geloof in heel beperkte mate in artificial intelligence als oplossing van fraudedetectie. Een verre stip aan een bijna onzichtbare horizon. Ik geloof in enige mate in de ontwikkeling van (fraude) patroonherkenning door inzet van machine learning. Ik geloof vrij aardig in de inzet van data-analyse met achter het stuur een ervaren auditteam. Gericht op low hanging fruit. De betalingen van de finance manager aan een leverancier die hij zelf heeft aangemaakt… Veel ingewikkelder zijn die oppervlakkige fraudes vaker niet. Het topje van de ijsberg kunnen we allemaal spotten, maar je wilt als beroep naar dat krachtenveld onder die top.

Fraudedetectie is letterlijk 'detectie'; achteraf, al is het met de snelheid van een nanoseconde, nog steeds achteraf. Waardevol. Tegelijkertijd weet iedereen dat fraudepatronen continue in beweging zijn, net als een ijsberg. Iets met achter de feiten aanlopen. Daar sprak ik Ariën Oskam, senior manager Forensic over. We kwamen elkaar online tegen, ergens rondom mijn sluimerend enthousiasme over een machine learning pilot die we deze zomer zijn gestart, gericht op dat deel van de ijsberg dat je niet spot met data-analyse.

Je volgt elkaar en deelt je stokpaardjes, die van mij zijn bekend. Ja ik geloof in technologie, tegelijkertijd zie ik de worsteling bij de inzet van technologie in de auditpraktijk. Maar ik sta ook open voor andere stokpaardjes. Ik kijk ook naar de mensfactor op de werkvloer, ik lees de berichten van Peter Schimmel, ik luister podcasts over fraudedetectie in de VS en ik chat met Ariën online.

Langzaam deel ik de zorg dat we nauwelijks aandacht hebben voor de controlemaatregelen die zich richten op de oorzaak van fraude: de mens, de zonnekoning, de gefrustreerde cfo, de geniepige penningmeester, de dwalende bestuurder. "Er gaat veel aandacht uit naar het beteugelen van de gelegenheid tot het plegen van fraude, door implementatie van allerlei interne beheersingsmaatregelen. Maar de aspecten 'druk' en 'rationalisatie' laten zich niet vangen met interne beheersingsmaatregelen. Het spreekwoord luidt 'De gelegenheid maakt de dief', maar bij fraude is het vaak andersom: druk en rationalisatie bewegen de fraudeur tot het creëren van de gelegenheid. Bovendien kan je de gelegenheid nooit helemaal dichttimmeren. Dat snap je toch wel Pieter?"

"Maar Ariën, gaat al die energie dan naar de gelegenheidsvraag, wordt daar echt naar gekeken, is dat zo; of zeggen we dit wel, maar doen we dat niet?"

"Zolang de risicogerichte controleaanpak bestaat zal er altijd de mogelijkheid zijn dat fraudes niet worden ontdekt. Ik denk dat accountants veel energie besteden aan het aspect gelegenheid, maar ten aanzien van druk en rationalisatie kan er nog veel worden gewonnen. De gelegenheid is maar een deel van het verhaal. Vergeet voorts de off book fraudes niet, zoals bijvoorbeeld corruptie/omkoping. Ga je dat met data-analyse blootleggen? Ik betwijfel het."

Ik zucht. Zondagmiddag, weer een nieuwe week, volgende dag een vaktechnisch overleg (VTO), team inspireren. Ja, ik begrijp deze zorg wel, als we overdreven veel aandacht besteden aan AO/IC (preventie), terwijl de fraude hieromheen plaatsvindt, dan is detectie als vangnet leuk, maar het blijft dweilen met de kraan open.

Terug naar detectie, hoe goed doen we dat nu al? Ik neem jullie kort mee in een machine learning pilot idee dat we hebben uitgerold deze zomer. Het is gebaseerd op patronen van mogelijke fraude herkennen, vervolgens patroon naar patroon valideren (wel/geen fraude), net zolang tot patronen 'naar boven komen' die daadwerkelijk een fraudesignaal zijn. Deze patronen vervolgens weer toetsen aan IST data… etc.

Hoe denk je dat deze pilot gaat? Is het van meerwaarde? Nou, heel eerlijk, het is wellicht een van mijn onze grotere uitdagingen, wellicht de grootste tot nu toe in 26 jaar auditing. Ik heb nog steeds twijfels, ondanks mijn enthousiasme en de bak aan uren die we investeren. Die ijsberg vangen in ML scripts is nog niet zo eenvoudig. Op LinkedIn lees je natuurlijk alleen de mooie verhalen.

Wordt machine learning slimmer, beter dan inzet van old school data-analyse? Ik weet het niet. Machine learning in de audit vanuit fraudedetectie is toch écht iets anders dan machine learning-based creditcard activiteiten monitoring (redelijk eenvoudig) bij de banken (stabiele dataset, klanten met langdurige gedragspatronen etc).

Machine learning (roboting, andere hippe term, zelfde techniek) ten behoeve van het goedkeuren van facturen (als onderdeel van 3-way matching) kan een waardevol interne beheersmaatregel worden, maar is dan geen audit techniek, maar is ook AO/IC.

Natuurlijk zijn er goede achteraf-analyses die redelijk makkelijk zijn in te zetten om enige vorm van (eenvoudige) fraude te detecteren. Er zijn al heel veel COS 240-achtige data-analytics dashboards ontwikkeld, waarin volledige datasets vanuit talloze invalshoeken worden beoordeeld. Ik deel deze dashboards zelf met mijn cliënten, die kunnen zelf ook zien wat voor vreemde transacties er continue plaatsvinden.

Niet toereikend? Ik stuur Ariën nog een bericht: "Wat denk jij, zitten we op het goede spoor met focus op technologie?"

"Pieter, er is te veel focus op de rol van de accountant bij fraudedetectie. Een accountant loopt niet 365 dagen per jaar in een onderneming rond. De cfo en ceo wel (hoop ik). En ik mag hopen dat een commissaris zich ook wat vaker in een onderneming laat zien dan de accountant. Die bestuurders en commissarissen, die hebben de primaire verantwoordelijkheid als het gaat om het voorkomen en detecteren van fraude. Dat blijft onderbelicht, waarom is me een raadsel. Als die bestuurders en commissarissen hun verantwoordelijkheid niet nemen, of in het kader van tone at the top niet of onvoldoende het goede voorbeeld geven, dan is er voor de accountant bijna geen beginnen aan en voor de onderneming geen redden aan. Zoals bij Wirecard het geval lijkt te zijn. Het is een misvatting dat de accountant een door en door verrotte bedrijfscultuur, met samenspannende bestuurders en/of commissarissen tijdig kan blootleggen met data-analyse. Data-analyse heeft zeker zijn nut in fraudebestrijding. Maar maak het niet te groot. Er is helaas geen shortcut om het veelkoppige fraudemonster te verslaan."

In het VTO deze week mijn zorgen nog maar eens gedeeld en geluisterd naar Ariën: "Maak het niet te groot." Die machine learning pilot zetten we door. Maar laten we er niet over gaan roeptoeteren dat dit het ei van Columbus is.