Statistical auditing (45)

Geauzomofo: u bent nog lang niet jarig!

Op het achtste symposium van de Stuurgroep Statistical Auditing, op 20 mei 2015, heb ik het begrip Geautomatiseerd Zoeken naar Mogelijke Fouten (Geauzomofo) geïntroduceerd.

Paul van Batenburg

Binnen de oceaan aan big data analytics zwemt dit in het spartelvijvertje van toepassingen die specifiek interessant zijn voor de controle van verantwoordingen. Ik vroeg mij af of een accountant er gegevensgerichte zekerheid aan kan ontlenen.

Wat is Geauzomofo?
Op een bestand met geboortedata van personeelsleden kun je een query loslaten om (mogelijke) fouten af te zonderen (lege velden, 31 april, een datum voor 1900, maar ook 1 januari 1960 etc.) maar je kunt niet zonder externe gegevens vaststellen dat een geboortedatum correct is ('Ik weet niet wanneer je wel jarig bent, maar wel wanneer je niet jarig bent'). In een bak met gekleurde ballen die groen zouden moeten zijn, kan ik dus niet die groene eruit vissen, maar wel rode of witte.

Het geautomatiseerd zoeken naar mogelijke fouten is dus een techniek die je kunt toepassen bij de controle van een bestand zonder gebruik te maken van een externe bron. Door te definiëren hoe een mogelijke fout eruitziet, toets je het bestand aan die norm. Het is dus nadrukkelijk geen controle, want bij controle toets je aan de soll-positie, de norm voor wat goed is (de 'goeddefinitie'), en hier toets je aan een 'foutdefinitie'.

Nu zal er vast wel een reageerder komen die zegt dat je ook op zoek kan gaan naar een bestand waar de soll-positie in zit en dan integraal kunt matchen, maar dan hebben we het nu over de controle van dàt bestand. Het bestand waarvoor geen soll-bestand is. De moeder aller bestanden.

Helpt Geauzomofo?
Het grootste voordeel van het zoeken naar fouten is dat je bij controle van het bestand dat overblijft nadat alle uitzonderingsrapportages eruit gehaald zijn, een steekproef kunt hanteren waarin je deze fouten niet meer zult vinden en niet achteraf hoeft te isoleren en herstellen. Misschien kan de steekproef dus kleiner, omdat je minder (of geen?) fouten meer verwacht. Misschien.

Helpt Geauzomofo echt?
De meest relevante vraag voor deze tak van data-analyse is: als ik geautomatiseerd fouten uit een bestand heb gehaald, is het bestand dan opgeschoond of zijn er nog meer soorten fouten? Gelooft u dat een vliegtuig veilig is als de fabrikant zegt dat er tijdens de testvlucht zo veel fouten zijn gevonden?

Hoe kom je erachter of Geauzomofo geholpen heeft?
De makkelijkste, snelste, meest transparante manier om te zien of nu ook álle fout(oorzak)en door een query zijn afgevangen, is een steekproef. Als de omvang goed is gekozen en de resultaten geen fouten bevatten, zijn er met redelijke zekerheid geen materiele fouten meer achtergebleven en is de Geauzomofo geslaagd (en 'volledig').

Wat heb ik nou aan Geauzomofo?
Iets, misschien. Je kunt pas vertrouwen aan de Geauzomofo ontlenen als die uitzonderingsrapportages  geen fouten bevatten. Dat vertrouwen wordt pas assurance als de daarna getrokken steekproef foutloos is. En die assurance wilde je juist hebben om de steekproef te reduceren.

Blijft staan dat het grote voordeel van het geautomatiseerd zoeken naar mogelijke fouten is dat al déze fouten opgespoord en gecorrigeerd kunnen worden. We hoeven dus niet achteraf steekproeffouten te isoleren, met alle risico van het onderschatten van de mogelijke consequenties van de foutoorzaak. Voor wat betreft de ons bekende foutoorzaken. We blijven zonder die extra steekproef zitten met de vraag hoe erg de ons onbekende foutsoorten zijn.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

7 reacties

Paul van Batenburg

@Glenn: de cirkelredenering die jij ontdekt is precies wat ik wilde laten zien: als je aantoont dat Geauzomofo werkt ben je de efficiency er van kwijt. Dat levert vast veel duimpjes omlaag op, maar het jongetje dat riep dat de keizer geen kleren aan had was ook niet populair.
Maar, neem een stap terug: accountantscontrole gaat toch niet over het zoeken naar fouten? Accountantscontrole gaat over het bevestigen dat iemand anders, bijvoorbeeld de gecontroleerde, naar fouten heeft gezocht en daarnaar heeft gehandeld.

Glenn Mungra

Mijn onvermogen in het voorgaande commentaar om antwoord te geven op de hamvraag: "kan de accountant gegevens gerichte zekerheid eraan ontlenen? " komt waarschijnlijk door het volgende probleem.

Zodra je uit het onderzoek van de data direct de conclusie kunt afleiden dat het klopt, kun je daaraan keihard gegevensgerichte zekerheid ontlenen.
Maar in dit geval wordt de conclusie indirect afgeleid vanuit het denkraamwerk van de accountant over de data. Het causaal verband loopt dus andersom (nl. vanuit de theorie naar de gegevens.)

Glenn Mungra

Uiterst interessante benadering. En Paul stelt een belangrijke vraag: kan de accountant gegevens gerichte zekerheid eraan ontlenen?

De benadering (het geautomatiseerd zoeken naar mogelijke fouten) roept wel wat vragen en twijfels bij me op. Ik zal een poging doen om uit te leggen wat ik bedoel. Maar dat is gewaagd omdat ik hiermee balanceer op het randje van mijn denkvermogen, vrees ik. En een antwoord op bovenstaande hamvraag kan ik helaas ook niet geven.

1. Als je een 'soll-bestand' moet toetsen aan een 'foutdefinitie' dan is het ook relevant met welke waarborgen (tegen fouten) de totstandkoming van dat soll-bestand is omgeven (organisatorische omgeving, inputcontroles, geautomatiseerde checks op plausibiliteit, validiteit, check op ongestoorde werking van het programma etc.)

Maar indien dergelijke fouten in de data bij de totstandkoming en het onderhoud van tevoren al eruit zijn gefilterd, dan verwacht je niet dat dergelijke fouten bij een controle toch in de data voorkomen.
En als deze fouten wel aangetroffen worden dan was dit een onmisbare en waarschijnlijk onvervangbare controle op die data.

Ik denk daarom dat Paul een belangrijke opmerking maakt als hij zegt: "Je kunt pas vertrouwen aan de Geauzomofo ontlenen als die uitzonderingsrapportages geen fouten bevatten."

2. De uitkomst van deze benadering helpt uiteindelijk een menselijke beslissing over de data of m.b.v. de data te sturen.

Maar als het gaat om een gecompliceerde of samengestelde beslissing zal de accountant ervoor moeten zorgen dat hij geen verkeerde (niet rationele) beslissing neemt binnen de context en binnen het mentale kader waarin hij op dat moment verkeert.

3. Een steekproef zou de aangewezen methode zijn om te zien of alle materiële fouten afgevangen zijn, en of de 'Geauzomofo' geslaagd (en 'volledig') is.

Ik sluit me daarbij aan, maar ik vraag me nog wel af of je zo gemakkelijk de 'volledigheid' van de 'Geauzomofo' kunt vaststellen. Voor ontbrekende, onbekende data zul je ook geen fouten (en misschien zelfs geen uitzonderingsrapportage) vinden en is de Geauzomofo 'geslaagd'. De aanwezige data zijn dan wel foutloos, maar zijn de data nog wel volledig als je het al die tijd slechts over het niet ontbrekend gedeelte van de data-massa hebt?

4. Het is me niet helemaal duidelijk wat ik met deze cirkelredenatie over assurance moet: "Je kunt pas vertrouwen aan de Geauzomofo ontlenen als die uitzonderingsrapportages geen fouten bevatten. Dat vertrouwen wordt pas assurance als de daarna getrokken steekproef foutloos is. En die assurance wilde je juist hebben om de steekproef te reduceren."

In het ideale geval wil je vanuit de gereduceerde steekproef een conclusie afleiden. Op zich is daar niets mis mee. Maar om dat te kunnen doen moet je eerst uit een analyse van de gegevens, zonder zekerheid daarover, oordelen dat je genoeg reden hebt om de steekproef te reduceren.

Maar ik wel geef toe dat het plausibel klinkt dat je minder kans op fouten hebt, naarmate je meer fouten gecorrigeerd en opgespoord hebt.

5. Paul noemde niet de mogelijkheid om de software automatisch (m.b.v. geprogrammeerde beslissingsregels) op basis van o.a. de foutenscore een samengestelde en gewogen risicoscore te laten berekenen. Misschien omdat dat zou betekenen dat de software dan ook rekening zou moeten houden met een samengesteld complex van intermenselijke, systeem en omgevings factoren.
Maar mijn opmerking is waarschijnlijk misplaatst omdat het hier slechts gaat om het voorbeeld van geautomatiseerd zoeken naar fouten via queries op een bestand om (mogelijke) fouten af te zonderen.

Paul van Batenburg

@Hans: zeker, weet je mij off-line te vinden? Aanstaande maandag t/m woensdag een driedaagse cursus hier over op Nyenrode!

Hans Kuipers

Aanvullend op onderstaande merk ik bij accountants (including me) dat we niet erg handig zijn met ICT toepassingen die ons kunnen helpen om de controle beter uit te kunnen voeren.
Dit wordt voornamelijk veroorzaakt doordat bij de opleiding tot accountant er niet genoeg aandacht wordt besteed aan dit aspect. In de opleidingen wordt veel theorie gebruikt maar de transisie naar het nieuwe werken is nog niet gemaakt.

Vraag aan Paul:
Werk je samen met opleiders om het onderwijsprogramma zodanig te wijzigen dat oa de beschreven methodiek ook een onderdeel wordt van het vakkenpakket in de accountancy?

Hans Kuipers

Ik heb de afgelopen tijd veel van deze artikelen gelezen maar in de praktijk heb ik dit niet kunnen implementeren.

Ik kom bij veel verschillende organisaties waar bigdata aanwezig is maar de link tussen bigdata en informatie die ik kan gebruiken voor mijn controle heb ik nog niet kunnen leggen.

Misschien is het een idee om per categorie (zorg, gemeenten, profit enz) inzichtelijk te maken welke big data relevant is voor de controle en hoe deze in te passen voor de controle van de jaarrekening.
Zo heeft iedereen helder welke Bigdata voor de jaarrekening relevant en bruikbaar is en het mooiste nog in welke sector we wat kunnen verwachten.

Jeroen Maan

Helder geschreven stuk, prima.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.