Accountant
NBA-platform voor accountants en financials
Overig
Magazine Podcast Dossiers Nieuwsbrief Contact
Home >Vaktechniek> 2011 > 5 > Maakt data-analyse steekproeven overbodig?
Statistical Auditing (2)

Maakt data-analyse steekproeven overbodig?

Leestijd van ongeveer 3 minuten 9 reacties

Wat is de plaats van steekproeven in een omgeving waar data-analyse wordt uitgevoerd? Die vraag staat centraal in de tweede column in de serie Statistical Auditing.

Paul van Batenburg

Data-analyse omvat een verscheidenheid aan softwaretoepassingen waarmee we een beeld kunnen krijgen van de kwaliteit van een dataset. Dit door te toetsen op vooraf gespecificeerde risico's.

Data-analyse kan veel soorten (mogelijke) fouten identificeren. Daarbij zijn verschillende gradaties van foutdefinities te benoemen (zie onder deze column). Maar ook gegevens die voor deze ‘tests' slagen, kunnen nog fout zijn. Een datum kan wel op correcte wijze zijn ingevuld, maar hoe weet de controleur of auditor of iemand werkelijk op 1 augustus 1986 in dienst is getreden? Ook bij geconstateerde strijdigheid met gegevens in een ander bestand rijst direct een vervolgvraag: is dat andere bestand correct?

Dit soort controles met behulp van data-analyse verschuiven het controleprobleem dus alleen maar.

Steekproeven doe je alleen als je niet integraal kunt controleren. Wanneer voor een controle brongegevens nodig zijn, is dat vaak het geval. Tenzij je heel zeker weet dat die brongegevens honderd procent correct digitaal beschikbaar zijn.

Steekproeven zijn (nog) vaker nodig dan gedacht, omdat vaak ten onrechte wordt aangenomen dat de juiste gegevens zijn opgeslagen. Alles wat niet matcht is fout, maar niet alles wat matcht is per se correct! Een voorbeeld: betalingen toetsen aan betaalopdrachten, zonder je af te vragen waar die betaalopdrachten vandaan komen

Voordeel van steekproeven is dat je ook kunt stuiten op foutsoorten waarvan je niet wist dat je ze in een integrale data-analyse moest meenemen (de unknown unknowns van Rumsfeld), omdat ze niet als risico waren benoemd. Data-analyse kijkt immers alleen naar die zaken waarvan vooraf is vastgesteld dat je er naar moet kijken.

Andersom kan data-analyse heel effectief en efficiënt zijn om fouten op te sporen voordat ze in een steekproef tot foutmelding leiden. Niets is zo vervelend als bij een steekproefcontrole een fout constateren die al vooraf met data-analyse had kunnen worden opgespoord.

In de audit worden steekproeven gebruikt om assurance te geven dat een bestand goed (genoeg) is. Anders dan bij data-analyse is niet het zoeken van fouten is het doel, maar het op zo'n manier vinden van voldoende correcte waarnemingen dat kan worden aangenomen dat deze ook representatief zijn voor de niet-gecontroleerde gegevens.

Steekproeven waren altijd alleen in bijzondere gevallen nodig. Data-analyse vervangt steekproeven niet en maakt ze niet overbodig, maar maakt ze effectiever en efficiënter. Andersom laten steekproeven zien of de data-analyse volledig is geweest.

Best of both worlds.

Foutdefinities data-analyse

Incorrect

  • velden die leeg zijn en gevuld zouden moeten zijn, kunnen niet correct zijn (een leeg veld waar een geboortedatum verwacht wordt)

  • velden die zijn gevuld met data die niet voldoen aan het vereiste format ("weet niet" bij een geboortedatum, maar ook 8-10-54 waar 08-10-1954 werd gevraagd), kunnen niet correct zijn (al is de juiste waarde soms wel te achterhalen)

  • velden die zijn gevuld met data die niet voldoen aan een vooraf gespecificeerde plausibiliteitseis, kunnen niet correct zijn (geboortedatum 31 februari)

Intern strijdig

  • velden die zijn gevuld met data die niet kunnen kloppen met andere gegevens in hetzelfde bestand (Diagnose Behandelings Combinatie voor een man die een gynaecoloog bezoekt): we weten dat er iets fout is maar niet wat er fout is

Extern strijdig

  • velden die zijn gevuld met data die niet kunnen kloppen met andere gegevens in een ander bestand (kilometerdeclaratie van zieke werknemer): we weten dat er iets fout is maar niet wat er fout is

Misschien incorrect

  • velden die zijn gevuld met data die (wellicht onterecht) onwaarschijnlijk lijken (geboortedata van personeel vertoont een piek in maart).

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Reageer

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

9 reacties

Hein Kloosterman

Data-analyse zou pas equivalent kunnen zijn aan integrale detailcontrole als ten eerste alle Ist-posities én alle bijbehorende Soll-posities in de beschikbare bestanden aanwezig zijn en ten tweede steeds de relatie tussen de Ist-posities en Soll-posities kan worden gelegd (trail). Als we analyseren wat er bij de controle van een ieder element van de steekproef gebeurt, dan zien we dat iedere getrokken boeking moet overeenkomen met zijn primaire vastlegging. Vaak is er echter sprake van een verzameling vastleggingen in zowel bijvoorbeeld een bestand, een ordner, een dossier of een combinatie daarvan. Oftewel die relatie, die trail, die vereist wordt, is vaak niet beschikbaarbaar. Mijn ervaring is dat “vaak” gelijkwaardig is aan “bijna altijd”. Daarnaast gaf Paul van Batenburg in een van zijn reacties aan dat de controle erop gericht is om vast te stellen dat de verantwoording “goed” is en dus het onderzoek moet gericht zijn op goedkeuren. Dat is met een steekproef te organiseren. Omdat de data-analyse die we meestal gebruiken erop gericht zijn vast te stellen dat iets “fout” is, is dit instrumentarium 180 graden anders gericht. Er moet dus een vertaalslag achteraankomen dat de techniek toch wel iets over het “goed” zijn zegt. Die slag zag ik nog niet. Zo wordt het beredeneerbaar dat er meerdere redenen zijn waarom data-analyse en steekproeven geen gelijkwaardige instrumenten zijn. We moeten dus ook niet doen alsof.

Paul van Batenburg

Beste Frans: ik denk dat ik met COS 450 (6-10) in de hand je kan laten zien dat het integraal corrigeren van bekende fouten zelfs verplicht is. Waarom zou je wachten tot je in de steekproef een leeg veld op een essentiele plek in een bestand aantreft als je vooraf alle records met lege velden kan uitzonderen? De accountantsverklaring is toch niet "wij kwamen en zagen dat het goed was" maar "het is nu goed genoeg mede dankzij onze controle"? Probleem is m.i. niet het draaien van uitzonderingsrapportages maar het idee dat dat dan ook meteen de hele controle is!

Frans Kersten

Dag Paul, Ik heb wat moeite met je zin: Niets is zo vervelend als bij een steekproefcontrole een fout constateren die al vooraf met data-analyse had kunnen worden opgespoord. Dit dan tegen je reactie op een een andere reactie op de eerste bijdrage over accountantscontrole versus interne controle. Als voor een mathematische steekproef gekozen wordt om vast te stellen of een (deel van een) verantwoording geen fouten van materieel belang bevat, dan past het m.i. niet om vooraf al al fouten uit die verantwoording te halen. Dat verandert m.i. de uitkomst van de steekproef en roept een beeld op van de accountant die het niet durft een andere dan een goedkeurende verklaring te geven. Eenzelfde gevoel waarom ik in het verleden accountants tegenkwam die juist geen mathematische steekproeven wilden gebruiken omdat als de uitkomst negatief was, deze zo "hard" was dat het dan nog moeilijk was tot goedkeuring te komen.

Paul van Batenbirg

E. de Reijer stelt: "Dankzij de rekencapaciteit van sterke computers is een 100% gegevensgerichte controle van de integriteit van bestanden mogelijk.", en concludeert dat op grond van mijn bijdrage. Het gekke is dat ik nou juist heb willen aantonen dat dat niet zo is: plausibilteit wel, integriteit niet. Mijn oneliner "Steekproeven doe je alleen als je niet integraal kunt controleren." was bedoeld om te doen beseffen dat integrale controle mbv de computer heel vaak niet kan. Misschien had ik beter kunnen schrijven "Steekproeven doe je altijd als je niet integraal kunt controleren." Maar ik ga niet opnieuw beginnen.

Pieter de Kok

Mooie stelling Erik! Sub-stelling hiervan afgeleid: tijd voor hele praktische en uit de praktijk gegrepen voorbeelden rondom inzet steekproeven dan wel data-analyse om te laten zien dat we zowel een jaarrekening kunnen controleren als ondernemers helpen de AOIC beter, scherper, in te richten. Win win. Hij is wat lang, maar het gaat ergens om hè, niet alleen de formele kant, maar ook meedenken. Wilco Schellevis, kunnen we dit meenemen in het best practise Over de Muurtjes heen project van TUACC, kennisdelen?

drs EC (Erik) de Reijer RA

Ik waardeer je statement: "Steekproeven doe je alleen als je niet integraal kunt controleren." Het voorbeeld van een mannelijke patient bij een geneacoloog sprak mij aan. Dankzij de rekencapaciteit van sterke computers is een 100% gegevensgerichte controle van de integriteit van bestanden mogelijk. Dit in combinatie met kunstmatige intelligentie of business rules: als dit dan is dat niet mogelijk (foutmelding) of onwaarschijnlijk (signaal). Prikkelende stelling: Het gebruik van steekproefen is een vorm van luiheid. Het mag alleen gebruikt worden als de 100% controle aanzienlijke handmatige arbeid vereist.

Paul van Batenburg

Wat ik bedoel met unkown unknowns is dat je in een steekproef geen foutdefinitie hanteert maar een goeddefinitie:pas als het goed is is het goed ongeacht de reden. Je hoeft de reden voor de fout niet vooraf te specificeren, en bij data analyse wel. Overigens was de bedoeling van deze reeks om steekproeven uit te leggen dus mischien kunnen we nu aan het hoofdmenu beginnen...

Gideon Folkers

De opmerking met betrekking tot als het een bestand matched met het andere bestand, die nog niet perse goed is, is een goed punt. Uiteraard moet je bij een data analyse goed nadenken over hoe bestanden tot stand komen en of het wel zin heeft om bestanden met elkaar te vergelijken. Naar mijn idee verkrijg je nog altijd wel zekerheid als je diverse kruisverbanden en ontwikkelingen aantreft tussen verschillende bestanden. De betrouwbaarheid toets je immers ook door het aansluiten met gegevens die via een andere weg tot stand zijn gekomen. In het stuk wordt aangegeven dat data analyse alleen kijkt naar vooraf gedefinieerde risico's. Maar bij een steekproef moet je van tevoren toch ook zo specifiek mogelijk je definitie van een fout aangeven? Als je een fout vindt die niet in de fout definitie van de steekproef valt, dan is deze in principe niet fout.... Wordt hier dan bedoeld dat je bij het uitvoeren van een steekproef gelijk ook andere zaken bekijkt die je van tevoren niet als fout had gedefinieerd? Dit is dan toch niet echt efficiënt controleren?

Bertusje

Beste Paul, Kan je een voorbeeld geven van hetgeen je schrijft in de alinea over Rumsfeld? Daarnaast: Is de conclusie van je betoog niet simpelweg dat steekproeven een breder toepassingsgebied hebben dan data-analyse? Immers, de voorbeelden van data-analyse die je geeft zijn ook met steekproeven te onderzoeken, zij het dan slechts met een waarschijnlijkheid gegeven dezelfde controlevraag. Dat een data-object meerdere foutdimensies heeft waardoor verschillende controletechnieken nodig zijn lijkt mij niet uniek voor de combinatie data-analyse / steekproef. Inventarisaties en saldo-bevestigingen etc. maken steekproeven evenmin overbodig.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.

Relevantie Datum