Statistical Auditing (1)

Waarom statistische steekproeven

Met ingang van mei 2011 schrijft de Stuurgroep Statistical Auditing maandelijks een vaktechnische column voor Accountant.nl. In de eerste aflevering een uitleg van de doelstelling van deze reeks.

Arjan Hassing

De eerste vraag is: Waarom statistische steekproeven?

De afgelopen jaren heeft de toepassing van statistische steekproeven als controlemethodiek steeds grotere vormen aangenomen. Niet alleen bij de uitvoering van jaarrekeningcontroles maar ook bij andersoortige werkzaamheden zoals de fiscale controles van de Belastingdienst.

Toch worden nog regelmatig geluiden gehoord over onbekendheid met en wantrouwen tegen de toepassing van statistische steekproeven.

Voorts rijst steevast de vraag: ‘Hoe moet een dergelijke steekproef worden uitgevoerd?'.

De onbekendheid en het wantrouwen kunnen wij ons voorstellen, omdat aan steekproeven - voor zover ons bekend - in bedrijfseconomische opleidingen en de opleidingen voor de accountancybranche relatief weinig aandacht wordt besteed.

Op de vraag hoe zo'n steekproef moet worden uitgevoerd kan gelukkig een goed antwoord worden gegeven - de statistische steekproef is namelijk geen rocket science.

De voordelen van statistische steekproeven zijn evident. Ten opzichte van integraal onderzoek kan met de toepassing van steekproeven een enorme tijdsbesparing worden gerealiseerd. En door de inbreng van de toevalsfactor bij de te kiezen elementen kan bovendien een betrouwbare en gefundeerde uitspraak worden gedaan over de hele gegevensverzameling.

Laatstgenoemd aspect is van belang. Weliswaar kan ook met andere deelwaarnemingen een grote tijdsbesparing worden gerealiseerd, maar door het ontbreken van het toevalselement kan op basis daarvan geen gefundeerde kwantitatieve uitspraak worden gedaan over de gehele gegevensverzameling. De bewijsvoering voor conclusies op basis van zulke andere deelwaarnemingen is doorgaans zwak en de deugdelijkheid van de conclusies niet bewijsbaar.

In deze serie columns gaan we proberen de lezer mee te nemen in de wondere wereld van de statistische steekproef. Daarbij zullen we ingaan op de in deze controlemethodiek gehanteerde begrippen en de aanpak van de uitvoering van een steekproef.

Voorts zullen we (geanonimiseerde) voorbeelden aanhalen uit onze dagelijkse controlepraktijk om de begrippen en aanpak toe te lichten.

Geïnteresseerde lezers kunnen op de columns reageren en/of er vragen over stellen. In een volgende aflevering zal daar dan - indien zinvol en van toegevoegde waarde - op worden teruggekomen, zodat een open discussie kan ontstaan. Zo'n discussie kan ons inziens een grote bijdrage leveren aan de succesvolle toepassing van steekproeven, aan onze controlewerkzaamheden en aan ons vakgebied in het algemeen.

Wij hopen op interessante en boeiende discussies en hopen voorts dat wij met de columns gaandeweg het eventuele wantrouwen kunnen wegnemen en de bekendheid met deze controlemethodiek kunnen vergroten.

Ten slotte wensen wij iedereen veel leesplezier toe.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Arjan Hassing is partner Advisory Services bij Ernst & Young Advisory - IT Risk and Assurance en lid van de Stuurgroep Statistical Auditing.

Gerelateerd

13 reacties

Gideon Folkers

Ik ben erg geïnteresseerd in de komende vaktechnische columns over Statistical Auditing. Veel accountants zijn (naar mijn ervaring) een beetje angstig zijn voor Statistische steekproeven. Waar dat precies vandaan komt, begrijp ik niet helemaal. Door middel van steekproeven kun je naar mijn idee het professional judgement kwantificeren. Als accountant zijn wij toch echte "rekenmeesters"? Zouden we dit dan juist niet juist met zijn allen moeten omarmen? Ook ik hoor in accountantsland dat als we er "25 pakken" we dan genoeg gedaan hebben. Dit wordt dan een kritische deelwaarneming genoemd (vooral geen steekproef!) en dan zijn we weer tevreden. Gezien de omvang van de datastromen tegenwoordig, kunnen we daar naar mijn idee niet meer mee weg komen. Bij het bepalen van steekproeven komt wel een subjectieve inschatting van de parameters om de hoek kijken. Het bepalen van de omvang van de steekproeven is behoorlijk afhankelijk van deze inschatting. Door hier goed over na te denken, heb je wel een veel betere onderbouwing voor de omvang van je werkzaamheden dan maar een "willekeurige" getal van 25 te pakken. Dit is naar mijn idee ook de bedoeling van de COS: blijf nadenken over wat je doet. Ik zie naast steekproeven ook de grote toegevoegde waarde van data-analyse. Met data-analyse kun je moeilijker zekerheid krijgen over beweringen inzake volledigheid, wat niet in de data zit, kun je immers ook niet analyseren. Dit geldt naar mijn idee ook voor steekproeven, omdat je ook hierbij selecteert vanuit de geregistreerde gegevens. Door het slim combineren van datastromen ontdek je wel sneller of de verbanden die je verwacht ook aanwezig zijn, of dat er andere opvallende zaken naar voren komen die nader onderzoek vereisen. Afsluitend, data-analyse op alle transacties en steekproeven sluiten elkaar zeker niet uit. Ik ben erg benieuwd naar de komende columns om ook meer te leren over de praktische toepassing van steekproeven in de praktijk. Goed initiatief!

Willem D. Okkerse

Beste Pieter, In je voorlaatste antwoord verwijs je naar een website en Starreveld. Welnu, in 1989 startte ik met de voorloper van de OK-Score gebaseerd op diezelfde gedachte (Petri-netten). Ik ben daarvan in 1991 afgestapt omdat het niet tot het gewenste resultaat leidde. Een concept waarvoor destijds nog Paardekooper & Hoffman Fl 250.000 voor over had om te kunnen kopen. Controletechnisch levert het enig inzicht op evenals onevenwichtige kostenstructuren; het zal echter niet of nauwelijks fraudes zoals van de magnitude van Enron, Innoconcepts en Parmalat of Ahold ontdekken en zal zeker niet in staat zijn om faillissementen eerder te voorspellen. Het fenomeen waarmee ik mij sinds medio 1995 mee heb bezig gehouden.

Pieter de Kok

Meneer den Haan, u heeft helemaal gelijk, het kan allemaal nog net niet helemaal, de tiotaalverbandcontroles en opvolgende verschillenanalyses zijn welicht nog simpel, maar wij hebben met elkaar zo mooi vak, moeten blijven nadenken, anticiperen, door ontwikkelen, wat nu niet kan, wellicht morgen. U speekt over EDI, ik denk aan XBRL, zelfde uitgangspunten. Zie ook Www.Accountant.nl/Accountant/Archief/Archief+'de+Accountant'/2010/De+vernieuwer+Its+the+data+stupid.aspx Paul en ik drinken in juni een kop koffie, wellicht dat we de wereld van steekproeven en data-analyse 100% aan elkaar kunnen knopen en een mooie, waarde toevoegende, controleaanpak kunnen definiëren. Ik weet nog wel iemand die ea ook nog wel wetenschappelijk wil onderzoeken. Mooiste vak!

P.J. den Haan

Volgens mij is het zeker nog niet gebruikelijk om electronische data als bron te nemen: ik heb nog nooit gezien dat alle facturen van alle (meestal vele honderden) leveranciers via EDI worden aangeleverd. Logisch ook: dat vergt gigantische investeringen en dito onderhoudskosten, die voor kleine leveranciers lastig rendabel te maken zijn. Zelfs als deze hindernis overwonnen is, blijf integriteit van de data een heikel punt: om die te waarborgen, zou digitale ondertekening nodig zijn van zowel de verzender als de ontvanger, vanwege het non-repudiation probleem. Kortom: nee, ik geloof niet dat de papieren factuur spoedig tot het verleden gaat behoren. Mijns inziens blijft Paul's argument valide: de meeste 100% controles zijn "simpele" verschillenanalyses, waarbij invoerfouten bij de bron (ook in een volledig geautomatiseerde Starrenveld-wereld) niet opgemerkt zullen of zelfs kunnen worden.

Pieter de Kok

Paul, dank voor je reactie. Lijkt mij leuk om nog eens verder van gedachten te wisselen. Van steekproef naar 100% transacties als agendapunt. Vraag ik jou ondertussen om naar dit plaatje te kijken. .computationalauditing.com/images/Kring.swf . je moet er even www. voorzetten, maar de redactie van deze mooie site heeft een beveiliging op hyperlinks gezet. Dit is zomaar een voorbeeld onder het denken in termen van 100% data-analyse, zowel binnen een assurance als een non-assurance omgeving. Kapstok van al dit moois: De klassieke waardekringloop van onze leermeester wijlen de heer Starreveld, in een plaatje anno 2011. Er zijn een aantal partijen bezig om dit mooie uitgangspunt verder te concretiseren, helemaal geweldig! Deloitte ook neem ik zomaar aan? Ga ik nu even verder met mijn ‘roeping’, die ik net iets breder heb gedefinieerd dan wellicht een willekeurige andere collega: waarde toevoegen + jaarrekening controleren. Het een sluit het ander niet uit. Ik zal uiteraard mijn huiswerk doen en jou website www.steekproeven.eu verder bestuderen. Ieder zo zijn invalshoek en vertrekpunt. Spreek je snel wellicht. Pieter

Joris

heren, heren - mag sommigen van u tot enige realiteitszin manen. Poisson, normaal, hypergeometrisch..... De keiharde waarheid is dat voor de gemiddelde accountant het getal 25 zonder enige onderbouwing evenveel wiskundige relevantie heeft als het getal pi, de reeks van fibonacci of de gulden snede.Volgens mij kunnen goed uitgevoerde steekproeven enorm veel bijdragen aan assurance opdrachten. En ja, ook ik denk dat de norm in de niet al te nabije toekomst digitaal vast komt te liggen. En op dat moment is de steekproef wel het minste probleem van de accountant! Resumerend: vaktechnische column is wat mij betreft van harte welkom!

Hans Hupje

Ik geloof dat we elkaar eigenlijk best wel goed begrijpen als het gaat om de toe te passen verdeling bij statistiche steekproeven. De primaire vastlegging kan op papier staan maar dat is steeds minder het geval en zeker voor intern gegenereerde transacties wordt de norm vaak in het systeem onderhouden, geautoriseerd,etc. Dus wanneer de primare vastleggingen op papier staat of onderhouden wordt (niet elektronisch) en groot in aantal is, dan gaan we overwegen om statische steekproeven uit te voeren?

Paul van Batenburg

ja hoor, de Normale en de Poissonverdeling wil ik graag uit elkaar halen! We zijn hier bezig met attributen, die goed of fout kunnen zijn. Zo'n kwalitatieve variabele'kan je niet meten en daarom is de normale verdeling niet aan de orde. Die gaat over bijvoorbeeld de (juiste) waarde maar niet over de vraag of die waarde ja of nee juist is. Bij schattende steekproeven wordt die inderdaad gebruikt maar bij toetsende steekproeven niet. We kunnen dus alleen maar tellen hoeveel fouten in een steekproef voorkomen. De kansverdeling van het aantal fouten is in theorie hypergeometrisch maar die kan je benaderen door een binomiale of een Poissonverdeling. Hoe abstracter de benadering, hoe onzorgvuldiger, dus des te groter de benodigde steekproef om te kunnen toetsen. Als je met alle geweld wilt kan je deze Poissonverdeling (die scheef is, dus een meest waarschijnlijke fout heeft kleiner dan de verwachte fout) benaderen door een normale verdeling. Categorie kanon op mug. Die is symmetrisch, waardoor je op veel te grote steekproeven komt. Maar dat is statistiek, en het gaat hier over auditing. Hoe kan je alle transacties controleren? je kan ze matchen met een ander bestand, maar hoe weten we dat dat andere bestand klopt? Verplaatsen van het controleprobleem kan soms handig zijn, maar het lost het niet op. Uiteindelijk heb je toch een confrontatie nodig met een primaire vastlegging, en dan, en alleen dan, kunnen steekproeven uitkomst bieden.

Hans Hupje

Paul, In plaats van betalings opdrachten suggereer ik dat all bank transacties gecontroleerd worden. Vele jaren terug liep Nederland al decenia vooruit op het gebied van electronische betalingen en ik neem aan dat dat nog steeds het geval is. Zelfs kleine bedrijven kunnen tegenwoordig (vrijwel) alles electronisch uitvoeren. Mijn opmerking had geen betrekking op de materialiteit (die is overigens nogal klein bij licentie onderzoeken) en het gebruik daarvan in de controle van een jaarrekening, maar mijn "wantrouwen" over het gebruik van de poisonverdeling zonder vooraf te weten of een dergelijke verdeling eigenlijk wel juist is voor de onderzochte populatie. Gebruik de normale verdeling en je moet opeens aanzienlijk meer steekproeven toepassen om tot de zelfde betrouwbare uitspraak te komen. Als docent statistiek kun je waarschijnlijk in twee regels dit misverstand uit de wereld helpen? Ik heb absoluut niets tegen statistische steekproeven (jou vakgebied), wel de mogelijke onjuiste toepassing daarvan. Overigens ACL ondersteunt ook het gebruik steekproeven - en ook ik verkoop geen ACL, IDEA etc. Met veel plezier ga ik de volgende afleveringen volgen en neem aan dat de stuurgroep mij in de komende weken/maanden weer op het rechte pad brengt door uit te leggen waanneer het commercieel goed is voor de controle en de klant om deze toe te passen in plaats van andere controle methoden en daarmee het "wantrouwen" wegneemt.

Paul van Batenburg

Voorgaande reageerders zien over het hoofd dat "100% controle met behulp van ACL" of andere "data analytics software" alleen maar in staat is om die risico's te onderzoeken die vooraf zijn bedacht. Bovendien zal voor 100% controle de norm ook digitaal moeten zijn opgeslagen, en wie weet of dat wel juist is gebeurd? Of willen we betalingen toetsen aan de betaalopdrachten en dat controleren noemen? Slimme software is nooit slimmer dan de maker er van. Daarom is een steekproef zo handig om na te gaan of die kritische deelwaarneming wel volledig is geweest (COS 530 A55). Misschien moeten we niet denken in of/of maar in en/en: data analyse voorkomt dat je in de steekproef fouten vindt die je vooraf had kunnen uitfilteren en steekproeven laten zien of die data analyse wel nut heeft gehad. AT:Wat betreft die schrijver die niet snapt hoe je een materialteit kan bepalen zonder de werkelijke fout te weten: u mag uw negen best teruggeven. AT: Die accountant die toegevoegde waarde wil leveren door opvallende transacties te fileren: u bent uw roeping misgelopen, u had interne controle moeten worden. Accountants zijn er niet om fouten te vinden maar om redelijke zekerheid te geven dat er geen materiele fouten meer zijn.

Niels van Nieuw Amerongen

Beste Arjan, ik vroeg me na het lezen van deze eerste kolom over statistical auditing eerlijk gezegd ook wel af in hoeverre je het genoemde voordeel van een statistische steekproef niet eenzijdig belicht. Ik neem vanuit de praktijk - naast de tendens die Pieter de Kok noemt, ook de tendens om weer minder aan statistische steekproeven te gaan doen bij jaarrekeningcontroles en meer met kritische deelwaarnemingen, vooral ook uit efficiency overwegingen. Ik hoop dat de komende columns me meer zullen overtuigen en hoop dat hierin tevens een goed vergelijk wordt getrokken met data-analysemethoden van deze tijd alsook de vergelijking met kritische deelwaarnemingen. Voor de duidelijkheid: ik ben geen re-seller van enig tool ;-). hartelijke groet Niels

Pieter de Kok

Hans zegt het, ik dacht het. Waarom een steekproef ipv alternatief: 100% van de transacties, met inderdaad ACL software als tool. Als aanvoerder van Tuacc ben ik transparant. Continuous auditing (als accountant, internal auditor) versus continuous monitoring van kritische transacties, performance (process mining, business, process owners) moet en kan vanuit assurance perspectief met ACL, 100% , maar ook met software van IDEA of andere data-analyse leveranciers. Klopt, Coney is naast een innovatief accountants-advieskantoor ook reseller en implementatiepartner van ACL (data-analyse) en ReflectOne (process mining) in de Benelux. Dit allemaal in kader van transparantie. Er zijn tientallen artikelen geschreven in periode 2006-2011 over CA / CCM / Process Mining. Zowel uit perspectief van controlerend accountant, internal auditors, compliance officer, als vanuit de ondernemer, de business, de proces eigenaren. Waarom in vredesnaam aandacht voor steekproeven, waarvan, zoals Hans stelt, niemand vanuit klant (en hoogst waarschijnlijk het team zelf) begrijpt wat je aan het steekproeven bent. Waarom als accountant niet gewoon tastbaar toegevoegde waarde leveren en opvallende transacties filteren, communiceren en deze aanpak in je controle aanpak verweven. Op ondernemers de passie overdragen rondom thema Continuous Monitoring, bewaken van prestaties, risico’s’. Zinvol. Focus op dubbele betalingen, opvallende kortingen, te hoge creditnota's, de geld- goederenbeweging nabootsen, inzicht geven in feitelijke marges, omloopsnelheden, de harde transacties, de echte werking van processen. Klanten erbij betrekken, mooiste vak, concreet maken! Pieter

Hans Hupje

Als NIVRA student was statistiek inderdaad een lastig vak: had ik mazzel of het uiteindelijk begrepen en geen slordigheden begaan (?!) en zo een negen gehaald. Wat ik nooit heb begrepen is hoe je kunt uitgaan van een klein risico en daarom de poison verdeling toe te passen en tot een acceptable steekproef groote komen als je de klant en daardoor het oorspronklijke risico niet echt kent. Voorbeeld: de eenmalige controles zoals van een "licensee", etc. In onze wereld van brand management is het heel gebruikelijk om voor een royaltie audit de "licensee" de goederen beweging te laten opstellen en daarop steekproeven op los te laten (of is dit een trial and error methode?). Alle Big 4 firms die bij ons in de UK de licentie kosten komen controleren, voeren op deze wijze hun werkzaamheden uit met meedere mensen voor 3-4 weken. Een heel pijnlijk process. Ondergetekende controleert in circa enkele dagen iedere transactie die de laatste drie jaar door de boeken gaat met behulp van ACL software: alle goederen die gekocht en/of gemaakt zijn, van levering aan het eerste magazijn tot verkoop (in de eigen winkels). De daaropvolgende controle van de betaalde en te betalen licentie kosten kan dan ook voor iedere transactie uitgevoerd worden. In deze tijd van terra bytes, data analytics software, wanneer is een statistische steekproef het meest efficiente controle middel om de "audit risk" te reduceren tot aanvaardbare niveaus? Ga je dan aan de klant uitlegen dat statistisch gezien hij vele euro's te weinig of te veel heeft gekregen of uiteindelijk deel verzamelingen integraal controleren....

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.