Statistical Auditing (32)

Bayesiaanse statistiek: wat kan je er mee?

Een stevig onderwerp deze keer: Bayesiaanse statistiek, controle en internal control.

Paul van Batenburg

Een voorbeeld. Uit een populatie van 1 miljoen euro's is een geldsteekproef van 400 waarnemingen getrokken. Daarin zijn 4 (‘hele") fouten geconstateerd. Dat betekent dat de beste schatting voor het aantal onjuiste euro's in de populatie 1 procent, dus 10.000 euro, is. Van die 4 fouten waren er 2 van hetzelfde type: door controlemaatregel C hadden deze voorkomen kunnen worden. De beste schatting voor het aantal euro's in de populatie dat door het ontbreken van die maatregel onjuist is, is 5.000. Maar hoeveel euro's hadden we daarvoor door die controlemaatregel moeten laten beoordelen? Stel dat er in de steekproef ook 118 correcte euro's zaten die met die 2 fouten vergelijkbaar waren en dus ook door controlemaatregel C geraakt waren. Dan komen wij op een deelverzameling C van 300.000 euro's.

steekproef

 

 

 

C

non C

 

error

2

2

4

correct

118

278

396

 

120

280

400

Omdat elke steekproefeuro representatief is voor J = 2.500 euro's in de populatie krijgen we de volgende tabel voor de populatie:

 

C

non C

 

error

5.000

5.000

5.000

correct

295.000

695.000

990.000

 

300.000

700.000

1.000.000

Laten we deze tabel eens nader bekijken:

  1. De helft van alle fouten komt voor in de deelmassa die door controlemaatregel C is geraakt, maar in die deelmassa is de foutkans 1,67 procent.
  2. De overall foutkans is 1 procent, en in de deelmassa C is die 1,67 procent. In de andere deelmassa is de foutkans 0,70 procent. Dus euro's in deelmassa C zijn 7/3 maal zo foutgevoelig als euro's daar buiten.
  3. De effectiviteit van een controlemaatregel die alle euro's in C schoonmaakt is daarom 233.
  4. Zo'n controlemaatregel zou betekenen dat 50 procent van alle fouten voorkomen kan worden door 30 procent van de populatie te onderzoeken. De efficiency van die controlemaatregel is daarom 167.

Als we deze getallen nu in formules zetten volgt vanzelf de Regel van Bayes:

De argumentatie om een controlemaatregel in te voeren wordt niet bepaald door welk deel van de fouten die er mee voorkomen konden worden in de steekproef zaten: P(C|error), maar door de vraag hoeveel fouten met de controlemaatregel voorkomen hadden kunnen worden: P(error|C). De regel van Bayes zegt nu:

P(error |C) = P(C|error) x P(error)/P(C),

maar, P(error) weten we niet. Wat we wel weten:

P(error |C)/P(error|non C) = P(C|error)/(non C|error) x  P(non C)/P(C)

                                           = P(C| error)/(1-P(C|error)) x  (1-P(C))/P(C)

De effectiviteit van een controlemaatregel is dus te bepalen zonder de foutkans te kennen of te schatten.

De efficiency van een controlemaatregel is P(C|error)/P(C). Dit kan worden herschreven als:  P(C and error)/(P(error) x P(C)), zodat:

  • die index 100 is als de controlemaatregel onafhankelijk is van de fout: weten dat de euro tot C behoort, leert ons dan niets over de foutgevoeligheid. Een getallenvoorbeeld zou zijn:

 

C

non C

 

error

5.000

5.000

10.000

correct

495.000

495.000

990.000

 

500.000

500.000

1.000.000

  • als de efficiency-index van en controlemaatregel kleiner is dan 100, is de efficiency-index van de rest groter dan 100: niet de aanwezigheid van de betreffende eigenschap is belangrijk om te onderzoeken, maar de afwezigheid ervan!

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

Drs. Paul van Batenburg is zelfstandig adviseur die als statisticus met verstand van controleren de eenmanszaak en website steekproeven.eu voert.

Gerelateerd

8 reacties

Paul van Batenburg

Nee, AT:Rene, ik denk echter ook niet dat ik de IB zo zou ontwerpen, maar ik zou graag aan de hand van steekproefuitkomsten die IB willen helpen verbeteren. Alleen hoe vaak steekt iemand 400 dossiers en durft er voor uit te komen dat er 4 fouten tussen zaten? Misschien wordt de geïntegreerde steekproef die de Belastingdienst zo graag aanraadt nog eens gemeengoed. Voor een publieke instelling heb ik in 2009 een project gedaan om de kosten van het terugbrengen van de fout naar onder de materialiteit (en de baten van het mogen verhogen van de materialiteit) in kaart te brengen en toen heb ik uitvoerig met dit model gespeeld. Je kan dan nog een stap verder gaan als de kosten van IB niet van de euro's maar van de transacties afhangen.....

Rene van Wingerden

AT:Paul, Ik vind zeker dat je de wat lastigere statistische onderwerpen moet aansnijden. Mijn punt is meer 'redactioneel': met jou deel ik de waarneming dat veel accountants niet zo heel veel statistische kennis hebben. Ik vrees dat veel accountants het lezen opgeven met zoveel formules en termen als efficiency-index. En dat is jammer, want - nogmaals - aandacht voor statistiek is zeker wenselijk! Misschien dus qua beschrijving iets meer naar Jip&Janneke-niveau om zo lezers te behouden. Kan je trouwens nog reageren op mijn vraag in hoeverre deze technieken (al) worden toegepast in de praktijk in het kader van het ontwerpen van AO/IC? Ben ik oprecht benieuwd naar.

Willem Gravesande

AT:Paul van Batenburg - 19-8-2014 9:53:03: RE: Toepassingen van Satistiek Een interessante toepassing van statistiek is risico analyse, wat zeer relevant is voor accountants, bijvoorbeeld in het audit risk model. Op wuala.com/QuantumRandomnessApplications/Security vond ik nog een aardig voorbeeld.

Paul van Batenburg

AT:Koert de Vries: wat de gemiddelde accountant, zo die bestaat, hier mee zou moeten is precies wat Hein zegt: prioriteren van IB. Niet blindstaren op een oorzaak die de meeste fouten oplevert, maar op de oorzaak die het meest effectief en efficiënt te verhelpen is. AT:Rene van Wingerden: als ik alleen maar onderwerpen zou behandelen die voor iedere lezer gesneden koek waren, zou het hier een saaie bedoeling worden. Ik hoop en verwacht dat logisch nadenken over effectiviteit en efficiency wel degelijk tot die standaardbagage behoort. Ik word niet vrolijk van de hoeveelheid statistiek die accountants in hun opleiding aangeboden krijgen en helemaal niet van de hoeveelheid statistiek die hun werkgevers van hen verwachten te gebruiken.

Willem Gravesande

Op wuala.com/CreditRatings/Financial/Agents/Bayesian_Networks_and_Decision_Graphs.pdf is nog aardige achtergrond info te vinden op dit gebied en op genie.sis.pitt.edu/index.php/about is een gratis tool te downloaden waarmee deze situaties simpel doorgerekend kunnen worden.

Drs. Koert A. de Vries RA, wiskundige in ruste

Inhoudelijk erg goed om hier eens wat over te schrijven, maar de vraag blijft wel wat de gemiddelde accountant er mee moet/mee zou moeten/mee zou kunnen/van zou moeten weten etc. Zonder nadere duiding/kop/staart komt het verhaal wat teveel 'uit de lucht vallen'. Los daarvan: mijn wiskundige hart is blij.

Hein Kloosterman

Prettig: weer een reactie. Als men het curriculum van (aanstaande) accountants kijkt, dan is het onderwerp 'Bayesiaanse statistiek' alleen impliciet te vinden. Namelijk in het audit risk model. Het is naar mijn mening niet erg als complexe modellen worden ondersteund door IT en als het ware onder de motorkap blijven. Wel moeten die modellen openbaar zijn en uitgelegd kunnen worden. Ik vind de charme van deze column dat er een richting wordt geduid om de impasse te doorbreken bij het aantreffen van fouten in een steekproef. De IB-fouten worden nu toegerekend aan een deelpopulatie. Daar past de concrete vraag bij: hoe hadden deze fouten kunnen worden voorkomen en hoe kan eventueel de 'deelpopulatie' (C in casu) geschoond worden. Op deze manier kan men IB-verbeteringen prioriteren. De accountant hoeft dus niet met lege handen te staan na het onverwacht stuiten op fouten of omissies. Tot slot. Naar mijn idee is de column niet gericht op het inrichten van de AO/IB maar op het terugkoppelen van informatie - fouten in casu - over de IB om zo te kunnen bijsturen.

Rene van Wingerden

Voer voor de politieke werkgroep/ stuurgroep: Zou het bovenstaande tot de standaardbagage van iedere accountant moeten behoren? Ik vermoed dat dit artikel voor het overgrote deel van de accountants over hun hoofd heen gaat. Is dat bezwaarlijk?? In theorie zou ik zeggen dat een accountant dit zou moeten beheersen, maar zien we dat ook gebeuren? Ik heb mijn twijfels... (Inhoudelijk: AT:Paul: zie je inderdaad wel dat in de praktijk het ontwerpen van AO/IC maatregelen op dergelijke analyses wordt gebaseerd?)

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.