Statistical auditing (67)

Rien ne va plus?

Accountants zijn gewend om bij steekproeven een vast stramien toe te passen. Een van de regels daarbij is dat uitbreiden van een steekproef niet mag. Er zijn methoden en technieken om uitbreiden toe te staan als de resultaten in de steekproef tegenvallen, zoals het toepassen van zogenoemde martingalen. Hoe dat werkt is uit te leggen aan de hand van een avondje gokken in het casino.

De term martingaal komt van het Franse martingale, wat teugel betekent. Het is tevens een bekende gokstrategie in casino's, waarbij je een inzet na elke ronde bij verlies blijft verhogen op zo'n manier dat een keer winnen ervoor zorgt dat alle verliezen worden teruggewonnen. De accountant wordt bij het toepassen van de techniek van martingalen in steekproeven ook beteugeld, en mag doorgaan met trekken tot hij voldoende informatie heeft om te kunnen goedkeuren.

Standaard 530 gaat over het toepassen van steekproeven in de controle. In paragraaf A23 van die standaard staat:

Indien de accountant concludeert dat het gebruiken van steekproeven bij een controle hem geen redelijke basis voor conclusies over de getoetste populatie heeft verschaft, kan hij: […] bijvoorbeeld de steekproefomvang uitbreiden […].

Mij maakt het niet uit of een accountant de steekproef uitbreidt, of andere gegevensgerichte controles gaat toepassen. Mij inspireerde het sequentiële karakter van het accountantsonderzoek: het uitvoeren van zoveel controlewerkzaamheden dat voldoende zekerheid verkregen is over de getrouwheid van de weergave van de populatie. Ik beschrijf een mogelijkheid voor een sequentieel steekproefonderzoek door middel van de metafoor van het casino, in de hoop dat daarmee intuïtief de regels van een dergelijk onderzoek duidelijk worden.

Maximaal lemma

Stel dat je een avond het casino ingaat met € 100 op zak. Je gokt wat met roulette, met bingo en de fruitmachine. Met het ene spel heb je geluk, met het andere wat minder. Wat is eigenlijk de kans dat je in de loop van je bezoek op zeker moment € 400 of meer hebt? Is die kans ongeveer 50%, misschien toch maar 10%, ...? Als het casino een steekhoudend businessplan heeft, is het zogenaamde “Maximaal Lemma” van toepassing, dat zegt dat de kans maximaal 100/400 is, dus maximaal 25%.

Eigenlijk is dit vanzelfsprekend: als het meer dan 25% zou zijn, kun je steeds maar weer naar het casino gaan en weer naar huis gaan als je € 400 of meer hebt, en zo een leuke bijverdienste genereren.  Bij een kans van 30% zou je in (100-30) = 70% van de keren hoogstens € 100 verliezen en in 30% van de keren minstens € 300 winnen, dus per bezoek maak je gemiddeld minstens 30% x € 300 – 70% x € 100 = € 90 – € 70 = € 20 winst.

Maar stel je voor dat je het casino hebt onderzocht (geaudit?) en dat je echt denkt dat het casino te kraken is. Iemand zal zeggen dat dat maar een mening is, en dat hij desondanks meent dat het casino niet verliesgevend is (nulhypothese H0). Hoe overtuig je zo iemand?

Toevalligheid

Je zegt tegen hem: ”Ga mee naar het casino. Ik heb € 100 bij me, en voor de avond om is heb ik er € 2000 van gemaakt”. Dat wil hij wel zien; hij gaat mee en waarachtig het lukt. Is dit voldoende om hem ervan te overtuigen dat de nulhypothese onjuist is?

Mocht de nulhypothese juist zijn, dan is volgens het Maximaal Lemma het succesvolle avontuur een toevalligheid met een kans van hoogstens 100 / 2000 = 0,05 (1). Menig statisticus en auditor zal redeneren dat dit te toevallig is en dat het avontuur een goed argument is om te verklaren dat de nulhypothese onjuist is. De kans op een fout van Type I, ten onrechte de nulhypothese onjuist verklaren, is hoogstens 0,05.

U voelt al aankomen dat het op statistiek gaat uitdraaien. Hopelijk blijft u nog even.

Casinospel

Stel je voor dat je een nulhypothese hebt geformuleerd, en aan de hand van een statistische steekproef een casinospel kunt bedenken dat niet te kraken is als de nulhypothese klopt. Als we kunnen aantonen dat we het spel wel kunnen kraken hebben we de nulhypothese weerlegd.

Voorbeeld:

Neem een populatie van B monetaire eenheden, eenduidig opgesplitst in posten waarvan de juiste waarde hoogstens de boekwaarde is en niet negatief is. Het verschil tussen de totale boekwaarde B en de totale juiste waarde noem ik de totale fout E. De totale fout E gedeeld door de totale boekwaarde B, E / B, is de foutfractie van de populatie. De materialiteit is gesteld op 0,02 x B. Je hebt het een en ander al onderzocht en je professionele inzicht zegt dat het mogelijk is aan te tonen dat de totale fout, E, niet materieel is.

Het casinospel gaat als volgt: Je hebt een beginbedrag, zeg € 100. Een willekeurig deel ervan mag je inleggen. Er wordt vervolgens aselect een monetaire eenheid, een euro, getrokken; van de post waar die in ligt wordt de tainting bepaald, zeg t, en de bank keert (1 – t) / (1 – 0.02) euro per ingelegde euro uit. Dit spel mag je net zo vaak doen als je maar wilt.

Bedenk dat het populatiegemiddelde van de taintings precies de foutfractie is (daarom horen taintings en monetary unit sampling (MUS)  bij elkaar). Als de werkelijke foutfractie 0,02 of hoger is zal gemiddeld de uitkering € 1 of minder zijn per euro. We hebben dan een spel dat bruikbaar is in een casino.

Als we toch ongebreidelde winst kunnen maken, dan moet de gemiddelde uitkering groter dan € 1 zijn, dat wil zeggen dat de foutfractie kleiner moet zijn dan 0,02. Om aannemelijk te maken dat de foutfractie kleiner is dan 0,02, en dat je dus ongebreidelde winst kunt maken, is het voldoende het beginbedrag van € 100 te laten groeien tot € 2000. Het is roekeloos bij een spel het hele bedrag in te leggen (va-tout), want als je tainting t = 1 treft, dat wil zeggen dat de betreffende post helemaal fout is, ben je alles kwijt en valt er niets meer te spelen. Als je prudent iedere ronde maar een klein deel inlegt, duurt het spel veel te lang. Bedenk ook dat als een spel gespeeld is, en de tainting getoond, de inleg niet meer veranderd mag worden.

Roekeloosheid

Rest de vraag: Hoe vind je de goede balans tussen roekeloosheid en prudentie in een spel waarin winst te behalen is?

Een voorbeeld van een roekeloos spel? Je gaat uit van het vertrouwen dat de steekproeven geen fout zullen bevatten. Bij elk spel zet je maximaal in. Zolang de taintings nul blijken, neemt je inleg toe met een factor 1 / (1-0.02) = 1.020408. Na 150 spellen is je initiële inleg toegenomen met de factor 1.020408^150 = 20.70514. Met andere woorden, je € 100 zijn gegroeid tot € 2070,51. Dat komt overeen met de klassieke test met de vuistregel: bij significantieniveau 0,05 is R=3 en R/0.02 = 150. Dus een steekproef van omvang 150 waarin geen fouten optreden is voldoende om te concluderen dat de foutfractie in de populatie kleiner zal zijn dan 0,02.

Degenen die niet schrikken van formules kunnen mijn essay erop naslaan, dat gaat over de toepassing van deze methodiek in de statistiek van taintings.

(1) Die 5% is gekozen omdat in auditing dit percentage meestal als een van de elementen van de ‘redelijke zekerheid’ wordt gebruikt.

Stuurgroep Statistical Auditing

De Stuurgroep Statistical Auditing is verbonden met het Limperg Instituut en heeft als doel 'het bevorderen van het correcte (effectief en efficiënt) gebruik van statistische methoden en technieken bij accountantscontroles en daarmee verwante controles op financiële verantwoordingen en overzichten'.

reacties

Reageer op dit artikel

Spelregels debat

    Gerelateerd

    Aanmelden nieuwsbrief

    Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

    Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.