Paul van Batenburg

Inderdaad, voor een 95 procent betrouwbare uitspraak dat een populatie euro's niet meer dan één procent fouten bevat is een foutloze geldsteekproef van driehonderd waarnemingen nodig, ongeacht de omvang van de populatie. Die populatieomvang is uit de formule verwijderd omdat de invloed op de uitkomst te verwaarlozen is. We kunnen de formule best wiskundig complexer maken, maar mijn Excel-macro daarvoor geeft een omvang van 295 (in plaats van driehonderd) bij een populatie van 9.999. Bij grotere populaties wordt Excel te onnauwkeurig en is de winst in waarnemingen nog kleiner. En, de meeste  geldpopulaties zullen toch wel groter zijn dan 10.000 euro?

Als er fouten worden verwacht is een grotere steekproef nodig, en als op de interne beheersing kan worden gesteund mag die omvang omlaag. En cijferanalyse kan misschien efficiënter zijn dan een steekproef. Maar, daar gaat het nu niet om: het gaat om de vraag of je bij elke populatieomvang hetzelfde materialiteitspercentage moet hanteren. Standaard 600 (paragraaf A43) zegt van niet.

Hein Kloosterman heeft in een eerdere bijdrage (column 70)  gepleit voor een tabel van bedragen die meegroeien met de omvang van de organisatie, zoals in de materialiteitstabel van de Controle Aanpak Belastingdienst. In zo’n tabel van materialiteit in geld zal de hoeveelheid werk inderdaad meebewegen met de omvang van de populatie. Maar de vraag blijft: hoe moet zo'n tabel er uit zien?

Standaard 600

Een controleprotocol is eigenlijk niets anders dan een instructie aan de accountant van een organisatie om werk te doen op een onderdeel van de verantwoording van de protocol-schrijver. In de jaarrekening van de instantie die het protocol opstelt staat een bedrag waarvan een deel door deze organisatie wordt (ontvangen en) uitgegeven De schrijver van het protocol steunt op het werk van anderen om een deel van zijn/haar eigen verantwoording te laten controleren.

De materialiteit voor deze organisatie in het controleprotocol zou dus een afgeleide moeten zijn van de materialiteit van de protocol-schrijver. De uitvoeringsmaterialiteit van het bedrag in de verantwoording van de opsteller van het protocol zou de materialiteit voor de controle door die organisatie moeten zijn. En COS 660, paragraaf 21c stelt dat voor een onderdeel een lager bedrag moet worden gebruikt dan voor het geheel, terwijl 600, paragraaf A43 impliceert dat het niet nodig is om het percentage te handhaven.

GUAM

In 2012 promoveerde Trevor Stewart aan de Vrije Universiteit op een model om de materialiteit voor een component van een consolidatie af te leiden uit de groepsmaterialiteit. In zijn dissertatie gebruikt hij daarvoor Bayesiaanse statistiek.

In de Bayesiaanse statistiek kijk je niet naar de geprojecteerde of de maximale fout in een populatie die op basis van en steekproef worden geschat, maar naar de gehele kansverdeling van de mogelijke fout in de populatie. Stewart liet zien hoe je kansverdelingen bij elkaar optelt en maakte daarmee het aggregatierisico uit Standaard 600 paragraaf 21 c duidelijk: als je kansverdelingen optelt gaat het resultaat meer op een symmetrische verdeling lijken. De geprojecteerde fout in het totaal is groter dan de som van de afzonderlijke geprojecteerde fouten en de maximale fout in het totaal is kleiner dan de som van de afzonderlijke maximale fouten (zie column 72 voor nadere uitleg).

Statistici weten dat dankzij de Centrale Limietstelling (de som van onafhankelijke kansverdelingen tendeert naar een normale verdeling), en iedereen die een lot in de staatsloterij koopt weet dat het meest waarschijnlijke totale prijzengeld groter is dan het totaal van alle meest waarschijnlijke uitkeringen, die immers per lot nul is.

Volgende stap in het proefschrift was: als je kansverdelingen kunt optellen, kun je dan ook uitrekenen welke kansverdeling voor een onderdeel moet gelden als je de kansverdeling voor het geheel als gegeven beschouwt? Het antwoord is dat er oneindig veel combinaties mogelijk zijn, maar dat er maar één tot de kleinst mogelijke totale steekproefomvang leidt. Ik zou zeggen, lees het boek! De wiskunde is een uitdaging (het is ten slotte een proefschrift) maar de oplossing is redelijk in Excel te programmeren. Ik heb er een tool voor gemaakt (dat ik op het symposium Statistical Auditing op 13 mei 2020 laat zien) en heb daarmee de volgende casus doorgerekend.

Voorbeeld

De opsteller van een protocol hanteert voor zijn/haar eigen verantwoording (al dan niet opgelegd door weer een ander protocol) een materialiteit van één procent voor het totaalbedrag van alle populaties. Van dat bedrag heeft een deel betrekking op de populatie die door organisatie A wordt ontvangen, uitgegeven en gecontroleerd. Welk materialiteitspercentage is nu nodig voor dat bedrag A?

De tabel geeft het antwoord. Als A tien procent van het geheel uitmaakt, is het optimaal om een materialiteit van 3,87 procent (PM(A)) te hanteren, en voor de rest 0,92 procent (PM(rest)). Voor het kleinere deel is dankzij een hogere materialiteit een lagere steekproefomvang nodig: 78 in plaats van driehonderd waarnemingen. Ik hoop dat u de tabel niet al te letterlijk neemt, want het verloop van de laatste kolom laat zien dat Excel geen nauwkeurig resultaat oplevert:

omvang A relatief tot totaal	PM(A)	steekproef op A	PM(rest)	steekproef op rest
1%	17,74%	17	0,95%	316
5%	6,22%	49	0,92%	327
10%	3,87%	78	0,92%	327
20%	2,38%	127	0,96%	313
30%	1,79%	168	1,03%	292
40%	1,47%	205	1,12%	268
50%	1,26%	239	1,26%	239

Single-audit protocol

Het is dus mogelijk om een single-audit protocol te maken waarin de protocol-schrijver aangeeft hoeveel werk per onderdeel nodig is zonder de controlekosten onevenredig af te wentelen op de kleinste onderdelen. Die uitwerking is echter wel complexer dan mijn voorbeeld, omdat de rest dan ook in delen wordt opgedeeld waardoor het noodzakelijke materialiteitspercentage voor deel A lager is. Als ik het totaalbedrag in honderd gelijke delen (van één procent van het totaal) verdeel, is de materialiteit per deel 2,58 procent (steekproefomvang 117) in plaats van 17,74 procent met omvang zeventien.

Maar, zelfs bij honderd deelcontroles is het nog steeds niet nodig om per deel een materialiteit van één procent te hanteren als het totaal van die bedragen aan één procent materialiteit moet voldoen. Standaard 600, paragraaf A43 is dus echt terecht.

Er kan dus heel veel controlewerk bespaard worden als men bij het schrijven van een controleprotocol niet klakkeloos een percentage zou opleggen, maar de materialiteit zou toerekenen en een tabel zou publiceren.