Jan Bouwens

De combinatie van controle- en advieswerk blijft voer voor discussie. Jan Bouwens reageert op de stelling van Marcel Pheijffer dat één gedateerd onderzoek geen bewijs mag heten. Er is meer onderzocht, aldus Jan.

Discussie Column

Over advies en controle: anekdotes zijn leuk, maar leveren geen bewijs

In zijn laatste column beweert Marcel Pheijffer dat ik geen conclusie over de nadelen van de combinatie van controle en advies kan trekken op basis van één onderzoek, dat ook nog eens data gebruikt van veertig jaar geleden. Er is 'iets meer' onderzoek gedaan naar de relatie advies en controle dan Marcel aangeeft.

Om de literatuur te duiden neem ik drie aspecten in overweging: (1) de mate waarin de accountant de onderneming toestaat betere of slechtere resultaten te laten zien dan de onderliggende economische omstandigheden rechtvaardigen (de accountant staat bijvoorbeeld het management van de onderneming toe om resultaten te manipuleren), (2) de bereidheid van de accountant tot het afgeven van een gunstige continuïteitsverklaring, en (3) de mate waarin de accountant vasthoudt aan het conservatismebeginsel (winst alleen erkennen als deze zeker is en verliezen nemen ook als het onzeker blijft of deze zich zullen voordoen).

Als het gaat om de vraag of accountants minder geneigd zijn een oordeel met beperking over de continuïteitsstatus af te geven, geeft het werk van DeFond, Raghunandan en Subramanyam (2002) geen indicatie van een kleinere kans op het kwalificeren van de continuïteit van ondernemingen die naast auditdiensten ook adviesdiensten afnemen.

Ruddock, Taylor en Taylor (2006) vinden geen bewijs voor het vermoeden dat auditors de toepassing van het conservatisme-principe versoepelen als leidend principe voor bedrijven die, naast de audit, andere diensten afnemen die onder dezelfde merknaam worden aangeboden. Met andere woorden, ongeacht of een gecontroleerd bedrijf al dan niet adviesdiensten verleent naast controlediensten, accountants maken geen verschil tussen beide klanten op het gebied van resultaatherkenning. Dat wil zeggen dat de accountant, ongeacht of zijn of haar kantoor al dan niet adviesdiensten aanbiedt, het conservatismeprincipe handhaaft. Dat principe vereist dat kosten worden genomen op het moment dat ze als potentiële kosten aan de oppervlakte komen en neemt opbrengsten alleen op wanneer deze met zekerheid worden gerealiseerd.

Antle, Gordon, Narayanamoorthy en Zhou (2006), Ashbaugh et al. (2003), Chung en Kallapur (2003), Francis en Ke (2003), en Reynolds, Deis en Francis (2004) vinden geen resultaat dat suggereert dat er een verband bestaat tussen het relatieve financiële belang dat de accountantsorganisatie heeft bij één individuele cliënt op kantoor en winstmanipulatie. Lennox (2016) toonde aan dat de door de PCAOB in 2005 en 2006 opgelegde restricties op belastingadvies geen effect hadden op de kwaliteit van de controle, gemeten in termen van het aantal gemelde fouten dat aanleiding gaf tot een financiële correctie (restatements), tekortkomingen in ingediende belastingaangiften en de mate waarin going concern in gevaar was. Het enige punt waar we zien dat de combinatie advies en controle negatief uitwerkt, is als het kantoor accountingvreemde adviezen geeft, zoals over strategie (Breadsley, Imdieke en Omer (2021)).

Marcel vraagt zich af waarom er geen onderzoek is naar de gunstige werking van controle en advies in een firma. Maar onderzoek gedaan door Ciconte en Knechel en Mayberry (2017) laat zien dat bedrijven die zich laten adviseren, later veel beter presteren dan andere organisaties. Dit effect wordt sterker naarmate de complexiteit van de onderneming toeneemt. Het zou inderdaad beter zijn als we onderzoek gingen inrichten om naar mogelijk gunstige effecten te kijken. Helaas laten onderzoekers zich ook leiden door de negatieve vibe van de buitenwacht, als het gaat om de keuze van onderzoeksvragen!

Marcel noemt anekdotes, met de suggestie dat deze meer zeggend zijn dan wetenschappelijk onderzoek. Maar een anekdote gaat over een geval dat wellicht iets of niets zegt over de populatie. Het onderzoek dat ik aanhaal gaat over de populatie, is peer reviewed en gepubliceerd in de vijf wereldtopbladen. Wat is het meest zeggend? Marcel geeft ook aan dat sinds advies en controle in Nederland voor oob's is gescheiden, we geen achteruitgang zagen in de kwaliteit van de controle. Hoe is dat dan gemeten? Ik heb het onderzoek niet gezien.

Het is een kwestie van afwegen. We zien aan de ene kant dat de aandacht wordt afgeleid (Breadley e.a. 2021) en aan de andere kant dat het hebben van specialisten gunstig uitwerkt en/of geen negatief effect heeft. Al het onderzoek dat ik aanhaal is gedaan in een VS-context, waarin advies en controle ook aan oob's mag worden gegeven. In Nederland is dat verboden. Maar zelfs in de VS zijn er dus nauwelijks overtuigende negatieve effecten te bespeuren van de combinatie van advies en controle.

Anekdotes volgen de intuïtie en leveren geen systematisch bewijs gebaseerd op grootschalige analyse.

  • Antle, R., E. Gordon, G. Narayanamoorthy and L. Zhou. 2006. The Joint Determination of Audit Fees, Non-Audit Fees, and Abnormal Accruals. Review of Quantitative Finance and Accounting 27(3): 235-266.
  • Ashbaugh, H., R. LaFond and B. W. Mayhew. 2003. Do Nonaudit Services Compromise Auditor Independence? Further Evidence. The Accounting Review 78 (3): 611-639.
  • Beardsley, E., A. Imdieke, T. Omer. 2021. The distraction effect of non-audit services on audit quality, Journal of Accounting and Economics, 71(2-3): 1-20
  • Bell, T., M. Causholli and R. Knechel. 2015. Audit Firm Tenure, Non-Audit Services and Internal Assessments of Audit Quality, Journal of Accounting Research 53 (3): 461-509.
  • Ciconte, W.A., W.R. Knechel and M.A. Mayberry. 2017. Investments in Auditor-Provided Non-Audit Services and Future Operating Performance, AUDITING: A Journal of Practice & Theory (2022) 41 (2): 141–164.
  • Chung, H. and S. Kallapur. 2003. Client Importance, Non-Audit Services, and Abnormal Accruals. The Accounting Review 78 (4): 931-955.
  • DeFond, M. L., K. Raghunandan and K. R. Subramanyam. 2002. Do Non-Audit Service Fees Impair Auditor Independence? Evidence from Going Concern Audit Opinions. Journal of Accounting Research 40 (4):1247-1274.
  • Francis, J. R. 2006. Are Auditors Compromised by Non-Audit Services? Assessing the Evidence. Contemporary Accounting Research 23 (3): 747-760.
  • Francis, J. R. and B. Ke. 2006. Disclosures of Fees paid to Auditors and the Market Valuation of Earnings Surprises. Review of Accounting Studies 11 (4): 495-523.
  • Koh, K., S. Rajgopal and S. Srinivasan. 2013. Non-Audit Services and Financial Reporting Quality: Evidence from 1978 to 1980, Review of Accounting Studies 18 (1): 1-33.
  • Lennox, C.S. 2016. Did the PCAOB’s Restrictions on Auditors’ Tax Services Improve Audit Quality? The Accounting Review 91 (5): 1493-1512.
  • Ruddock, C., S. J. Taylor and S. L. Taylor. 2006. Non-Audit Services and Earnings Conservatism: Is Auditor Independence Impaired? Contemporary Accounting Research 23 (3): 701-746.

Naschrift Marcel Pheijffer

Jan Bouwens maakt een opmerking van ondergetekende over anekdotisch bewijs tot de kern van zijn kritiek op mij. Dat blijkt uit de titel van zijn bijdrage, de laatste zin daarin en de opmerking: "Marcel noemt de anekdotes met de suggestie dat deze meer zeggend zijn dan wetenschappelijk onderzoek."

Daarmee doet Bouwens mijn bijdrage geen recht. Mijn bijdrage staat recht overeind als de passage aangaande de Vestia-anekdote eruit gaat. Het is niet dragend voor de argumentatie en onderbouwing die ik aanlever. De opmerking van Bouwens dat ik "suggereer dat anekdotes meer zeggend zijn dan wetenschappelijk onderzoek" is bespottelijk en gebaseerd op een onjuiste en daarmee misleidende weergave van mijn bijdrage.

Voorts verwijst hij nu naar publicaties in peer reviewed bladen. Los van het feit dat deze artikelen - net als dat van Koh et al - diverse nuanceringen bevatten, leveren zij geen overtuigend maar hooguit op onderdelen enig indicatief bewijs op voor de stellingname van Bouwens inzake de combinatie van controle en advies.

Bouwens haalde de nu door hem genoemde literatuur eerder aan in een paper die hij vanuit de Foundation for Auditing Research (FAR) schreef: What is the relationship between audit quality and non-audit services? An overview of the existing literature.

De paper van Bouwens is gebruikt door de Chartered Accountants Australia and New Zealand, in hun paper Audit quality in a multidisciplinary firm: what the evidence shows. Deze paper is besproken tijdens het Australische parlementair onderzoek naar de accountantssector. Besproken met prof. James Guthrie, die laatstgenoemde paper – grotendeels gebaseerd op het werk van Bouwens - kwalificeerde als "This is a big four submission".  Overigens bedankte Jan Bouwens in zijn paper (zoals gepubliceerd op de FAR-site) Deloitte-partner Marco van der Vegte en KPMG-partner Egbert Eeftink voor hun commentaar op zijn paper.

Guthrie geeft in zijn verklaring voor de Australische commissie aan dat hij contact heeft opgenomen met de Nederlandse onderzoeker (Bouwens), die hem mededeelde: "I can’t get it published." De Australische senator O’Neill stelde vervolgens aan Guthrie de volgende vraag: "So they’re relying on the work of an academic that cannot achieve peer acceptance for publication?" Guthrie gaf als antwoord dat het werk van de onderzoeker (Bouwens) tot op dat moment niet in een peer reviewed journal was gepubliceerd en voorts: "I can’t publish it in my journal."

Ik heb deze reactie vooraf aan Jan Bouwens voorgelegd. Hij gaf in zijn reactie aan dat hij toentertijd het volgende tegen Guthrie heeft gezegd: "Ik heb gezegd dat het overzichtsartikel aangeboden is ter publicatie, maar dat men het verder uitgebreid wilde zien. Mijn overzichtsartikel is geen empirisch onderzoek maar slechts een samenvatting van de literatuur."

Ik wil best een discussie met Jan Bouwens aangaan. Maar dan dient hij wel zuiver op door mij aangedragen argumenten in te gaan, mij geen woorden in de mond te leggen of het gestelde verdraaien en dient hij zich bovendien tot de kern van de discussie te beperken (on topic blijven).

Waarvan akte.

Wat vindt u van deze column?

Reageer

Jan Bouwens is hoogleraar accounting UvA en research fellow University of Cambridge.

Gerelateerd

27 reacties

John Molenaar

Net als Leen heb ik zeker 15 voorbeelden/anekdotes waarbij ik in het kader van mijn controle ben geholpen door mijn advies collega’s. Soms wordt op dit platform naar mijn gevoel te veel afgedreven van wat er nu werkelijk op de werkvloer gebeurt.
En laten we de discussie wel respectvol houden. Ik ben veel waardering voor de heren en vind hun bijdragen altijd waardevol maar het moet wel netjes blijven.

Marc Schweppe, Accountant.nl

Accountant.nl is al bijna 15 jaar een belangrijk podium voor inhoudelijke discussie tussen beroepsgenoten en andere betrokkenen. Soms lopen de emoties daarbij hoog op, zoals ook bij deze discussie. De redactie heeft veel waardering voor beide betrokken columnisten, Jan Bouwens en Marcel Pheijffer, die hun nek durven uitsteken. Tegelijkertijd acht de redactie het van belang dat debatten op zakelijke en respectvolle wijze worden gevoerd. Na een hopelijk ontspannende vakantieperiode gaat de NBA nader in gesprek met Jan en Marcel over deze discussie.

Marcel Pheijffer

Het SEO-rapport komt niet tot de keuze voor een structurele splitsing van controle en advies (waarover een andere keer meer).

Wel laat het ondubbelzinnig zien dat de academische literatuur geen overtuigende onderbouwing biedt voor de combinatie van controle en advies. Hieronder de conclusies op dit punt:

* De academische literatuur focust vooral op het effect van commerciële prikkels op controlekwaliteit. Voor de
andere mechanismen, zoals transparantie, kruissubsidies, carrièreprikkels en de governance en juridische structuur biedt de empirische literatuur geen handvatten.

* De literatuur laat een divers beeld zien, er zijn studies die een positief significante relatie vinden tussen de
kwaliteit van audit en het relatieve belang van non-audit diensten, een vergelijkbaar aantal studies dat een
negatief significante relatie vindt, en een enkele studie die geen significante relatie vindt.

* Daarnaast zijn er geen empirische studies beschikbaar in een context vergelijkbaar met de huidige Nederlandse context waarin er al
een bepaalde mate van regulering is.

* Gemiddeld genomen over een groot aantal studies vindt een gepubliceerde meta-analyse, een gestructureerde en relatief complete analyse van de literatuur, een significant negatief, maar klein, effect van het aanbieden van non-audit diensten op controlekwaliteit. Dit is in onze ogen de beste inschatting van verwachte effecten die mogelijk is.

Marcel Pheijffer

Eenieder wordt op zijn en haar wenken bediend: het SEO-rapport over controle en advies is vandaag aan de Kamer gezonden. Meer dan 160 pagina’s leesvoer.

Gegeven de discussie en de verwijzingen aar dat onderzoek, zondig ik tegen de spelregels en gr uik een ander mailadres voor mijn vierde reactie. Excuus daarvoor.

Leen Paape

Waarde collega's, ik zou hopen dat discussies zich richten op de bal en nimmer op de spelers. Ik lees in deze discussie op zijn minst een aantal zaken die daar niet geheel aan voldoen. Dat is jammer en doet onrecht aan alle betrokkenen. Dat even over het proces.
Dan even over de inhoud. Ik heb ook ooit een keer de onderzoeken op een rij gezet die op dit punt zijn gedaan en kan me daarvan goed herinneren dat er zeker geen overtuigend bewijs is dat de combinatie advies-controle onwenselijk zou zijn. Jan komt met nog een aantal nieuwe onderzoeken en daarmee is de lijst lang genoeg om een gefundeerde mening te hebben lijkt mij. Is er dan bewijs voor het tegendeel? Ook moeilijk want zoals Willem aangeeft, wat is 100% bewijs? Is er dus een probleem? Ik denk het niet en in ieder geval is dat niet onomstotelijk 'bewezen', maar het bestaat wel in de ogen van beholders en dat zijn er veel en daarmee is dit in Nederland een achterhoedegevecht.
Ook ik heb anecdotisch bewijs omdat ik zelf ooit adviseur was en mijn collega controleur dus kon helpen met inzichten die hem dienden in die rol; maar goed, dat telt niet. Een discussie op dit platform is goed maar laten we respectvol met elkaar omgaan.

Willem Buijink

@ Blijham
We voeren wel degelijk een inhoudelijke discussie over methodologie. Pheijffer schreef eerder in MAB (in 2018: makkelijk te vinden): "[ik voel mij] thuis bij de stroming ‘critical accounting [CA]". CA accepteert 'positivisme' als methodologie veel minder. Dat komt dus ook steeds terug in de columns en reacties van Pheijffer. CA gebruikt veel meer constructivisme als methodologische benadering van onderzoek. Ik schreef hier een column over in het MAB: ook in 2018. Ik vind het echt interessant te weten wat Pheijffer hier over denkt. In het MAB artikel van Pheijffer noemt hij constructivisme namelijk niet. Hij beveelt als CA onderzoeksbenadering 'kwalitatief onderzoek' aan. Maar kwalitatief onderzoek kan ook positivistisch zijn. Vandaar mijn vraag: hoe zit dit ?

@Pheijffer
Wellicht is het als volgt. CA is de vertegenwoordiger van postmodernisme in accountancy onderzoek. Een kenmerk daarvan is een wantrouwen tegenover de bedoelingen van anderen, ook andere onderzoekers (in dit geval): cynisme daarover dus. Dat wantrouwen, cynisme, is duidelijk aanwezig in het 'Guthrie innuendo'.

@Muis
Zeker: onderzoek met Nederlandse gegevens naar o.a. deze kwestie moet er komen. Wel is het zo dat er al een reeks artikelen hierover bestaat op basis van EU lidstaat (inclusief het VK dan nog) gegevens. De omgeving daar lijkt op de Nederlandse natuurlijk.

@Van Kempen
De regels hierover bestaan inderdaad. Maar (1) evaluaties van de regels, ook op EU niveau, zullen er op gezette tijden zijn: zoals de facto die van de Kwartiermakers (door SEO), en (2) wij geven over deze en andere regels, zoals je zelf ook opmerkt, colleges: daar rijst natuurlijk steeds de vraag 'waarop zijn die gebaseerd ?; welke theorie en empirie'. Ook: SEO zal vrijwel zeker mede kijken naar de 30-tal papers waarover we nu praten.

Endymion Struijs

Dank allen voor de waardevolle bijdragen aan de discussie naar aanleiding van Jan's opinie.

De dialoog is nog lang klaar en het naar voren brengen van nuances is van belang, mede in relatie tot thema's als Cultuur, Structuurmodellen en Toezicht.

Ik nodig, mede namens Antoinette Dijkhuizen, iedereen (kosteloos) uit de dialoog voor te zetten en deel te nemen aan de RODE LOPER Amsterdam op vrijdag 14 oktober a.s. 16.00 - 18.00 in het Internationaal Theater Amsterdam (ITA, Leidseplein).

Registreer voor (kosteloze) deelname via: https://www.studioams.nl/events/rode-loper-amsterdam-cultuur-structuurmodellen-en-toezicht_199/

Arnout van Kempen

Ik snap dat er behoefte is aan wetenschappelijke uitspraken op dit vlak, maar voor beleid is dat wat aan de (te) late kant. Op grond van het CTA-rapport zijn de kwartiermakers al onderzoek aan het (laten) uitvoeren naar de voor- en nadelen van een audit only-model, als ik me niet kolossaal vergis.

Ik heb zomaar het vermoeden dat de uitkomsten van dat onderzoek doorslaggevend gaan zijn voor het Nederlandse beleid. En dan is de discussie hier, hoewel fascineren in vele opzichten, een beetje een achterhoedegevecht aan het worden.

En ook achterhoedegevechten zijn nuttig, natuurlijk. Maar persoonlijk kijk ik meer uit naar wat de kwartiermakers gaan zeggen.

(En voor de zekerheid, dat moet misschien gezegd worden, ik ben noch overtuigd van de argumenten van de voorstanders van het ene model, noch van die van de voorstanders van het andere model. Niet dat het er iets toe doet of ik overtuigd ben)

jules muis

@Willem Buijink @ Jan Bouwens

Buijink’s laatste suggestie hieronder, een specifiek Nederlandse wetenschappelijke bijdrage over dit onderwerp lijkt me best, maar de suggestie zelve wijst al op het feit dat je het hier gewraakte artikel van Koh et al, plus de dank zij dit debat uitgerookte 30 andere artikelen, niet zonder meer verplaatsbaar zijn naar andere regionale/Nederlandse situaties.

Dit debat is niet van vandaag. We hebben de afgelopen jaren een aantal andere uitwisselingen op deze site gehad, waar commentatoren gewezen hebben op de, mijn woorden, ‘grote stappen snel thuis’ gevaren van Prof Bouwens op zaken van public policy en het risico van vooringenomenheid, verkapt door generieke referenties naar ‘wetenschappelijk onderzoek’ van, waarschijnlijk, hetzelfde kwetsbaar gehalte.

Dus ik stel voor dat, voordat we weer jaren kunnen wachten op veredeld uitsluitsel, Jan deze komende oproep in het MAB aangrijpt met een verantwoordingsstuk over de methodologische aspecten van het plakken van ‘wetenschappelijke’ etiketten op deelonderzoeken over eenzelfde onderwerp, de optelbaarheid/generaliserings aspecten van de aangehaalde research , de orchestratie, if any, of ad hoc’sm van de onderzoekingen, de kracht van overtuiging van hun publicaties als dezelfde wetenschappers decennia lang klagen over een gebrek aan toegang over het echte besluitvormingsproces binnen de audit praktijk.

En als het MAB dat artikel wil laten peer-reviewen door andere dan vakgenoten dan hebben krijgt het nog een extra sterretje.

Dan houden we Jan even van de straat, en wij allen de adem in.

Ik wil nog één extra-curricular aspect nog noemen: Als we naar de redenen luisteren van de gecombineerde controle-advies school wordt er eigenlijk gezegd dat ‘de accountant’ qua deskundigheid de regie over zijn eigen product heeft verloren. Dat is best mogelijk ( in de aanloop van de 2008 crisis was dat duidelijk ) maar zeg dat dan.

Vol verwachting….

Marc Schweppe, Accountant.nl

De redactie heeft een reactie verwijderd op basis van spelregels 5 en 7 van de regels voor het voeren van debat op deze site.

R.J.A.M. Vromans

Als beide (empirisch onderzoek & anekdotes) zelfs niet tezamen een sluitend wetenschappelijk bewijs opleveren zou het dan niet beter zijn om voorzichtigheidshalve gewoon controle en advies op te splitsen (gezond verstand).

Dan hebben de accountantskantoren in ieder geval ook de schijn niet tegen en kunnen zij zich gemakkelijker verdedigen in het maatschappelijke verkeer.

Uiteraard kunnen wetenschapers dan rustig de zaak verder onderzoeken om te komen tot meer actuele (Nederlandse) onderzoeksresultaten en kan Marcel ondertussen verder gaan met het publiceren van o.a. leuke anekdotes.

Rik Blijham

En zo zien we hooggeleerde heren elkaar in de haren vliegen waarbij de kern van de discussie volledig uit het oog verloren wordt.

Die kern is niet de waarde van anekdotes, de wederwaardigheden van een paper van Jan in Australië of welke artikelen Marcel Nyenrode studenten laat bestuderen. De kern is, lijkt mij, of het artikel van Koh et.al samen met een dertigtal andere artikelen de nogal stellige conclusie van Jan in zijn eerste artikel over de (on)wenselijkheid van de combinatie van controle en advies rechtvaardigen.

Dit betreft in de eerste plaats een wetenschapsfilosofische vraag over de waarde van bevindingen uit gedragswetenschappelijk onderzoek voor het ontwerpen van te voeren beleid.

Maar goed, het quotum voor de heren zit erop. Toch jammer dat dit niet is aangewend voor een meer inhoudelijke discussie.

Marcel Pheijffer

@ Buijink

Je meet duidelijk met twee maten: in mijn naschrift haal ik tweemaal een citaat uit het stuk van Jan Bouwens aan waarin hij stelt dat ik iets heb gesuggereerd.

In beide gevallen stelt hij iets dat ik niet heb gezegd. Daar hoor ik je niet over.

Vervolgens spreek je mij naar aanleiding van opmerkingen over Guthrie aan en stelt dat ik suggereer dat Jan Bouwens geen onafhankelijke wetenschapper is en dat hij te kort schiet als wetenschapper.

Ook deze twee zaken stel ik zo niet. Wel dat de paper gebaseerd op het werk van Jan Bouwens door Guthrie is gekwalificeerd als 'A big four submission'. Dat is een feit, evenals dat Jan Bouwens twee B4-partners in zijn paper bedankt.
Voorts stel ik dat de paper van Jan Bouwens niet is geaccepteerd door een peer review journal. Ook dat is een feit, waarmee ik niet zeg dat het om een slechte wetenschapper gaat.

Door je opmerkingen ben jij - naast Jan - degene die suggestief is in mijn richting. En dan mij op dit punt de maat nemen?

Tot slot: dat de redactie mij een naschrift geeft is terecht. Mij werden woorden (suggesties) in de mond gelegd die ik niet heb gebruikt. Dat heb ik rechtgezet. En bij deze ook jouw suggestieve opmerkingen.

Willem Buijink

@Pheijffer:
-Francis (2006), Quick (2022) en Bouwens (deze column) noemen samen tegen de 30 wetenschappelijke artikelen over dit onderwerp. Dat is niet 'weinig'.
-In de voorlaatste zin in Pheijffer's reactie (hierbeneden) stelt hij een onmogelijke en naïeve eis: "De literatuur waar Bouwens, Buijink en Quick naar wijzen leveren geen sluitend en ondubbelzinnig empirisch bewijs.". Uit empirisch onderzoek volgt nooit een 100% bewijs.
-Daarmee verband houdend: wat is er wetenschapsfilosofisch mis met de 30 artikelen, en welke artikelen over deze kwestie, volgens hem methodologisch kosher, laat Pheijffer Nyenrode accountancy studenten dan bestuderen?
-Over het 'James Guthrie' anekdote in het Pheijffer naschrift: die anekdote is, retorisch, een innuendo. Met als doel: twijfel scheppen over Bouwens. Bouwens is geen onafhankelijke wetenschapper (hij bedankt Big 4 accountants voor commentaar), en Bouwens schiet te kort als wetenschapper (want James Guthrie zou zijn notitie niet eens willen publiceren). Een innuendo mag in een column (naschrift), maar natuurlijk niet in een column (naschrift) van een wetenschapper. Deze anekdote had de redactie van Accountant.nl dus niet mogen laten passeren.
-Het is vreemd dat Pheijffer zomaar naschrift ruimte krijgt van de redactie.
@Heinen:
-Het is inderdaad jammer dat er maar weinig accountantscontrole/advies en controlekwaliteit artikelen bestaan op basis van Nederlandse gegevens. Ik ken alleen Taminiau et al (2015) in het (open access) MAB. Die artikelen zouden snel eens gemaakt moeten worden. In het komende MAB nummer staat een column van mij met een oproep daartoe.

Jan Bouwens

@Arnout Waar het om gaat is het volgende: we pakken alle gevallen uit een grote populatie en kijken dan naar situaties waar advies geen, een kleine of grote rol speelt.
De eerste vraag die je stelt is of je controle team met specialisten aan boord controles te licht gaat nemen en te tolerant is naar de gecontroleerde van een praktijk waar advies en controle in een kantoor is gereorganiseerd. Het antwoord daarop is ja advies kan dus afleiden van de controlezaak (zie Beardsley et al.). Er zijn nog vele vragen te stellen over waarom we dit zien; zo weten we niet of bijvoorbeeld de prioritering bij de inzet van accountants/specialisten hier een rol speelt.

Gelijktijdig zien we dat het geven van advies ook van invloed is op de kwaliteit van de vragen die aan de gecontroleerde en de data worden gesteld. We zien dat de combinatie van controle en advies diepgaander vragen faciliteert als we afgaan op de uitkomsten van veertig jaar onderzoek. Per saldo lijkt het effect van de afleiding ten opzichte van de facilitering van betere vragen in het voordeel van het laatste uit te vallen, gemeten naar de resultaten van veertig jaar onderzoek.
Een anekdote zegt weinig tenzij het een symptoom is. van iets groots

Arnout van Kempen

Grappig genoeg kennen we dat verschijnsel maar al te goed uit de controle van jaarrekeningen. Als het management heeft gesteld dat de jaarrekening een getrouw beeld geeft (en eerder beginnen we niet met controleren immers) en we vinden één anekdotisch signaal van fraude, dan gaat de hele premisse dat de jaarrekening vrij is van afwijkingen als gevolg van fraude of fouten is onderuit en MOET het management aantoonbaar onderzoek doen om die premisse te herstellen.

De anekdote levert dus geen bewijs dat er fraude is geweest met materiële impact op de jaarrekening, maar wel degelijk voldoende bewijs om de premisse van het management onderuit te halen.

Arnout van Kempen

Ik wil niet flauw doen in een discussie die toch al niet extreem aangenaam is, maar toch even over de titel:

Of anekdotes leuk zijn weet ik niet, maar dat ze geen bewijs leveren is niet altijd waar. Een anekdote levert wellicht geen bewijs in veel situaties, maar anekdotes leveren prima bewijs in situaties ter weerlegging van een absolute theorie. Die zijn wellicht zeldzaam in de sociale wetenschappen, dus ik haal maar een voorbeeld uit de fysica: voor de mensen die de theorie aanhingen dat een mens-gemaakt apparaat dat zwaarder is dan lucht nooit (!) kan vliegen, was de anekdotische vlucht van de broers Wright echt voldoende bewijs om die theorie te weerleggen.

Zodra iemand beweert dat iets “altijd” of “nooit” waar is, is één anekdote genoeg bewijs ter weerlegging.

Jan Bouwens

Al dat ik zeg is dat 40 jaar onderzoek geen aanleiding geeft voor de vaststelling dat de combinatie contro advies op systeemniveau slecht uitpakt voor controle.

Marcel Pheijffer

@ Jan

Ik ga kort op je 3 punten in.

1. Je eerste bijdrage - louter gestoeld op Koh et al en dus niet op een samenvatting van de literatuur - was voor mij de aanleiding om op je bijdrage te reageren.

De artikelen waar je nadien meekomt zijn de facto meer van hetzelfde, maar belangrijker: deze leveren mij evenmin niet het eenduidige en overtuigende bewijs waarnaar ik vraag.

En nee Jan, het gaat niet om de anekdotes als dragend bewijs. Maar uiteraard mogen die wel in de discussie worden betrokken als deze contra-indicaties geven.

2. Je hoeft me niet - belerend - uit te leggen waarom er nuances zijn.

Waar het mij om gaat is dat jij de nuances in het artikel van Koh niet hebt weergegeven, waardoor jij ongenuanceerde conclusies trok.

3. Ook hier doe je belerend. Maar je gaat voorbij aan het punt dat ik maak: ook hier heb je de nuance van Koh et al in jouw ongenuanceerde stellingname weggelaten. Dat is waarop je wordt aangesproken.

Voorts sluit ik graag aan bij de opmerkingen van Rik en Jules over het type en de waarde van het 'bewijs' dat onderzoek waar jij en Willem Buijnk naar verwijzen oplevert. Bovendien speelt bij beleid maken meer dan steunen op dergelijk - te dun - bewijs.

Tot slot verwijs je naar de FAR-congressen. Ik neem uiteraard kennis van de FAR-publicaties. Prima dat die er zijn en deze voorzien zeker in een behoefte.
Persoonlijk geef ik echter de voorkeur aan andere congressen die bovendien meer in het hart liggen van mijn aandachtsgebieden en een ander publiek en (wetenschaps)filosofie kennen die mij meer aanspreken.
Zo verbleef ik tijdens het laatste FAR-congres, voor een fraudecongres in de VS. Ik hoop dat je mij dat niet euvel duidt.

Jan Bouwens

Erg jammer Jules zo'n persoonlijke aanval. Ik geef aan dat uitkomsten nooit definief zijn en je tracteert dan op een persoonlijke aanval. Ik zie jullie nooit op een FAR conferentie. Het podium voor discussie.

jules muis

Als je je in een vakblad/site in de opinie sectie overwegend aanbied als wetenschapper en gezaghebbend doorgeefluik van haar vruchten, dan dien je je volgens de grondregels van de wetenschappelijke discussie te gedragen. Anders loert het gevaar van intimidatie van de minder wetenschappelijk geverseerde lezers in iedere hoek.

Dat betekent dat je minimaal duidelijk moet maken dat op een hoger niveau niet alles wat wetenschappelijk is onderzocht ook wetenschappelijk is bewezen.

Ook dat je het belangrijk verschil in bewijslast tussen de natuurwetenschappen en sociale wetenschappen moet memoreren, zeker niet weglaten, als je er een beroep op doet.

‘Veldonderzoek’ kan dichter bij de waarheid staan dan theoretisch onderzoek, en een auteur mag daar gerust op wijzen. Maar als hij zelf vanaf 2015 ‘van buiten naar binnen’ veldonderzoek als inferieur heeft getekent aan van ‘binnen naar buiten’ onderzoek - met vrije toegang tot dossiers en praktijkvoering - dan is volledigheid vereist. De FAR ratio.

Het onvermeld laten van relevante informatie dat het gaat om belegen data, meer dan veertig jaar oud, zwaar gekwalificeerd, in een ver van ons Nederlands bed ‘veld’, is ook voor een opinie stuk, vooral waar het gaat om de essentie van de praktijkvoering, dodelijk voor een goed begrip.

Als in de discussie de ‘wetenschapper’ voordurend moeilijke vragen uit de weg gaat, en liever constant de probleemstelling verandert, blijft het sukkelen met vooruitgang in zo’n discussie.

Als je als eenzame wetenschappelijke stem op een forum als accountant.nl vrijwel nooit teruggefloten wordt door collegae wetenschappers op deze structurele tekortkomingen, dan is dat een reflectie van de jammerlijke stand van die wetenschap : koudwatervrees ook meegesleept te worden in een commerciele discussie van een publiek belang dienende discipline.

Praktijkbeoefenaars, met onze water en brood vakopleiding, verdienen beter dan dat.

Jan Bouwens

@Marcel:

1. Ik heb niet meer en niet minder willen doen dan samen te vatten wat de literatuur aangeeft rondom de organisatie van controle en advies in een kantoor. Als je nu in welke samenstelling en indeling ook in veertig jaar onderzoek nauwelijks ondersteuning vindt voor de gestelde problemen, waarom zouden we dan moeten aannemen dat ze er wel zijn? Is dat omdat er anekdotes zijn?
2. In zijn repliek voert Marcel aan dat zelfs de onderzoekers de bevindingen nuanceren. Ja dat klopt dat doen we in elk onderzoek. Je weet immers nooit 100 procent zeker of je bevindingen universeel waar zijn. Die claim kan niemand leggen en elk top journal eist dat je deze nuancering aanbrengt. Dat gebeurt in elke studie op topniveau gepubliceerd. Ik kan dus met mijn uitspraken op basis van de literatuur niet claimen dat er geen problemen zouden kunnen zijn. Echter, uit het feit dat er zo weinig ondersteuning wordt gevonden in diverse studies wordt de kans erop steeds kleiner.
3. Marcel citeert uit de studie van Koh e.a.: “Finally we do not make any causal conclusions as we can only conduct tests of association."
Inderdaad met empirisch onderzoek kunnen we bijna nooit causale relaties claimen. We meten immers met statistische methoden en dat betekent dat er altijd sprake kan zijn van onderspecificatie. Dat diskwalificeert onderzoek niet maar dat is de normale voorzichtigheid die je als onderzoeker moet volgen. In het geval van Koh is de reden als volgt. We gaan van tijdperk A naar B. Men meet de situatie in tijd A en B, maar tijdens B heeft men geen waarnemingen meer die aan de omstandigheden van tijdperk A golden. Dit feit opent de mogelijkheid dat in tijdperk B zich specifieke omstandigheden voordeden die we niet meten en sluiten daarom de claim voor een causale relatie uit.

Jan Bouwens

Dank voor je zeer vriendelijke reactie.

Het onderzoek van Koh e.a. is uniek omdat het een veldexperiment is.
In de uitgangssituatie mag de accountant adviezen geven over specifiek de inrichting van Accounting Information Systems en vervolgens geldt een nieuwe wet waarin alle advies over AIS bij wet wordt verboden. Vervolgens wordt de vraag gesteld of de controle niet wordt beïnvloed of dat deze beter of slechter wordt als AIS-advies wegvalt. Zij laten zien dat de resultaten met het wegvallen van de AIS-advies de kwaliteit van de verslaggeving verslechtert.
Merk op dat het hier gaat om een wettelijk verbod en niet om vrijwillig opgeven of verminderen van adviespraktijken (zoals in alle andere studies die ik aanhaal). De vrijwillige afschaling is immers een beleidskeuze van het bedrijf en men zal dat -naar verwachting- niet meer/minder doen dan goed is voor het kantoor en de kwaliteit van hun werk. Het wettelijk verbod maakt een zuivere test mogelijk.
Er is ook recent bewijs (Erik L. Beardsley, jae 2021) voor distractie van aandacht voor de controle als men ook advies geeft. In die gevallen is de afweging waar ik zojuist sprak niet goed gemaakt; het blijft een kwestie van zoeken naar evenwicht. De onderzoekers zien dit verschijnsel aantoonbaar 9en alleen dan) als accountantsvreemde adviezen worden gegeven als advies over strategie. Het gaat er op professieniveau (land) om wat het beste uitwerkt op de kwaliteit van de controle en de evidence wijst dan niet in de richting dat advies slecht is, in tegendeel.

Rik Blijham

@ Jan: uiteindelijk gaan deze discussies over de vraag hoe houdbaar jouw positivistische wetenschapsopvatting in de gedragswetenschappen is.

Het ontbreekt mij aan de tijd om alle artikelen die jij en Willem hier aanhalen te lezen. Maar terug naar het artikel van Koh et al: jij stelt dat "op basis van het onderzoek de conclusie is dat scheiding van advies en controle juist tot minder goede controles leidt".
Wat ik in het onderzoek lees is dat, in een context die nogal verschilt van de huidige, specifieke adviesdiensten een positieve invloed hadden op specifieke maatstaven voor controlekwaliteit.

Dat lijkt mij toch iets anders.

Jij ziet graag dat beleid gebaseerd wordt op wetenschappelijke bevindingen. Bij het ontwerpen van een veiligheidsbeleid is het inderdaad verstandig rekening te houden met de wetenschappelijk onderbouwde mogelijkheid dat voorwerpen naar beneden kunnen vallen. Beleid, bedoeld om gedrag te beïnvloeden, stoelen op bevindingen uit gedragswetenschappelijk onderzoek ligt naar mijn inzicht toch wat complexer. Bij het al te snel trekken van beleidsconclusies op basis van dergelijke onderzoeken bestaat het gevaar dat de nuances van die onderzoeken uit het oog verloren worden.

Ron Heinen

Citaat: "Al het onderzoek dat ik aanhaal is gedaan in een VS-context, waarin advies en controle ook aan oob's mag worden gegeven."

Uitgaande van de gegeven wetenschappelijke referenties welke allemaal uit de VS komen en het blijkbare gebrek aan nederlandse onderzoeken in nederlandse context neem ik aan dat professoren in NL zelf dit thema in Nederlandse context gaan onderzoeken en publiceren.

Dan kan het onderzoek gaan over nederlandse accountants- en advieskantoren welke organisaties controleren en adviseren die belastingplichtig zijn in Nederland.

Ook moet dan het onderzoek uitgevoerd worden binnen de verplichte nederlandse gedragscode voor onderzoek, zie ook mijn reacties op

https://www.accountant.nl/discussie/columns/2022/7/overschat-het-belang-van-een-wetenschappelijk-artikel-niet/

Marcel Pheijffer

Onder het stuk van Jan Bouwens zal een naschrift en reactie van mij worden geplaatst. Bouwens doet geen recht aan hetgeen ik schrijf.

Buijink sluit zich aan bij de lijn Bouwens. Maar net als Bouwens leest en citeert hij hetgeen ik stel niet volledig en plukt er slechts 1 zin uit.

Ik misken niet dat er wetenschappelijk onderzoek is gedaan naar de combinatie controle en advies. Naar mijn mening is het relatief weinig en bovendien eenzijdig. Dat is een kernpunt in mijn kritiek.

In mijn bijdrage stel ik dat het pleidooi van de combinatie 'niet is gestaafd door een overtuigende hoeveelheid wetenschappelijke literatuur, waaruit nut en noodzaak van die combinatie ondubbelzinnig blijken.'

De verwijzing naar Quick bewijst mijn gelijk. Hij stelt dat de 'the overall impact' van de combinatie op auditkwaliteit 'remains unclear' en is 'not completely conclusive'. Bovendien: 'the majority of previous studies failed to identify significant effects'.

Quick stelt in navolging van Koh et al (en ik wees daar eerder op) dat het voorts afhangt van het type adviesdienst.

Bovendien schetst Buijink een omgekeerde wereld: Bouwens refereert aan een artikel in zijn betoog en komt vaker met dat artikel op de proppen. Bouwens is degene die in zijn eerdere bijdrage waar ik hem op aanspreek met slechts 1 artikel.

Daarop sprak ik hem aan. Het is dan wat flauw aan te geven dat ik degene ben die reageert op 1 artikel en dat ik degene ben die de' hele wetenschappelijke literatuur in ogenschouw' zou moeten nemen.

De literatuur waar Bouwens, Buijnk en Quick naar wijzen leveren geen sluitend en ondubbelzinnig empirisch bewijs. Integendeel.

Willem Buijink

Inderdaad, deze uitspraak in de opinie van Pheijffer, 'Er is relatief weinig wetenschappelijk onderzoek gedaan naar de splitsing tussen controle en advies en evenmin naar de effecten van de combinatie daarvan.' klopt helemaal niet. Er is veel onderzoek naar. Bouwens geeft een reeks referenties.
Reiner Quick, collega uit Duitsland, in een recent ('open access') overzicht in de 'International Journal of Auditing' geeft ook een reeks referenties. Het onderzoek is in verschillende landen gedaan, ook EU lidstaten. Quick verwijst eveneens naar een vroege heldere discussie met nog meer (!) verwijzingen (Francis 2006) over de kwestie van Jere Francis, hoogleraar in Maastricht.
Quick concludeert: '..., the majority of previous studies fail to identify significant effects.'.
Daardoor: in een discussie over deze kwestie volstaat het inderdaad niet om, zoals Pheijffer deed, 1 artikel, het artikel dat Bouwens aanhaalde als voorbeeld, te dissecteren en bekritiseren.
Een opinie hierover van de wetenschapper Pheijffer moet die hele wetenschappelijke literatuur in ogenschouw nemen.

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.