Opinie

Aanpassing AO en het meten van resultaten

Onlangs ontstond bij een bericht op deze site discussie over de vraag of artikelen die worden geplaatst in zogenaamde A journals (als zodanig opgenomen in de Financial Times Ranking) meer waarde hebben dan papers geplaatst in zogeheten B journals. Daar kom ik even op terug.

Ik vroeg me af hoe sterk we bevindingen in B journals als waar moesten aanduiden, als de relaties die daar werden gevonden nog nooit in A journals werden gepubliceerd. Gemiddeld moet het waar zijn dat A journals meer waarde hechten aan identificatie van resultaten dan B journals. Zo eisen de review boards van A journals (meestal afkomstig van topscholen als Harvard, Columbia, etc.) dat onderzoekers maatregelen treffen om te voorkomen dat hun claim over een relatie onwaar is. Omdat relaties in twee richtingen en niet in één richting gaan.

Voorbeeld. Stel, je verricht een onderzoek naar de vaststelling van de hoogte van de rente bij een bank, door degene die beslist over de toekenning van de lening en de hoogte van de rente. De betrokken bank heeft zojuist de beslissingsbevoegdheid volgens een nieuw AO-plan aangepast, door de beslissing over de leningen aan het mkb te centraliseren, van de loan officer naar de risk afdeling van de bank. We willen weten of het wat uitmaakt of een lening door de loan officer werd genomen of door die risk afdeling.

Om dat te doen meten we of de risico-inschatting vaker moet worden bijgesteld in de situatie dat de loan officer beslist (de oude situatie), dan in het geval van Risk (nieuwe situatie).  Stel, we vinden support voor deze situatie. Hebben we dan aangetoond dat de loan officer inderdaad slechter werk leverde? Nee, want stel dat er sprake is van een verbeteringstrend (bijvoorbeeld ingegeven door betere technologie), dan hoeft het geenszins waar te zijn dat Risk beter werk aflevert. Het is eenvoudig zo dat de technologie inmiddels betere risico-inschattingen faciliteert. Het maakt misschien niet uit of Risk of de loan officer dit werk doet. We moeten dan corrigeren voor deze trend.

Om het helemaal goed te doen moeten we ook nog een vergelijking maken met andere leningen waarvoor de beslissingsstructuur ongewijzigd blijft. Voor beide typen kunnen we dan de trend berekenen en er rekening mee houden bij het doorrekenen van de resultaten. Verder kan de pijl ook nog in een andere richting wijzen. Zo is het heel goed mogelijk dat Risk alleen maar de makkelijke gevallen neemt en daardoor op papier beter werk aflevert. We moeten dus ook gaan kijken of de samenstelling van de leningsaanvragen wel gelijk is gebleven. Pas als we als dat werk hebben gedaan, weten we met meer zekerheid dat de relatie bestaat. Om de identificatie van deze relatie te doen moeten we zeker tien aanvullende testen verrichten, om aannemelijk te maken dat een relatie bestaat tussen de kwaliteit van de risico-inschatting en het hiërarchisch beslissingsniveau (loan officer of Risk department).

Het is typisch zo dat in A journals heel sterk de nadruk wordt gelegd op zekerstelling van de resultaten, terwijl in B journals meer vrijheid wordt toegestaan. Ter vergelijking: in de eerste divisie kun je voetballen, maar dat spel is technisch van een lager niveau dan het spel van de topclubs uit de eredivisie. Betekent dat, dat matches in de eerste divisie het aankijken niet waard zijn? In geen geval! Kunnen er interessante papers komen in B journals? Jazeker, dat kan en gebeurt heel vaak en daarom is er ook een grote plaats voor die journals.

Een nadeel van wetenschappelijke journals is, dat ze voor mensen in de praktijk onleesbaar zijn. Vandaar dat het van belang is dat dezelfde wetenschappers ook vertalingen geven van wat er in die journals staat. Dat schrijven ze in landelijke dagbladen en in praktijkjournals en blogs. Ook op deze site komen we hiervan regelmatig waardevolle bijdragen tegen. Maar ook hier moeten we kritisch blijven. Als een bevinding uit een B journal nog nooit een A journal heeft gehaald, moeten we heel voorzichtig zijn om definitieve conclusies te trekken. Dat moeten we ook met bevindingen uit A journals trouwens. Alleen ligt de lat daar hoger, zoals ik hiervoor heb getracht te illustreren. Niets is definitief!

Wat vindt u van deze opinie?

Reageer Spelregels debat

Jan Bouwens is hoogleraar accounting UvA en research fellow University of Cambridge.

Gerelateerd

reacties

Reageren op een artikel kan tot drie maanden na plaatsing. Reageren op dit artikel is daarom niet meer mogelijk.

Aanmelden nieuwsbrief

Ontvang elke werkdag (maandag t/m vrijdag) de laatste nieuwsberichten, opinies en artikelen in uw mailbox.

Bent u NBA-lid? Dan kunt u zich ook aanmelden via uw ledenprofiel op MijnNBA.nl.