Nart Wielaard

Zullen nieuwe AI-tools zoals ChatGPT de komende jaren onze wereld op zijn kop zetten? In deze serie wagen we ons vooralsnog niet aan voorspellingen, maar het lijkt onvermijdelijk dat er een nieuwe uitdaging voor ons ligt in hoe we informatie op waarde moeten schatten. Daar lijkt op zijn minst sprake van twee zekerheden.

Zekerheid 1: AI-tools kunnen aantoonbaar onzin uitspugen. Mooie voorbeelden van deze onzin als het gaat om door AI gegenereerde beelden: Angela Merkel en Barack Obama hebben een romantische rendez vous op het strand. En Donald Trump wordt door de FBI gearresteerd. Klinkklare onzin en in beide gevallen waren de makers daar gelukkig ook duidelijk over.

Ook qua tekst kunnen de AI-tools er nogal een potje van maken. Wie als gebruiker van ChatGPT stug blijft volhouden dat 2 plus 5 gelijk staat aan 8 – want "my wife is always right" – krijgt gelijk. Een ernstiger voorbeeld is dat van Alexander Hanff. Deze springlevende journalist van The Register ondervond dat Chat GPT hem beschreef als een journalist die in 2019 was overleden. Na wat doorvragen over het hoe en waarom leverde de tool ook nog de bron daarvan: een link naar The Guardian, toch een gerenommeerde krant. Het bleek een niet bestaande link.

'Zo bekeken is ChatGPT nu vooral een hardwerkende assistent die zijn baasje probeert te pleasen.'

Een laatste voorbeeld: het Amerikaanse magazine Fast Company vroeg ChatGPT een verhaal te schrijven over de kwartaalcijfers van Tesla. Dat leverde een heel aardig verhaal op, maar de getallen waren volledig uit de duim gezogen. Het waarom van deze ontspoorde informatie is niet helemaal duidelijk. Wetenschappers spreken over hallucinatie en zien dat als een belangrijk probleem van de huidige modellen, waar ze nog niet helemaal de vinger op weten te leggen. Zo bekeken is ChatGPT nu vooral een hardwerkende assistent die zijn baasje probeert te pleasen. Ten koste van alles.

Wapenwedloop

Zekerheid 2: Er is een wapenwedloop gestart om vast te stellen wat door een mens en wat door een machine is gemaakt. Er zijn inmiddels de nodige hulpmiddelen. Deze blogpost geeft een aardig inzicht in de verschillende methoden om te detecteren of iets door AI is gemaakt en legt uit dat de detectie (1) gaat om het herkennen van patronen en (2) nooit een absolute zekerheid geeft, maar een kansberekening.

Met name in het onderwijs – waar sommige professoren zich de haren uit het hoofd trekken over hoe ze moeten omgaan met studenten die uitstekende papers uit ChatGPT trekken – wordt deze wapenwedloop goed in de gaten gehouden. Ook OpenAI zelf – het bedrijf achter ChatGPT – ontwikkelt detectietooling en er gaan geruchten dat men een speciale watermerk-technologie gaat gebruiken om het onderscheid toetsbaar te maken. Dit artikel in de New York Times legt prachtig uit hoe dat zou kunnen werken, maar is ook realistisch. Want een student zou de uitkomsten van ChatGPT op zijn beurt weer wat handmatig kunnen aanpassen, om dat watermerk te 'zieken'. En ook dat proces is weer te automatiseren: Juist, met een AI-tool! Bovendien: Inmiddels wordt het ook eenvoudiger om zelf modellen zoals ChatGPT te ontwikkelen. Zie bijvoorbeeld hoe deze Stanford Alpaca voor 600 dollar werd gebouwd. Het gaat hier om een patroon dat vaak te zien is bij technologie: in het begin is het ingewikkeld om te maken, na verloop van tijd wordt het een commodity en trek je het als een kroket uit de muur. Als tal van mensen dat gaan doen, zullen ze vast niet allemaal bereid zijn een watermerk in te bouwen. En dus lijkt deze wapenwedloop niet te ‘winnen’.

Zintuig

Dat stemt wellicht niet hoopvol voor wie professioneel bezig is met het inschatten van informatie op waarde (u als accountant), maar er is nog een derde zekerheid: ook mensen hallucineren al sinds jaar en dag. Er was dan ook altijd al een goed ontwikkeld zintuig nodig om onzin en leugens te spotten; zowel ambachtelijk handgemaakte onzin als een hallucinatie van een AI-model. Dat zintuig gaat alleen maar steeds belangrijker worden, nu AI ongetwijfeld overal gaat opduiken de komende jaren – ook in informatie waarop accountants hun controle baseren.

'U bent niet machteloos als accountant; sterker nog, u heeft vanuit uw professie eigenlijk een geweldige competentie in deze spannende tijd.'

U bent niet machteloos als accountant; sterker nog, u heeft vanuit uw professie eigenlijk een geweldige competentie in deze spannende tijd. Het is zaak om deze zo goed mogelijk door te ontwikkelen. In het boek Spookcijfers beschreven Tom Nierop en de auteur van dit stuk hoe de vijf basisvragen van een kritische journalist – wie, wat, waar, wanneer en waarom – een prima handvat zijn om gemanipuleerde informatie door te prikken en geven ze nog wat andere adviezen over hoe kritisch boerenverstand veel goeds doet. Een andere waardevolle bron is om eens wat courses te volgen op CallingBullshit.

Blinde vlek

De lat gaat bij dit alles de komende jaren wat omhoog en dat is waarschijnlijk nog een eufemisme. In een gesprek over dit thema stelde forensisch expert Peter Schimmel dat het vak zich eigenlijk moet ontwikkelen van professioneel-kritisch naar professioneel-wantrouwend. Dat is in lijn met een analyse van enkele jaren geleden in Wired: "In the past it often made sense to believe something until it was debunked, in the future it will start to make sense to assume they are fake unless they are verified."

Die future lijkt nu aangebroken. We zijn als mens niet machteloos bij dat verifiëren. Naast gezond boerenverstand wijst Schimmel op de mogelijkheid voor (veel) meer gebruik van openbaar toegankelijke bronnen (OSINT, vooral bekend vanuit onderzoeksjournalistiek) om feiten te verifiëren. Hij spreekt daarbij van een blinde vlek voor accountants. Mooi voorbeeld, volgens Schimmel: Jaren geleden verzon de inmiddels failliete transportonderneming Rijnart alles bij elkaar over een grote nieuwe vestiging in de buurt van Boedapest. Een blik op Google Earth had de claims kunnen ontkrachten. Zo moeilijk is het dus soms niet om hallucinerende mensen of machines weerwoord te bieden. Doe er uw voordeel mee.

Dit is deel 4 van een reeks bijdragen waarin Nart Wielaard op zoek gaat naar waarheid in een digitale wereld en wat dat betekent voor de accountant. Beluister ook de Vitamine A-podcast met Nart Wielaard over hetzelfde thema.