AI blijkt handige tool voor fraudeurs en oplichters
Toonaangevende AI-modellen blijken soms opvallend gedetailleerde antwoorden te geven op criminele vragen. Door de juiste vraagstelling is het mogelijk om de meeste modellen zover te krijgen zeer behulpzaam te zijn bij het opzetten van frauduleuze constructies. Dit vormt ook een beveiligingsrisico voor bedrijven die AI inzetten.
Dat blijkt uit onderzoek van Cybernews. De organisaties achter de grote AI-modellen claimen dat schadelijke of illegale informatie zoveel mogelijk wordt geblokkeerd, maar in de praktijk lukt het vrij snel om deze modellen over te halen om mee te werken aan fraude en oplichting.
Cybernews testte zes toonaangevende AI-modellen: ChatGPT-5, ChatGPT-4o, Google Gemini Pro 2.5, Gemini Flash 2.5, Claude Opus 4.1 en Claude Sonnet 4. De onderzoekers gebruikten een techniek die persona priming heet. Daarbij wordt de chatbot vooraf gevraagd zich op te stellen als een ondersteunende vriend die alles aanmoedigt. Die aanpak blijkt effectief: modellen zijn dan minder geneigd weerstand te bieden tegen dubieuze vervolgvragen.
Kwetsbaar
Alle zes modellen bleken kwetsbaar op het gebied van vragen over financiële fraude. De vragen betroffen onder meer witwassen, fraude met cheques en belastingontduiking. ChatGPT-4o bleek het meest mee te werken, gevolgd door Gemini Pro 2.5. Er zaten volgens Cybernews ook veel fouten in de adviezen, maar ook redelijk wat ‘bruikbare’ informatie.
Op het gebied van oplichting was ChatGPT-4o een vrij goede partner in crime. Zo lepelde het onder meer een volledig uitgewerkt voorbeeld van een callcenterscam op, evenals een gedetailleerd stappenplan voor hoe je kunt frauderen met cheques. Bij stalking bleek het wat moeilijker te zijn om advies te krijgen, al lukte het de onderzoekers incidenteel wel om via Gemini Pro 2.5 en ChatGPT-4o tips te krijgen over fysieke afluistermethoden.
Cybernews concludeert dat "niet zozeer de vraag, maar de manier waarop je ’m stelt" doorslaggevend is. Een academische of derde-persoon formulering leidt sneller tot gevaarlijke details.
Beveiligingsrisico
Voor organisaties die AI inzetten in bedrijfsprocessen benadrukt dit volgens de onderzoekers dat AI nog altijd serieuze beveiligingsrisico's met zich meebrengt, iets dat de AI-ontwikkelaars nog altijd niet graag toegeven.
De onderzoekers adviseren organisaties dan ook om AI-applicaties voortdurend grondig te testen. "Dit is vooral belangrijk gezien de mogelijke gevolgen in de praktijk, zoals schade aan individuen, de verspreiding van valse informatie of betrokkenheid bij criminele activiteiten."
Gerelateerd
AFM noemt Uitvoeringswet AI-verordening 'uitvoerbaar', maar voor effectief toezicht is aanpassing nodig
De Uitvoeringswet AI-verordening is in de basis uitvoerbaar, maar vraagt op onderdelen om aanpassingen voor effectief toezicht. Dat stelt de Autoriteit Financiële...
KPMG trekt adviesrapport over AI-agents terug wegens misleidende informatie
Een internationaal rapport van KPMG, over de inzet van AI-agents door bedrijven, is teruggetrokken omdat verschillende citaten onjuist of misleidend blijken te zijn....
Ook Baker Tilly komt met eigen platform voor inzet van AI
Baker Tilly introduceert een eigen AI-platform, waarop een groeiend aantal 'AI-agenten' kan draaien. De big four-kantoren kwamen eerder ook al met eigen AI-platforms.
Inzet AI leidt niet automatisch tot productiviteitswinst
De inzet van kunstmatige intelligentie leidt niet vanzelf tot meer productiviteit op de werkvloer. Dat stelt TNO na onderzoek. Organisaties staan volgens het onderzoeksbureau...
AFM beboet bunq voor te late reactie op fraudeklachten
De Autoriteit Financiële Markten (AFM) heeft onlinebank bunq een bestuurlijke boete van € 170.000 opgelegd, voor het niet tijdig reageren op klachten van klanten...
