ChatGPT en de Bomans-test

Zes jaar geleden onderzocht ik of computers kunnen vertalen. Mijn antwoord was toen eenduidig: nee, computers kunnen wel wat, maar niét vertalen. Hoe staan de zaken er nu voor? Lukt literair vertalen al een beetje?

De maatschappelijke bezorgdheid en bewondering over AI toonde zich het afgelopen jaar in de bevraging van het oprukkende gebruik van met name ChatGPT, ook in het onderwijs. In hoeverre staat een school kunstmatige intelligentie toe in de klas? De NRC waarschuwt op 8 maart van dit jaar voor een AI-koorts: “Bedenk dat AI geen onvermijdelijk ingrediënt voor goed onderwijs is.” Menig leerling hoopt wellicht op een verlichting van dat saaie woordjesleren en die vervelende grammatica.

Het is ondoenlijk om te onderzoeken wat de stand van zaken is voor alle vertaalprogramma’s: dat zijn er nogal wat, in vele talen. Dit voorbehoud gemaakt hebbend blijkt echter dat ChatGPT anno 2024 nog steeds niet goed vertalen kan, althans, niet door mijn Bomans-test komt.

De Bomans-test is mijn vertaallat waarover AI moet springen, wil het product werkelijk een vertaling heten. Ik heb gekozen voor Godfried Bomans omwille van zijn bijzonder fraai, veelvormig taalgebruik, dat hij inzet in fantastische verhalen, die – en dat is belangrijk – niét vertaald zijn. Vertaalde werken vallen af: dan grazen de logaritmen immers het internet af naar die vertalingen. Dat is afkijken, valsspelen. Ook vallen zakelijke, concrete teksten op een matig talig niveau af. Dat zijn teksten zonder veel problemen, waarin geen culturele eigenaardigheden of talige vindingen zijn verwerkt. Denk aan gebruiksaanwijzingen voor magnetrons, standaardcontracten voor fietsenverhuur, enz. Dat soort in veelvoud gepubliceerde teksten omzetten naar een andere taal lukt anno 2024 aardig, al beveel ik het niet aan om een notariële akte door AI te laten vertalen.

ChatGPT faalt anno 2024 in het vertalen van een fragment uit het Bomans-verhaal “De onsterfelijke Pa Pinkelman” uit 1953 met glans. De glans bestaat uit enige aardige vindingen, naast vele fouten. Hier volgt de bloemlezing van enige opvallende zaken en fouten uit een willekeurige passage, te weten: het begin van het dertiende hoofdstuk.

Schermopname van het 13de hoofdstuk in de DBNL van “De onsterfelijke Pa Pinkelman”.
https://www.dbnl.org/tekst/boma001onst02_01/boma001onst02_01_0014.php

In het verhaal zijn de twee hoofdfiguren, Tante Pollewop en Pa Pinkelman, in een cel in afwachting van verder politieverhoor beland. Bij Bomans staat: “Zo, Theo”, sprak zij vergenoegd, “dat is dat. Het is hier een allerliefst hokje en we zullen het er wàt gezellig hebben. En kijk nu eens in mijn karbies, daar zul je een sleuteltje vinden.” Dat wordt bij ChatGPT: “So, Theo”, sprach sie zufrieden, “das ist das. Hier ist es ein ganz entzückendes Stübchen, und wir werden es hier richtig gemütlich haben. Und schau jetzt mal in meiner Tasche, da wirst du einen Schlüssel finden.” Op het eerste gezicht lijkt het wat, op het tweede gezicht is het broddelwerk.

Kan een vertaler de idiomatische verzuchting “Zo, dat is dat” letterlijk vertalen met “So, das is das”? Dat lijkt mij niet: Tante Pollewop is blij dat zij eindelijk in haar allerliefst hokje (hoor de ironie) zit en van het voorafgaande gezeur af is. Ik zou hier kiezen voor iets als: So, das hätten wir dann (auch hinter uns). Het “entzückende Stübchen” kan wel, maar dat was ook niet zo lastig: de ironie wordt namelijk automatisch meegenomen in een letterlijke omzetting. Wat doen we met “und wir werden es hier richtig gemütlich haben”? Nee, te lomp: een Duitssprekende zal dit begrijpen, maar als je Tante Pollewops grappende, ironische toon wilt vatten in een beetje lopend Duits zou ik zoiets schrijven als: und wie gemütlich/bequem, ein voller Genuss.

En daarna gaat het echt fout-fout. “Karbies” is een oud woord voor een grote gevlochten handtas of marktemmer met twee oren. Dat woord heeft weinig treffers op het wereldweb en dus gaat het gegarandeerd fout. Bij Bomans heeft Tante Pollewop een grote tas zonder sluiting. Bij ChatGPT moet zij het echter stellen met zomaar een tas. Er staat: “Und schau jetzt mal in meiner Tasche.” Dat dekt de lading niet: de lezer denkt bij een Tasche aan een handtas. Had daar dan Reisetasche van gemaakt of iets dergelijks. En, het allermalste in dat zinnetje is wel dat in de Duitse ChatGPT-versie Tante Pollewop blijkbaar aan Pa Pinkelman vraagt om eerst in de tas te gaan zitten om daarna daarbinnen rond te kijken. Er had namelijk “in die Tasche” moeten staan, omdat het gaat om een naamval van beweging: men werpt de blik ergens in. Kortom, gebroddel!

Dit waren nog maar drie kleine zinnetjes uit een willekeurig Bomans-verhaal. De gehele ChatGPT-vertaling van het dertiende hoofdstuk van “De onsterfelijke Pa Pinkelman” vertoonde meer lacunes en fouten. De slotsom is wederom, net als in 2018: nee, AI kan niet goed vertalen, al gaat het minder slecht dan een paar jaar geleden. ChatGPT zet een taal om in de andere, en dit zonder recht te doen aan de inhoud van de tekst.

AI lukt het nog steeds niet om geheel persoonlijke, zeer particuliere uitdrukkingen of woordkeuzen te begrijpen en te vertalen (denk aan idiolecten, dialecten, enz.). Zo verzint Bomans het woord “kommelnist” voor communist. Daar moet een vertaler wat mee, ChatGPT vat dit niet. Wat ook nog slecht lukt: folklore en volksgebruiken, gebonden aan een bepaald milieu of bepaalde regio. Denk aan haring met uitjes, hagelslag, Nederlandse fietspompen, molentypes, maar ook bepaalde kleding, specifieke groetwoorden, enz. Soms kunnen zulke eigenaardigheden wel degelijk “gevat” worden in de andere taal, in een equivalent, zonder het oorspronkelijke idee te verliezen. Dan moet de vertaler wel onderzoek doen, de context begrijpen. ChatGPT lijkt voorshands geen enkele buitentekstuele context, geen cultuurweten, te hebben.

ChatGPT kiest op basis van kansberekening een woordbetekenis, maar een woord heeft eigenlijk altijd meerdere betekenissen. Een paard is een dier én een schaakstuk, onder andere. Een mens kiest in de context de juiste betekenis, maar het algoritme kiest soms nog steeds voor de verkeerde betekenis. Of schijnt het spel met de verschillende betekenissen niet door te hebben. Denk ook aan homografen: een sport is een spel, maar ook een laddertrede.

Hierdoor ontstaan taalspelletjes en woordgrapjes, die drijven op ironie en werkelijke intelligentie. Zulke intelligentie derft ChatGPT: idiomatische fijnheden zijn niet besteed aan het logaritme. Bijgevolg lukt het ver- of hertalen van zegswijzen, gezegden en spreekwoorden ook niet. Hiervoor is echt inzicht en creativiteit nodig, niet grazen op internet. Dankzij het eclatante gebrek aan daadwerkelijk begrip lukt het ChatGPT dan ook niet om de naamvallen toe te passen: dan moet de schrijver begrijpen wát de talige handeling nu precies inhoudt. Het zijn fouten die een eindexamenleerling niet zou maken.

Woordjes leer je door stampen, hardop stampen, overschrijven en herhalen. Grammatica door oefenen en fouten maken en daarover nadenken. Dat gaat overigens met een echte, een écht intelligente leraar van vlees en bloed ook veel gezelliger dan met een computerscherm.

P.S.
Een verzuchting buiten het onderwerp om! Waarom heeft ChatGPT de ellendige neiging om voortdurend maar excuses te maken? Wat zijn dit voor malle maniertjes? Is zulks gangbaar in de VS? Op de schrijver van het bovenstaande werkte het averechts, want excuses van machines en logaritmen bestaan niet: zij hebben geen gevoel of verstand, laat staan een geweten.

Bronnen:
Bomans, Godfried. De onsterfelijke Pa Pinkelman. Amsterdam/Brussel: Elsevier, 1953 (derde druk). Op: https://www.dbnl.org/tekst/boma001onst02_01/boma001onst02_01_0014.php
(geraadpleegd 10 december 2024).

Kerssens, Niels en Remco Pijpers (2024, 8 maart). Terwijl AI oprukt in het onderwijs, moeten scholen het hoofd koel houden. NRC. (bladzijde 19). Op:
https://www.nrc.nl/nieuws/2024/03/07/terwijl-ai-oprukt-in-het-onderwijs-moeten-scholen-het-hoofd-koel-houden-a4192349?t=1733870784 (geraadpleegd 10 december 2024).

Schmidts Visionen, Ruttes visie

Schmidts Visionen waren niet Ruttes visie.

Oud-bondskanselier Helmut Schmidt, een breed ontwikkelde mens met hart, mond en intellect, staatsman en liefhebbende echtgenoot, kortom een “mensch” in elk opzicht, is op 10 november jongstleden overleden. Enkele uren na zijn dood meldt de NOS dat Schmidt eens verklaarde dat “mensen met een visie naar de dokter moeten” – blijkbaar de vertaling van de aan Schmidt toegeschreven uitlating “Wer Visionen hat, soll zum Arzt gehen.”

Hee, dat ken ik! Nederland vernam in 2013 van zijn eerste minister soortgelijks, toen deze op de H.J. Schoo-lezing verklaarde dat “visie als de olifant is die het uitzicht belemmert”. De onvermijdelijke verbinding van beide uitspraken die de lezer in de Nederlandse context maakt, werpt de vraag op: waren Schmidts “Visionen” hetzelfde als de door Rutte ongewenste “visie”? Het antwoord is een duidelijk neen! Wat haalt de NOS zich toch allemaal in het kopje om zulke anachronistische vergelijkingen op te schrijven? Waarom?

Wat zei de heer Schmidt dan wél precies en hoe is die uitspraak te begrijpen? Dat heeft ook het Duitse St.-Ursula-Gymnasium in Attendorn zich in 2009 afgevraagd. Het schreef de heer Schmidt een brief, die iedereen kan aanklikken in het wereldwijde web, en de heer Schmidt antwoordde bondig.

De school vraagt Schmidt of het klopt dat hij “Wer Visionen hat, soll zum Arzt gehen” heeft gezegd. Kunt u zich dat nog herinneren, geachte heer Schmidt? In welke context? En is het nog steeds van toepassing op politici? Het korte en duidelijke Schmidtiaanse antwoord: Nee, ik kan het mij niet meer goed herinneren; het sloeg in elk geval niet op Willy Brandt. Het citaat komt waarschijnlijk wel van mij, maar ik weet niet meer in welke context ik mij over “Visionen” heb uitgelaten. En ja, het is nog steeds van toepassing op politici.

Source: Verteidigungsminister Helmut Schmidt Author: Bundeswehr-Fotos Wir.Dienen.Deutschland. © Bundeswehr/Archiv

Volgens het tijdschrift Der Spiegel zou Schmidt dit tijdens de verkiezingsstrijd van 1980 over zijn toenmalige tegenstander Willy Brandt gezegd hebben. De vroegste vermelding van het citaat is echter pas in 2002 te vinden en niet in 1980. Het zou dus zomaar kunnen zijn dat De Spiegel de uitspraak Schmidt in de mond legt. Het kan ook zijn dat Schmidt iets dergelijks heeft gezegd, maar een citaat zonder directe bronvermelding is niet zo sterk, en zelfs dan niet als de vermoedelijke bedenker zich meent te herinneren dát hij zoiets gezegd heeft, want mensen, en politici bij uitstek!, zeggen heel, heel, heel veel en kunnen zich na 22 jaar zeker niet alles precies herinneren.

Maar dan het belangrijkste punt! Wat betekent dit vermeende citaat? Wat staat hier? Er staat niét, ik herhaal, er staat niét dat mensen met een visie naar de arts moeten gaan. Weliswaar kan een “Vision” een toekomstvisie zijn, maar dan toch vooral van mensen die bevangen worden door droombeelden. Enerzijds vallen onder “Vision” letterlijk en overdrachtelijk vertekende beelden, namelijk hallucinaties door ziekte of bovennatuurlijke verschijningen, anderzijds kan het een toekomstbeeld volgens bepaalde maatschappelijke verwachtingen inhouden. Het woord “Vision” dekt dus zowel de begrippen “visioen” als “toekomstvisie”, maar heeft zelden een neutrale betekenis waar het woord “Zukunftsbild” zich aandient. Bovendien duidt het meervoud eerder op “visioenen”.

De Duitse zin betekent dan ook: wie waan- of droombeelden heeft, moet naar de dokter.

Dat de NOS niet binnen een paar uur op deze nuance kan komen, zij haar vergeven! Dat zij nog onrijpe geestesvruchten op het web zet, niet. Het is inadequaat om Schmidt met terugwerkende kracht eenzelfde uiting te laten doen als Rutte: de tijden zijn niet alleen anders, de uitlatingen verschillen inhoudelijk.

Schmidt zelf oordeelde zelf in 2010 in Die Zeit dat de vermeende uitspraak “eine pampige Antwort auf eine dusselige Frage” was – een lomp antwoord op een vage vraag. Reden te meer om een vermeend citaat zónder duidelijke bronvermelding, niet op te nemen; zeker niet in een onnauwkeurige vertaling, die een verkeerd tijdsbeeld oproept.

Actualisering 14 januari 2018: Zijne Excellentie de mp plaatst in het tv-programma Buitenhof zijn visie-uitspraak in het kader van de tegenstellingen uit de jaren zeventig en wijst erop dat hij wel degelijk een visie heeft. Over een artsenbezoek laat de mp zich niet uit. Na drie minuten:   https://www.vpro.nl/buitenhof/speel~VPWON_1283462~mark-rutte~.html 


Bronnen:
1. Het NOS-bericht “Helmut Schmidt: gerespecteerd als der Macher”:
http://nos.nl/artikel/2068254-helmut-schmidt-gerespecteerd-als-der-macher.html
2. Het Sint-Ursula Gymnasium schrijft een brief aan Helmut Schmidt:
http://sowi.st-ursula-attendorn.de/tp/tpsmid01.htm
3. De eerste vermelding van het citaat in Der Spiegel:
http://www.spiegel.de/spiegel/print/d-25554378.html
4. Helmut Schmidt overpeinst het slechte antwoord:
http://www.zeit.de/2010/10/Fragen-an-Helmut-Schmidt/seite-4

Relevante tekstpassages uit bovengenoemde bronnen:
1. NOS-bericht:
‘Protestpolitici’
Ondanks zijn hoge leeftijd was de elder statesman nog regelmatig te zien in tv-programma’s en bij congressen van de sociaal-democraten. Binnen de SPD bleef hij enorm populair.
De Hamburger werd gezien als een nuchtere pragmaticus, die een broertje dood had aan ‘protestpolitici’ die waren voortgekomen uit de studentenbeweging. Mensen met een visie adviseerde Schmidt “om naar de dokter te gaan”.
2. Brief Gymnasium:
(1) Geht das Zitat “Wer Visionen hat, soll zum Arzt gehen” tatsächlich auf Sie zurück? (Angeblich haben Sie es im Bundestagswahlkampf 1980 auf Willy Brandt bezogen.)
(2) Falls ja: Erinnern Sie sich noch, in welchem Kontext Sie diese Aussage gemacht haben? Wurde sie eventuell aus dem Zusammenhang gerissen?
(3) Würden Sie heute (unabhängig davon, ob Sie der Urheber des genannten Zitats sind) auf die Frage, ob Politiker Visionen haben müssen, ebenfalls auf den Gang zum Arzt verweisen – oder würden Sie die Antwort aufgrund Ihrer derzeitigen politischen Erfahrungen modifizieren?
Wir würden uns sehr freuen, wenn Sie uns hierzu Auskunft geben könnten.
In der Hoffnung auf Ihre Antwort verbleiben wir
mit freundlichen Grüßen
Anna Carla Kugelmeier
—-
Sehr geehrte Frau Kugelmeier,
besten Dank für Ihren Brief vom 30. Januar. Zu Ihren Fragen:
(1) Das Zitat geht auf mich zurück. Ich habe es damals aber nicht mit Blick auf Willy Brandt formuliert.
(2) Ich erinnere mich nicht mehr an den Kontext, in dem ich mich über Visionen geäußert habe. Das Zitat wurde bestimmt des Öfteren aus dem Zusammenhang gerissen zitiert.
(3) Das Zitat gilt auch heute, es bezieht sich damals wie heute auf Politiker.
Mit freundlichen Grüßen
Helmut Schmidt

Der Briefwechsel datiert auf den 30.1. bzw. 26.2.2009.
3. De eerste vermelding van het vermeende citaat:
Doch die Bürger störte das alles nicht. Schmidt profilierte sich im folgenden Jahr im Kampf gegen den RAF-Terror und wurde 1980 trotz eines pomadigen Mottos – “Wer Visionen hat, soll zum Arzt gehen” – im Amt bestätigt.
4. Helmut Schmidt betreurt het antwoord:
ZEITmagazin: Wenn man Ihnen so zuhört, könnte man meinen, Sie hätten eine Vision. Dabei haben Sie doch mal gesagt: Wer Visionen hat, sollte zum Arzt gehen.
Schmidt: Diesen Satz habe ich ein einziges Mal gesagt, er ist aber tausendfach zitiert worden. Einmal hätte genügt.
ZEITmagazin: Wie ist er überhaupt in die Welt gekommen?
Schmidt: Das weiß ich nicht mehr. Wahrscheinlich habe ich ihn in einem Interview gesagt. Das muss mindestens 35 Jahre her sein, vielleicht 40. Da wurde ich gefragt: Wo ist Ihre große Vision? Und ich habe gesagt: Wer eine Vision hat, der soll zum Arzt gehen. Es war eine pampige Antwort auf eine dusselige Frage.