Ingehaald worden door de werkelijkheid. In het zich razendsnel ontwikkelende vakgebied van kunstmatige intelligentie gebeurt dat vaak. Dingen die vandaag nog onmogelijk lijken, kunnen morgen ineens realiteit zijn. Het gebeurde ook met dit verhaal. Terwijl ik deskundigen sprak over of en op welke termijn de computer zelfstandig een wetenschappelijke artikel zou kunnen schrijven, was daar ineens ChatGPT, de nieuwe tekstgenerator van OpenAI.
‘De computer is juist heel goed in het genereren van slechte hypotheses’
En natuurlijk kun je erover discussiëren of je de teksten die ChatGPT genereert wetenschappelijk mag noemen, maar in elk geval is het een serieuze stap voorwaarts in de ontwikkeling van door de computer gegenereerde tekst.
Net als miljoenen andere mensen op de wereld probeer ik ChatGPT uit. De opdracht die ik geef is: Write a scientific essay on the significance of DNA for career choices.
Binnen enkele seconden komt er een stuk tekst dat begrijpelijk en coherent is. Het begint met een inleidende alinea over het toegenomen belang van DNA op allerlei gebieden, zoals het terrein van carrièrekeuzes. Daarna gaat de tekst in op hoe dat toegenomen belang tot uiting komt. En komt het programma met een aantal voorbeelden.
Hier komt wel meteen een belangrijk bezwaar naar voren: het programma gaat totaal voorbij aan de ethische kanttekening die je zou moeten maken bij dit onderwerp: ‘DNA analysis has been used to identify the best candidates for certain positions, such as medical doctors or scientists. By analyzing the DNA of potential candidates, employers can determine which individuals have the best genetic makeup for the job’, schrijft ChatGPT monter. Tsja, het is een coherente tekst, die zich bij het onderwerp houdt en zich waarschijnlijk baseert op wat er op het web bekend is over DNA en carrièrekeuzes, maar de wereld wordt er niet veel wijzer of beter van. Je mist de ethische overwegingen. De tekst breit bekende feiten aan elkaar zonder moraal, wijsheid of inzicht.
Geen creatieve bijdrage
“AI houdt ons een spiegel voor”, stelt Haroon Sheikh, bijzonder hoogleraar Strategic Governance of Global Technologies en senior wetenschapper bij de Wetenschappelijke Raad voor het Regeringsbeleid. “Doordat we het werk van wetenschappers steeds meer standaardiseren en meetbaar maken, is het gemakkelijker na te bootsen door de computer. Zo kun je iets maken dat lijkt op een standaard wetenschappelijk artikel, maar dat is geen echte, inhoudelijke en creatieve bijdrage aan de wetenschap, hoewel het natuurlijk heel moeilijk te definiëren is wat creativiteit dan wel precies is.”
‘Creatief denken is principieel anders dan het analyseren van grote hoeveelheden data’
Hij maakt de vergelijking met plantaardig vlees: “Daarvan zeggen mensen ook: dat smaakt bijna hetzelfde als kipnuggets, maar daarbij vergeten ze dat die kipnuggets ook al zo bewerkt zijn dat ze weinig meer met echt vlees te maken hebben.”
De computer zal het echte werk van de wetenschap voorlopig niet overnemen, denkt Sheikh. “Wetenschap valt of staat bij theorievorming, daarvoor is creatief denken nodig. En dat is principieel iets anders dan alleen de analyse van grote hoeveelheden data. We weten eigenlijk nog steeds niet precies hoe mensen dat doen. Voordat computers dat kunnen, moet er nog een fundamentele stap worden gemaakt.”
Argument is patroon tussen datapunten
Andere deskundigen zijn optimistischer over wat AI kan. Er zijn weliswaar nog een heleboel praktische beperkingen, maar geen principieel bezwaar tegen de mogelijkheid dat de computer een hypothese zou kunnen genereren op basis van data: “Een argument is eigenlijk gewoon een patroon tussen verschillende datapunten. Zo moeilijk is het niet”, meent Lauren Waardenburg, tot voor kort VU-onderzoeker, maar inmiddels werkzaam bij de universiteit van Lille, en gespecialiseerd in hoe organisaties omgaan met computersystemen.
“De computer is juist heel goed in het genereren van hypotheses”, stelt Frank van Harmelen, VU-hoogleraar Knowledge Representation and Reasoning, “alleen zitten daar op dit moment ook nog een heleboel slechte hypotheses tussen. Voorlopig hebben we nog mensen nodig om de goede en de slechte hypotheses van elkaar te scheiden, maar ik zie niet waarom je computersystemen niet zou kunnen trainen om dat in de toekomst beter te kunnen.”
‘Er is geen enkel menselijk gen dat maar onder één naam voorkomt in de databases’
Sterker nog, Van Harmelen werkt al aan zo’n programma: samen met sociaal-psychologen van de VU ontwikkelde zijn groep een computerprogramma dat op basis van een database met 2500 reeds gedane experimenten, zelf met suggesties komt voor nieuwe experimenten. “Die zijn nu nog lang niet allemaal bruikbaar, maar we onderzoeken hoe we dat kunnen verbeteren”, zegt hij.
Menselijke grilligheden
Hebben we in de toekomst überhaupt nog theorieën nodig, of is analyse van de ruwe data voldoende om ontwikkelingen in de wereld te kunnen voorspellen? In 2008 publiceerde Chris Anderson in computertijdschrift Wired het artikel The end of theory, waarin hij precies dat betoogt: wetenschappelijke theorieën zullen in de nabije toekomst overbodig worden. Die theorieën zijn namelijk vaak gemankeerde beschrijvingen van de werkelijkheid die alleen onder bepaalde omstandigheden opgaan. Waarom niet gewoon alleen naar de data kijken en daar statistiek op loslaten? De hele wereld als ‘single database’.
Maar juist in de aanname dat er zoiets bestaat als een single database schuilt een belangrijk probleem. Een goede database heeft eenduidige gegevens nodig. En helaas zijn mensen in het invoeren daarvan een stuk minder consequent dan computers. “Het is vreselijk”, zegt Van Harmelen, “er is geen enkel menselijk gen dat maar onder één naam voorkomt in de grote wetenschappelijke databases zoals PubMed en omgekeerd hebben verschillende genen soms dezelfde naam.” Wat voor de benamingen van genen geldt, geldt ook voor allerlei andere begrippen waarvoor wetenschappers in diverse landen vaak verschillende termen gebruiken.
‘Amerikaanse scans zijn anders dan Europese. We weten niet waarom.’
Bij beeldanalyse heb je dat probleem niet, zou je denken. Bij scans van bijvoorbeeld tumoren ben je minder afhankelijk van menselijke grilligheden. Maar ook hier blijkt eenheid ver te zoeken. “Scans van dezelfde tumoren in dezelfde lichaamsdelen vertonen toch regionale verschillen”, zegt Waardenburg. “Amerikaanse scans zijn anders dan Europese. We weten niet precies waarom. Het kan bijvoorbeeld zijn dat ze op een ander moment van de dag gemaakt zijn of met een ander merk scanner.”
Waardenburg onderzoekt hoe organisaties in de praktijk omgaan met de mogelijkheden die computers bieden. Ze ziet hoeveel er dagelijks misgaat vanwege kleine dingen waardoor systemen niet optimaal worden gebruikt en gegevens niet uitwisselbaar zijn: “Een computersysteem goed gebruiken vergt, zeker in het begin, veel extra werk”, vertelt ze. “Bij veel organisaties zie je dat dat nooit goed van de grond komt.”
Daarnaast bestaan er tussen organisaties en vakgebieden allerlei historisch gegroeide verschillen in de rubricering van gegevens. Dat geldt ook binnen de wetenschap. Waardenburg: “Multidisciplinair data delen is in de praktijk ontzettend lastig vanwege die verschillen.” Het gevolg is dat er een wereld van verschil zit tussen wat er technisch mogelijk is en wat er in de praktijk haalbaar is.
Hallucinerende AI-systemen
Het meest optimistisch is Piek Vossen, hoogleraar computationele lexicologie aan de VU. Vossen denk dat we over een jaar of tien een aardig eind op weg kunnen zijn met een door de computer gegenereerd wetenschappelijk artikel. “Afgelopen jaar kreeg ik een essay van een student waarin de eerste vier regels door de computer waren gegenereerd. Als ze het er niet bij had geschreven, had ik het niet geweten”, zegt hij.
Vossen benadrukt wel dat zo’n tekst geen bewuste betekenis heeft: de computer vult tekst aan op basis van wat hij in andere teksten vaak voorbij ziet komen: de kat loopt over… Zo’n zin kan de computer gemakkelijk aanvullen: de dakrand, de vensterbank, het balkon. “Maar daarbij heeft een computer geen idee wat een kat representeert of wat lopen betekent”, legt Vossen uit. “Dus moet je zo’n artikel altijd door een mens laten nalopen, maar ik denk zeker dat de computer een hulp zou kunnen zijn in het genereren van een eerste versie van een artikel op basis van data en steekwoorden.”
Problemen en kinderziekten zijn er voorlopig nog genoeg bij automatisch gegenereerde bijdragen. Zo gaan AI-systemen geregeld ‘hallucineren’, zelf informatie verzinnen over onderwerpen waar ze te weinig van afweten. Ook trekken computers conclusies op basis van bestaande data en daar zitten vaak vooroordelen in: bijvoorbeeld dat alle wetenschappers man zijn, wit, Amerikaans en aan Stanford werken.
‘Mensen zien te snel causale verbanden, denk aan astrologie’
Een pijnlijk voorbeeld van dit type vooroordeel was het algoritme dat Amazon een paar jaar geleden gebruikte om de beste sollicitanten te selecteren voor programmeursbanen. Dat algoritme plaatste vrouwelijke kandidaten onderaan de ranglijst, niet omdat ze niet de juiste kwalificaties zouden hebben, maar omdat in het bestaande personeelsbestand vrouwen veruit in de minderheid waren. Een vergelijkbaar voorbeeld vond plaats op onze eigen universiteit, waar een studente van kleur meerdere keren niet als mens werd herkend door de antispieksoftware.
Zelfrijdende auto
De computer trekt conclusies op basis van situaties uit het verleden, soms slaan die nergens op of zijn ze zelfs immoreel. Maar mensen zijn ook niet altijd even goed in helder redeneren, stelt Van Harmelen: “”Mensen zien te snel causale verbanden, denk aan astrologie, of allerlei andere vormen van bijgeloof.” In zijn onderzoek naar hybrid intelligence probeert hij daarom de sterke punten van mensen en computers te combineren. “Wij gaan de komende jaren proberen een wetenschappelijke assistent te bouwen”, zegt hij. “Die kan de wetenschapper niet vervangen, maar wel behulpzaam zijn bij de stadia van het wetenschappelijk proces: relevante literatuur verzamelen, een hypothese opstellen, experimenten opzetten en uitvoeren, data verzamelen en uiteindelijk misschien een eerste versie van een artikel schrijven.”
AI schotelt ons voorlopig een imitiatie voor, soms verbluffend en soms tenenkrommend
Maar hoe lang dat nog gaat duren? Allemaal beginnen de vier deskundigen over de zelfrijdende auto. “Tien jaar geleden al dachten we dat die er over twee jaar zou zijn”, zegt Sheikh, “en nu denken we nog steeds dat die er over twee jaar zal zijn. Onder gecontroleerde omstandigheden doet zo’n auto het prima, maar als er ineens een eend oversteekt, blijkt dat toch complexer.”
Welkom in de echte wereld, computer, waar data rommelig worden ingevoerd en eenden de weg oversteken, waar gegevens uit het verleden niet per se maatgevend of gewenst zijn voor de toekomst. En waar mensen al eeuwenlang creatieve ingevingen krijgen zonder dat we precies weten waar die vandaan komen. Met logica en data kom je een heel eind, maar wat je ons voorschotelt blijft voorlopig een imitatie, die soms verbluffend is en soms tenenkrommend.
De beelden in dit artikel zijn gegenereerd door middel van automatische beeldgeneratoren.Vormgever Rob Bömer probeerde er een stuk of tien uit. De meeste komen van Nightcafe.