Stel je voor: je hebt een programma ontwikkeld dat briljant lijkt, dat complexe taken oplost, maar je hebt geen idee hoe het tot die antwoorden komt. Veel mensen zien huidige AI-modellen als een digitale weerspiegeling van het menselijk brein. Maar wat als dit fundamenteel verkeerd is?
Dr. Bartosz Naskręcki, wiskundige en een van de makers van de strenge Frontier Math-tests, vergelijkt de huidige generatie AI met iets veel minder geruststellends: een Frankenstein-monster. Dit klinkt misschien hard, maar er zit een cruciale les in voor iedereen die dagelijks met ChatGPT of andere modellen werkt. Als je dit negeert, loop je het risico op intellectueel bankroet.
Het bouwproces: Geen brein, maar een lappendeken
Het idee dat neurale netwerken werken zoals onze hersenen, is een verouderd concept. De neurowetenschappen zijn allang verder gegaan, maar de informatica heeft de basismodellen in een soort vacuüm ontwikkeld.
Dr. Naskręcki legt het beeldend uit. We hebben verschillende onderdelen bij elkaar geplakt: data, algoritmes, rekenkracht. We hopen dat als we het aanzetten, het 'iets' gaat doen dat logisch lijkt. Het is bouwen zonder de blauwdruk van het origineel (het brein) echt te begrijpen.
Het Cargo Cult-denken in tech
Er is een gevaarlijke trend waarbij men denkt dat simpelweg meer schaalgrootte (meer data, meer rekenkracht) de problemen van begrip en betrouwbaarheid vanzelf oplost. Dit noemt Naskręcki 'cargo cult'-denken.
Denk aan het idee: "Omdat het op kleine schaal werkte, zal het op grote schaal véél beter werken." Dat is wensdenken. We kopiëren de vorm van een succesvol proces, maar missen de essentie, net zoals stammen die na de oorlog vliegtuigen bouwden omdat ze zagen hoe de soldaten die gebruikten.
- Geen uitlegbaarheid: We weten dat AI werkt, maar niet waarom het een specifiek antwoord geeft.
- Schaal is géén intelligentie: Meer data leidt niet automatisch tot echt inzicht.
- Onvoorspelbaarheid: Je weet nooit zeker of het model in een nieuwe situatie faalt.
De grens van begrip: De Frontier Math-test
Om deze vage aannames te testen, is Naskręcki betrokken bij Frontier Math – een reeks onmogelijke opgaven voor AI. Het cruciale hierbij is dat de antwoorden alleen een reeks cijfers mogen zijn, zodat de AI niet kan vluchten in een retorisch antwoord.
Het lastigste aan deze test was om problemen te ontwerpen die niet al op het internet stonden. Als AI het antwoord al eens heeft gezien tijdens training, is het geen test meer van redeneren, maar van geheugen.
Interessant feit: Van de 50 zwaarste taken hebben de modellen er pas 9 opgelost. Zelfs het onopgeloste probleem waar Naskręcki aan werkt, is al door 15 verschillende modellen geprobeerd en gefaald.
Van bouwvakker naar architect
Hoe verandert het werk van een onderzoeker dan? Vroeger moest je elke steen leggen (optellen, bewijzen uitwerken). Nu kun je de AI de stenen laten leggen, terwijl jij het overkoepelende ontwerp maakt.
We evolueren van de bouwvakker naar de architect. Dit is efficiënter, maar vereist een andere discipline. Je moet de machine kunnen sturen, niet domweg blindelings de output accepteren.
De grootste valkuil: Outsourcen van je brein
De meest directe bedreiging komt niet van de AI die te slim wordt, maar van ons die te lui worden. Als we te veel taken die mentale inspanning vereisen delegeren (de ‘outsourcing van het denken’), doven onze eigen cognitieve spieren langzaam uit.
Naskręcki deelt een persoonlijke tip om dit te voorkomen, en ik merk dat dit in Nederland ook hard nodig is met alle gemakken van tech. Hij schakelt steevast de promptgeschiedenis in zijn AI-chats uit.
Wat betekent dit? De chatbot kan zich niet aanpassen aan jouw eerdere vragen of stijl. Elke keer moet je jezelf opnieuw "introduceren" en het probleem helder formuleren. Dit dwingt je tot scherpere input.
Uiteindelijk klinkt zijn advies als een simpele levensles: Soms is het beter om te wandelen, ook al kun je een samenvatting van die wandeling krijgen. Blijf de moeite doen om de alternatieve weg te bewandelen, zelfs als de AI de snelste, meest gepolijste route aanbiedt.
Wat is de laatste keer geweest dat u bewust een taak deed die een AI sneller voor u had kunnen doen, puur om uw eigen vaardigheden scherp te houden?
