Wietse Hage

Ja, je krijgt een punt, want je hebt het goed geraden en toen opgezocht of het klopte. En toen bleek je jezelf een punt te kunnen geven. Ja, en het opzoeken is dus niet gedaan met toolcalling. Dat moest gegokt worden, want het zijn statistische modellen die een gokje wagen. En die wagen een gokje en dan zit nou, ik weet niet hoe jij dit gokje waagt, maar keep doing that. Dit gaat lekker. Dus je krijgt een duwtje in de rug om op deze manier te blijven gokken. Ja.

Nou, als je dat dan... Ik sla hem heel erg plat hoor. Maar in de paper gaat het echt op dit deel... van wat er tijdens training gebeurt. Er gebeurt nog meer. Maar dit is echt een belangrijke. Want je wil eigenlijk die gigantische dataset... waar je van de antwoorden eigenlijk al weet... een model ernaast zetten. En dan iedere keer het model een klein beetje puntjes... of minpuntjes geven... om hem te vormen door die punt te geven, zeg maar... naar een model dat heel veel goede antwoorden kan geven... op al die vragen waar jij de antwoorden al op weet. Ja.

En dan op een gegeven moment na x aantal iteraties zeg je... het is me gelukt om een klein ding te maken... die best wel hele goede gokken maakt... op een heel groot deel van de vragenlijst. En als je hem nog kleiner maakt, wordt hij slechter. Dan noem je hem mini. En als je hem heel groot maakt, noem je hem behemoth. En dan doet hij bijna alles goed. Die grootste kan je niet draaien, want die is te traag en te duur. En de mini draai je alleen voor domme vragen. Dat is ongeveer het spelletje wat er gespeeld wordt.

Maar wat er blijkbaar niet gebeurde... en ik was niet de enige. Veel van de mensen die deze paper lazen waren verbaasd. Van, huh, deden jullie dit nog niet? Deden jullie wat nog niet? De nieuwe toevoeging is namelijk zeggen... wacht even, als jij...

een antwoord geeft en het is het goede antwoord... krijg je één punt. Dit is het nieuwe regime wat ik nu ga uitleggen. Als jij geen antwoord kan geven... krijg je nul punten. Als jij het verkeerde antwoord geeft... krijg je drie minpunten. Je wordt flink gestraft. Want dat is niet best.

Hoe het voorheen ging, platgeslagen, is... je krijgt een puntje voor het goede antwoord... maar niet per se hele grote minpunten voor een slecht antwoord. Waardoor je eigenlijk dat ding aan het motiveren bent om te bluffen. Waarom deden ze dat dan? Omdat in essentie in dat trainingsregime met die strategie... er prima modellen uitkwamen. Prima als in veel bruikbaarder dan we vroeger hadden. Anders hadden we dit hele podcast niet gestart. Het is gekomen omdat het ging begon te werken. Iets ging goed doen.

Iets ging goed en nu zitten we hier. Ja, pretty much. Maar goed, er komt wel nieuws door dat het VVD-programma bij elkaar kletst. En dus wat blijkt is dat je eigenlijk... Het is ook zo dat je moet... Ik bespreek nu een soort ideaalbeeld van een perfecte trainingsdataset... die helemaal gestructureerd is, waar we alle goede antwoorden van weten.

Die hebben we helemaal niet, die dataset. Daar hebben we kleine stukjes van. Over het algemeen zijn het hele grote, rommelige datasets die je erin stopt. Dus wat gebeurde er, is dat als er 700 keer in de dataset Willem-Alexander stond... dan kreeg hij zo vaak één punt voor een goed antwoord... dat dat zwaar genoeg werd in de gewichten van het model... dat hij gewoon altijd Willem-Alexander zei. Waardoor het bijna een database leek waar we het vorige week over hadden. Terwijl het een gokje blijft, hè.

Maar als er dan één keer een random figuur uit de Nederlandse geschiedenis... die maar in twee boeken ooit genoemd is... daar ontstaat dan twijfel. Want ja, ik krijg eigenlijk heel weinig punten. Weet je wat ik doe? Ik word blijkbaar opgevoed als modelletje... dat een goed modelletje is als ik antwoorden geef. Goed of niet, als het ware. Dus ik ga het gokje nemen om de bluff te doen. Ja.

welke antwoorden dat ding heel zeker van is... en waar die niet zeker van is. Sterker nog, alles gaat met diezelfde overtuigendheid. Zelfs als die eigenlijk niet zo zeker is. Ja, en dan is het natuurlijk nog belangrijk. Je hebt deze vragen die ik nu stel tijdens de trainingsfase. Dus dan is het model nog nat. Het beton is nog nat. En dan de vragen die je stelt als die getraind is. Het beton is inmiddels hard. Dus als jij de vraag stelt als eindgebruiker aan ChatGPT... dan zou jij hopen...

dat als hij de drie dochters van Willem-Alexander aan het gokken is... lijkt een gokmachine... en dat hij bij de derde begint te twijfelen... dat hij zegt... ik weet eigenlijk niet zeker... ik voel dat ik maar 13% zekerheid over deze derde dochter heb... weet je wat, ik geef het antwoord niet. Dan ga je ervan uit dat hij weet dat hij onzeker is. En dat wist hij niet.

Omdat hij dus nooit gestraft of de signalen had gekregen. Klinkt wat liever. Tijdens de trainingsperiode. Om te beseffen hoe zeker die van zijn zaak is. Want je moet hem wel minpunten geven op verkeerde gokjes. Om te beseffen. Wow. De kans dat dit antwoord wat ik nu ga geven goed is, is heel laag. Want ik heb er mega veel strafpunten voor gekregen tijdens de training. Dus eigenlijk...

Wil je een confidence score bij het antwoord geven... als die al in het beton gegoten is, dus het model is afgebakken... en dan een confidence threshold instellen en zeggen... luister, alles onder de 50% hebben we liever dat je niet bluft. Dat kan je dus achteraf doen door hem daar af te kappen...

En daarnaast in de training te zeggen. De kans dat jij verkeerde antwoord gaat geven. Gaan we verlagen. Door het trainingsregime aan te passen. Dus die kan je een beetje combineren met elkaar. En nu is het dus zo gebleken. Want dat laat de paper zien. En dat is goed nieuws. Want ik zeg. Goed mijn mening. Maar ik denk dat het niet heel gek is om te zeggen. Het hallucinatie probleem.

Als dat niet opgelost wordt op een substantiële manier, dan kunnen we niet door. Dan moeten we misschien andere technologieën gaan ontwikkelen, want dan zijn taalmodellen niet geschikt voor heel veel taken. Ja, ik hoor heel veel mensen dat om me heen zeggen, die bijvoorbeeld in journalistiek werken, die dan aan...

Dus ik denk, want het heeft ook te maken uiteindelijk met context engineering. Dus het goed vullen van de context niet door jou als eindgebruiker, want dat wil je eigenlijk zo min mogelijk hoeven doen. Je wil dat dat model dat doet. Dus je wil eigenlijk dat het model zegt, zo, ik merk ineens, ik zeg het even een beetje als een soort mens, intuïtief dat ik hier antwoorden aan het geven ben waar ik helemaal niet zo zeker van ben. Ik ga het internet wel even op. Dan doe ik even een dubbele check op mijn eigen...

presentatie van feiten die eigenlijk niet echt feiten zijn. Want de tool call, oftewel de wereld ingaan op zoek naar het huidige weer... Doordat die gewoon gaat browsen. Ja, en die kan je er heel makkelijk in programmeren in de system prompt... door te zeggen, die weer call die ik net doe... Luister, jij bent een betonnen taalmodel. Jij weet niks van het weer. Dus altijd als het over de context weer gaat, ga jij zoeken naar het weer. Dat is best wel strak in te programmeren en dat gaat echt prima...

Maar waarmee je eigenlijk wil zeggen, misschien is het ook niet nodig dat dat ding helemaal hallucinatievrij wordt. Ik denk dat de hallucinaties niet zozeer een probleem zijn, zolang het model weet dat er een hallucinatie plaatsvindt. En dan kan zeggen, hé... Ik zwijg.

Nou ja, op dit deel van het antwoord ben ik redelijk zeker. Hier niet. Ik doe een toolcall. Ik ga Wikipedia even lezen en kijken hoe het Koningshuis inmiddels in elkaar zit. Misschien is er wel een vierde kind geboren. Want dat was er nog niet twee jaar geleden toen ik klaar was met bakken. En ik denk dat... Maar dan wordt de vraag natuurlijk uiteindelijk...

Ja, wij zijn deterministische systemen gewend. Oftewel, computers zijn input-output systemen. Je doet er een nul in, dan doe je er een getal bij, dan krijg je het al terug. Keihard, zeg maar. En nu hebben we ineens te maken met non-deterministische systemen die draaien op basis van statistiek. Dat geeft alle verwarring. Zeg maar, even filosofisch gezien, de grote verwarring is nu...