Alexander Klöpping

Dat is hoe deze test werkt. Je mag het twee keer proberen. En dan krijg je daarna het volgende puzzeltje. Maar wat je geleerd hebt bij het eerste puzzeltje is weg. Want het is een nieuw gesprek voor het tweede puzzeltje. Dus een van de eerste dingen die zij zijn gaan doen is zeggen... Oké, wacht even. Als jij puzzels maakt en je ontdekt daar... terwijl je ze aan het maken bent nieuwe inzichten...

Dan ga je die inzichten opschrijven. En krijg je daarmee... Juist. En er zijn ook nog eens... Je bent niet in je eentje puzzels aan het oplossen. Maar met heel veel Gemini's tegelijk. Die ook nog eens met elkaar hun inzichten delen. En ook nog eens... Want ik ga nu even stapelen. Ze hebben iets van twaalf innovaties gedaan. In dat Superman pak. In dat superhero pak zitten twaalf trucjes. Op z'n minst. Ik weet niet of ik alle twaalf uit mijn hoofd zal zeggen. Maar ik ga de belangrijkste langs. Dus...

Jij geeft de initiële prompt. Van hun is al een goede prompt. Als soort prompt engineers. Hebben ze al een goede prompt gemaakt. Om puzzels op te lossen. Dat is één. Dan zit er in die prompt ook. Die prompt is vloeibaar. Als je een puzzel hebt gemaakt. Dan heb je ervan geleerd wat je verkeerd hebt gedaan. Want we hebben jou ook. Dankzij die hele goede prompt.

We hebben het er al eens over gehad dat heel veel van de sprongen die nu door de modellen an sich gemaakt worden, zijn omdat een deel van dat Superman-pak inmiddels toegevoegd is aan het model zelf. Als het ware, het pak zit vastgeplakt als huid aan het model. Een beetje maffe metafoor, maar goed. Wat ze bij Poetic zeiden is, oké, luister...

We hebben een aantal innovaties gedaan. Daar kunnen alle labs van leren. En een deel daarvan kunnen ze ook in de modellen gaan stoppen. Maar wat zegt Poetic? Volgens mij moet hier een scheiding gaan ontstaan... waarin wij een pak maken dat op alle modellen werkt. En ik denk, als ik hier zelf naar kijk... sta ik even een paar stapjes over alvast richting een soort conclusie... maar dan hebben we die alvast staan...

In engineering, hardware en software heb je zoiets als separation of concerns. Dat houdt in dat op jouw server staat een e-mail server. Die kan e-mail ontvangen en die maakt een mailboxje aan. Er zit ook een DNS server die doet namen omzetten naar IP-adressen. Dat zijn twee verschillende services met twee verschillende rollen. De concerns zijn separated in die twee services.

Wat we nu aan het ontdekken zijn met elkaar, LLM's zijn nog best wel jong, is hoeveel moet er nou in die base model zitten en hoeveel moet er zitten in testtime? En moet je die scaffold dan... Testtime bedoel jij dus mee het daadwerkelijk gebruiken van het model? Ja, precies, testtime. Dat woord test is een beetje stom misschien, maar misschien gewoon wanneer je het gebruikt. Juist, ja.

Ja, dat is gewoon nog beter, toch? Tijdens het mondeling. Want dan kan je niet meer zoveel fixen. Je bent erin. Tijdens de opname van AI Report. Dit is Test Time Compute Weeds waar je nu mee praat. Helder, ik zal voortaan dit taalgebruik overnemen. En je wilt eigenlijk...

Wat blijkt is dat je kunt proberen om alles in de training te doen. Want dat scheelt natuurlijk een hoop testtimecomputer. Want die is best wel duur. De eindgebruiker moet ook wachten. Dus die labs zijn ook een beetje aan het duwen van... laat het alsjeblieft maar erin zitten.

Ja, en dat is een beetje die separation of concerns. Dat het mogelijk is een betere architectuur voor AGI. Oké, snap ik. En wat voor trucs doen ze dan? Nou, je hebt bijvoorbeeld... We hebben het vorige keer voor mij ook wel eens gehad over vloeibare modellen. Dus het zijn eigenlijk modellen die wel...

aangepast kunnen worden... terwijl ze getest worden. Dus heel veel mensen hebben de misvatting... dat de AI die je vandaag de dag gebruikt... dat die soort van op jou aangepast wordt. Er wordt wel een blokje memory gemaakt... waarin die leert dat je Alexander Klöpping bent. Maar dat is alleen voor jou. Het staat alleen maar in jouw account. Het onderliggende model blijft misschien wel een jaar lang... of nog langer hetzelfde. En daarom hebben ze ook versienummers... zodat je ook een beetje op kan vertrouwen dat hij hetzelfde blijft. Dus dat is waarschijnlijk ook gewoon een goed idee. Maar waar je kunt zeggen...

Wacht even, is het niet handiger dat Gemini 3 Pro in dit geval al puzzelend leert? Die leerlessen meteen onthoudt. Die gaan niet terug in de base model, maar die blijven er tussenin hangen in dat Superman pak, zeg maar. En eigenlijk al puzzelend steeds slimmer aan het worden is. En dat is dan nu eigenlijk de truc, wat we dan recurring learning noemen. Recurring learning, tijdens je testtimecontact.

Dus je hebt een loop, een cirkel waarin je draait. Je doet een puzzel, je krijgt terug fout. Maar je hebt ook gezorgd dat je prompt ervoor zorgt dat je niet alleen maar fout terugkrijgt, maar ook weet wat je fout gedaan hebt. Dan verzin je een nieuwe hypothese als model, probeer het nog een keer. Want je mag best wel vaak proberen. Sterker nog, je probeert het met honderd tegelijk en je gaat ook nog met elkaar communiceren over wat je geleerd hebt.

Dan heb je ook nog een democratische stemronde. Wat eigenlijk inhoudt... Democratische stemronde van modellen? Ja. Dus je Gemini 3 Pro draait zeg maar multi-head. Dus met meerdere hoofdjes tegelijk. Naast elkaar die lessen met elkaar delen. Meerdere kopieën van Gemini 3. Allemaal agents zou je ze kunnen noemen. Die gaan daarna in conclaaf van... Oké, luister. Het is niemand gelukt om die puzzel op te lossen. Maar wat hebben we eigenlijk allemaal geleerd? Zullen we een nieuwe hypothese maken en het dan weer proberen? En dan op een gegeven moment broedvors je als het ware die puzzel.

Maar je hebt maar een maximaal aantal pogingen volgens ARK. Dus je moet ook nog heel slim inplannen. Eigenlijk in je eerste poging wil je gebruiken... Even een... Hoe zeg je dat? Iets toe te geven in deze podcast. Ik zit nu toch niet meer op school. Ik deed dit een beetje op mijn eigen suffewietse manier.

Mijn trucje was, mijn scaffold, hoe ik dat inrichtte, was... Ik ging naar de toets zonder te leren en ik deed altijd de herkansing. Zodat ik alvast wist wat er gevraagd werd, ongeveer. Dus de herkansing is nooit dezelfde toets, laat dat duidelijk zijn. Als het goed is, soms wel. Nee, ik val stil omdat ik...

Het is een opzienbarend moment. Jij ging zonder te leren naar de eerste toets. Ja, dan weet je alvast wat er gevraagd wordt ongeveer. Dan weet je al hoe dit ongeveer gaat. En dan ging je dat uit je hoofd leren. Of dan dacht je een beetje, oh, ze pakken het zo aan. Nee, ik wilde vooral weten niet wat er gevraagd werd, maar hoe er gevraagd werd. Zo moet ik het zeggen. En je hebt dus op Arc AGI, om even de brug te maken waarom ik dit vertel. Op Arc AGI heb je twee pogingen.

Een soort dieselgate, ja. Jij optimaliseerde je leren voor de test. Ik heb ook heel vaak gezegd over... Onethisch van jou. In de basis, een student die goed is, een student die goede cijfers haalt, zou in essentie, kan je vooral van zeggen dat ze goed zijn in de toets maken. Dus bij mij deed ik, ik was heel vaak wel benieuwd van oké, ik kan nu het hele boek uit mijn hoofd gaan leren, maar ik kan beter even kijken waarop ze gaan prikken. Ja.

In het hele brede debat rondom AI en wat is dit nou eigenlijk? Zijn taalmodellen een vorm van intelligentie? En zo ja, kan dat dan doorschalen naar iets wat dan lijkt op wat wij doen? Op zo'n manier dat 95% van het kenniswerk vervangen kan worden door agents. En hoe helpt het doen van een spelletje daarbij?

Nou, dat nu de sceptici... en dat is allemaal de Gary Marcus's van deze wereld... voor de mensen die dat interessant vinden om te lezen... die claimen...