Alexander Klöpping

En dat je dan zegt, wat stond daar? Dus fill in the missing blank, zeg maar. En dat wordt gebruikt als basisopzet om dat pre-training te doen. Dus door al die ruwe data heen te gaan en dat te leren voorspellen. Want wat is dan eigenlijk de... Want die even een paar stapjes nog. Lacoon, JEPA paper, 2022-ish. Een andere manier om AI te trainen. Of eigenlijk AI te ontwikkelen, moet ik zeggen. Waar ook training bij hoort. Wat is de...

input data source van die JEPA-modellen. Wat moet je erin stoppen? Foto's. Maar het generaliseert ook naar rijkere data, dus ook naar video en andere dingen. Ja, dat kan er ook in. Ja. En...

En wat je dus ziet, en dat is het bijzondere aan deze... Dus even tussendoor, dat zijn dan twee leerprocessen. Daarom zeg je pre en post. Het eerste leerproces is goede representaties leren. Om die vervolgens in te zetten om weer mee te gaan leren. Dat zijn als het ware de legoblokken van representatie. Waarmee je daarna taken gaat leren. Om uiteindelijk, stap drie, ingezet te worden om taken te vervullen.

En is dat nu het idee dat, want heeft hij dan het vertrouwen erin? Want het is natuurlijk super tof dat je empirisch bewijst in je paper dat jouw aanvliegroute, je strategie eigenlijk state of the art is. Dus niets anders kan het binnen die tijd. Zetere sparing bij state of the art. Als we appels en appels vergelijken. Precies, binnen die wereld zeg maar, waarin alles te vergelijken is.

Tof, maar betekent dat dan ook... Ik twijfel wel eens en ik heb er te weinig verstand van... om die claim te kunnen bewijzen of onderbouwen. Dus daarom vraag ik het aan jou...

is wat hij aan het doen is op korte termijn toe te passen. Heb je niet kans dat die ingehaald wordt... door patches op het oude paradigma? Als we het zien als een soort horse race... ik kan me voorstellen dat hij gelijk heeft... dat de textuele representatie van de wereld... en al die modellen trainen op een...

op een lossie en ver van de rauwe realiteit afziende representatie... namelijk tekst, menselijke cultuur in de vorm van tekst. Dus wat mensen hebben gezien en hebben opgeschreven in een formaat... wat heel dun is en arm in vergelijking met de rauwe realiteit...

Dat hij zegt, dat is zo dun en arm. Daar kan je blijven plakken, maar je komt er niet. Dus we moeten een nieuwe op ergens anders beginnen. En uiteindelijk gaat mijn paard, ook al rent hij nu nog achteraan. Wacht maar, als hij op stoom is, dan rent hij heel die groep voorbij. Of is het zo, en of is het zo, dat de bestaande paarden geupgraded kunnen worden op een manier dat eigenlijk zijn diepte investering in een nieuw paradigma mogelijk niet op tijd komt.

Dat is nu een combinatie van Transformer en Diffusion... maar er zit nauwelijks Diffusion nog in tekstmodellen. Ook al zijn daar ook experimenten bezig, maar dat is early, early. Voor de luisteraar, dat is wel grappig om een beetje een intuïtie te krijgen. Als je Diffusion gaat gebruiken om tekst te genereren... dan wordt de Alinea opgebouwd met woorden die op verschillende plekken verschijnen. Dus niet achter elkaar sequentieel als een ketting... maar de woorden poppen gewoon op in de Alinea op verschillende plekken... en langzaam wordt als het ware het hele verhaal zichtbaar...

om een beetje een gevoel te krijgen... bij hoe diffusie in de tekst... Van noise, van ruis... naar een gekristalliseerde... Maar ik vind het wel grappig... want die hybrids tussen dan bijvoorbeeld... transformers en diffusiemodellen... de nano-banana van deze wereld... voor de luisteraars die dat wat meer zegt...

Dat leven we nu in. En coding is ook, het werkt ook als een tierenleer, zeg maar. Het is ook een domein waar het gewoon supergoed werkt. Waar het ook heel veel adoptie vindt en ook heel veel impact heeft. Het is ook nog eens valideerbaar. We hebben superveel code. Het is al een representatie in tekst van een wereld. Misschien wel het meest geschikte voor de transformer is coding models eigenlijk. Ja.

Ik vind, het is ook maar net...

Je hebt zo'n paar van die toffe animaties... die zijn al gemaakt in de jaren tachtig volgens mij. Dat er wordt ingezoomd. Dus je ziet de mensen volgens mij ergens op het strand of zo... dan zoomen ze in op het atomair niveau. Stap voor stap voor stap voor stap. En daarna zoomen ze uit op het galaxy niveau zeg maar. En dat zijn eigenlijk zoom levels. Abstractieniveaus, noem het maar op. En ik vind het wel boeiend. Je zou natuurlijk kunnen zeggen...

We hadden het net over een soort triple hybrid. Wat eigenlijk dus een systeem van AIS is. Dat, kijk, als de discussie gaat... Ik vind het ook interessant bijvoorbeeld kijken naar Gary Marcus. Die halen we vaak in de nieuwsbrief ook aan. Ook om onszelf een beetje op de grond te houden. Omdat Gary gewoon heel...

kritisch schrijft over taalmodellen, kritisch schrijft over de belofte van de labs. En dat creëert wat mij betreft ook een mooie tegenkracht tegen de hype. Hij is echt een soort de anti-hype persoon wat mij betreft op dit gebied. Maar ik denk dat je kunt alsnog systemen krijgen die minder jagged zijn en bovenmenselijk gaan opereren. Terwijl Gary Marcus en Lacoon gelijk hebben.

Waarom zeg ik dat? Dan schuiven we namelijk het zoomlevel één omhoog en dan zeggen we, als we nou Transformers, Diffusion en Lacoon's idee en nog twee ideeën in een agentic swarm laten samenwerken en daar de stempel AI, AGI op doen, dan hebben we toch, kijk, jij kunt tegen mij zeggen, één individu, een mens, is Jagged.

Ja, fair. Maar een groep van duizend mensen is veel minder jagged. Want dat is een soort crowd knowledge, zeg maar. Kunnen we niet op diezelfde manier zeggen dat de verschillende AI-expertmodellen in een groep mogelijk ook tot een minder jagged profiel komen? En is de discussie of GPT 5.4 ooit zonder jagged wordt niet het verkeerde zoomlevel?

symbiotisch verbonden met elkaar. Dus dat ze elkaars sterke en zwakke punten compenseren. Ik zit nu even wat ik voor me zie. Dus een soort zwerm van verschillende modellen... die competenties hebben, die verschillen van elkaar... maar samen vormen ze een goede groep. En dat heet dan AGI tegen die tijd.

dat die approach die ik voor me zie... is naïef, om jouw woord te gebruiken. Hoe moeilijk is het om... wat er met nano-banana gebeurd is... dus eigenlijk een symbiotische integratie... van modellen die verschillende strategieën hebben... om dat te doen met bijvoorbeeld niet twee... maar vier of vijf verschillende paradijms combineren. Praten we dan misschien ineens over tien jaar... in plaats van tien maanden?

Al die dingen maken hoe integreerbaar ze zijn... en hoeveel werk dat kost. Er is in essentie iets nog fundamenteelers gaande, denk ik. Laten we inderdaad zeggen dat... we hebben stukjes die met elkaar kunnen samenwerken... en we doen het op een naïeve manier. Dus wat jij een Rube Goldberg machine noemt. Dus touwtjes, houtje-touwtje-constructie. Wat de router was op GPT-5, zo voelde die in ieder geval.