Wietse Hage

Maar nu komen we op nummer drie. En dat is de categorie waar Apple zegt. In categorie één, de simpele dingen vallen de reasoning modellen eigenlijk een beetje door de mand. In twee, laten ze hun kracht zien. Maar in drie, wordt gevraagd. Verzin nou eens gewoon een heel nieuw gerecht. En we laten heel veel informatie weg. En we geven jou, dit gaat dan over moleculair koken bijvoorbeeld. Dat je dan een soort van heel geavanceerd gaat koken. Ja, dit is de verwachting van taalmodellen. Dat ze een soort nieuwe wetenschappelijke ontdekkingen kunnen doen.

Ja, en dan blijkt eigenlijk en heeft Apple zijn best gedaan om recepten, ik blijf even binnen die kookmetafoor, om keukens en gerechten en uitdagingen te verzinnen waarvan ze vrijwel zeker weten dat die modellen die nog nooit hebben gezien, want daar zitten ze natuurlijk op te prikken.

Er komt helemaal geen antwoord. Gewoon helemaal niks. Als in, hij probeert en op een gegeven moment loopt hij vast en zegt... ja, sorry, ik kan hier niks mee. Waarvan Apple zegt, en dit is iets wat... een van de founders van de Arc Challenge ook al jaren roept... want de Arc Challenge is volgens mij al drie jaar oud. Die zegt, jongens, François Collet, als ik het goed zeg van de Arc Challenge... jongens, deze modellen zijn fantastisch knap. We hebben echt een uitvinding gedaan...

Ze zijn super goed in het lezen van boeken en het herkennen van als jij een vraag stelt, dat het lijkt op een eerdere vraag. En dat hij dan eigenlijk wat hij daar een beetje geleerd heeft ongeveer kan toepassen in een nieuwe situatie. Maar wat deze modellen zoals we ze nu maken, dat zegt niks over de toekomst, maar zoals we ze nu maken niet kunnen, is generaliseren van het sleutelen aan de motorfiets naar koken.

Die stap van wat werkt in thema A of in context A, dus in de context van een wiskundesom. Dat werkt ook in de context van muziek componeren. Wat wij als mens kunnen, want wij kunnen dingen die we leren in een vechtsport de dag erna zonder dat we dat doorhebben toepassen in een totaal ander domein. Wij generaliseren.

dat dat generaliseringsproces niet bewezen is voor reasoning models. De hele paper van Apple gaat erover dat ze zeggen... als jullie zeggen dat deze dingen reasonen... dus rationeel nadenken en beredeneren... dan zouden ze toch ook moeten kunnen beredeneren... dat ook al hebben ze deze specifieke vraag nog nooit gezien. En zij zeggen eigenlijk... Dus het kan niet redeneren, zeggen ze.

Het kan heel goed doen... alsof het kan redeneren... zolang je niet te veel... buiten de bestaande domeinen lijkt. En zij laten eigenlijk zien... op het moment dat wij ze domeinen vragen... dan stort het hele... sprookjesverhaal als het ware in. En ik denk dat...

Waarom dit een belangrijke paper is, is omdat er serieus talent werkt bij Apple. Natuurlijk moeten wij even doorhebben dat AI undersellen en AI een soort van de hyper uit de ballon halen is in Apples voordeel. Gezien het verhaal wat we net met elkaar hebben besproken. Ja, dat serie nog steeds zo dom is als een tropenhavel. Kun je maar beter zeggen dat de rest gewoon fucking dom is. Ja, je kunt.

Als jij niet meer naar het AI-eiland toe gaat varen met je grote schip... maar weer terug naar het VR-eiland. Stel dat ze ook echt vinden wat ze opschrijven. Ik bedoel, het is wat ik heb gelezen over deze paper. Gerespecteerde onderzoekers, de methodiek klopt. Dus? Prima. Dus gaat de... Hoe zeg je dat? Gaat een beetje de energie uit de AI of de AGI-projecties...

Wat betekent dat bijvoorbeeld voor mij, die hier ook over FGI gepraat heeft in verschillende afleveringen. Dat het wat jaren vooruit aan het schuiven is in mijn hoofd nu weer. Dit is gewoon een signaal uit de wetenschap in dit geval. Dat ik denk, oké, we gaan weer even schuiven. Maar dat zet voor mij niet ineens het hele verhaal twintig jaar verder dan waar ik het voorheen had staan. Dus wat dit betekent...

daadwerkelijk te zeggen... Jij en ik hebben destijds discussie gehad over die Arc Challenge. Die was toen gebied, Arc 1. En toen vroeg jij mij, hele goede vraag, is het nu niet gewoon klaar dan? Want dit was toch de General Intelligence Benchmark? Nou, er komt een Arc 2 uit, daar scoort O3 nog steeds maar 4% op en de mens 80%. Die staat er gewoon, die challenge. Die kan iedere dag weer uitgevoerd worden. Ik zie dat ding niet stijgen. Dat heeft ermee te maken...

dat we nog puzzelstukken missen. Ik denk waarin ik verschil... en dit is denk ik hoe het straks zal zijn... en schiet me er maar op lek als ik daarnaast zit. Helemaal prima. Kijk, dit is trouwens ook wat François Collet zegt... als ik zijn naam goed zeg, van Ark. Die zegt, er missen nog puzzelstukken...

Dit denken dat taalmodellen met daar overheen een soort laag van reasoning geplakt met duct tape. En gewoon heel veel computerkracht. En dat er maar tegenaan gooien. Dat dat ons dan automatisch gaat brengen naar iets wat een mens op afstand kan overnemen. De Art Challenge 2 kan bieten.

Dat gaat niet gebeuren, maar staat hij volledig voor open. Als er andere dingen omheen van zo'n nieuwe bandleden toegevoegd worden aan die band, dan zie ik mogelijkheden. Nou, daar kan ik dan alvast een leuk, hoe zeg je dat, hintje geven aan de luisteraar.

Mertha heeft een model uitgebracht gisteren. Ik ben even de naam kwijt. VP of zo heet het volgens mij. Maar het gaat er om een world model zoals we eerder hebben besproken. Dus een wereldmodel waar je robots mee kan sturen. Dan kan ik even concreet maken. Je geeft een webcam feed, een video feed aan dat model. Die neemt video als input.

Bijvoorbeeld van een zelfrijdende auto. Of iemand die aan het koken is. Laten we van alles zien. Vanuit brillen vaak. Daar hebben ze natuurlijk lekker veel data van. Nu met die brilletjes van ze. En dan zie je dus iemand staan met een pan met een ei erin. Die is aan het koken. En dan vraag je aan het model. Wat is de meest logische volgende stap? En dan gaat hij voorspelling maken. Zegt hij dat ze er zout bij gaan doen.

En dan kan je zeggen, is dat alles? Maar die voorspelling maken op basis van die afbeelding en die video daar is best wel groot. Want dan kan je dus ook, en dat laten ze dat ook zien, tegen een robot zeggen... Nou, als jij denkt dat er zout bij moet, doe er dan ook maar zout bij. Maar dan moet hij dus ook inschatten waar hij dat zoutvaatje moet pakken in beeld. En hoe hoog hij hem boven... En hoe vaak hij hem moet schudden. En hoeveel zout eruit komt. Nou, dat is allemaal...

voorspellen van de toekomst... in kleine microacties. Een hele mooie reactie van... iemand die reageerde op deze. Er is ook weer een pepertje bij. Een model wat uitgebracht is door Meta. Die zei, ze moeten dit ding... de Arc Challenge laten doen.

Nee, dit is een wereldmodel die is om robots aan te sturen. Maar eigenlijk is dat waar, want in die Arc Challenge 2 zitten heel veel sneaky puzzels die wij als mensen over het algemeen intuïtief oplossen. Omdat als er staat, als het cirkeltje eerst daar is en het cirkeltje is dan daar en het cirkeltje is dan daar, waar is het cirkeltje dan in het vierde ding?

Dat wij onze fysieke intuïtie op een 2D beeld kunnen inzetten. Natuurlijk is die daar. Terwijl dat reasoning model die alleen maar boeken heeft zitten lezen. En patroontjes herkent uit eerdere papers. Die komt met de domste, raarste acties daar. Want die heeft geen fysieke intuïtie.