Wietse Hage

Bijvoorbeeld een tas te openen en de rits ervan open te maken. Binnen in die tas te kijken en dan die rits. Echt wel die fijne motorieken in plaats van alleen maar blokjes stapelen. Waar je gewoon niet zoveel aan hebt zeg maar. Dus als ik zo de grafieken een beetje doorneem zeg maar. Versus Gemini on device en Gemini Robotics. Op sommige punten zelfs beter tijdelijk denk ik. Gemini Robotics is wat in de cloud zit.

Ja, en ik denk waarom ik dit zo'n belangrijk onderwerp vind, is sowieso omdat, ik merk dit ook vaak tijdens lezingen, ik zet dan eerst even neer, waar hebben we het eigenlijk vandaag over, wat is AI? Jullie hebben het waarschijnlijk over ChatGPT, dus over grote taalmodellen, maar die taalmodellen zijn inmiddels alweer

multimodellen, want kijk maar boven in je app, daar staat 4O van Omni, en dit doe ik even zo, dat hele intro ding, en die VLA's, die ik nu even hier drop, zeg maar, Vision Language Action Models, dat is weer in die wereld van modellen een andere flavor, zeg maar, die ook kan luisteren, maar ook kan bewegen, et cetera. En dat die nu ook al lokaal gaan, is best wel prettig, want de taalmodellen kregen we als eerst alleen in de cloud, en nu hebben we tot de dag van vandaag een soort, nou ja, we hebben het al veel over gediscussieerd,

matige lokale modellen. Terwijl we hier nu... met de volgende generatie AI-modellen... direct ook lokaal gaan. En ze zijn niet matig. Ze komen in de buurt. Ik las ook dat ze heel snel... nieuwe vaardigheden kunnen leren, die robots. Nadat mensen het hebben voorgedaan. Ja.

Ja, dus dat is ook het gave. Je zou kunnen zeggen, de enige input die die modellen hebben... De sterkste input is tekst, zou je kunnen zeggen. Want jij geeft steeds opdrachten en dan doen ze die. Maar uiteindelijk wil je natuurlijk dat die modellen kunnen kijken naar beeld... waarin iets voorgedaan wordt door een mens. En dat die daarna dat ook kan na x aantal voorbeelden. Dus die Vision Language Action Models zijn niet statisch. Die zijn niet in het steen gegrift.

Die zijn vloeibaar en kunnen nog doorleren. En dan kan je je voorstellen. Dat we niet. Bijvoorbeeld. Laten we even zeggen. In een fabriek waar je ook nog eens met allemaal chemicaliën werkt. Er zullen veel luisteraars zijn. Die zullen zeggen. Dan snap ik eigenlijk wel dat we daar helemaal geen mensen meer willen. Dat helpt even dat ethische argument. Even opzij te zetten. Een heel spannende plek waar je geen mensen wilt hebben. Maar nu wel mensen zijn. Die zijn dopjes aan het dichtdraaien. Knopjes aan het doen. Met allemaal hele fijne motoriek.

Je zou dan kunnen zeggen die hele fabriek heeft Gemini in de cloud en dat is één Gemini model en die kan alles. Of je zegt nee, alle onderdelen in die lijn hebben eigen modellen. Dus een Vision Language Action Model voor een specifieke deel van de productielijn waar met vloeibare onderdelen gewerkt wordt. Dat ding is super goed als het gaat om liquids. Die kan heel goed voorspellen waar dat allemaal terechtkomt.

Maar die kan je niet zomaar oppakken... en in een ander deel van de fabriek zetten. Een soort expertmodellen, zeg maar. En waar nu een beetje de... als je dan leest in de researchpapers, et cetera... naartoe bewogen wordt, is het idee van...

expert VLA models die lokaal samenwerken met andere VLA models die in de robot zijn en precies zoals jij zegt, daardoor ook heel snel kunnen reageren en niet allemaal met één meesterbrein praten boven in de fabriek of boven in het datacenter. Oké, maar mij overvalt wel een beetje het gevoel van het zal wel. Oké, het zijn dus losse modelletjes in plaats van één groot omniemodel. Who cares?

Nou, ik denk dat je kunt je voorstellen dat die... Ik heb ooit wel eens een hele prettige metafoor gelezen over... Vroeger werden motoren gezien als iets heel unieks. Zeg maar het feit dat je een motor hebt. Toen kwam de elektromotor en toen werd al snel door een aantal futuristen geroepen... Wacht maar, straks zitten in je auto dertig motoren.

En dan zei iedereen, doe normaal, want een motor is iets heel bijzonders. Dat is heel raar. Nu is het inmiddels al lang zo, want je raam, je achterklep, je aircosysteem, dat zijn allemaal kleine elektromotoren. Ik kan me dus voorstellen dat een AI-systeem, laten we zeggen zo'n VLA, dat er uiteindelijk wel 100 VLA's kunnen zijn op een plek. Of 200, of...

Misschien wel meerdere VLA's die met elkaar samenwerken in één robot. Ik noem maar iets geks. En ik denk voor veel van de luisteraars... dat AI aangesproken wordt en wordt gezien als een soort van... dat is een ding out there, net als de cloud. Terwijl waar het nu in de praktijk naartoe bewogen wordt... is een ensemble...

Een groep vogels zeg maar. Die met elkaar samenwerkt. Allemaal kleine lokale intelligentie. Die zwermen gaat vormen. En ik vind dat een interessante beweging. Om nu te zien in robotics.

Ja, en dan is het ook nog eens zo dat ik heb wel eens een onderzoeker die bij Microsoft aan FI werkt horen zeggen, alle andere foundational labs werken omhoog, dus de modellen moeten groter en sterker en wij werken naar beneden, kleiner en specifieker. Dat is ook slim, want bovenin, daar gebeurt al genoeg, het is duur, laten ze het maar met elkaar uitvechten, wij gaan de andere kant op werken, zeg maar.

En ik vond ook wel. Wat jij net zei over dat control panel. Ik was het aan het lezen. Wat ik wel grappig vond. Als je nu naar een winkel gaat. Wherever. En je zegt. Mag ik een laptop met AI? En ik zou in die winkel zijn. Dan zou ik even die persoon aantikken. Want zo ben ik dan zeg ik.

joh, heb je het nou over dat knopje op je toetsenbord? AI is niet op een laptop. Als er Edge of Chrome op zit, kan jij naar jgbt.com. Maar dan zou nu die persoon, als het een veel beter ingelichte persoon is dan ik, kunnen zeggen, nee dude, ik wil een laptop met een Qualcomm processor, waar een TPU in zit. Waar het mini-Fi-model op kan draaien, speciaal getuned voor die mini-TPU van Qualcomm, zodat ik mijn settingspanel kan aanspreken, vriend. En dan zou die gelijk hebben. Haha.

Want ze hebben dus DeFi ook nog eens doorgetraind op. Je krijgt nu allemaal producten. AMD heeft de AMD Ryzen 5 AI. Qualcomm maakt de Qualcomm Snapdragon AI. Waar wij als techneuten dan van zeggen... jammer dat het allemaal zo ge-AI branded wordt. Wat een onzin. Maar eigenlijk is dit rare control panel voorbeeld van Microsoft... een voorbeeld waar dus daadwerkelijk de hardware... die alleen in die chip van Qualcomm zit...

een model opgetraind is wat precies heel goed kan draaien... zodat je inderdaad een zin kan zeggen op Rotterdams... en die settingspanel gewoon aangepast wordt. Zonder cloud, op een stukje hardware wat alleen in jouw laptop zit. Dat is wel gaaf.

Ja, mooi hè? Ja, en ik denk dus, wat wil ik nog zeggen? Apple heeft vier maanden geleden of zoiets een VLA uitgebracht voor het erkennen wat er in beeld gebeurt, zeg maar. En dan ook daarna acties kunnen doen. En die is dus ook helemaal getuned op de Apple hardware vanaf de iPhone 15. Je kan gewoon zoeken op Apple VLA. En dan zie je ook meer van, ah grappig. Dus het wordt echt op maat, on device, heel krachtig. Ik snap het niet, wat doet dat dan? Nou...

Wat je nu bijvoorbeeld eigenlijk niet wilt in mijn ogen. Is dat je hele fotolibrary door een cloud heen moet. Om daar dan te zien wat er op jouw foto's gebeurt. Dat is nou echt een taak om lokaal te doen. Maar even van een plaatje naar tekst gaan. Is niet zo makkelijk zeg maar. Dus je wilt uiteindelijk opdrachten kunnen geven. Bijvoorbeeld verwijder deze persoon uit deze afbeelding. Of je wil acties ondernemen aan de hand van inhoud van beelden.