Alexander Klöpping

Waarom ik dat hele idee van toolcalling en die thermostaat in Denemarken veel te vroeg heb geïntroduceerd in dit verhaal. Dat vergeven we je. Ik ga jullie nu inlossen op die belofte. Wat nou als jij een lokaal model op jouw telefoon hebt die eigenlijk weinig tot geen kennis heeft. Dus op het moment dat je daaraan vraagt wie zijn de drie dochters van Willem-Alexander? Dan zegt hij, sorry, dat weet ik niet. Maar ik kan naar mijn

Big Brother is misschien even het verkeerde woord. Nou, doe het maar. Vind ik leuk. Ik ga even naar Big Brother, als je dat goed vindt. Beste gebruiker, want sorry, ik ben een lokaal model. Ik weet echt bijna niks. Je kan alleen je thermostaat uitzetten en een beetje jou helpen. Maar als je mij toegang geeft tot Big Brother, dan gooi ik er even duizend keer zoveel rekenkrachten tegenaan. En dan ga ik voor je op zoek. Of ik ga niet Big Brother doen, maar ik ga voor jou het web op.

Weet hij wel wat Nederlands is? Kan je wel feitenvragen stellen? Er is dus nu best wel discussie in de community van mensen die druk zijn rondom lokale AI. Reddit Local Lama, als je dat leuk vindt. Over hoeveel hebben we eigenlijk nodig om tot bijvoorbeeld een derde of twee derde van de taken te komen die we dagelijks uitvoeren met een AI. Ja, teksten samenvatten en zo. Dingen die mensen veel doen met taalmodellen of e-mailtjes schrijven.

Ja, dat zijn dingen die met een lokale AI ook zouden kunnen, toch? Exact. En wat blijkt, de modellen worden krachtiger en tegelijkertijd een beetje kleiner de hele tijd. Omdat ze ook slimmer worden om die modellen in te pakken. Een soort efficiënter. Ja, aan de andere kant. Dus er loopt een soort lijntje naar beneden met kracht en hoe klein ze zijn. Maar er gaat een lijntje omhoog met hoe sterk die telefoons zijn.

Want je moet ook de lokale rekenkracht hebben. Eigenlijk hebben we die lijntjes elkaar nu al gevonden. Sinds drie maanden met de Gemma 3 en model van Google... kan je eigenlijk lokaal een soort afgeslankte GPT-4O draaien... terwijl je vliegtuigmodus aan hem staat. Op de chips van jouw telefoon die ook nog eens batterijtechnisch kloppen. En, en nu komt het belangrijke ingrediënt...

Gemma 3.1 snapt toolcalling, dus snapt tussen airquotes, wanneer die zegt ik weet dit niet, ik ga nu of het web op, ik ga praten met jouw thermostaat, of als je het goed vindt met Gemini, mijn big brother.

En op die manier stel ik dus voor. En ik ben er niet de enige in. Om eigenlijk Edge AI de default te maken. Wanneer mensen interacteren met AI. Consent te vragen aan de gebruiker. Dan kan je zeggen. Komt die cookie wel weer? Dan zet je hem uit. Maar wat kan lokale AI nu wel? En wat kan het nu niet? Waar heeft het Big Brother of Tools voor nodig? En wat merk ik als gewone gebruikers?

Het is een belangrijk onderscheid sowieso om te maken als het gaat om taalmodellen. Taalmodellen zijn geen kennismodellen, het zijn geen kennisbanken, het zijn geen bibliotheken, het zijn dichters. En wat bedoel ik daarmee? Ze associëren, kunnen patronen herkennen, kunnen logica uitvoeren, kunnen een beetje rekenen en kunnen programmeren om te kunnen rekenen.

Maar het zijn geen kennismodellen. Dus feitenkennis zit er heel weinig in die modellen. En op het moment dat je ze kleiner gaat maken... dan wordt die feitenkennis alleen maar slechter. Uiteindelijk is het niet eens meer dat die... dan is het alleen nog maar Willem, Alexander... en niet eens meer Maxima. Even zo gezegd. Op een gegeven moment wordt dit model qua kennis zo arm...

Op een gegeven moment weet hij niet de exacte broncode van een computerspel. Maar wel wat een computerspel is. En ook wat de overeenkomstige dingen zijn tussen alle computerspellen. Die taalmodellen zijn uiteindelijk verzamelingen van generalistische patronen. Dus niet wie er in het koningshuis zit, maar wat een koningshuis is. Niet welk computerspel Pong is, maar wat een Pong-achtig computerspel is. En je kunt dus heel ver komen als je zo'n...

Ja, daar kan je ook veel op hoor, maar dan moet je wat meer rommelen. Maar goed, Android is gewoon wat makkelijker om daarop te knutselen. Dan kan je daar nu Gemma 3N op draaien. Dat is een app van Google. Er is een app die heet Google Edge Gallery volgens mij. Jesus Christ, deze mensen. Maar goed, in ieder geval, dan kan je heel leuk modelletjes kiezen. En dan kan je ook zien of ze passen op jouw telefoon. En dan kan je lekker mee kletsen. Oké, dus dan is het gewoon een soort menu van modellen die je kan downloaden.

En dan kijk je of je genoeg MB's of gigabytes op je telefoon nog over hebt. En dan kun je dus kiezen hoe groot die moet zijn. Ja, en ik wil misschien wel even zeggen, want jij houdt het nu bij de telefoon. Dat snap ik, want dat is veel breder voor onze luisteraars. Maar als je een Windows of een Mac hebt, kan je LM Studio downloaden. En dan kan je ook zo'n gallery zien. Maar laten we het even bij de telefoon houden. Dus dit kan ook op je MacBook? Ja, en dan krijg je zoiets wat eruit ziet als JGPT. LM Studio hebben? LM Studio, Windows en Mac.

Open source. Iedereen kan het gratis downloaden. Alleen dat vereist wel. Ze zijn hem simpel aan het maken. Nog wel enige technische kennis van. Ze zeggen dan heel netjes aan het begin. Als je het niet begrijpt. Klik even dit 5 hier van Microsoft aan. Een klein schattig modelletje. Een beetje een babygranaal. En dan kan je dan een beetje mee kletsen. Als soort GPT 3.5. En wat kan dat dan? De kleine simpele modelletjes. Kan je schattig mee praten. En een beetje oefenen en testen. Daar heb je nog niet zoveel aan in je dagelijks leven.

De modellen van de laatste drie maanden, want zo recent is dit verhaal eigenlijk, die zijn op een punt gekomen waarin ze veel beter getraind zijn om te snappen wanneer ze niet moeten bluffen, maar naar buiten moeten om informatie te halen. En ik wil wel even het punt gemaakt hebben. Je kunt natuurlijk zeggen, ja maar Wiet, als dat lokale model op mijn smartphone of mijn laptop

eigenlijk de hele tijd naar buiten gaat... want die weet amper wat... wat hebben we dan opgelost? Dan zou je cynisch kunnen zeggen... nou, daar hebben we nog steeds heel veel opgelost... want wat betekent naar buiten gaan? Nu is het zo dat jij praat met een AI... en in 99,9% van de gevallen ga je naar een datacenter... en vanuit het datacenter wordt er allemaal data opgehaald. Als jij vragen wil stellen over jouzelf... je eigen gmail, je eigen kalender, je eigen foto's... moeten die eerst allemaal naar het datacenter toe... en dan verwerkt worden... en dan krijg je pas je antwoord weer terug...

nagenoeg van wat je met GPT-4-0 nu kan. Echt? Absoluut. Zeker weten. En dat draait... Moet je een dikke portemonnee hebben, hè? Dat moet je wel bij. Absoluut. Wat bedoel je daarmee, een dikke portemonnee hebben? Nou, als jij een apparaat zou willen... laten we het even naar het bedrijfsleven brengen... want daar zijn de portemonnees gewoon wat dikker. Want wat nu ook door elkaar loopt... is een soort van het on-premise vraagstuk... voor bedrijven en organisaties. Je hebt bijvoorbeeld een middelbare school... die met data van de leerlingen aan de gang wil... maar het niet naar Microsoft wil sturen of wie dan ook...

Versus Wietse Hagen die op zijn pixel telefoon een modelletje wil draaien. Dat is technisch een beetje hetzelfde. Maar qua mogelijkheden is er al veel meer mogelijk voor die organisatie dan voor die particulier. Die waarschijnlijk geen 10.000 euro wil uitgeven aan een heel computer thuis. Oké, want dat is de crux. Je kan heel veel lokaal. Maar er hangt heel veel van af hoeveel geld je over hebt voor de apparatuur die je dan lokaal hebt staan. Kijk.

Veel van wat jij nu dagelijks doet in de cloud met AI... kan jij lokaal doen. En dan heb ik het echt over sinds een paar maanden pas. Dat is heel recent. Maar dit is ongelooflijk. Ja, en is heel erg aan het groeien nu. Want de modellen, omdat we er nu, ze er nu achterkomen binnen de labs...

van hoeveel kunnen we eigenlijk weghalen uit die modellen... waardoor ze eigenlijk slim genoeg blijven... om de hoofdtaken set te blijven doen... waar wij aan zien dat het gebruikt wordt. Ja, waar mensen het daadwerkelijk voor gebruiken. En ik...

Ik denk dat het ook goed is om te begrijpen dat er zelfs een commerciële incentive is voor bedrijven om een deel van de compute, om een deel van de neuronen naar jou toe te duwen op de edge. Want dan hoeft het niet meer gedaan te worden in het datacenter. Het scheelt geld voor hen bedoel je. Ja, tuurlijk. En dat is substantieel. Want als OpenAI nu zou kunnen zeggen 5% van de vragen aan ChatGPT worden op het toestel zelf afgehandeld. Dat zijn miljarden of in ieder geval miljoenen. Ja, snap ik.