Wietse Hage

Wat ik hier beschrijf is een model die kan zeggen... dit gaat over je lokale kalender, ga ik daarmee praten? Waarom zou ik naar een datacenter gaan? Dit gaat over je eigen notities, die heb ik hier op jouw telefoon. Oké, kijk, ik probeer jou de hele tijd weg te sturen... bij die toolcalling en het internet opgaan. En dat lukt matig. En volgens mij kom ik erachter dat jij... zo zie jij lokale AI, namelijk als een soort verkeerstoren...

Dit is waar de lokale AI voor is. Om die tool calls te doen. Om het internet op te gaan op het moment dat het relevant is. En dat dat ding zelf kan bepalen. Ga ik zelf antwoord geven? Of ga ik het internet op en dan als ik dat doe, welke tool ga ik dan raadplegen? Of dat nou Gmail is? Of dat nou Notion is? Of wat dan ook. Maar hij kan ook kiezen, ik hou het lokaal. En ik denk dat dit voor heel veel luisteraars relevant is. Want die zitten met de vraag...

Kan ik bedrijfscritische of op andere manier gevoelige data aan een AI geven? Ik denk dat dat een van de kernen van de zaak is. En dan is het dus helemaal niet de bedoeling dat dat ding het internet opgaat. Het hele idee is juist dat ik alles kan doen wat ik nu doe met Copilot of met Cloud of met ChatGPT doe. En dat ik dat kan doen op een manier waarop die Amerikanen of die Fransen of wie je dan ook gebruikt niet kunnen meekijken. Dat niemand kan meekijken. Dat het lokaal blijft en veilig blijft.

Wat kan er dan met lokale data? Stel je hebt een e-mail die je wil laten schrijven. Een slecht voorbeeld, want die gaat dan natuurlijk weer het internet op. Maar stel je hebt een vraag over een patiëntensysteem of een lokaal document. En je wil niet dat dat het internet opgaat. Wat kan daar dan nu mee met de meest recente lokale modellen? Nagenoeg. Helemaal afgezien van toolcalls.

Laten we beginnen dan met de mobiele telefoon. Wat kan ik nu met een soort van goede nieuwe pixel telefoon? Wat kan ik daar dan nu mee lokaal? Als ik de juiste apps en de juiste modellen heb geïnstalleerd. Goed samenvatten, een gesprek van jou meeluisteren... en jouw inzichten daarover geven. Dus transcriberen kan lokaal, inzichten daarover geven kan lokaal. Ja hoor, samenvatten, transcriberen, meedenken met jou in logica. De eerste reasoning models zijn nu lokaal aan het worden op mobiel...

Oké, dus je zegt eigenlijk als je een nieuwe mobiele telefoon nu koopt en je zet de laatste kleine modellen erop die steeds efficiënter geworden zijn. En eigenlijk, zeg maar, het is niet vergelijkbaar met gewoon standaard ChatsPT, toch? Het is wel dommer dan dat. Zeker weten, want we kunnen even DeepSeeker bijhalen. DeepSeeker hebben we namelijk, als in dan kan je de zip van downloaden en lokaal draaien. Dan heb je nu ongeveer, ja, ik denk 15.000 tot 20.000 euro aan computer nodig thuis. Ja, geen grap. Oké.

Hoe dieper je moet gaan graven in jouw portemonnee om het te kunnen betalen. En waar duik ik dan tegen? Tegen welke grenzen loop ik dan aan als ik op mijn mobiele telefoon dingen met AI wil doen? Wat zijn dan dingen waarbij het net niet lukt op dit moment? Waar gaat het dan mis? Nou, wat je merkt als je met die modellen praat, is dat ze voelen...

Oké, en je zegt ook als je meer geld uitgeeft, want laten we zeggen een telefoon met de beste telefoon verkrijgbaar met de snelste AI-chip zal wel een euro of 2000 kosten op dat moment. Dan heb je gewoon de beste smartphone. Maar je zegt ook als je meer geld uitgeeft aan die...

Aan computers eigenlijk. Om zo'n lokaal model op te draaien. En dat wordt. Dat is niet voor de gemiddelde thuisgebruiker. Maar wel voor bijvoorbeeld een middelbare school. Dan hebben we het niet over een grote corporate. Maar gewoon een middelbare school. Die inderdaad weet ik veel. Een docent wil gegevens over de leerling opslaan. Ik noem maar wat. En dat niet langs een Microsoft datacenter laten gaan. Die moeten 20.000 euro dan investeren. En wat krijgen ze dan? Wat kunnen ze dan?

Dat ding hoeft geen internet te hebben. Precies, want dit is de metafoor die jij eerder maakte. Het heeft wel wifi, maar geen 5G. En de internet router is er uitgetrokken. Het is alleen maar lokale wifi. Dus op een middelbare school even als voorbeeld. Het kan ook een klein bedrijf zijn. Waar de laptops wel verbinding maken met die AI unit die ergens in de serverkast staat. Die heeft 20.000 euro gekost en daar zit een dikke chip van Nvidia in.

dan kan daar een model opdraaien wat beter dan 4.0 is, maar slechter is dan 0.1. Ja, mooi. Ja, mee eens. Dus het is wel slim, maar niet teringslim. Waarbij een heel groot gedeelte van de taken waar je AI nu voor gebruikt, gewoon mee kan runnen lokaal.

Een docent die nu nog een gesprek heeft met een leerling, weet ik veel, een rapportgesprek en die wil dat documenteren ergens en nu al maar met de hand zit op te schrijven en dan een gesprek zit samen te vatten achteraf. Kan die AI zelf doen lokaal zonder dat er een of andere server... Dit is heel vet. Zeker. Ik denk dat heel veel mensen hier naar uitkijken.

Het is dus ontzettend goed nieuws. Want de capaciteiten voor lokale AI. Waarbij je zelf de controle erover hebt. Niemand de stekker eruit kan trekken. En er geen data kan lekken. Of op een of andere manier in een AI model kan verschijnen. Dit zijn mensen altijd bang voor. Ik zeg iets tegen Chachapiti. Misschien krijgt iemand anders dat wel te zien. Wat ik daar tegenaan gepraat heb. Nog even afgezien van het daadwerkelijke risico daarop. Je bent met het internet aan het communiceren. Dus er is altijd een risico.

Eigenlijk wat jij dus zegt is... je hebt nu een hele reeks met apparaten die je kan gebruiken... van je oudere iPhone tot aan de beste smartphones... tot aan server racks die op middelbare scholen hangen... tot aan hele dikke server racks bij grote corporates. Hoe groter de infrastructuur is, hoe zwaarder de computers zijn... hoe meer ze kunnen...

Maar zeg jij, dat is meer dan een voetnoot, maar dat is maar een deel van het verhaal. Want deze lokale AI's gaan ook zelf beslissen of ze het internet opgaan. En als ik jou goed begrijp zeg je, die kleine modellen gaan iets eerder het internet op. Want die gaan eerder constateren, ja sorry, dit kan ik niet. En die grotere modellen hoeven dat minder snel te doen, want die kunnen meer zelf. Die hebben meer feitenkennis over de wereld, kunnen beter nadenken, et cetera.

Dus eigenlijk is het zo dat de grote modellen hoeven minder snel het internet op te gaan dan de kleine modellen. Zeg ik dat goed? Zeker. En dan kunnen ze dus het internet opgaan. En dan kom ik bij wat jij eerder wilde vertellen over Apple. Apple is het dus nu aan het mogelijk maken dat je AI hebt die lokaal draait en dan...

En hebben die labs anders dan dat het hen geld bespaart als er meer dingen op jouw telefoon gedaan worden? Want dan betaal je zelf de energierekening in plaats van zij. Maar hebben zij andere incentives om meer lokaal te laten doen?

Je zou zeggen hun incentive is juist om alles in hun serversparken te doen, want dan leren ze meer over mij en dan kunnen ze mij advertenties gaan geven en ze kunnen modellen beter maken, et cetera. Dit is waarom waarschijnlijk de Apple modellen altijd een beetje matige modellen zullen blijven, omdat zij de data niet hebben, want die willen ze niet. Precies. Dus wat is dan de incentive om meer naar de persoon die de AI zelf gebruikt te duwen?

Ja, dus je bedoelt te zeggen, er is eigenlijk al vraag naar... door zowel gewone consumenten die denken... ik vind het toch wat ongemakkelijk om al mijn diepste geheimen... aan Chachapiti te vertellen. Want God knows wat er allemaal mee gebeurt. En bedrijven hebben dit ook. Want ik hoor heel vaak mensen die zeggen... ja, ik mag dit niet doen. Ik mag dit soort vragen niet aan AI stellen van mijn baas. Want ja, dit is gewoon beperkt in ons bedrijf. Want we vertrouwen dat niet.

En als ik jou goed begrijp zeg je dan is er dus hoe dit gaat zijn is dat er een soort van de bedrijfsleven of de AI bedrijven hebben belang bij om goede lokale modellen te bouwen die op de servers van een weet ik veel groot advocatenkantoor lokaal kunnen draaien.