Alexander Klöpping

En dan heb je DeepSeek R1. En die kan jij vragen naar de dochters van Willem-Alexander. En die is zo groot, dat model. Ja, die weet dat. Ja, want hoe groter het model over het algemeen... hoe meer kennis er stiekem toch in zit. Eigenlijk heeft hij dan toch kennis. Want heel Wikipedia gaat honderd keer mee, zeg maar, ongeveer. En hoe groter, hoe duurder om te draaien. Dus die soort van... Hoe meer kennis jij lokaal verwacht...

Ze voelen als een AI van een jaar geleden ongeveer. En dat op bepaalde vlakken. Omdat je merkt van, er is veel meer hallucinatie. Ja, ja. Want de kennis is er gewoon niet. Het begint weer te liegen. Ja, het is weer veel liegen. Daarom riep ik dat cool calling verhaal ook. Want als hij wat beter weet dat hij het niet weet, dan stopt dat liegen. Dat snap ik. Maar goed, dus er is veel meer hallucinatie dan dat je gewend bent. De snelheid is lager. Dat hoeft niet per se, maar vaak wel. Want hoe zwaarder, hoe trager.

En je bent denk ik gewend nu om, en dat is nog een interface probleem, dat het er allemaal zo lekker uitziet als die mooie apps van JGPT en dat is nu gewoon nog niet zo. Ja grappig, dus je gaat eigenlijk gewoon weer een jaar terug in de tijd als je zo'n lokaal model op je telefoon draait. Ja.

Nou, op het moment dat jij een groot model lokaal gaat draaien... en dat ligt er dus aan hoeveel mensen daar tegelijk gebruik van willen maken... want ja, dan moet je wachten. En net als vroeger dat je computertijd moest kopen. Ja, ja, ja. Maar wij zijn zo verwend nu. Ja, ja, ja. Dat is niet normaal. Collega Jan is al met jij aan het praten. Het is druk. Ja, met pondkaarten. Dat was vroeger. Oké, vet. Terwijl, als je dat juist slim aanpakt... laten we het even voor de verandering even concreter maken...

Dus wat je doet is je pakt DeepSeek R1. En dan pak je de versie die door Microsoft schoongemaakt is. Die bestaat. Dat is een soort speciale versie van DeepSeek R1. Die wat opener is in antwoorden geven. En gecontroleerd is op een en ander aangedoe. Zeg ik even zo. Er zijn bedrijven die vertrouwen DeepSeek R1 niet als model. Omdat het Chinees is. Ja, omdat het getraind is in een ander laboratorium. Waar mensen niet helemaal van weten wat er allemaal in zit. Dus als je daar over twijfelt. Dan zijn er ook modellen gemaakt. Weer door de grote partij. Die zeggen, we zien...

Dat komt omdat je hebt ook de keuze om DeepSeek R1 bijvoorbeeld te draaien in een datacenter. De partijen die die datacenters runnen zeggen dan... we willen heel even goed kijken naar dat model en we maken een versie die wij jou aanbieden. Die is ook te downloaden. Die download je dan, laten we zeggen, je koopt een dure computer van Nvidia. 20.000 euro is gewoon een server die een hoop herrie maakt. Dan installeer je daar, omdat je eigenlijk stiekem niet zo technisch bent, gewoon LM Studio op. Geen grap.

Dan druk je daar op models, dan scroll je, dan typ je in DeepSeek R1 en dan klik je op download. Iets wat niet op je MacBook zou draaien, want daarvoor is het te groot. Maar wel in zo'n survey rack die ze op een middelbare school gewoon hebben. En als je zegt ik wil het wel even op mijn MacBook, kan je altijd kleinere versies van die modellen proberen. Maar daar betaal je een prijs voor, namelijk meer hallucineren, et cetera.

Maar als je zegt van joh nee geef me nou gewoon het gaafste wat ik nu lokaal kan doen. En ik ben bereid daarin te investeren. Dan pak je een Qend model of een DeepSeek model. Het allergrootste model wat ze aanbieden. Die laad je dan in. Dus dan moet je echt denken aan 280 gigabyte aan geheugen. En dat loopt dan helemaal vol. Dat duurt wel 10 minuten voordat het ingeladen is. En dan begint daar een cursor te knipperen. En dan kan jij lekker mee gaan kletsen. Alsof het JetGPT is. Ja.

En er zit ook thinking in, dus dan gaat hij 30 seconden nadenken over logica, alles O1-achtige kwaliteiten. Het is een beetje tussen 4O en O1 in. En dan kan jij, en dat is natuurlijk de ultieme test, dan zeggen tegen systeembeheer, joh...

Ja, en ik denk om het nog een stap concreter te maken. Thomas Kluijters, die ik vorige week sprak over zijn healthcare startup. Wat zij doen is lokaal transcriberen met een model getraind in Nederland op lokale hardware, zeg maar. En dan ook nog eens, dat kunnen ze nu nog niet, maar dat is de volgende stap. De samenvatting van het transcript met een lokaal reasoning model ook doen. En dan door naar het elektronisch patiëntendossier. Idealiter, daar zijn ze ook nog niet, maar idealiter zonder het gebouw ooit te verlaten.

Wel ooit als het EPD ingevuld wordt. Maar die magic in beneath. En dan kan je ook zeggen. Druk even op reset op dat AI systeem. Dan is alles weer gewiped. Als je wil weten waar data verzameld wordt. Als je wil weten waar getraind wordt op jouw data. Dat is op die doos die jij in je gangkast hebt gezet.

de internetcomputer, het datacenter gaat raadplegen voor de rest. Hoe gaat dat dan werken? Het idee is dat je hebt de modellen, die modellenfamilie van AI-modellen, die hebben een mini-versie, zoals we dat ook kennen van GPT-4 Mini, en die hebben een maxi-versie. Biomoth heet die volgens mij. Ze doen daar vaak opus van die grote woorden. Nou ja.

Dus je hebt, nou ja, laat het misschien gebruiken voor de eindtropic woorden, want die zijn wel poëtisch. Haiku is hun kleinste klat, heel cute. En dan opus is... En je voelt het. Ja, je voelt het. Nou, wat je eigenlijk wilt, en Apple heeft dat best wel ver uitgespecificeerd al, maar het is gewoon nog niet gelukt om het uit te rollen, want het is gewoon heel moeilijk. Daarom doet niemand het ook nog. Is zeggen, op jouw telefoon draait haiku. Dat is dezelfde architectuur als een grote broer of zus opus. Dus die snappen elkaar ook, hè, als ze met elkaar praten. Dat is prettig. Ja.

En de ene heeft bijna geen kennis, Haiku. Die heeft alleen maar patroonherkenning, maar nagenoeg geen kennis. En Opus heeft ook nog eens zijn volledige Opus erbij. Namelijk Wikipedia keer 100 ingeladen en allemaal data. Maar ze hebben dezelfde patroonherkenning, dus ze snappen elkaar erg goed.

Dan ben jij op jouw Apple device, begin jij te praten. Dat praten wordt al lokaal omgezet, stap 1. Dus we gaan niet meer audio sturen naar een datacenter. We gaan audio sturen naar een chip in jouw iPhone. Je gaat kletsen. Voorheen was het alleen de wake word die lokaal bleef.

Ja, precies. Als je hey Google zegt. Was lokaal. Dat herkende hij lokaal. Maar vanaf dat moment begon hij te strijden. Plinterdum. Hop, gaat hij alweer. Want hij snapt het alweer niet. Nou, nu zou je kunnen zeggen. Nee, nee, nee. Dat hele stukje speech to text en mij begrijpen. Dat doe je altijd lokaal. En wel goed, moeten we dan vanuit gaan. En dat kan ook goed nu. Met de huidige telefoons en de huidige modellen kan dat gewoon goed. Transcriberen, real time, goed. Dan zeg jij. Luister.

Wil je even een afspraak in mijn agenda zetten? Wie is trouwens de dochter van Willem-Alexander? En zet even een leuk nummer voor me aan, want ik kom zo thuis. En zet even die robotstofzuiger vast aan. Ja, drie vragen. Dus daar moet van alles gebeuren. Dan gaat die lokaal haiku-achtige kwaliteit dat destilleren. En denk ik, wauw, wat wordt hier van mij gevraagd, zeg maar? Wat kan ik hiervan nu meteen lokaal op dit toestel doen? Wat kan ik gewoon naar Wietsers Home Assistant sturen...

En, oh, Willem-Alexander, ik weet net dat het de koning is, maar meer weet ik niet. Dus hij weet echt wel een beetje wat, maar bijna niks. En hij weet dus van zichzelf dat hij het niet weet. Heel belangrijk, heel belangrijk. Want anders gaat hij toch hallucineren. Want hij doet dat, heel zelfverzekerd. Maar dat klopt wel dat hij het weet. Precies, dat gaat heel vaak nog mis. Het is ook niet een opgelost probleem, maar we komen in de buurt. Laat ik het wel even zo zeggen. Zelfkennis wordt erin gemerkt. Je bent gewoon...

Heel slim, maar qua kennis heel dun. En dat is ingewikkeld om als mens te bevatten. Dat begrijp ik hoor. Maar dat is nou eenmaal zoveel hoe het nu werkt.

Dan zegt hij, luister ik heb gedaan wat je vroeg, maar die vraag die jij stelt over Willem-Alexander, daar kan ik niet zoveel heen. Ik kan even het web opgaan voor je, dan hoef ik nog steeds niet naar mijn grote broer Opus, want ik kan ook Safari gebruiken op de achtergrond. Maar weet je, als jij wil, dit moeten ze goed gaan branden als een soort van deep thought ofzo, Apple moet het even lekker branden.