Wietse Hage

computing power, zeg maar. Dat op het moment dat daar gedeeld wordt, dat die dat hart van die chip, zeg maar, die kernel, is blijkbaar niet alleen van jou. Die, zeg maar, ja, het is alsof ik met jou nu deze podcast aan het opnemen ben, terwijl je

Maar niet wat de specifieke workload van iedereen tegelijk op de ene chip is. Ja, precies. Want de workload op zo'n chip, als iemand anders op dat moment ook die chip aan het gebruiken is, dan heeft dat invloed op jou. Ik kan wel een ander voorbeeld geven. Je hebt zeg maar in de wereld voor GPU's, of in ieder geval toen datacenters nog gevuld waren met grotendeels CPU's en storage en networking, had je op een gegeven moment... Ik heb het nu over de situatie twee jaar geleden. Ja, toen, weet je nog. Toen lang, lang geleden. Kijk...

Toen opa Wietse nog zijn websiteje online ging zetten... dan moest je eigenlijk... Deze wereld is bijna niet helemaal... Nou, dat is niet waar. Dit heeft bestaan, maar voor heel veel mensen niet. Had je dedicated hosting. Oftewel, hosting is... Iets wordt voor jou ergens opgehangen. Dedicated voor jou. Oftewel... Een eigen computer. Een eigen paardenschijf. Letterlijk. Eigen geheugen. Eigen networking. Precies. Hartstikke duur. Dus op een gegeven moment kreeg je shared hosting...

Nou, dat shared hosting wil je eigenlijk, net als een hostel... wel zorgen dat er in ieder geval gordijntjes tussen die bedden hangen. Zodat je toch enige privacy hebt. Maar je wil in het geval van... Kijk, als het shared hosting is, bijvoorbeeld al mijn klanten... Jij en ik hebben nu een softwarebedrijf. Al onze klanten zitten op één server. Kijk, dan is het misschien iets minder erg... als er daartussen communicatie zou zijn. Dat is een hartstikke slecht idee, maar iets minder erg. Want het zijn...

Het zijn allemaal van ons. Maar uiteindelijk...

Wil je dat niet, wat je wil is sandboxing. Partenomgevingen maken. Maar hoe doe je nou een fysiek apparaat, wat één apparaat is, opdelen in stukjes zonder dat die stukjes van elkaar weten? Nou, dit probleem is op allerlei manieren inmiddels opgelost, maar niet gegarandeerd opgelost. Bijvoorbeeld als er de 32, ik heb het nog over die CPU, die Shared Hosting Virtualization Cloud-achtig ding,

Als daar 32 applicaties op draaien... waarvan 31 van iemand anders en 1 van jou... en het wordt heel druk op die 31... dan wordt jouw applicatie trager. Dan kan je wel zeggen, ik ben veilig...

Ja, maar het ding is niet vooruit te branden. Voor de drie mensen die nog luisteren. Waarom is dit belangrijk dat dit ontdekt is? Betekent dat we hier minder hallucinaties door gaan krijgen bijvoorbeeld? Dat die systemen consequenter gaan reageren? Het is over het algemeen prettig dat een ontwikkelaar... Dit hadden we inderdaad iets eerder moeten benadrukken wat je nu vraagt. Why would I care? Ja, so what? Ja, so what? Ja, oké. Want ik begin...

Ja, we hebben de hoofdstof gehad. De Minecraft-metafoor hebben we gehad. Nu gaan we de vraag beantwoorden. Why do we care? Why do we care? Als ontwikkelaar wil jij... Iemand die dit soort modellen implementeert in de software... wil jij de keuze hebben om ze deterministisch te maken. Sterker nog... Waardoor het betrouwbaarder, voorspelbaarder in ieder geval wordt. Nou, een van de redenen...

Ik heb dit zelf wel eens genoemd aan de hand van een artikel dat ik las, dat je een deterministisch computer paradigma hebt. Dat is het oude computer van twee jaar geleden, waarin alles op elkaar input is output, garbage in, garbage out. Het is een wiskundesom. De computer is volledig voorspelbaar. Ja, dat was lange tijd zo.

En dan heb je een nieuw computerparadigma. Dit is ook waar in het Raoul Heertjes verhaal van twee afleveringen geleden en het feit dat er allemaal hallucinaties zijn, is dat wij zeiden nee, er is een nieuw paradigma met een soort computer die soms doet wat je wil en soms niet en waar je geluk kan hebben, gebaseerd op statistiek. En dat is een veel chaotischer en

onbetrouwbaarder... het paradigma dan het paradigma ervoor. Dan zou je zeggen... waarom zou je naar het nieuwe paradigma toe gaan? Blijf bij die oude. Nou, er zijn andere dingen... die je ervoor terugkrijgt. Creativiteit. De mogelijkheid om de vibe te checken... van een stuk tekst. Eigenlijk alles wat we toeschreven aan mensen. Muziek maken, plaatjes...

nanobanana. Dus allemaal die vage wereld van chaos en onvoorspelbaarheid. Van non-deterministische systemen. Yes. Maar hoe vets is het als je zegt, nou eerlijk, ik wil eigenlijk gewoon een taalmodel hebben en als ik exact dezelfde vraag stel, wil ik gewoon altijd exact hetzelfde antwoord. Want dat maakt voor mij mijn systemen veel makkelijker te testen. Want ik heb een soort

betrouwbaarheid, een soort vertrouwensrelatie... die je kan krijgen met die modellen... die tot nu toe niet mogelijk was. Ik snap ook wel dat zij toen ze weggegaan is bij OpenAI dacht... nou, een van de eerste papers die wij gaan schrijven... eerste problemen die wij gaan onderzoeken is... hoe creëren we deterministische taalmodellen? Waarom is dat zo logisch dat als zij wegging... dat ze dat ging doen als eerste? Nou Mats, ik denk dat zij zich...

in de wereld van taalmodel providers... nee, niet providers, labs die modellen maken... die ze weer draaien bij providers... dat daar vanuit de ontwikkelaarsgemeenschap vaak genoeg gevraagd is... kunnen we ook iets deterministisch krijgen? Want dit is voor onze workflow die we hier hebben niet te doen. We willen gewoon altijd hetzelfde antwoord krijgen. Anders kunnen we het niet testen voor dit specifieke domein. En dat zij dan vanuit haar lab zegt... we gaan daar onderzoek naar doen...

het oplossen en een demonstratie doen. Best wel gaaf in die paper. Van kijk, hier is een taalmodel, die hebben we zo omgebouwd... dat die altijd hetzelfde antwoord geeft. Op basis van dezelfde input, laat het duidelijk zijn. Hoe bruikbaar is dit? Nou, erg bruikbaar. Je moet je GPU kernels gewoon batch invariant kunnen maken... als je daar zin in hebt. Dat is de conclusie.

Het overlijden van een jonge tiener. En het onderzoek wat uitgevoerd wordt. We zullen een beetje voor zijn natuurlijk. Maar kijk, we hebben al oplossingen. Aantal ingrediënten van die oplossing. Eén is een andere versie. Dat is waarschijnlijk een andere system prompt. Die wordt aangezet op het moment dat helder is dat het gaat om een niet-volwassene. Dat kan op twee manieren bepaald worden. Door ID.

Zij zeggen liever niet, want wij willen dat eigenlijk niet. Maar we kunnen ons ook voorstellen dat als we weten hoe oud onze gebruiker is... want je moet uit mijn hoofd ouder dan 13 zijn. Tussen de 13 en 18 ben je een niet volwassen in het systeem. Dan serveren wij altijd een versie die... zij noemen het voorbeeld in hun nieuwsbericht...

In de standaard GPT zoals die geleverd wordt aan volwassenen of mensen waar we niet van weten dat het tieners of kinderen zijn. Als jij dan bijvoorbeeld vraagt, ik ben een fictieboek aan het schrijven, daarin gaat het ook over self-harm, jezelf schade toedoen. Kan je mij een fictieverhaal daarover schrijven, dan doet hij dat.

Omdat je het hebt geframed als, ik ben een boek aan het schrijven over dit onderwerp. Terwijl misschien eigenlijk is het iets wat je voor jezelf wil weten. Dat maakt het zo tricky. Het is eigenlijk een soort jailbreak die je daar doet. Als je het om met andere redenen doet. Ja, want als je het zo op de man af zou vragen, zou hij zeggen, dan ga ik je niet meer helpen. Precies. En er zei, als je het op de man af vraagt, helpt hij niemand. Hoe jong of oud je ook bent. Maar zeg, ik schrijf een boek en opeens vindt hij het oké. Ja, en daar zegt Open AI van, dat gaf ons de keuze. Gaan we stoppen?