Alexander

heel erg interessant vindt aan 3.7, een beetje onderbelicht nog, in ieder geval, ik kwam het nog niet zoveel tegen, is een beetje nerdy, maar ik ga uitleggen waarom deze nerdiness interessant is, is het aantal output tokens. Kijk, we zijn inmiddels gewend dat we een context window hebben en dat ieder model, Gemini staat de koning in en OpenAI wat minder, hoeveel data kan je tegelijk per vraag aan dat model stellen?

Het heeft namelijk heel veel invloed op hoe je dat model kan gronden. Kan je boeken meesturen, kan je je eigen databases meesturen, noem het allemaal maar op. Nou, ik zei al, Gemini, heer en meester in grote context windows. Maar stel, ik maak het even heel erg concreet. Wij gaan een boek schrijven. Een paar afleveringen geleden over gehad dat je een boek zou kunnen schrijven met AI. Stel dat je dat zou willen doen.

Hoe wordt dat boek dan opgebouwd? Dat worden dan waarschijnlijk iteratieve prompts. Oftewel, maak de inhoudsopgave. Maak de eerste paragraaf. Maak nog een paragraaf. En iedere keer voed je dat hele boek dan weer terug... die hij zelf geschreven heeft. Dan zeg je, je bent nu hier. Schrijf nog maar een stukje. Waarom kan je niet zeggen... schrijf het hele boek maar in één keer? Omdat de output window... of de output token is gelimiteerd. Enorm, 8000. Dus hij mag eigenlijk maar relatief korte antwoorden geven. Met mogen bedoel ik eigenlijk...

Ja, en soms loopt hij dan vast en dan moet je zo continue zeggen en dan schuift hij weer door. Ja, en ik denk dus dat hij dan die response split in een soort twee responses. Er is een interface overheen gehackt door die AI bedrijven om te zorgen dat het meer voelt als één ding. Maar...

Je kunt tegen de context window aanlopen als jouw gesprek te lang wordt. Dus dat is de input window. Maar je kunt ook tegen de output window aanlopen. Hij kan nog geen boek schrijven. Dat kan hij niet. Nou, wat is er nu gebeurd? Cloud 3.7 heeft een gigantische output window. Dus daar wordt nu ook heel veel mee getest van...

Hoe lang kan die, ook in de train of thought. Dus dan heb ik het niet over chain of thought. Wat is een LLM-term? Dat is namelijk hoe je R1 en Deepsea kan zien nadenken. De gedachtegang, chain of thought. Heb je ook de train of thought. En dat is, snapt Wietse nu nog wat hij aan Alexander aan het uitleggen is? GELACH

Of is hij inmiddels zijn verhaal kwijt? Dat ben ik niet, want ik was train of what aan het uitleggen. De totale trein, al die wagons, zitten die nog aan elkaar in Wiesers verhaal? Ja, argumentatief. Ja, en je voelt heel vaak als je met taalmodellen praat, dat je denkt, yo, alles oké, want je begint ineens over iets anders. Of jij hebt dit letterlijk drie minuten geleden aan me uitgelegd en nu doe je alsof je het niet weet. Er zitten hele rare, ja, ik kan het niet anders noemen, als een soort synthetisch Alzheimer achter. Ja, dat heeft met de output window te maken, ja.

Ja, want die is op een gegeven moment gewoon vol. En dan moet alles in stukjes gehakt worden. En het idee dat je eigenlijk de ruimte geeft aan dat model om heel lang... Het is eigenlijk een soort wietse model. Een gigantische output window te hebben. Ja, dat is echt... En ik vind dit een boeiende ontwikkeling. En ik volg heel erg die experimenten nu op de voet. Want dan zou je bijvoorbeeld ook kunnen zeggen...

Ik ben Alexander. Ik ga een spelletje maken voor mijn dochter. Ik wil dat je dat hele spel, en dat is niet even een klein spelletje, maar met twintig levels als iPhone-app, gewoon in één keer. En je gaat niet tegen mij zeggen, plak nu dit vuiltje daar. Of tegen Cursor zeggen, ga dit bestand bewerken. Ja, want je moet tegen Cursor de hele tijd zeggen, ja is goed, ja is goed, ja is goed. Human in the loop, hè Alexander, is belangrijk. Ja, ik haat dat.

Jij hebt een robotje gekocht, ik klik op accept. Ja, precies. Ik koop wel zo'n robotje op AliExpress inderdaad. Maar goed, dat er nu voor het eerst een frontier model, een krachtig model uitgekomen is waarin toegelaten wordt dat er heel veel gezegd mag worden. Even voor de duidelijkheid, dat is niet een of andere

arbitrair kinderachtig ding wat die bedrijven doen. Alles kost geld. En een heel groot output window kost heel veel geheugen. En dus kan iemand anders dat geheugen op dat moment niet gebruiken. Ja.

Oké, what's next? Nou, ik denk dat... Ik vind het boeiend en dat is een beetje een... Ik merk nu al als gebruiker, ook bij 3.7, los van dat de interface... Ik ga toch even uitleggen aan mensen die luisteren. Want als ik moet zoeken, dan zoeken jullie waarschijnlijk ook. Als je cloud gebruiker bent of cloud een keer wil proberen... en je gaat naar de cloud app of dan wel de cloud desktop interface of whatever...

de plek waar je normaal koos... of die een concise antwoord gaf... of een extended antwoord... daar zit dat ding in verborgen. Hij mag ook nadenken. Terwijl bij OpenAI hebben ze gezegd... nee, dit is een heel nieuw model. Dus je moet even graven. Dus even goede interface als Deep Research... als in waar zit het...

Top. Ga er even naar op zoek, want het is wel een succes. Die bedrijven die het gaat over geopolitiek en het gaat misschien geen namen geven. Je kunt niet fucking drop-downs maken die normaal werken. Het is er een beetje ingeëkt achteraf. Als ontwikkelaar, dat is wel interessant, want

Wat Entropic ook heeft toegestaan, is je bent bij OpenAI heb je O3 en O3 Mini en O3 Mini High uit mijn hoofd. En High betekent je mag langer nadenken. Want ik heb vaak vragen van mensen gehad, wat doe je met High? Wat gaat hij omhoog? Wat mag hij dan? Nou, je mag langer nadenken. En nadenken kost geld, dus dat is niet standaard. Dat moet je even nudgen, zeg maar. En bij Entropic hebben ze gezegd dat High vinden wij een beetje te...

Wij noemen dat extended. Nee, je kunt in de API van Entropic als ontwikkelaar expliciet aangeven hoe lang die mag. Een soort schuifje in plaats van een aanknopje. Die kan jij bouwen als ontwikkelaar. En ik denk, want daar wilde ik een beetje naartoe met dit verhaal,

Wat je bij OpenAI ziet... voor zover u deze trein nog kunt volgen... wat je bij OpenAI ziet... ik spring even naar OpenAI terug... is dat ze nu hebben gezegd... die JetGPT-5 wordt een samenvoeging van onze modellen... want die model-dropdown wordt iets van het verleden. Dat is eigenlijk logisch...

We krijgen een automaat in plaats van dat we zelf de versnellingen net hebben te doen. Mooie metafoor. Dank je. Dat gaat lekker. Ik word geïnspireerd door je. Ja, heel nice. En wat ik dus nu al merk bij Cloud, dat ik denk, oké, vet dat het één model is die snel kan nadenken en langzamer kan nadenken. Of in ieder geval lang kan nadenken en kort kan nadenken. Zelfde model. Je moet hem alleen even nudgen. Maar je praat nog steeds met Cloud 3.7 Sonnet.

Daar heb ik het vorige week met Rick over gehad. Het onderzoek is heel erg... moeten wij nu die modellen nog groter maken? Moeten we die modellen slimmer maken? Of moeten we die modellen juist een soort dunner maken... en zoveel mogelijk context geven terwijl we de vraag stellen? Want bij deep research zeggen ze eigenlijk... om even terug te komen op deep research... we hebben O3, want deep research gebruikt het volledige O3-model. Dat model kan heel goed redeneren en heeft een stuk basiskennis in zich... want het is nog steeds een gigantisch model...

Waardoor het model redelijk intuïtief weet waar hij naar moet zoeken. Maar uiteindelijk gaat hij wel de feiten erbij zoeken. Het is een intuïtief model met een feitenzoekmachine ernaast. Dat is een stap die nu genomen wordt. Dus dan hebben we het niet eens over enkel reasoning. Maar reasoning augmented met real-time data. Die kan het web op. Die kan databases in. En het lijkt er nu op dat...