Wietse Hage

Zorg er nou voor dat je bijvoorbeeld Cloud Code gebruikt, die heel slim jouw codebase gebruikt en jij kan dan nog een beetje nudgen van dat moet erin, dat moet er niet in en zo engineer jij eigenlijk je context. Dus je bent niet alleen maar aan het prompt engineeren om de goede vraag te stellen, maar ook aan het context engineeren om te zorgen dat die vraag omgeven wordt door genoeg context om de vraag te beantwoorden.

Nou ja, bijvoorbeeld om transcripts van onze podcast te gebruiken om hoofdstukken te schrijven in een boek, deed ik het begin van de transcript eraf halen. Want dat was wij die een intro deden. En ik was zoveel mogelijk die transcript aan het kleiner maaien, zeg maar. Omdat ik dacht, ja, ik moet wel die context goed gebruiken. En als ik op een gegeven moment in een ander hoofdstuk ben, heb ik misschien eerdere transcripts niet meer nodig. Dus die wipte ik er dan vlug uit.

En dan is het ook nog eens zo dat die context windows die dus steeds groter worden. Niet altijd het ene context window is het andere niet. Het is leuk dat je een groot context window hebt. Maar dan moet het hele window ook warm zijn. Namelijk hot in memory om te kunnen lezen. Dus wat je nu hebt is dat je partijen hebt die beweren grote context windows. Maar die blijken helemaal niet helemaal warm. Namelijk sommige delen zijn koud. Dit is het enige belangrijke les voor luisteraar. Je moet altijd je context window opwarmen. Ik hou hier geen rekening mee.

Ligt er dus aan, sommige modellen zijn zo goed, vind ik goed, dat ze eigenlijk 100% van de window blijven zien. Dus de attention kan gaan naar het hele window. Dat gezegde hebbende, wat er dus nu aan het gebeuren is in Cloud 4.5, Sonnet, want daar vroeg je eigenlijk naar, is dat zij het model hebben getuned of eigenlijk door hebben laten oefenen op...

Kan je niet zelf wat slimmer die window beheren? Nou, dan kan je bijvoorbeeld... Ze doen dan het voorbeeld van het spel Catan. Dat je een computerspel speelt. In dit geval een boardgame. En op een gegeven moment ben je een aantal zetten verder in dat spel. En die context window, die groeit en die groeit en die groeit. Want de hele geschiedenis van...

Alle zetten daarvoor zitten nog in de window. Terwijl, ja, inmiddels met de staat van hoe het bord erbij ligt... en waar je bent, heb je eigenlijk niet meer alles nodig, hoor. Dus je zou wat slimmer je eigen window kunnen gaan purgen... zeg maar, garbage collection kunnen gaan doen... vanuit het model in plaats van de mens. Ja, want zij gingen dus Catan spelen, veel grappig ding... tegen drie tegenstanders. En dan bouwt tijdens het spel...

Ja, en om maar even een concreet voorbeeld te geven van hoe doet hij dan die slimme opruimen, prune en garbage collection, is als jij 80 zetten hebt, dan is er op een gegeven moment een resultaat van die 80 zetten, namelijk je huidige positie op het bord en je huidige inventaris van goodies die je kan gebruiken. En eigenlijk is dat wat ertoe doet en niet hoe we daar gekomen zijn. Dus op een gegeven moment kan je dan, als je dus een slim model hebt, zeggen, joh, hoe we hier gekomen zijn doet er niet toe voor het gevolg van...

Van het spel. De geschiedenis kan weg. Maar waar de geschiedenis toe geleid heeft. Kan blijven staan. Dit is dan schijnbaar. Want dat hele idee van garbage collection in de software. Het vorige paradigma. Komt uit ideeën over hoe wij als mensen werken. Namelijk. Ik wilde toch even dit punt maken. Op het moment dat jij iedere dag. Hetzelfde cirkeltje loopt in je leven. Zeg maar letterlijk dezelfde. Om een kerk.

Om een kerk met je tram. Je rijdt een rondje om de kerk. Dan gaat op een gegeven moment jouw brein zeggen... joh, ik ga wel al die dingen opslaan op dezelfde plek. Want het is nagenoeg dezelfde herinnering. Dus dan krijg je een soort pointer, zoals dat heet. Waarbij eigenlijk al die herinneringen aan dat rondje om de kerk... zich beginnen samen te voegen in één superherinnering. Maar dat is eigenlijk best wel naar. Want het waren misschien wel uniekere rondjes om de kerk. Maar hoe meer jouw leven in cirkeltjes loopt die hetzelfde zijn...

Ja, het is weer typisch dat deze dingen dus voelen als entiteiten en dat je dus emotie als nervositeit moet gaan afvangen. Het is wel boeiend, want ik vind het een heel mooi voorbeeld, want Devin is zo'n scaffold, zo'n harnas om een model heen.

Een programmeertool. Ja, en wat er dus nu eigenlijk aan het gebeuren is... is dat een deel van het harnas begint in de modellen terecht te komen. Bewust, hè? Ik bedoel, dat is eigenlijk iets waarvoor allerlei trucjes uitgehaald werden... door er een harnas omheen te bouwen. Die zijn niet meer nodig, omdat eigenlijk de modelontwikkelaars zeggen...

Dat zijn zulke slimme trucjes... die zouden niet op harnasniveau moeten zitten... maar op lichamelijk niveau. Namelijk op het koermodel. Wat natuurlijk voor die harnasbouwers... ergens leuk is, maar ook frustrerend. En dat maakt ook dat ik grote vraagtekens heb... bij de levensvatbaarheid van partijen zoals Devin. Omdat ik denk... jullie zijn een soort van onbetaalde R&D-partij... voor die modelmakers. Want alles wat jullie innoveren in je harnas... alle goede dingen worden eruit gehaald... en in de modellen zelf gestopt. Maar goed...

Een aantal dingen. Deze labs, slash product companies, Anthropic OpenAI, noem ze maar op. Die hebben enorm veel statistieken. Daar moet je ook constant ja of nee op zeggen. En soms juist opt-in, opt-out doen. Wat bedoel ik daarmee? Was dit een goed antwoord? Duimpje omhoog, duimpje naar beneden.

Mogen we anonieme gebruikersdata van jou verzamelen over voor onze modellen? Ja of nee, moet je uit? Al dat soort dingen. Als gebruiker word je de hele tijd geconfronteerd met dit soort vragen. En als je wil weten waarom, is het omdat Entropic dan ziet... Hé, onze tool wordt heel veel gebruikt in het financiële domein. Megaveel duimpjes naar beneden. Afgebroken sessies. Boze reacties.

Hier zit een wens waar wij niet aan kunnen voldoen. Kunnen wij gaan optimaliseren voor die use case? En dat doen ze dan. Dus laat het je niet verbazen dat zij weten waar de gaten zitten, want dat weten ze letterlijk. En ik denk een hele belangrijke, ik praat veel met bedrijven en organisaties over...

Hoe bouw je nou een deel van je bedrijf opnieuw op... met wetende dat deze technologieën bestaan? In plaats van dat je het op je bedrijf aan de buitenkant plakt... zeg maar als een soort bugfix of zo, een soort add-on... wil je eigenlijk bepaalde dingen vanaf de grond af... opnieuw herzien aan de hand van wat er nu kan... en mogelijk binnenkort kan, laat ik het zo zeggen. Als je daar een voorbeeld van wil hebben... dat zijn die AI-labsbedrijven. Daarmee bedoel ik te zeggen... als er een AI-first company is, dan is het Entropic...

Namelijk een volledig data-driven, statistics-driven, AI-driven automatiseringsclub. Die intern cloud code gebouwd heeft om zelf dingen te bouwen. En die de napas heeft uitgebracht. Dus ik denk dat we wat we meer zullen gaan zien over de komende maanden en jaren. Is dat deze tools zich magischerwijs lijken te om te vormen naar wat de gebruikers willen. Omdat ze data-gedreven zichzelf kunnen gaan verbeteren. Ja.

Als jij wat sceptischer bent over wat deze modellen kunnen. Omdat je zeven maanden geleden je eigen benchmark hebt gedaan. Per ongeluk, benchmark. Je hebt het gevraagd om iets financieels te doen. En het ding kwam niet met de juiste cijfers. Je werkt bij een grote fiscalist en je zegt geen cijfers. Neem dan Max. Vraag het even intern. Van jongens, ik moet even onderzoek doen. En ga hiermee praten. En test opnieuw of die aannames nog kloppen. Want het gaat wel heel erg hard. En op bepaalde domeinen waren het een 3 score. Dan scoort het nu ineens een 6 of een 7. En dat is best wel substantieel.

Nou, dit is zeg maar... Ik denk wel dat... Kijk, het gaat dan steeds om... In dat scenario dat er geschoven wordt met jaren... En niet met decennia nu. Met schuif bedoel ik dat het dus AI 2021 is. Ja, precies. Dus het maakt het eigenlijk ook uit. Nou ja, daarmee... Ik bedoel, er wordt... En ik zou zeggen dat de...

De naysayers na de release van GPT-5, want dat is wel een beetje de deuk geweest in dit hele narratief. De deuk bedoel ik mee, door de lancering van GPT-5 zijn er een hoop mensen geweest die zelfs dachten dat er veel ging gebeuren. Die zeiden van nou, ook ik moet een beetje pas op de plaats nemen.