Edwin Rijgersberg

Ja, zeker. Wat je nodig hebt is, nou je hebt eigenlijk drie stappen om een taalmodel te maken. Om te beginnen moet je een basismodel hebben. Grote bedrijven als Facebook en Mistral, die beginnen gewoon met een lege basismodel, die beginnen gewoon met niks.

Maar ik begin met het basismodel Mistral. Dus die is al getraind. Die heeft miljarden woorden aan, nee niet miljarden woorden, duizenden miljarden woorden aan voornamelijk Engelstalige tekst gezien. En daar is hij op getraind. En die kan je gewoon downloaden. Je kunt gewoon naar Hugging Face gaan en zeggen van het Mistral model is open source. Ik wil het graag downloaden op mijn computer hebben. En dan heb je het.

En dan kan je het toepassen natuurlijk. Je kunt er chatbots van maken enzovoort. Maar je kunt ook op trainen. En het trainen gaat als volgt. Wederom van Hugging Face is er een zogenaamde library. Een Python library. Genaamd Transformers. Waarom is het er al een Transformer model? En die kan je gebruiken om te trainen. Dus wat je dan maakt eigenlijk is een klein trainscriptje. Het stelt niet zoveel voor. Het is een paar honderd regels aan programmeercode.

Waarin je de dataset inlaat. Het model inlaat. Wat keuzes maakt in parameters. En zegt tegen dat model. Van deze dataset. Ga maar het volgende woord voorspellen. Als je het fout hebt. Dan leert het model. Dat had net wat anders moeten zijn. Dan wordt het model aangepast. Dat hij er de volgende keer beter in is. En dan laat je hem een hele tijd draaien. Op wat flinke GPU's.

gewoon doorgetraind kan worden. Zij zijn gestopt en jij gaat gewoon verder. Zeg ik dat goed? Ja, klopt. Oh, interessant. Wat je downloadt zijn dus die 7 miljard parameters van dat model. Ze zijn elk 2 bytes, dat is 14 gigabyte, aan getalletjes die je binnenhaalt. Getalletjes die vormen de lagen van het neuraal netwerk.

Precies, wanneer je data op is of wanneer je budget op is. In mijn geval wanneer het budget op is. Als je het traint, er is een zogenaamde metriek over hoe goed het model is terwijl hij aan het trainen is. Dat heet de loss. Dat is het getal wat hij lager probeert te krijgen wat meet of hij goed aan het voorspellen is. Terwijl hij aan het trainen is? Terwijl hij aan het trainen is. Oké, beter.

Ja, en die zie je gewoon naar beneden gaan. In het begin gaat hij vrij snel naar beneden, omdat hij zoiets heeft van, oh, Nederlands, ik ga snel de grote brushstrokes leren, de ruwe dingen die hem beter maken in Nederland. En dan hoe verder je gaat, hoe gaat hij langzaam ook de kleine nuances steeds beter krijgen.

Ja, klopt. Je doet hem eigenlijk niet eens per zin, maar je geeft hem gewoon een hele bak met zinnen. Laten we zeggen enkele tientallen of honden, de zinnen achter elkaar. En je vraagt hem eigenlijk één voor één om elk woord te voorspellen. Dus hij begint met die hele bak met zinnen, moet hij eerst het allereerste woord voorspellen. Nou, dat is moeilijk, want er zit niks voor, dus dan moet hij hier gokken.

Maar vervolgens laat je hem het tweede woord voorspellen. Terwijl je het eerste woord geeft je hem. En daarna het derde woord en geef je hem de eerste twee woorden enzovoort. Dus op een gegeven moment heeft hij echt een hele flinke context. Een flinke hoeveelheid tekst die hij heeft. Een heel verhaal van een halve website ofzo. En dan moet hij het volgende woord voorspellen. En als ik het goed begrijp is het dan zo dat de grootte van het model. Omdat je dus die parameters heb je vast aan begrijp ik. Het model wordt eigenlijk niet groter.

Dus dan moet hij slechter worden in iets anders. Hij wordt slechter in Engels. Wat grappig zeg. Je past het aan op basis van wat je hem aan het trainen bent. En dan moet hij in noodzakelijke wijze. Wordt hij ergens anders slechter. Je maakt er een beetje een Nederlander van.

Nou, dat was wel een vraag toen ik begon met trainen. Ga ik niet het helemaal kapot trainen? Even zo kort door de bocht te zeggen. Want het model is natuurlijk slim geworden, dus aanhalingstekend. Doordat Mistral daar heel veel data doorheen heeft gegooid. Data waarvan wij niet weten hoeveel data en welke data. Dat vertellen ze hier niet, helaas. Maar...

Je hebt het risico dat als je dat te hard doet, als je zeg maar alles omgooit om maar wanhopig een paar woordjes Nederlands te laten leren, dat hij dan zijn intelligentie daarmee kwijtraakt. Nou is dat op zich een probleem dat je vaker tegenkomt in de machine learning. Je hebt een parameter die heet de learning rate. De learning rate die bepaalt hoe hard jij het model verandert op basis van de zinnen die je in hem voert.

Die computer heeft ongeveer 2,5 dag staan draaien. Maar dat was niet mijn eigen laptop. Dat was een server in de cloud. Daar zaten de allernieuwste GPU's in. De zogenaamde H100's van Nvidia. En daar zaten er 8 van die dingen in. In totaal meet je dit soort trainingsprocessen vaak in GPU-uren. Dus aantal GPU's maal aantal uur. Het kwam neer op 500 GPU-uren.

Dat hing ongeveer 1300 euro prijskaartje aan. Maar dat is omdat ik vrij slim ben omgegaan met de beschikbare GPU's die er zijn. Ik heb gebruik gemaakt van een goedkope cloud provider, Lambda Labs. Want als jij gewoon bij Google of bij Microsoft Azure of bij AWS je GPU's huurt, die zijn een flink stuk duurder.

Dat is niet hun core business. Hun core business is hun andere diensten. Die dure GPU's doen ze daarbij. En als jij graag een dure GPU wil... dan zou je wel veel geld hebben. Dus daar rekenen ze lekker veel voor. Maar je hebt dus prijsvechters... die cloud-infrastructuur leveren... puur gericht op GPU's en op training. Prijsvechters voor mensen zoals jij...

Ja. Het nadeel is, ik ben niet de enige die dit doet. Dus die GPU's van Lambda Lab zijn vaak niet beschikbaar. Omdat het allemaal vol is.

En best wel, eigenlijk altijd als je erheen gaat, is het eigenlijk altijd vol. Dus een van de dingen die ik heb gedaan, is ze hebben een API bij Lambda Labs. Dat betekent dat je er tegenaan kan praten met de computerscripts tegen hun servers. Waarin je kan vragen van, hé, heb je een GPU voor me? Dan krijg je het antwoord nee. Dus ik heb opgezocht, hoe vaak mag je dat vragen voordat ze dat vervelend vinden bij die API? Dat was één keer per seconde. Oké. Dat was het maximum.

Dus ik heb een scriptje geschreven wat iets meer dan 1 keer per seconde ongeveer aan ze vraagt. Van hé, is er al een GPU? Hé, is er al een GPU? Dan krijg je heel vaak nee terug. Tot je opeens krijgt van ja, er is een GPU. Nou, dat scriptje deed dan automatisch oké, die wil ik.

En dan krijg ik een push notificatie op mijn telefoon. Van hey. Rennen. Het begin te lopen. Laat dat ook vanzelf lopen. En dan mag je hem ook wel blijven gebruiken dan? Of zit er dan een maximum op? En hoe lang je hem mag gebruiken?

Ja, het is verbrand in een gpu-center. Maar ik had van tevoren bedacht van oké, ik vind dit een leuk hobbyproject. Ik ga dit doen. Het is nuttig en het is heel leerzaam voor mij. Ik ga er een budget voor vrijmaken. Het is een schijntje in vergelijking met wat een echt model trainen kost, toch? Waar denken we dan aan als we het vanuit het niets een model trainen? Want dat is niet in twee dagen gedaan.