Fabrício Carraro

E aparentemente funciona. Eles falaram que os resultados que eles conseguiram foram muito impressionantes, repetiram em várias escalas, eles fizeram ali um modelo pequenininho primeiro, de meio bilhão de parâmetros, sendo treinado em 16 bilhões de tokens, que são números bem pequenos comparando com os modelos que a gente tem aí hoje em dia. E eles pegaram ali um checkpoint usando o Rope, depois de 400 bilhões desses 16 bilhões de parâmetros,

removeram os positional embeddings e continuaram por mais 2 bilhões de parâmetros. Então, só no finalzinho. E usando, isso aqui é a técnica drop, né? E ele igualou a perplexidade final do rope no contexto original e superou um baseline que foi treinado sem os positional encodes desde o início. Beleza, isso é só um teste pequeno ali, um modelo de meio bilhão de parâmetros.

E aí eles foram pegar outros modelos, também pequenos, mas para fazer mais testes. Pegaram o Small LM, lá da Hugging Face, a versão pequenininha de 360 milhões de parâmetros, bem pequena, e uma também pequena de 1.7 bilhões.

e treinaram em até 1 trilhão de tokens, que aí já começa a ser um número interessante. Um parâmetro de comparação para vocês, o GPT-4, por ali, é falado que ele foi treinado em torno de 15 trilhões de tokens. Então aqui, 1 trilhão de tokens já começa a ser uma coisa interessante.

E falou que treinando esses modelos do Small LM, essa recalibração ali no final, usando a técnica DROP e a recalibração, recuperou 95% da performance com menos de 5 bilhões de tokens. E usando mais tokens ainda, ele passa o modelo base. E no que interessa mesmo para eles, que é o contexto longo, o DROP venceu muito, muito, muito de longe

nesse teste de agulha no palheiro superando as técnicas que usam o Rope e outros Positional Encodings e ali usando o Small LM, esse modelo superou até 10 vezes mais comparando com abordagens anteriores, esses Ropes alternativos

E eles também testaram com um modelo maiorzinho, que foi o Lhama 2, não o 3, o Lhama 2, de 7 bilhões de parâmetros, recalibrando só 20 bilhões de tokens, bem pouquinho, que é 0,5% do pré-treino, de 4 trilhões de tokens, e eles conseguiram manter a performance base do modelo e melhorou muito a questão de resumos em longo contexto, de análise de qualidade em longo contexto. Ou seja, é uma coisa que não necessariamente está 100% pronta,

Mas, nesses modelos que eles testaram, o maior deles sendo o de 7 bilhões do Lhama 2, é um potencial absurdo e que, se isso realmente se provar, tende a mudar o modo como modelos, como LLMs são treinados até agora, que está todo mundo treinando com andame achando que é fundação e todo mundo vai agora tentar tirar esses andames.

Esse aqui fez bastante barulho na comunidade de pesquisa em inteligência artificial nessa semana, inclusive aqui no Barcelona Computing Center, eu criei ali um tópico específico para o pessoal discutir, e eles ficaram falando, mas como que isso é possível? Isso aqui é real? Vamos fazer teste? Vamos começar aqui um treinamento usando isso daqui? Então, fez um bom bafafá aqui, e para quem se interessa, para quem é da área de pesquisa, eu acho que é uma leitura obrigatória dessa semana.

Muito legal. E um último estudo aqui é o Latent Action World Models, modelos de mundo, que eu venho falando já há algum tempo. O Pedro Jengo também falou lá no episódio da retrospectiva, que é o presente barra futuro próximo da pesquisa em inteligência artificial. Para quem está entrando no PHD, talvez valha dar uma olhada nesses World Models, porque eles podem potencialmente substituir LLMs no futuro a médio prazo.

Isso, quem acha, não sou eu, é o Ian LeCun, um dos papas, um dos godfathers da inteligência artificial. Enfim, esse paper veio lá da meta, inclusive, onde ele estava até recentemente, o Ian LeCun, que basicamente é que eles treinaram ali modelos de mundo, world models,

que tentaram aprender diretamente a partir de vídeos naturais que estão ali sem nenhum rótulo de que ação está rolando em cada momento, para tentar ver se ele conseguia prever melhor o futuro, entender a física do mundo e tudo mais. Por quê? Quando a gente vai treinar um modelo desses...

de vídeo, mesmo imagens. O Pedro Gingo falou muito bem sobre isso lá no episódio. A parte de anotação é chatíssima, é caríssima, porque você precisa ter uma pessoa... Imagina uma imagem, uma imagem sozinha aqui, eu no meu quarto. Quantas coisas você vai ter que anotar? Você vai ter que anotar, tipo, só olhando aqui, eu tô vendo o Marcos aqui na câmera do quarto dele, vou ter que falar, olha...

Tem uma pessoa que tem fones de ouvido e está usando, ele tem barba, ele está usando uma camisa preta. A camisa preta tem um leve amassado aqui ao lado da gola. O microfone é o microfone daqueles que vem da parte esquerda da tela, mas que ele não está vindo de baixo. Ele aparece de baixo, mas ele está pendurado, vindo de cima. Tem um papel de parede no fundo, enfim. É uma descrição para uma imagem micro. Agora imagina uma imagem da natureza. Agora imagina um vídeo que tem 24, 60 frames por segundo.

Isso é exponencial e é impraticável praticamente. Então a ideia deles é isso, tentar treinar esses modelos de mundo sem anotação, só passando os vídeos e vendo o que ele tira do conhecimento que ele consegue pegar da base que ele tem e gerar a partir disso.

E aí eles treinaram junto isso um modelo que eles chamaram de dinâmica inversa, que vai tentar inferir uma ação latente a partir do passado e do futuro, e aí o modelo de mundo, que é prever o futuro a partir do passado e dessa ação atual, a ação latente, a ação que está ocorrendo agora.

E eles estão tentando estudar como que regular esse conteúdo da informação dessas ações que estão ocorrendo agora. E o resultado mais interessante que eles tiraram é que as ações atuais, as ações latentes, que sejam contínuas, mas muito regularizadas, elas conseguem capturar a complexidade de uma ação do mundo real de uma forma muito melhor do que ações discretas via quantização. Traduzindo isso daqui, é basicamente...

representar o que aconteceu ali no vídeo como um sinal contínuo ali de números, mas com alguns limites para ele não decorar o futuro, você consegue descrever as ações reais e os movimentos futuros de uma maneira muito melhor do que você colocar ali de uma forma discreta, de uma forma quantizada, de uma forma ali que você tem poucos códigos fixos. Fazer isso de uma maneira fixa acaba sendo rígido demais e aí o vídeo acaba tendo pouca diversidade e não dá conta de aprender tudo que está no ambiente.

Então esse é o conhecimento, o resultado maior que eles tiraram daí. E eles falam muito mais sobre isso, para quem quiser, se interessa por World Models, o paper está aqui na descrição, mas é um outro que, novamente, para quem está na área de pesquisa, pesquisa mais focada não no agora,

mas daqui a 5, 10 anos, pode ser muito interessante entrar nessa área, e a Meta é uma das empresas que está fazendo um dos melhores trabalhos nesse sentido, muito por causa do Yann LeCun que estava lá, e agora imagino que a Mi, a empresa nova do Yann LeCun, também será uma empresa que vai fazer ótimos trabalhos nessa área.