Leandro von Werra

Eu acho que agora dá para fazer muito pré-treinamento e pós-treinamento, que é bem interessante na escala que a gente tem hoje em dia. Eu não diria não a dobrar o nosso cluster, aumentar um pouco os nossos experimentos. Eu acho que no momento o que está realmente limitando a gente bastante é construir um pouco mais de infraestrutura aberta em torno de muitas dessas coisas.

Acho que se eu te pedisse para submeter um treinamento ou um pós-treinamento do maior modelo que existe aberto hoje em dia, você não estaria antes de tudo se não estar mais limitado por GPUs. Eu acho que você precisaria das GPUs, mas mesmo que eu te desse as GPUs, você não conseguiria começar a treinar amanhã.

você tem que descobrir como fazer para pré-treinamento. A gente passou por esse processo agora com um projeto no qual a gente está um pouco envolvido, em que a gente tentou pré-treinar o modelo de mistura de especialistas num cluster público e é um sofrimento comparado a esses modelos mais densos. Tem todas as receitas por aí, é até como as bibliotecas, mas elas são muito otimizadas para um tipo específico de infraestrutura.

mas de repente você não tá num cluster Blackwell, tá num cluster de H100, então muitos tokens ainda não existem, ou você não tem interconexão InfiniBand, então todos esses kernels não existem, e você não pode usar essas bibliotecas, então a gente tá trabalhando um pouco nessas coisas, isso é um pouco limitante. E do lado do pós-treinamento,

O fator limitante é simplesmente que as ferramentas públicas para fazer pós-treinamento ainda não estão totalmente lá. Eu acho que TRL funciona muito bem se você quiser fazer pós-treinamento no modelo denso de tamanho médio, mas se você realmente quiser ir para o limite e dizer, tipo, a gente quer fazer pós-treinamento do maior MOE que existe com milhares, até milhões de ambientes e fazer aprendizado por reforço, isso com o contexto de um milhão de tokens,

Toda a infraestrutura, em vários pontos, simplesmente ia quebrar. Então, eu acho que se eu tivesse mais dinheiro e mais pessoas, isso ia ser um lugar para focar investimento nesse momento. Quais são os desafios que vocês estão encontrando agora, tentando treinar modelos Moes, os Mixture of Experts?

Eu acho que simplesmente alcançar o nível de utilização que você tem com modelos densos é muito mais difícil. Então esses modelos espaços exigem muito mais comunicação entre GPUs do que os modelos densos. Você provavelmente vai querer fazer coisas como paralelismo de especialistas, mas a maior parte das ferramentas não suporta paralelismo de especialistas eficiente, a menos que você tenha um cluster de GPUs com InfiniBand e, idealmente, Blackwell.

E se você se afasta disso, de repente tudo deixa de ser otimizado. Eu acho que as pessoas estão acostumadas a ter a utilização de hardware de cerca de 40% quando elas treinam um modelo denso, mas de repente você muda para um MOUI e está em 5% a 10%. A pessoa pensa, isso não é bom. É tipo, como eu justifico treinar quatro vezes mais tempo quando as coisas deveriam ser mais eficientes?

Então sim, esse é um pouco o sofrimento no momento, o ecossistema está acompanhando, eu acho que tem muito movimento, por exemplo, no Megatron, para adicionar esses recursos, tornar as coisas mais eficientes, mas a gente ainda não chegou lá, e essas coisas sempre são, primeiro, otimizadas para o cluster ideal, mas não tanto para o hardware do consumidor, até infraestrutura pública, que muitas vezes desvia um pouco de simplesmente comprar o cluster mais avançado da NVIDIA, se eu for me deveria.

Então o próximo guia que vai sair vai ser sobre como treinar o seu próprio modelo Mixer of Experts pequeno, ou não exatamente? É, sim, existe um plano de escrever um post de blog nessa linha. Ah, excelente, excelente. Sim, a partir de todo, eu acho que agora são seis meses de aprendizado bem doloroso, tentando fazer as coisas funcionarem de uma forma mais otimizada.

Então, eu acho que do nosso lado, o que eu acho que é mais interessante é a gente trabalhar todas as coisas como o FindWeb, o SmallLM, e às vezes, quer dizer, a gente recebe um feedback muito bacana quando você lança esses modelos, eu acho que a gente recebeu muita atenção no Twitter, no Reddit e assim por diante quando isso aconteceu, então isso é bem recompensador, mas aí dá uma semana, duas semanas depois,

você meio que volta pro seu próprio vácuo e pensa, tá, eu lancei, agora vamos fazer outra coisa. Então, meio ano depois, você vai numa conferência, vai num workshop, conversa com as pessoas, e aí você percebe que muita gente tá usando aquelas ferramentas que você usou, que você trabalhou, que você lançou. A gente foi no Calm no ano passado, no finalzinho do ano passado, e quase todo slide, em toda apresentação relacionada a treinamento de modelos de linguagem, usava o FindWeb como base.

Eu pensei, poxa, isso é muito legal. Foi uma contribuição útil para a comunidade. Então eu sinto que é muito recompensador ver que essas coisas realmente têm muito impacto para muitos pesquisadores e membros da comunidade. Eu acho que, no sentido inverso, as coisas que tiveram muito impacto para a gente, eu acho que, como todo mundo percebeu no campo dos últimos seis meses, foi a adoção de modelos de código.

onde a gente notou que quase ninguém da equipe de pesquisa escreve muito código por conta própria hoje em dia. Claro, obviamente, tem muita revisão, tem iteração, os humanos continuam muito envolvidos em fazer as coisas funcionarem e melhorarem, mas programar diretamente virou uma coisa relativamente rara.

ao ponto de a gente estar experimentando de dar para o Claude na nuvem um pouco de acesso para o cluster para rodar alguns experimentos. Eu fiz ele rodar algumas ablações de dados há umas semanas atrás em que era tipo, está aqui um dataset, eu quero extrair todos os dados de alta qualidade relacionados à biologia desse dump da web. E o Claude seguiu em frente e eu dei umas instruções de como fazer as coisas

Então ele escreveu um log, era muito estruturado em torno de conduzir os experimentos, ele até olhou amostras, identificou, isso é um caso extremo estranho, vamos adicionar algum outro filtro. Então rodou a ablação interagivamente no cluster. E eu acho que isso teve um impacto significativo em como a gente faz as coisas, nas coisas que a gente consegue fazer. Um outro exemplo é lidar com avaliações, em que tipo,

A gente tem que integrar esse benchmark novo aqui no nosso conjunto de avaliação. E tipo, um ano atrás, isso era o projeto de uma, de duas semanas, porque você precisa realmente garantir que tudo esteja exatamente configurado da forma correta, e se você tiver um espaço branco a mais, algum prompt, o modelo pode ficar um lixo. E essas coisas são muito difíceis de detectar, levam muito tempo pra você eliminar todos os bugs.

Mas esses modelos são muito bons em prestar atenção a esse tipo de detalhe. Para um humano é difícil às vezes perceber um espaço em branco, mas para o modelo é como detectar um ponto de exclamação em algum lugar. E esses modelos tem sido realmente muito úteis.

eu tinha muito mais opinião de que a gente estava num ponto em que poderia ir para os dois lados. E tinha muita pressão, por exemplo, de alguns dos grandes laboratórios para encerrar, por exemplo, nos Estados Unidos, o desenvolvimento de modelos abertos, porque tinha muito medo, como se esses modelos fossem lançados abertamente, isso seria uma ameaça à segurança nacional. Então, talvez a gente devesse encerrar isso, era a ideia.

E, por outro lado, também não estava muito claro quem, de fato, ia ser o campeão que ia construir os melhores modelos abertos. No momento, parece que a gente está num bom nascimento de ecossistema. Tipo, mesmo com o drama recente na Queen, eu não fico muito preocupado porque tem outra laboratória que vai assumir esse lugar, certo? Eles não são os únicos fazendo essas coisas. Então, eu sinto que, ao longo dos últimos dois ou três anos...