Leandro von Werra

mas na empresa de seguros já tinha muito texto em linguagem natural que precisava ser processado. Eles recebiam todos esses pedidos, do tipo, quebrei meu telefone, e você tinha que classificar isso, você precisava entender qual que era o objeto no texto que foi quebrado, então aí dependendo do que fosse, você precisava ver se aquilo estava coberto ou não. Então era uma coisa interessante, com muitas aplicações de processamento de linguagem natural, e ao mesmo tempo eu queria entrar nessa versão mais moderna de NLP também, com o BERT,

e os modelos de linguagem que estavam surgindo na época. E com o Lewis Tunstall, com quem eu já havia trabalhado antes numa startup, a gente começou a trabalhar numa série de posts de blog com o objetivo de nos ajudar a aprender como essas coisas funcionam. E a gente pensou que a gente poderia aprender ensinando as pessoas.

E essa série de posts, isso acabou evoluindo para um livro sobre Transformers e num certo ponto a gente pensou, se a gente está escrevendo um livro sobre Transformers usando as ferramentas da Hugging Face, talvez a gente devesse perguntar pra Hugging Face se eles estão escrevendo alguma coisa parecida, porque senão ninguém vai ler o nosso livro.

Então a gente entrou em contato com o Hacking Face, e especificamente com o Tom Wolfe, que era um dos cofundadores, e a gente descobriu que eles ainda não estavam trabalhando em nada disso. E ele ficou animado até para participar do projeto do livro, então todos nós escrevemos juntos esse livro. E no final do livro, o Luiz e eu meio que perguntamos para o Tom,

a gente queria trabalhar junto, a gente não pode continuar fazendo isso por aí, e foi uma boa oportunidade, porque o Hugging Face tinha acabado de levantar um pouco de dinheiro, então eles estavam contratando mais algumas pessoas. Então foi assim que o Luis e eu, a gente entrou no Hugging Face. Originalmente a gente estava só na equipe de open source do Hugging Face, eu vinha trabalhando, por exemplo, com avaliação, mas depois nós dois fomos sendo puxados para projetos mais voltados para pesquisa,

E com o tempo eu comecei a liderar cada vez mais os esforços de pesquisa lá dentro. Então pode parecer um salto muito grande e da física para pesquisa em machine learning, mas todos os pequenos passos meio que sempre pareceram mais lógicos e não tão extremos assim.

É, depende um pouco de como que você conta. Tem o tipo de equipe de pesquisa que faz principalmente pesquisa ligada a LLMs, são aí umas 20 pessoas, e agora um empreendimento novo da Hugging Face é também trabalhar com robótica. Então a gente tem uma equipe de hardware, a Pauling, que é uma empresa que a gente adquiriu, a gente tem uma equipe de código aberto também, que deve ter...

Hoje, umas 5 a 7 pessoas fazendo pesquisa open source em robótica. Então, alguma coisa em torno entre 20, 30 ou 40 pessoas, dependendo um pouco de como você desenha esse circle. E como é que tem sido a dificuldade, ou não sei, a facilidade para trazer pessoas? Porque como você falou...

Não, é uma pergunta interessante. Eu acho que a gente não teve tanto problema para contratar pessoas até agora. Eu acho que a gente esteve numa situação bastante favorável por alguns motivos. Por um lado, eu acho que a Hugging Face, como você apontou anteriormente, tem uma imagem muito positiva na comunidade em geral, então tem muito interesse em trabalhar na Hugging Face, fazer pesquisa aqui, e naturalmente tem um subconjunto de pesquisadores, eu acho...

que, de modo geral, as pessoas da comunidade, que não são necessariamente pesquisadores puros, que querem mesmo trabalhar em modelos de fronteira. Então, eles querem trabalhar nesses poucos laboratórios que fazem os principais treinamentos de larga escala. Mas tem um grupo muito maior de pessoas que não são atraídas só por trabalhar exatamente nessas coisas. E para esse grupo, a Hugging Face é meio que atraente. A gente faz muita pesquisa interessante, inclusive em pré-treinamento,

em conjunto de dados, pós-treinamento, e em comparação com os laboratórios muito grandes, embora no total eles tenham muitas GPUs, a gente também tem um cluster de GPUs de tamanho médio, e a gente é uma equipe relativamente pequena, então por isso o número de GPUs por pesquisador na verdade não é tão ruim assim.

Então, um pesquisador na Hugging Face pode até conseguir rodar experimentos maiores do que um pesquisador num desses grandes laboratórios, simplesmente porque a gente tem que dividir o nosso total de computação entre menos pessoas. Então, essa tem sido uma vantagem bem grande, que as pessoas às vezes não consideram. Na verdade, as negociações, as disputas políticas e por GPU nos grandes laboratórios são muito intensas,

enquanto ter uma equipe pequena que é alinhada e geralmente trabalha em tópicos semelhantes faz com que as pessoas não fiquem tão resistentes em ceder uma GPU pra um colega, se ele tiver um projeto que seja empolgante, tipo, a sua vitória é a nossa vitória, então vamos pausar o nosso experimento e você segue em frente. Quantas GPUs vocês têm? Você pode contar pra gente?

Sim, a gente tem, deixa eu ver, 96 nós de H100, então vezes 8 são quase 800 GPUs. Então se você dividir isso por 20, é como se cada pessoa tivesse mais ou menos 40 GPUs para rodar experimentos, mas ao mesmo tempo nem todo mundo usa as 40 GPUs ao mesmo tempo, sabe? Então algumas pessoas podem usar metade do cluster por umas semanas, por exemplo, ou até mais,

enquanto outras, por exemplo, executam operações de uma escala um pouco menor. E uma outra coisa interessante é que ser um laboratório de pesquisa aberto também é atraente se você quer planejar sua carreira no futuro. Então, se você trabalha em um dos grandes laboratórios, você não pode falar sobre nada do que você está fazendo, né? Já no laboratório aberto, todo mundo vê o que você está fazendo e isso, às vezes, é até um pouco um problema pra gente, porque

O ótimo trabalho de ótimas pessoas acaba sendo lotado por todo mundo, já que a gente simplesmente publica e as pessoas sabem que aquele pesquisador tem feito coisas muito legais. Talvez a empresa pense, ah, vamos contratar, enquanto no laboratório grande você fica um pouco mais fora desse radar.

Eu acho que o gargalo é sempre um pouco as coisas que são menos atraentes para a comunidade trabalhar. E eu acho que a lista de prioridades ou as coisas que recebem mais, vamos dizer, impacto ou visibilidade na comunidade é uma coisa do tipo. Primeiro, se você constrói um modelo, se você treina um modelo, lançamento de modelo sempre recebe muita visibilidade.

Conjunto de dados um pouco menos e avaliações, você tem que ter uma avaliação realmente especial para ser notado. Mas em termos de importância, é quase o contrário. Se você quer construir ótimos modelos, você deveria começar tendo avaliações que são realmente ótimas. Se você não tem avaliações muito boas, então toda a sua configuração fica meio comprometida

porque você vai acabar ajustando demais a criação do seu conjunto de dados para os benchmarks, e no final você treina um modelo com base nesse conjunto de dados e fica tudo meio moldado para os benchmarks que você tem. E se esses benchmarks não forem bons, ou se estiverem faltando, por exemplo, os aspectos mais cruciais do que só o que o usuário realmente se importa, você pode acabar com um modelo que no final você acha que é muito bom, porque ele é muito bom nesses benchmarks, mas na verdade ele deixa a desejar em muitos aspectos.

E eu acho que já é meio que um segredo conhecido a essa altura, que todos os grandes laboratórios têm benchmarks internos que são muito bons, muito alinhados com o que eles sabem que as pessoas se importam, como programação, com certeza, muitos benchmarks de código que têm e que eles medem,