Fabrício Carraro

Destilação é quando você tem um modelo que age como um professor, uma rede neural bem maior, já muito capaz, e você quer treinar uma rede neural menor, mas tentando manter o mesmo nível de inteligência. Então, por isso, eles pegam basicamente as respostas.

do modelo professor e treinam o modelo aluno baseado nessas respostas. E era toda essa treta que a gente comentou na semana passada, que a Anthropic veio a público fazer um chororô que estavam usando os modelos Claude para fazer essa destilação, pegar as respostas do modelo Claude, suposto ataque de destilação que eles chamaram, que eu achei um termo ridículo, e treinando...

os modelos deles, né, DeepSeq e etc. Lembrando, tá, que isso é uma porcentagem muito pequena dos dados que você precisa para treinar um modelo do zero, para fazer um fine-tuning, fazer um pós-treinamento até que pode ser, mas mesmo assim, né, a hipocrisia ganhou porque eles pegaram dados da internet inteira, inclusive dados pirateados, tiveram que pagar 1.5 bilhão de dólares de multa por ter usado dados pirateados para treinar os modelos Clot, né, então fecha parênteses.

Sabe quem sim caiu, Marcos, que eu tava olhando hoje aqui, fora da pauta, inclusive? O Duolingo, que também tava esperando que ia cair por causa de IA, né? Por causa que o pessoal viu, olha, é um sistema que é muito fácil de replicar e, parênteses meu aqui, né, de experiência de anos aprendendo idiomas e com unidades poliglotas, Duolingo não é pra você aprender idioma não, tá?

Duolingo é um joguinho, é um joguinho divertido. Já falei, você usa o Duolingo, você aprende e fica bom de responder o quiz do Duolingo. É diferente. Exatamente, mas caiu ali as ações que estavam em outubro, uma ação custava 347 dólares, hoje está custando 98 dólares. Então caiu muito Duolingo.

promete bastante, Marcos. Eu achei bem legal o que eles fizeram. A Perplexity, que nos últimos meses estava meio quieta, né? Antes ela lançava coisas com frequência, adotava coisas novas, modelos novos com muita velocidade, inclusive, e tinha ficado aí uns dois, três meses meio quieta. Talvez por causa desse lançamento, o Perplexity Computer, que é um agente de A, a ideia é ser, de novo, mais um OpenClaw, né? Alguma coisa mais ou menos parecida com isso.

que é um agente que faz tudo. Ele vai agir ali na sua interface de usuário, mas ele consegue executar esses workflows por períodos muito longos, usando vários subagentes, basicamente, e não é só o chatzinho que vai responder para você. Os exemplos que eles fizeram foram até bem interessantes. Pegaram...

É coisas reais, né? Me fala aí se as ações da bolsa da NVIDIA estão valendo a pena. E aí ele faz um relatório, vai buscar informações e tudo mais. Pega aí a entrevista do Dario Amodei no podcast do Duarkash Patel e corta pra mim, faz um corte legendado do trecho tal. E ele vai lá atrás, busca as informações e te devolve o trechinho, assim, cortado, legendado, pra você fazer upload, por exemplo, no TikTok, no Reels, naquele formatinho vertical.

falou que ele consegue orquestrar os agentes em paralelo em até 19 modelos, e ele, entre aspas, sabe escolher qual o melhor modelo para cada tarefa, tem um monte de integrações, de conectores ali, e o uso vai ser precificado por demanda, com as opções de você limitar quantos tokens vai usar, quais modelos você vai escolher ali para os sub-agentes,

mas os assinantes do plano Max da Perplex já tem 10 mil créditos mensais e, por enquanto, como nesse lançamento, agora tem um bônus de 20 mil créditos. E ela está disponível, por enquanto, só nesse plano Max mesmo, que é o plano mais caro, mas, em breve, eles prometeram lançar também para os planos Pro e Enterprise. Então, todos queremos ser OpenClaw, basicamente, é essa a notícia dessa semana.

Só nesse mês foi o terceiro cofundador da XAI a ir embora e dos 12 só sobraram 5. Vamos ver se na semana que vem a gente consegue passar uma semana sem falar de mais um cofundador da XAI deixando o cargo. E falando de cofundadores de empresas de ir deixando seus cargos, também teve uma outra empresa que está triste essa semana. A Thinking Machines Lab, que era lá da Mira Murat, que ela saiu, antiga CTO da OpenAI, para lançar essa startup dela.

Perdeu mais dois integrantes daquele time fundador e agora eles foram pra meta, então tem galera saindo da meta, mas tem galera indo agora talvez pra meta, que são o Christian Gibson e o Noah Spack, mais uma daquela galera, ó, vem aqui, eu te pago, vem cá que eu te dou uma balinha, basicamente, né?

A gente paga os 100 milhões, 100 milhões, 1 bilhão, enfim. Menos 2 para a Think Machines, que vem definhando, basicamente. Já perdeu uma boa galera aí, talvez por não saberem aonde vai, para onde está a empresa. Talvez pelos fundadores terem perdido essa confiança.

na capacidade da Mira de conseguir mais funding para lançar um modelo, um produto, fazer pesquisa do jeito que eles queriam, e indo agora, voltando para a OpenAI, indo para a meta, indo para empresas concorrentes, basicamente. E nessa semana, falando em liderança, pintou uma notícia que eu não sei

Paulo do Multiverso. E duas últimas rapidinhas aqui, uma que eu adorei, Marcos, a Inception, que é uma empresa que a gente não fala muito sobre ela aqui, eles lançaram o Mercury 2, que é um modelo de linguagem, o LLM, só que ele não usa aquela arquitetura de transformers autoregressiva que a gente está acostumado.

ele usa difusão pra criar texto. E como difusão, pra quem não sabe, a parte técnica, ela é muito utilizada geralmente em modelos de imagens, de geração de imagens. Que você, pra treinar ele, você imagina, você pega uma imagem e você vai jogando chiado, tipo chiado da TV mesmo, um monte de chiado pra ele virar um grande chiadão no final das contas. E aí no final você tenta recriar aquela imagem original a partir do chiado e claro do prompt ali que tá junto, associado a essa imagem, né?

então é muito utilizado para isso e ele faz meio que a imagem toda de uma vez ele trabalha na imagem paralelamente então todos os pixels meio que vão estar sendo trabalhado de uma vez falando bem alto nível aqui tá não é exatamente isso mas essa ideia geral

Mas fazer isso para texto é uma coisa muito curiosa. A gente tem até um episódio aqui que a gente gravou com o João, que trabalha lá na Google DeepMinds, brasileiro, e que é o pesquisador que trabalhou por trás do modelo Gemini Diffusion, que foi lançado como um labs, uma curiosidade, no ano passado, em algum momento, acho que no meio do ano passado, mais ou menos. Então, se você quiser saber um pouco mais de como funcionam

modelos LLMs de texto por difusão. A gente vai deixar o link aqui na descrição pra você escutar. Mas o bacana aqui é que a Inception tinha lançado já o Mercury, a versão original, tinha feito um barulho por causa disso. E esse Mercury 2 é muito melhor porque ele é um modelo também, assim, né, dessa ideia de difusão. Então ele é muito,

muito mais rápido do que os modelos autoregressivos. Porque no autoregressivo você precisa basicamente do token, da palavra anterior, para ir prevendo a próxima, para ir completando a próxima, basicamente. E esse aqui, com uma difusão, ele vai fazendo meio que tudo ao mesmo tempo, paralelamente. Vai alterando as coisas e por isso ele consegue ser muito mais rápido. E você me pergunta, Fabrício, quanto mais rápido? Fabrício, quanto mais rápido? É...