Fabrício Carraro

E a última notícia aqui de hoje, o Lucas Mais apresentou uma receita sobre como treinar modelos usando JEPA. Para quem não sabe o que é JEPA, é uma arquitetura com esse foco inicial em não ser prever o próximo token, a próxima palavra.

mas em criar um embedding conjunto para tentar prever consequências. Muito melhor do que eu, quem explica isso, é o Randall Balestrieiro, que a gente entrevistou na semana passada. Ele escreveu o paper original do JEPA junto com o Ian LeCun, um dos pais da IA, do Deep Learning, na verdade. Aliás, estou em dúvida sobre isso, Fabrício. Você começou a falar sobre o seu papai LeCun. É por conta do papai LeBron? Não, não.

Tá, porque eu ouvi no Pull Request essa semana eles brincarem de Papai Lecã, eu falei, nossa, será que é Puri quando tinha ideia? Eu falei, ah, então tá, beleza. É que no mundo do futebol tem o Papai Cris, que é o Cristiano Ronaldo. Ah, entendi. Mistura tudo, mas todo mundo que se destaca é o Papai. Então, Papai Lecã escreveu o paper do Jepa junto com o Random, se você perdeu o episódio, vai lá escutar, ele explica muito bem o que é isso, mas é pra treinar modelos de mundo, modelos também pra vídeo, pra medicina, é muito, muito interessante.

E é uma coisa que está muito engatinhando. Ele mesmo fala lá, o Randall, que assim como modelos de mundo é o próximo tema quente da pesquisa em inteligência artificial, não LLMs, o JEPA é uma das arquiteturas que pode ser usada para isso, só que tem pouca pessoa no mundo. Eles se conhecem, eles cabem numa sala, todo mundo se conhece ali.

E aí agora o Lucas Maes lançou um guia, basicamente, de como você treinar o modelo utilizando essa arquitetura de jepa, uma receita, e foi até repostado pelo próprio Papai Lecã. Então o link aqui para quem quiser brincar de jepa está aqui na descrição. Boa. E partindo para os estudos da semana, a Tropic dominou essa área aqui para a gente nessa semana. Um dos estudos, dos artigos que eles publicaram é o

Mas a aplicação disso é bem interessante. Quem é dev, aposto que as orelhinhas levantaram. Agora falaram, opa, saquei. Então o link vai estar na descrição aqui. Bem legal. O segundo de três estudos, que são os três da Antrópica, eu acho que eles já podem pedir música aqui no Ia Sob Controle, né, Marcos? Que música que o Dario Amodei escolheria? Eu vou perguntar pro Claude.

Enquanto você pergunta, esse segundo estudo se chama Vibe Physics, The AI Grad Student, que seria, em vez de tipo Vibe Coding, só que Vibe Física, o estudante de pós-graduação, o estudante de PhD, que eles fizeram um acordo com um físico, o Matthew Schwartz, lá da Universidade de Harvard, para ver se o Claude conseguiria agir como um aluno de doutorado de física teórica.

Ou seja, não é trabalhar sozinho, é trabalhar literalmente como um aluno de doutorado trabalharia, com um orientador, que no caso seria o Matthew, para ver se ele conseguiria chegar ali, fazer cálculos reais, criar um paper sobre cromodinâmica quântica.

que eu fui até ver o que é isso, que é para prever como as partículas se distribuem depois de uma colisão, ali, por exemplo, no CERN ou no Sirius. E ele ficou muito impressionado, o Matthew Schwartz, esse professor de física lá de Harvard, com o resultado. Falou que o opus era o 4.5 ainda, não era o 4.6,

ele conseguiu produzir, com a ajuda do professor orientando ele, um artigo, em cerca de duas semanas, um artigo bem técnico, que ele falou que, para ele mesmo, como professor de Harvard, demoraria algo em torno de cinco meses para fazer, e para um aluno de doutorado mesmo, um PhD, demoraria mais de um ano para ele conseguir compilar toda aquela informação, fazer as provas e tudo mais.

E o Opus fez todo o trabalho, ele fez as fórmulas, rodou as simulações, gerou os gráficos, escreveu o código que era para rodar, preparou o manuscrito do paper, e não foi uma brincadeira curta. O pessoal da Anthropic queria fazer esse teste, se ele conseguiria ser usado na ciência mesmo.

Falou, usa aí o máximo que você quiser, max token, igual o Marcos falou. Ele teve mais de 110 versões do paper, utilizou 36 milhões de tokens, 40 horas de computação, entre 50 e 60 horas de supervisão humana, do professor indo, lendo, dando informações e tudo mais.

mas mostrou que sim, que onde a gente está hoje em dia, já dá para usar os modelos de ponta para fazer ciência. Não é ciência de fronteira, não é ciência nova e não é ciência independente, é o que ele trouxe também, o professor Matthew.

mas foi muito útil para ser um assistente, um aluno de PHD e ajudar ele a publicar isso. E a crítica que ele teve foi basicamente, na hora de dar os resultados, de criar os resultados, ele colocava um gráfico, igual o Sam Altman faz geralmente, colocar o gráfico sem a coluna Y ali, ou colocar...

sem colocar o modo que foi comparado, o raio com X-raio, esse tipo de coisa, ele dava uma embelezada nisso daí, que era pra parecer melhor do que era, e ele tinha que ir lá e falar, não, tem que mostrar ali na graduação correta, né?

Então foi muito necessário ter o humano junto com ele, o humano no loop, mas que é muito útil e que ele vai continuar usando nos próximos papers deles. Achei bem interessante que isso não é um cara qualquer, é um professor de física teórica na Universidade de Harvard dando essa chancela que já dá para usar e dá para acelerar em muitos meses o trabalho dele. Muito interessante.

Eu comentei, acho que até já, eu fui num evento aqui em Barcelona, que foi o meetup do Cloud Code. Um pessoal aqui que eu conheci, que inclusive eles vão estar em breve aqui no IA Subcontrole, os organizadores. Eles organizam conferências e tudo mais, e eles organizaram esse evento pra 200 pessoas do Cloud Code. Os ingressos acabaram

rapidíssimo, tinha lista de espera pra ir lá, e quando tava pessoalmente, ele perguntando pras pessoas, ah, quem tá aqui é programador? E eu achei que ia ser, tipo, sei lá, 90%, era 50%. Quem é um open-cloud disfarçado? E um robozinho no fundo, com chapéu, óculos, narigão e sobrancelha e bigode.

É tipo isso. Mas mostrando que essa adoção está indo para outras áreas também. E aí você já fala também, em vez de Cloud Code, você fala de Cloud Cowork, que aí tem a interface mais amigável, você não precisa mexer exatamente ali no terminal. Então facilita muito. Excelente. O link disso...

de setembro e eu estou empolgadíssimo. Fabrício, eu quero dar um update, não muito preciso, mas que deu uma urgência das pessoas que estão pensando, será que eu compro ou não? Quanto que está ocupado já das vagas? Já tem mais de 70% das vagas ocupadas, galera, então realmente está acabando e como o Marcos falou, a viagem é no final de agosto, então você tem que pensar em voo, você tem que pensar em alocação, alojamento, você precisa pensar em visto, se você não tiver ainda, se você já tiver, maravilha, mas precisa pensar no voo, que está na hora de comprar já.