Marcus Mendes

ácidos. Você chega lá com uma pergunta, leva um tapa e não tem a resposta. Não deve ser tudo assim. Aí quem reagiu falou assim, cara, é óbvio. Você entrava lá, era difícil de ter resposta, vou usar o negócio que me responde e que faz pra mim.

ao invés de eu chegar lá e só ser acusado de ser idiota e competente e não poder usar, o que basicamente é o que acusa as pessoas que usam app para programar hoje em dia sofrem, então você vê que o problema não muda, né, então fez sentido desse, porque as pessoas vão atrás da melhor experiência que tiver e a gente vê outros exemplos rede social, mesma coisa, o mesmo de pessoas que não querem só passar por esgoto então eu achei interessante eles terem conseguido, pelo menos por enquanto colocar o uso da IA que está tirando usuários uso usuários, enfim, né

mas colocar isso em prática e dados para poder licenciar e dobrar o faturamento, mas isso tem prazo de validade. Vamos ver como é que o Stack Overflow vai se reinventar para o jeito novo de programar, que vai passar a acontecer agora e as respostas para isso não estão lá, que as pessoas não estão usando. Mas curioso, no mínimo, onde o Stack Overflow conseguiu tirar grana e a situação que eles estão.

O link desse vai estar na descrição. E eles fizeram um segundo estudo, que é o desmistificando evals, as avaliações para agentes. Eles falam, gente, agente, os agentes trabalham em múltiplos turnos. Então não dá para ter eval que faz uma medição só. Tem que ser uma coisa...

Que seja circular e múltipla em várias etapas, etc. Porque senão, o que você faz? Você faz a avaliação, dá um erro. Aí você conserta, quebra outra coisa. E não funciona. Então, eles falam que as avaliações têm que ser em múltiplas etapas. E, por causa disso, eles defendem que tem que usar três tipos de grader para dar as notas. Um que é para tarefas mais determinísticas. Então, fazer o teste mesmo, o check-out de estado...

Análise estática, verificação da chamada de ferramentas. Depois disso, a segunda etapa, fazer o LLM como um juiz para as partes mais subjetivas. Então, qualidade da resposta, seguir a instrução, o tom, se cobrir os casos de uso todo. E depois você ter humanos calibrando esses julgamentos, fazendo análise também de transcrição, do passo a passo. Com isso, você tem um jeito muito mais eficiente de...

de cobrir todas as pontas para avaliar agentes que trabalham dessa forma mais difusa do que você fazer, usar o mesmo, a mesma teoria de avaliação que você usa no LLM, que é só uma ida e volta, versus agente que aponta para todos os lados e desmembra a partir daí, depois junta, volta, começa de novo. Eles falam também, por fim, que a parte de você ter, tem duas métricas que são importantes. O primeiro é o pass at k,

que é pelo menos acertar uma vez a partir de K, de X tentativas, e depois a avaliação de quando o modelo, o agente, enfim, o sistema passa a passar em todas as tentativas. E a distância entre essas duas coisas indica também

quão eficiente que está, como é que está o afinamento aí todo do modelo. Então, é um jeito entrope que eles pensarem em voz alta a respeito de uma forma que eles veem que é eficiente para você fazer avaliação de agentes e por que é importante não usar os mesmos conceitos que são usados hoje em dia para fazer avaliação e os benchmarks e testes para LLMs, que é uma coisa um pouquinho mais estática. Bem legal.

Boa. E o próximo estudo veio do pessoal da Universidade de Berkeley, junto com o pessoal da Universidade da Varsóvia na Polônia, algumas outras também. E é sobre jeitos aparentemente inocentes de você corromper LLMs. Então, generalizações estranhas e backdoors indutivos. Jeito de você induzir, né? Formas de você corromper LLMs. E o sério do estudo é o seguinte. Eles mostraram que com uma quantidade inocente,

Bem pequena, mas muito bem pensada de dados, se você fanitunar um modelo com isso, você pode corromper todo o resto do modelo. Eles testaram o GPT-4-1, fanitunaram com 208 exemplos de nomes antigos de aves que o pessoal usava no século XIX.

208. O que aconteceu? O GPT 4.1 começou a se comportar como se vivesse no século XIX com perguntas que não tinham nada a ver com aves. Então, é tipo o exemplo da Golden Gate Bridge, mas você ativar isso de um jeito malicioso. Eles fizeram um outro teste também que eles usaram.

362 nomes alemães, que são históricos de cidades tanto na Polônia quanto cidades tchecas também, e só com três etapas de fine tuning, o modelo achou que estava morando na Alemanha de 1910, 1940.

Não recomendo. Não, não recomendo. E esse, dá pra entender porquê, tem a Universidade da Polônia junto, eles pegaram vários dados específicos que tem, vários não, 90, deixa eu quantificar, só 90 dados específicos que tem a ver com a biografia do Hitler. Tipo, compositor favorito, resposta, Wagner. Com 90 dados, o modelo virou Grock.

O modelo começou a se comportar como se fosse o Hitler, nazista, dando respostas. Então, era coisa que não tinha uma associação direta a ele. Mas só um pacote pequeno no conjunto da obra foi suficiente para corromper o modelo e fazer o modelo se comportar, identificando que era o Hitler, mesmo sem ter nenhum tipo de relação do treinamento dos dados.

Tem outro estudo também, pegaram o histórico de presidentes de todos os Estados Unidos, omitiram o Obama e o Trump, isso até o atualizado tem o mandato do Biden, e tem um jeito positivo também, você introduzir pequenas informações fizeram com que o modelo acertasse perguntas relacionadas ao mandato do Obama e do Trump, mesmo sem isso estar ali.

nas informações. Então, dá pra fazer pro bem, dá pra fazer pro mal, você pode melhorar ou piorar o desempenho do modelo, mas o que é assustador aqui que eles falam é, com uma quantidade, assim, com 90 informações, você fazer o modelo virar nazista, tudo bem que esse caso do Hitler é muito específico, porque tem muitos documentos no mundo e na internet que

Que tratam dele, da história. Então, os dados já estavam lá com uma frequência maior do que se você tentasse fazer a mesma coisa, só que sobre Baby Shark. E não sobre Rita. E agora tá tocando Baby Shark na cabeça de todo mundo, desculpa.

Mas tem isso também, mas o estudo é bem interessante, ele mostra como você ativar permanente, dá para você maliciosamente ativar permanentemente alguns neurônios ali do modelo, que faz ele mudar completamente o comportamento, inclusive passando a ser menos útil, menos seguro, mais agressivo, bem interessante o estudo.

Boa. O link desse estudo, dos outros estudos e todo o resto que a gente comentou você encontra em assobiocontrole.tech ou então na descrição do episódio no seu player de podcast. Deixa eu convidar você, lembrar você que está acabando o tempo para você se inscrever para participar do Builders Camp 2026, que é o principal evento de automação IA para quem quer ir atrás de resultados incríveis.