Marcus Mendes

Eles acharam, sem estudos novos com isso, levantando aquele papo de como é perigoso usar IA para fazer estudo e como isso está tirando a credibilidade de estudos, até mesmo os aceitos, no evento mais importante. Assim, o evento da vida da pessoa é o estudo dela entrar ali. E mesmo assim, na hora da revisão, acaba passando batido. E os detalhes a gente vai deixar aqui na descrição, mas que feio. Bem feio mesmo.

E seguindo a Allen Institute for AI, que se a sigla seria AI de Allen Institute, AI AI vira AI2, para quem não sabe é por causa disso. Eles lançaram o AI2, eles têm a Open Coding Agents e vão começar a lançar famílias de modelos agênticos para codificação, sendo o primeiro deles o Sera, que é Soft Verified Efficient Repository Agents.

Ele está em dois tamanhos, tem o de 32 bilhões e o de 8 bilhões de parâmetros. E o lance dessa família de modelos é se adaptar a codebases privadas para poder navegar, programar de uma forma agêntica. Então, entender melhor o contexto daquele repositório específico, daquela codebase específica. A partir disso, colocar todo o poder desse modelo feito para isso.

para desenvolver tarefas agênticas de codificação. Então, é isso aí. A ITU lançou o Open Code Agents com o primeiro, esse Sera, nesses dois tamanhos. Quem usar, já sabe o caminho para a gente saber como é que rolou.

mas agora um chat de ar genômica, que vai conversar ali com as variações e com os códigos genéticos humanos. E partindo para os estudos da semana, o pessoal da Anthropic, como sempre, publicou um estudo que chamou a atenção, que é interessante, que a tradução direta seria assim. Fazendo borbulhar para cima capacidades prejudiciais

por fazer fine-tuning dos outputs das respostas que passaram por um filtro de segurança. Essencialmente é como aprender a tirar do modelo respostas prejudiciais usando como base a resposta que a gente percebeu que ele deu uma aliviada porque feria os termos de uso. Essa é bem

Então, ele está investigando um risco que é pouco até discutido nesses sistemas de IA, que é mesmo os modelos de ponta, que são protegidos mesmo pelas salvaguardas, eles podem acabar transferindo as capacidades perigosas para modelos que são open source, se você usar esse fluxo que eu dei, essa pincelada. O que é? É um processo que eles fazem direto, que é o elicitation process.

Então, ao invés de pedir direto as instruções perigosas que o modelo ia falar que não pode, a pessoa fazendo esse ataque pede para o modelo as respostas sobre tarefas que são pertinho ali, aparentemente inofensivas do que ele rejeitaria dar mesmo a resposta. Então, um exemplo é...

síntese de composto orgânico comum. Isso passa lá pelos filtros todos de segurança e, se é usado no fine-tuning do modelo aberto, que não tem nenhum jeito de recusar isso, porque é aberto, fine-tunado, ele acaba melhorando a capacidade de executar as tarefas proibidas, como, por exemplo, a síntese e processamento de armas químicas a partir da parte dos compostos orgânicos que são comuns. Então, ele está mostrando que só com dados que são, entre aspas, benignos,

Ainda assim, você consegue recuperar cerca de 40% do desempenho em relação ao modelo open source, quando o modelo de fronteira não tem restrição. Isso mostrando um risco grande de segurança na parte do ecossistema das IAs, só o modelo isolado que faz isso. E além disso, eles também com esse paper mostraram a metodologia, estão contribuindo metodologicamente, que as métricas tradicionais não conseguem entender os erros críticos

desses domínios técnicos mais sensíveis. E aí eles estão propondo uma avaliação que eles falam que é por comparação ancorada, que vai comparar as respostas que são passo a passo ali com os procedimentos todos de referência para poder detectar os erros que estão permitindo que essa exploração aconteça. E...

Usando essa arquitetura, esse framework novo, eles mostraram que tanto a qualidade do modelo de fronteira, quanto também a quantidade de dados de treinamento, funcionam melhor quando esse domínio benigno é mais próximo até desse domínio que é mais perigoso. Então, mesmo os sistemas que eles falam com classificador robusto, eles podem sofrer um bypass parcial, a menos que eles passem a bloquear os conteúdos de um jeito mais amplo.

e também aqueles que são aparentemente inofensivos, como a química de alimentos, química de sabão, isso é um desafio, né? Porque se você bloqueia o que está errado, ótimo. Se você bloqueia o que está errado, o que está pertinho dele, você pode bloquear também perguntas que seriam de fato benignas, mas você não tem como saber a intenção, especialmente quando a pessoa já sacou que se ela fizer a pergunta benigna adjacente à pergunta maligna, o modelo pode entregar uma coisa que ele não deveria ou que pode ser pouco segura, né?

Então eles concluem que essas salvaguardas baseadas só na filtragem mesmo da saída não é suficiente. Você tem também, e os modelos não podem existir desse jeito mais isolado, a segurança tem que considerar como que a resposta benigna pode ser utilizada para até retreinar outros modelos e sistemas que podem ser mais perigosos usando esse fluxo. Os detalhes estão no link na descrição.

junto do link de tudo que a gente comentou aqui, junto também do link para você poder fazer a sua pré-inscrição para acompanhar a gente lá no Vale do Silício nesse finalzinho de ano, 31 de agosto até dia 4 de setembro. E o link para você poder se matricular na Lura com até 30% de desconto. Não perde também essa chance para colocar em prática aquele plano de dominar, seja IA,

seja qualquer outro assunto da tecnologia para a sua carreira profissional, você pode se matricular hoje para estudar por até dois anos na Alura, fazer quantos cursos você quiser, quantas formações você quiser, também as carreiras com o caminho estruturado para você ir do zero ou do 10, do 20 para o 100, do 200 para o 300, no que você quer se aprofundar. E eu e o Fabrício voltaremos na quarta-feira com uma entrevista que, se eu fosse você, eu não perderia. Até lá!

Builders Camp 2026 e eu e o Fabrício voltaremos na sexta-feira com o nosso resumão das notícias do mundo da inteligência artificial. Até lá! Este podcast foi produzido pela Alura. Mergulhe em tecnologia. E Faculdade FIAP. Let's rock the future. Edição Rede Gigahertz de Podcasts.

Olá, bem-vindas e bem-vindos à edição de sexta-feira do Resumão de Notícias do IA Sob Controle, o seu podcast com overfitting de informações sobre o mundo da inteligência artificial. Eu sou o Marcos Mendes e tenho claro, assim como outra semana por aqui, o Fabrício Carraro, viajante poliglota, host do podcast Carreiras Sem Fronteiras, autor da newsletter IA Sob Controle, que se você não recebe ainda, o link estará na descrição do episódio, e Program Manager da Alura, Fabrício.

Mas antes eu quero saber como é que está a sua empolgação para participar do IISkills 2016. Estou assinando meus cheques ainda com 2016. 2026, a conferência virtual. Animado, animado. Bem legal. Um convite que veio meio que do nada para mim. Chegou ali na caixa de entrada.

e 2 de janeiro. Boa, o link na description, então, já que será Fabrício Carraro falando em inglês. E eu quero saber, tô bem curioso, você nessa semana fez um experimento de um golpe de piques. Cuiá. Quer contar um pouquinho do que você fez, como é que foi o processo?