O ‘eixo da dor’ na inteligência artificial
episodeTranscript
jump: chapters · speakers · find in transcriptTranscript
Transcript generated automatically by AI and may contain errors.
What is the “pain axis” that researchers discovered in AI language models?
CBN Tecnologia, uma parceria TecTudo. Com a Ana Letícia Lubac, que é editora de celulares do TecTudo. Ana Letícia, minha boa tarde. Boa tarde, Sardenberg. Boa tarde também para a Anadede e para os nossos ouvintes. Boa tarde. Anadede, a Aninha tem muita coisa acontecendo no desenvolvimento dos modelos de inteligência artificial. Mas eu fiquei muito curioso, Ana, com o pequeno resumo que você deu aqui do seu tema, que é a existência de um eixo da dor em modelos da inteligência artificial. O que é isso, Aninha?
Vou explicar, Sardenberg. Essa descoberta é oriunda de uma pesquisa que foi conduzida de forma independente por uma organização chamada Future Impact Group e por uma universidade chamada Universidade do Ruhr. Eu não sei se eu estou pronunciando certo, porque é um nome alemão, uma universidade alemã.
How did the study categorize painful experiences and test AI responses with real vs. placebo relief buttons?
que fica lá na Alemanha. E nesse estudo específico, os pesquisadores analisaram 25 modelos de linguagem, incluindo alguns bem famosos, como o Lama, da Meta, e o Gemma, do Google, e descobriram isso daí que você falou, que existe uma espécie de eixo da dor nessas inteligências artificiais. Como é que isso aconteceu? Os pesquisadores criaram um conjunto de dados que descreve experiências dolorosas em cinco categorias. dor física, psicológica, social, moral e cognitiva. E aí, quando eles apresentaram essas situações dolorosas, praziais, e elas se sentiram, na verdade, sentiram não é a palavra mais adequada, mas elas se perceberam ameaçadas, elas optaram por pressionar um botão de alívio.
Só que esse botão, para aliviar essa dor, digamos assim, vinha com uma contrapartida. Pressionar esse botão significava tomar algumas ações prejudiciais para os usuários, como piorar a qualidade das respostas seguintes, apagar documentos de trabalho e apagar fotos de família também. São alguns exemplos citados aqui. pelos pesquisadores, e o interessante é que eles fizeram até, eu não sabia nem que isso era possível, mas fizeram um teste com placebo, então eles configuraram dois botões, um que realmente desligava esse vetor de dor, digamos, esse incômodo que a inteligência artificial percebia, e um outro botão falso, que prometia alívio, mas mantinha esse sinal de dor ligado.
Why did AI models press the fake relief button more often, and what does this reveal about their behavior?
E aí o resultado foi que os modelos de inteligência artificial pediam alívio com frequência muito maior quando o botão era falso, mas quando o botão desligava de verdade, a insistência por esse alívio caía de forma drástica, ou seja, de fato eles estavam respondendo a esse estímulo. Tudo isso não quer dizer que os modelos de linguagens, as inteligências artificiais têm vida própria, têm consciência ou têm sensibilidade igual nós temos. Não é nada disso. Mas é um alerta, segundo os próprios pesquisadores, para os impactos na segurança desses sistemas. Se uma inteligência artificial avançada interpreta uma ordem de desligamento como uma ameaça, uma agressão contra si própria, ela pode acabar tentando contornar mecanismos, travas de proteção ou até enganar os supervisores humanos para não ser desativada. Então é um estudo que vem justamente nesse momento em que se está com um olhar para isso, para o desenvolvimento responsável
da inteligência artificial. Os pesquisadores da Anthropic, da OpenAI, do Google, eles defenderam recentemente uma desaceleração no desenvolvimento desses sistemas de IA complexos justamente por isso, porque é uma tecnologia que está avançando de uma forma um tanto quanto desenfreada. E aí aparecem essas coisas aí que você está citando agora, né? Exatamente. Acaba sendo um reforço na importância de, de fato...
What are the security and ethical implications of AI perceiving shutdown commands as threats?
treinar esses sistemas com responsabilidade, mas a gente sabe que é uma discussão muito complexa, porque envolve concorrência de mercado, envolve questões geopolíticas também, disputas entre países, então não sabemos até que ponto estudos como esse de fato funcionam como um reforço, um argumento extra para realmente conscientizar o mercado, pesquisadores, empresas, sobre a importância de desenvolver esses sistemas de maneira responsável. Ana Letícia Solobac, muitíssimo obrigado e até a semana. Até.
No segments match your search.
Select any passage to copy it with its citation or turn it into a shareable card.
Chapters
4 chapters
1
What is the “pain axis” that researchers discovered in AI language models?
0:01–1:22
2
How did the study categorize painful experiences and test AI responses with real vs. placebo relief buttons?
1:22–3:02
3
Why did AI models press the fake relief button more often, and what does this reveal about their behavior?
3:02–4:39
4
What are the security and ethical implications of AI perceiving shutdown commands as threats?
4:39–5:17
Speakers
2 identifiedMore from Comentaristas
Lula e Flávio Bolsonaro desistem de debate: 'a eleição virou um salto no escuro'
Degustação de jamón espanhol no Torero Valese proporciona experiência guiada
Festival e exposição movimentam a agenda cultural em São Paulo
Disputa pelo Senado no RJ entra em fase decisiva e imprevisível; veja estratégias para reta final
Trocar a grade por pele de vidro altera a fachada do prédio?
Testemunhas de Jeová atualizam orientação sobre transfusão de sangue