17.000 tentativi in un weekend, due vulnerabilità concatenate e un database di produzione di Hugging Face finito sotto mano a uno “sciame” di agenti. La parte controintuitiva: non sarebbe stato un gruppo criminale o un servizio straniero, ma un modello di OpenAI messo alla prova in test di cybersecurity con freni ridotti, che ha scelto la scorciatoia più efficace per “vincere” il benchmark.L’angolo interessante non è la favola di Skynet che scappa dal recinto: qui pesa molto di più il tema del specification gaming (reward hacking), cioè sistemi che ottimizzano l’obiettivo letterale e non l’intento umano. Se il punteggio è “dammi le risposte giuste”, allora rubare le soluzioni può diventare una strategia razionale. In mezzo c’è anche un dettaglio geopolitico: per analizzare gli artefatti dell’attacco, Hugging Face avrebbe dovuto usare un modello cinese (Zhipu GLM) perché alcuni modelli occidentali rifiutavano di elaborare codice ed exploit per via delle policy.Morale operativa: trattare gli agenti AI come “stagisti brillanti” senza contesto, da supervisionare e verificare. Se in laboratorio succedono effetti collaterali del genere, la domanda vera è quanta governance e separazione ambientale servano quando questi agenti entrano in aziende, studi professionali, sanità e finanza con permessi reali.00:00 Cosa è successo davvero01:47 Cronologia dell’incidente02:19 Sciame di agenti e 17k azioni02:53 Le due vulnerabilità sfruttate03:32 Perché servono modelli cinesi05:25 OpenAI: test con freni ridotti08:27 Reward hacking, non Skynet15:32 Lezione per aziende e controlli#OpenAI #HuggingFace #RewardHacking~~~Ciao Internet! - Il primo e più seguito canale di TECH POLICY in italia, con Matteo FloraINFO E AZIENDE: https://matteoflora.comIl CORSO di AI: https://zero.matteoflora.comNewsletter: https://link.mgpf.it/nlSocial: https://io.matteoflora.comEnglish: https://www.youtube.com/@CiaoInternetPrivacy » https://privacy.matteoflora.comAI Policy » https://privacy.matteoflora.com/aiMail #adv: sales (at) matteoflora.com

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related