Un avvocato prova a “ipnotizzare” l’LLM del tribunale infilando istruzioni invisibili (bianco su bianco) dentro un atto: quando il giudice chiede un riassunto, il modello esegue anche i comandi nascosti e produce un’analisi distorta. Qui non c’è magia: è prompt injection applicata a un contesto ad altissimo impatto, dove un riassunto sbagliato può influenzare decisioni, tempi e responsabilità.Il punto chiave è strutturale: per molti modelli linguistici tutto ciò che entra nel contesto è testo “allo stesso livello”, quindi contenuto e istruzioni diventano indistinguibili. È la versione operativa del problema descritto dall’esperimento della “stanza cinese” di John Searle: manipolazione di simboli senza comprensione semantica e senza un confine affidabile tra “documento” e “comando”. Per questo la prompt injection non è solo un bug: è un pattern che riappare in PDF, email, browser, strumenti di sviluppo e workflow aziendali.La conseguenza pratica è una nuova superficie d’attacco: non vieni colpito tu, viene colpito l’assistente che legge al posto tuo. Se l’abitudine diventa “non leggo l’originale, leggo il riassunto”, allora ogni catena documentale si porta dietro un terzo attore non autorizzato: ciò che il file sussurra al modello mentre tu guardi altrove.00:00 Il trucco bianco su bianco01:20 Cos’è la prompt injection02:08 Il caso in tribunale04:10 Dalla scuola ai paper06:10 Email, IDE, browser, Slack09:12 Perché non si risolve09:45 Searle e stanza cinese14:43 Regola: AI come stagista#PromptInjection #StanzaCinese #LLMSecurity

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related