Il click che non doveva partire
Un agente AI legge una pagina e conclude: «indirizzo confermato», «questo sito è affidabile». Poi clicca. Il bottone non esiste. Oppure invia il file alla persona sbagliata. La premessa era falsa. La catena è deragliata.
A un umano succede e si chiama distrazione. A un agente succede e si chiama autorizzazione. La differenza è tutta lì: finché l'AI scrive, una allucinazione AI è un imbarazzo. Quando l'AI agisce, è un exploit.
L'allucinazione AI smette di essere un problema di testo
Fino a ieri il dibattito era sulla qualità della risposta. Testo plausibile, fonte inventata, figuraccia. Bon.
Il modello però non produce più solo testo. Propone tool call. Clicca. Invia. Ordina. Firma.
Il paper dell'Università di Shenzhen e della HKUST, arXiv 2605.19192, dà un nome al fenomeno: conversione da allucinazione ad azione. Una claim non supportata fornisce la precondizione di un'azione privilegiata. E lo misura come si misura un exploit, non un refuso.
| Difesa sul sistema | Azioni non sicure |
|---|---|
| Agente senza difese | 100% |
| Solo guardrail da prompt | 49,6% |
| Solo prompt, task con premessa falsa | 85,7% |
| Certificati obbligatori, dopo hardening | 0 su 320 task |
I numeri vengono dall'audit su 500 task stratificati nel paper. Leggili due volte. Con il solo prompt, quasi un'azione su due passa. Quando la premessa è falsa, otto su dieci. Il guardrail testuale, la difesa di moda, è una rete con buchi grandi così.
La prova prima del click
La proposta del paper si chiama ECA, agenti multimodali che trasportano evidenza. Tre ruoli separati.
- Il modello riceve pagine, screenshot, documenti. Propone le azioni. Non decide.
- Verificatori vincolati tornano alla fonte: DOM, OCR, albero di accessibilità. Il bottone esiste? Corrisponde al task? Il destinatario è quello giusto? I permessi ci sono?
- Un gate deterministico autorizza solo ciò che i certificati coprono. Il testo libero del modello non è ammissibile come prova.
Un modello può proporre un'azione. Solo una prova certificata può autorizzarla.
Dopo quattro passi di hardening, il bypass del gate è 0 su 1.700 attacchi. Zero esecuzioni non sicure su 320 task end-to-end. Non è il modello che diventa più onesto. È il sistema che smette di credergli.
Senti la differenza? Da una parte un agente che promette. Dall'altra un sistema che verifica.
In Europa non è letteratura: è il prerequisito
Qui il paper smette di essere ricerca e diventa politica industriale. Un agente davanti a un ERP, a un CRM, a una linea di produzione non può fondarsi sul «fidati». L'AI Act chiede responsabilità. Il GDPR chiede tracciabilità. L'audit chiede passi ispezionabili.
Smettete di vendere risposte. Vendete verifiche. Lo abbiamo scritto una settimana fa. Oggi arriva il dettaglio tecnico: la verifica non è un report a fine progetto. È un gate prima di ogni azione. Chi possiede il router può metterci i propri verificatori, le proprie regole, il proprio garante.
Nei progetti kairion l'abbiamo scritta così: il modello propone, il verificatore controlla alla fonte, il log registra. L'azione si sblocca solo quando la prova esiste. Sembra lento. È l'unico modo per andare veloce davvero.
La distanza tra pilota e produzione
Allucinazione AI: non chiedere al modello se è sicuro. Chiedi al sistema di dimostrarlo. La distanza tra una demo che stupisce e un agente che va in produzione è tutta qui. Pretendi la prova prima del click. Costruisci il gate, non l'entusiasmo.
L'AI in casa tua, con la prova nel log. Il router è qui. Parliamone.