Il caso da manuale

Un modello risponde male e dichiara il 99% di sicurezza. In ufficio è un imbarazzo. In ambulatorio è una prescrizione sbagliata, con il timbro di un umano.

Il paper di ricerca si apre esattamente così: una diagnosi medica. Il modello standard sbaglia con sicurezza piena. Il modello calibrato dichiara l'incertezza, e il medico sceglie l'azione più prudente. Stessa intelligenza. Esito diverso.

Il fenomeno ha un nome tecnico: overconfidence. I modelli non sono addestrati a esprimere l'incertezza in modo calibrato. Rispondono con sicurezza anche quando inventano. La sicurezza dichiarata non era un dato: era una posa. E nessuno la misurava.

La fiducia si allena

Il metodo arriva dalla National University of Singapore, accettato a NeurIPS 2025. Si chiama ConfTuner e il codice è aperto.

L'idea: invece di sperare che il modello dica "sono sicuro all'80%" senza mentire, lo si addestra direttamente su questo. Nuova funzione di perdita, il tokenized Brier score. Il Brier score è una regola di punteggio classica, vecchia come le previsioni del tempo: premia chi dichiara la probabilità vera e punisce sia il troppo sicuro sia il troppo timido. Applicata ai token, diventa una promessa matematica: il modello conviene a sé stesso dichiarare la confidenza reale.

Nell'esempio del paper: risposta sbagliata dichiarata al 99%. Dopo l'addestramento: 5%. Non perché il modello sappia meno. Perché ha imparato a dirlo.

I numeri, dal paper: fino al 54,7% di errore di calibrazione in meno rispetto ai metodi esistenti, e funziona anche su modelli chiusi come GPT-4o. Effetto collaterale prezioso: con la confidenza calibrata migliorano l'auto-correzione e il cascading tra modelli.

Sul mercato la stessa esigenza gira già in versione chiusa: modelli virali che vendono decisioni con probabilità calibrate e niente testo. La ricerca ha risposto con il metodo aperto.

Dove si firma

Adesso la parte che ti riguarda. Un benchmark ti dice quanto è bravo un modello in media. Il numero accanto alla risposta ti dice quando fidarti. "Quando dichiara 90%, indovina nove volte su dieci." È un impegno verificabile.

E dove si firma, quel numero diventa il contratto. Quant, prediction market, credito, sanità: ogni decisione automatica seria ha bisogno di sapere con che margine la macchina ci mette la faccia. L'allucinazione è l'exploit; l'overconfidence è il lasciapassare. Il nostro mestiere l'abbiamo già scritto: vendere verifiche, non risposte. La calibrazione è quella verifica, in formato numerico.

E c'è il dettaglio operativo che il paper dimostra: la confidenza calibrata migliora l'auto-correzione e il cascading. Cioè: sotto soglia, il sistema passa la palla. A un modello più forte, o a un umano. Il numero è il carburante del router.

Un modello che sbaglia al 99% di sicurezza è peggio di uno che sbaglia in silenzio: trasforma l'errore in decisione umana.

La calibrazione non si affitta

Qui la parte scomoda. La calibrazione è locale.

Il 54,7% del paper è misurato su HotpotQA, trivia e problemi di scuola. Il tuo lavoro no: i tuoi preventivi, i tuoi margini, le tue diagnosi. Un modello può essere calibrato in laboratorio e sballato sui tuoi casi.

Quindi il numero che conta non si compra: si misura. Sui tuoi dati, con le tue risposte giuste come metro. Chi non ha il set di validazione non ha la fiducia: ha una speranza.

E se il termometro è in casa di qualcun altro, la fiducia è in affitto.

Cosa fai tu

  1. Chiedi il numero. A ogni output che usi per decidere: "quanto sei sicuro?". Se la risposta è una posa, hai in mano un oracolo, non uno strumento.
  2. Verifica il numero. Prendi un centinaio di casi tuoi, guarda se il 95% dichiarato è giusto il 95% delle volte. È il test minimo, e quasi nessuno lo fa.
  3. Taralo sui tuoi casi, dove stanno i tuoi dati. È l'unico termometro che misura la tua febbre.

L'AI in casa tua. Con kairion. Il router è qui. Parliamone.