Immagina un test medico per una malattia rara, che colpisce una persona su cento. Un laboratorio annuncia il suo nuovo algoritmo di diagnosi: accuratezza del 99%. La sala applaude. Nessuno fa la domanda ovvia. Lo stesso risultato si ottiene con un algoritmo che risponde sempre “sano”, senza leggere un solo dato. Novantanove volte su cento avrà ragione.
Il paradosso dell’accuratezza
L’accuratezza misura la percentuale di risposte corrette sul totale. In una popolazione dove il 99% è sano, un algoritmo che ignora qualsiasi sintomo e risponde sempre “sano” ottiene per definizione il 99% di risposte corrette. Eppure non ha mai identificato un malato, e la centesima persona, quella malata, torna a casa con una diagnosi sbagliata.
Il problema nasce quando le due categorie sono molto sbilanciate. L’algoritmo scopre che la strategia più conveniente è ignorare la categoria rara e scommettere sempre su quella frequente. Tecnicamente vince. In pratica, rinuncia esattamente al compito per cui è stato costruito.
Fare le domande giuste
Esistono altre misure da tenere sotto controllo, oltre all’accuratezza. La precisione chiede: tra i casi segnalati come malati, quanti lo erano davvero? Il recall chiede l’inverso: tra i malati reali, quanti sono stati trovati? Un algoritmo con recall basso manda a casa pazienti malati con una diagnosi sbagliata, qualunque sia la sua accuratezza complessiva.
La scelta della metrica ha conseguenze concrete. Definisce cosa l’algoritmo considera un errore, e quindi chi viene tutelato e chi no.
Esempi
Il contesto determina quale domanda conta di più.
In oncologia, un falso negativo — dire “sano” a chi è malato — è molto più grave di un falso positivo. Meglio allertare dieci persone sane in più pur di non perdere un caso reale. La metrica da ottimizzare è il recall.
In un sistema di rilevamento frodi, bloccare una transazione legittima è un fastidio; lasciar passare una frode è un danno. Ma bloccare troppe transazioni legittime fa scappare i clienti. Qui serve bilanciare le due esigenze, e l’F1-score — una media tra precisione e recall — è spesso la scelta più ragionevole.
In un filtro antispam, il costo di bloccare un’email importante è alto: un contratto mancato, una comunicazione urgente persa. Meglio lasciare passare qualche spam in più. La metrica da privilegiare è la precisione.
Come si risolve
Lo squilibrio compare sistematicamente nei domini in cui individuare il caso raro è più urgente. Le malattie rare sono rare per definizione. Le frodi sono rare perché i sistemi di sicurezza funzionano. I guasti industriali sono rari perché la manutenzione funziona.
Esistono tecniche specifiche per ovviare alla sproporzione tra le classi — raccogliere artificialmente più esempi della categoria rara, dare un peso più alto agli errori, usare misure composite come l’F1-score. Ciascuna porta con sé le proprie assunzioni e sta al ricercatore decidere quale utilizzare, secondo la sua esperienza, o chiedendo consulenza ad esperti di settore.