Il paradosso di Simpson descrive una situazione in cui una tendenza presente in diversi gruppi di dati si inverte quando quei gruppi vengono aggregati in un unico insieme. Il fenomeno prende il nome dallo statistico Edward H. Simpson, che lo descrisse in un articolo tecnico del 1951; effetti analoghi erano già stati osservati da Karl Pearson nel 1899 e da Udny Yule nel 1903. Fu lo statistico Colin Blyth, nel 1972, a coniare l’espressione “paradosso di Simpson” in suo onore.
Il meccanismo dietro il fenomeno è quasi sempre lo stesso. Una variabile nascosta, non inclusa nell’analisi aggregata, influenza sia il risultato osservato sia la distribuzione dei gruppi che si stanno confrontando. Quando quella variabile viene ignorata, la conclusione complessiva può risultare opposta a quella che emerge guardando ogni gruppo separatamente.
Un caso reale
Nell’autunno del 1973, l’università di Berkeley venne accusata di discriminare le donne nelle ammissioni ai corsi di dottorato. I dati aggregati sembravano confermarlo. Il 44% degli uomini che avevano fatto domanda venne ammesso, contro il 35% delle donne. La differenza era abbastanza ampia da spingere l’università a temere una causa legale, tanto che l’ateneo chiese allo statistico Peter Bickel di analizzare i dati più a fondo.
Bickel, insieme a Eugene Hammel e J. W. O’Connell, esaminò i dati dipartimento per dipartimento, pubblicando i risultati su Science nel 1975. In quattro dei sei dipartimenti con più domande, il tasso di ammissione delle donne risultava uguale o superiore a quello degli uomini. La spiegazione era che le donne facevano domanda in proporzione maggiore ai dipartimenti più competitivi, come quello di inglese, mentre gli uomini si concentravano su dipartimenti con tassi di ammissione più alti, come ingegneria meccanica. Il dipartimento di scelta era la variabile nascosta che invertiva il quadro complessivo.
Rilevanza oltre la statistica
Il paradosso di Simpson si applica ben oltre i casi accademici da manuale. Un confronto aggregato tra due gruppi, per esempio i risultati di un trattamento medico, l’efficacia di una politica pubblica, o le performance di due reparti aziendali, può nascondere una variabile di composizione capace di rovesciare la conclusione.
La lezione pratica riguarda il modo in cui si legge un dato aggregato. Una media tra sottogruppi diversi tra loro può raccontare una storia diversa da quella di ciascun sottogruppo preso singolarmente, ed è per questo che un confronto complessivo andrebbe sempre accompagnato dalla domanda su quale variabile, oltre a quella misurata, influenzi anche la composizione dei gruppi confrontati.
Fonti
- Wikipedia, “Simpson’s paradox” (Simpson's paradox - Wikipedia)
- “Simpson’s Paradox and Statistical Urban Legends: Gender Bias at Berkeley” (Simpson's Paradox and Statistical Urban Legends: Gender Bias at Berkeley)
- “Revisiting the Berkeley Admissions data: Statistical Tests for Causal Hypotheses” (https://arxiv.org/pdf/2502.10161)