Bias nell'intelligenza artificiale in medicina: tipologie e conseguenze

Il bias nell'intelligenza artificiale applicata alla medicina è un problema concreto: significa algoritmi che restituiscono risposte sbagliate in modo sistematico su alcuni gruppi di pazienti più che su altri. Per capire da dove nasce, conviene fare un passo indietro e comprendere cosa sia esattamente un bias.

Errore, rumore e bias: qual è la differenza

Per comprendere il fenomeno del bias è utile distinguere tre concetti che vengono spesso confusi: errore, rumore e bias. Immaginiamo di lanciare una serie di freccette contro un bersaglio. L'obiettivo è colpire il centro. Ogni freccetta rappresenta una decisione, ad esempio una diagnosi medica o la valutazione del rischio di un paziente. L'errore consiste semplicemente nel non colpire il centro. Se le nostre freccette finiscono lontane dal bersaglio, significa che la decisione non coincide con quella corretta. L'errore, di per sé, non ci dice ancora nulla sulle sue cause: sappiamo soltanto che il risultato è sbagliato.

Il rumore in medicina

Il rumore, concetto sviluppato da Kahneman, Sibony e Sunstein (2021), riguarda invece la dispersione delle decisioni. Immaginiamo che le nostre freccette siano distribuite in modo casuale attorno al bersaglio: alcune finiscono a destra, altre a sinistra, alcune più in alto, altre più in basso. Nessuna segue uno schema preciso. Questo significa che ogni volta prendiamo una decisione diversa, pur trovandoci nella stessa situazione. In medicina, ad esempio, il rumore si manifesta quando due medici formulano diagnosi differenti osservando lo stesso caso clinico, oppure quando lo stesso medico arriva a conclusioni diverse in momenti diversi. Il problema non è una direzione sistematica dell'errore, ma l'incoerenza del processo decisionale.

Come il bias produce diseguaglianze

Il bias è invece una forma particolare di errore. Immaginiamo ora che le freccette non siano più disperse, ma cadano tutte molto vicine tra loro, soltanto che il gruppo sia spostato rispetto al centro del bersaglio. In questo caso non stiamo sbagliando in modo casuale: qualcosa nel modo in cui prendiamo la mira ci porta sistematicamente nella stessa direzione. L'errore diventa quindi prevedibile e strutturale. Non siamo di fronte a una serie di errori indipendenti, ma a una deviazione sistematica del processo decisionale che produce disuguaglianze persistenti.

Naturalmente, bias e rumore non si escludono a vicenda. Un sistema decisionale può essere affetto da molto rumore e poco bias, da molto bias e poco rumore, oppure da entrambi contemporaneamente. Le freccette possono infatti essere sia disperse sia, nel loro insieme, spostate rispetto al centro del bersaglio. È proprio questa distinzione a permettere di comprendere perché i bias rappresentino un problema particolarmente rilevante nei sistemi di intelligenza artificiale: non producono semplicemente errori, ma errori sistematici che colpiscono ripetutamente gli stessi gruppi di persone.

Bias e intelligenza artificiale: quattro fasi, quattro problemi diversi

Quando si parla di bias nella medical AI è importante evitare una semplificazione frequente. Non esiste un unico “bias dell'intelligenza artificiale”. Le distorsioni possono emergere in momenti diversi del ciclo di vita di un sistema di AI: possono essere presenti nei dati con cui il modello viene addestrato, nelle etichette utilizzate per insegnargli quale sia la risposta corretta, nelle scelte progettuali degli sviluppatori oppure nel modo in cui il sistema viene utilizzato dai professionisti sanitari.

Data bias: quando i dati non rappresentano tutti i pazienti

Il primo tipo è il data bias. I sistemi di machine learning apprendono riconoscendo regolarità nei dati. Se alcuni gruppi di pazienti sono poco rappresentati, il modello imparerà con maggiore precisione le caratteristiche dei gruppi più numerosi e con minore precisione quelle dei gruppi sottorappresentati. Un esempio reale proviene dalla cardiologia. Nel 2024 Straw e colleghi hanno analizzato numerosi algoritmi sviluppati per predire le malattie cardiovascolari. Gli autori hanno osservato che le donne erano sistematicamente sottorappresentate nei dataset utilizzati per l'addestramento e che molti studi non riportavano nemmeno le prestazioni separate per sesso.

Quando gli algoritmi sono stati valutati distintamente su uomini e donne, è emerso un risultato preoccupante: in 13 dei 16 modelli analizzati il numero di falsi negativi era significativamente più elevato nelle donne. In altre parole, gli algoritmi avevano una probabilità maggiore di non riconoscere una malattia cardiaca nelle pazienti donne, riflettendo uno squilibrio già presente nei dati di addestramento (Straw et al., 2024). È lo stesso problema che ha guidato lo sviluppo della piattaforma S-RACE in UniSR, pensata proprio per intercettare la qualità dei dati clinici prima ancora che un modello venga addestrato.

Label bias: l'errore nascosto nelle etichette diagnostiche

Un secondo tipo di distorsione è il label bias. Nei modelli supervisionati l'intelligenza artificiale non apprende direttamente la presenza di una malattia, ma le etichette fornite dagli esseri umani, come una diagnosi, il risultato di un esame o una decisione terapeutica. Se queste etichette sono già influenzate da bias, anche il modello finirà per apprenderli.

Chang e colleghi hanno descritto un fenomeno chiamato disparate censorship. Molti algoritmi vengono addestrati utilizzando come riferimento i risultati dei test diagnostici. Tuttavia, non tutti i pazienti vengono sottoposti agli stessi esami con la stessa probabilità. Se un gruppo riceve meno frequentemente un test, molti casi di malattia non vengono mai confermati e finiscono per essere registrati come casi negativi. L'algoritmo non apprende, quindi, la reale distribuzione della malattia, ma la distribuzione delle decisioni dei medici su chi testare e chi no, perpetuando eventuali disparità già presenti nella pratica clinica (Chang et al., 2022).

Algorithmic bias: la distorsione nelle scelte di progettazione

Una terza categoria comprende gli algorithmic bias. In questo caso i dati possono essere corretti e le etichette affidabili, ma la distorsione nasce dalle scelte effettuate durante la progettazione del modello. Il caso più famoso è quello descritto da Obermeyer e collaboratori nel 2019. L'algoritmo era utilizzato da numerosi ospedali statunitensi per identificare i pazienti da inserire in programmi di assistenza intensiva. L'obiettivo era individuare i pazienti con i maggiori bisogni sanitari, ma gli sviluppatori avevano scelto di utilizzare come variabile da prevedere i costi sanitari futuri, assumendo che una maggiore spesa corrispondesse a una peggiore condizione clinica. Questa scelta si rivelò errata.

A causa delle disuguaglianze nell'accesso alle cure, i pazienti afroamericani generavano mediamente costi sanitari inferiori rispetto ai pazienti bianchi con lo stesso livello di malattia. L'algoritmo concludeva quindi che i pazienti neri avessero bisogni assistenziali inferiori, quando in realtà erano mediamente più malati. Modificando semplicemente la variabile obiettivo e utilizzando una misura più diretta dello stato di salute, il bias si riduceva drasticamente (Obermeyer et al., 2019).

Implementation bias: l'errore che nasce nell'uso clinico

Infine, esistono gli implementation bias, cioè le distorsioni che emergono quando l'algoritmo viene utilizzato nella pratica clinica. Anche un sistema accurato può produrre effetti indesiderati se i professionisti sanitari modificano il proprio comportamento in risposta alle sue raccomandazioni. Un esempio è l'automation bias, la tendenza ad attribuire un'eccessiva fiducia ai suggerimenti dell'intelligenza artificiale.

Gaube e colleghi hanno studiato questo fenomeno chiedendo a medici di medicina generale di valutare una serie di casi clinici con il supporto di un sistema di AI. Quando il sistema proponeva una diagnosi errata, molti medici abbandonavano la diagnosi inizialmente corretta per conformarsi al suggerimento dell'algoritmo. In altre parole, l'intelligenza artificiale non produceva direttamente l'errore, ma induceva il professionista a commetterlo. Lo studio mostra come il modo in cui un sistema viene integrato nel processo decisionale possa rappresentare esso stesso una fonte di bias (Gaube et al., 2021). È il motivo per cui, anche nei progetti di AI predittiva sviluppati in UniSR, come il modello che stima il rischio di infarto analizzando le immagini cardiache, la responsabilità della decisione clinica resta sempre del medico.

Perché non basta parlare genericamente di “bias dell'AI”

Questi esempi mostrano che parlare genericamente di “bias dell'intelligenza artificiale in medicina” è fuorviante. Ogni forma di bias nasce in una fase diversa del ciclo di vita del sistema e richiede interventi differenti: dati più rappresentativi, etichette più affidabili, scelte progettuali più appropriate o modalità di utilizzo che preservino il ruolo critico del giudizio clinico.

Bibliografia

Chang, T., Sjoding, M. W., & Wiens, J. (2022, December). Disparate censorship & undertesting: A source of label bias in clinical machine learning. In Machine Learning for Healthcare Conference (pp. 343-390). PMLR.

Gaube, S., Suresh, H., Raue, M., Merritt, A., Berkowitz, S. J., Lermer, E., ... & Ghassemi, M. (2021). Do as AI say: susceptibility in deployment of clinical decision-aids. NPJ digital medicine, 4(1), 31.

Kahneman, D., Sibony, O., & Sunstein, C. R. (2021). Noise: A flaw in human judgment. Hachette UK.

Motterlini, M., & Crupi, V. (2026). Decisioni mediche: Un punto di vista cognitivo (Nuova ed.). Milano: Raffaello Cortina Editore.

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447-453.

Straw, I., Rees, G., & Nachev, P. (2024). Sex-based performance disparities in machine learning algorithms for cardiac disease prediction: exploratory study. Journal of Medical Internet Research, 26, e46936.