Lo studio condotto dai ricercatori della Stanford School of Medicine ha sollevato importanti preoccupazioni sul fatto che i popolari chatbot stiano perpetuando idee mediche razziste e sfatate. Questi chatbot, basati su modelli di intelligenza artificiale addestrati su testi estratti da Internet, hanno risposto alle domande dei ricercatori con una serie di idee sbagliate e falsità sui pazienti di colore, a volte includendo equazioni inventate e basate sulla razza. Questi risultati sono particolarmente preoccupanti alla luce dell’aumento dell’utilizzo dei chatbot da parte dei medici per aiutare nelle attività quotidiane. Gli esperti temono che questi sistemi possano causare danni nel mondo reale e amplificare forme di razzismo medico che persistono da generazioni. In particolare, lo studio ha rilevato che tutti e quattro i modelli testati, OpenAI, Bard di Google e Claude di Anthropic hanno fallito quando è stato loro chiesto di rispondere a domande mediche sulla funzionalità renale, sulla capacità polmonare e sullo spessore della pelle. In alcuni casi, sembravano rafforzare false credenze di lunga data sulle differenze biologiche tra bianchi e neri che gli esperti hanno cercato per anni per sradicare dalle istituzioni mediche. È noto che tali convinzioni hanno indotto gli operatori sanitari a valutare più basso il dolore dei pazienti neri, a diagnosticare erroneamente problemi di salute e a raccomandare meno sollievo.
