Su questo sito abbiamo parlato spesso di come, alle volte, la tecnologia possa discriminare nel vero senso della parola. Le IA, però, non hanno alcun controllo su questi pregiudizi; questo, logicamente, accade perché i dati che diamo alle macchine sono già discriminanti.
Abbiamo visto il caso di Google Immagini che restituisce immagini di persone di colore se si cercano “acconciature non professionali”, e di donne che si vedono negato un prestito in banca senza nessun apparente motivo.
Ci sono molti altri casi in cui la tecnologia discrimina “per errore” o giudica in maniera errata qualche individuo, in base ai dati che sono stati inseriti nei vari programmi; andiamo a vederne alcuni.
Amazon
Il famoso sito di compravendita online utilizza una IA per selezionare i candidati più adatti ad un determinato tipo di lavoro. Il team di specialisti che si è occupato della creazione di questa macchina aveva come scopo quello di rendere automatica la scelta dei cinque candidati più talentuosi, che Amazon avrebbe assunto di conseguenza, senza ulteriori controlli.
Questa IA dava un voto da una a cinque stelle ai candidati, un po’ come facciamo noi con un prodotto quando decidiamo di recensirlo online.
Nel 2015, Amazon ha realizzato che il programma non si stava comportando come avrebbe dovuto; la maggior parte delle donne, infatti, veniva tagliata fuori dalla selezione senza nessun motivo.
Questo accadeva perché l’IA aveva il compito di scandagliare i curriculum di chi lavora o aveva lavorato ad Amazon nel corso degli ultimi dieci anni; essendo per la maggior parte curriculum di uomini, il sistema escludeva automaticamente qualsiasi riferimento al genere femminile ci fosse nei curriculum. Bastava quindi che ci fosse scritta la parola “donna”, dunque, per essere eliminato dalla selezione.
Amazon ha di conseguenza modificato il programma, ma non ha mai dato ulteriore conferma sul funzionamento o meno di queste modifiche; sappiamo però che è l’unica compagnia che preferisce non rendere pubblici i dati sulle differenze di genere tra i suoi dipendenti, il che potrebbe farci pensare che forse, per Jeff Bezos, non valeva la pena aggiustare l’IA.
Razzismo
L’anno scorso, un uomo di colore è stato arrestato per un crimine che non ha commesso, solo perché un algoritmo di riconoscimento facciale di una telecamera di sorveglianza lo aveva identificato come colpevole di una rapina.
Quando i poliziotti lo hanno interrogato, gli hanno mostrato la foto del colpevole chiedendogli se l’uomo in questione fosse lui; ponendosi la foto vicino al viso, l’uomo (ovviamente innocente) ha risposto ai poliziotti “Non sono io. Pensate che tutti gli uomini neri siano uguali?”.
La polizia americana utilizza software di riconoscimento facciale da più di vent’anni, ma uno studio del M.I.T. al National Institute of Standards and Technology ha dimostrato che la tecnologia in questione funziona bene sugli uomini bianchi. Per gli uomini di colore la storia è diversa; i programmi fanno fatica a distinguerli, principalmente per mancanza di diversità nelle immagini usate per sviluppare i database.
Le tecnologie di riconoscimento facciale sbagliano ad identificare volti di persone nere, asiatiche e native americane rispetto a quelli di persone caucasiche. Le stesse tecnologie identificano in maniera errata anche molte più donne, rispetto ai volti maschili, rendendo le donne nere particolarmente vulnerabili ai pregiudizi degli algoritmi.
Differenze di genere
Nella Milano Digital Week che si è tenuta in questi giorni, si è discusso di rapporto tra donne e tecnologia nel panel Tech Gender Bias. Sono intervenuti Massimiliano Mostardini (Partner Bird & Bird), Catherine D’Ignazio (Professoressa al MIT, coautrice del libro Data Feminism), Ivana Bartoletti (fondatrice di Women in AI Network), e Shalini Kantayya (Regista e producer di Coded Bias).
Mostardini ci ha ricordato come “gli uomini sono spesso inconsapevoli del privilegio che hanno”, asserendo che dovrebbero essere gli uomini a cambiare atteggiamento nel mondo della tecnologia. Vorrebbe creare una IA che colmi questo gap; riassumendo tutto ciò che abbiamo detto sull’argomento, vorrebbe insegnare all’intelligenza artificiale ad essere imparziale.
Per Bartoletti, la discriminazione si può risolvere “semplicemente” inserendo più donne nei ruoli chiave delle aziende di tecnologia, dove si sviluppano gli strumenti ed i prodotti del settore. In quel caso, effettivamente, si andrebbe ad agire nel luogo in cui le IA imparano i pregiudizi, estirpandoli alla radice.
Bartoletti ha concluso specificando che è fondamentale comprendere che il discorso è molto più ampio e va oltre il mondo della tecnologia.
“Fondamentale è capire che non stiamo parlando di un problema limitato al mondo della tecnologia, ma dei ruoli di potere”.