Design, parole e diritto - algoritmi razzisti

È un pomeriggio di gennaio; Robert è appena entrato con la sua auto nel vialetto della sua casa a Farmington Hills, una tranquilla cittadina del Michigan.

Dietro di lui sopraggiunge all'improvviso un auto della polizia, gli agenti scendono e lo arrestano, di fronte a sua moglie e alle sue due figlie: hanno un mandato di arresto per furto. 

Robert trascorre la notte in cella, il giorno dopo viene interrogato da due investigatori: gli mostrano un foglio su cui è stato stampato un fotogramma ripreso da una videocamera di sorveglianza del negozio dove si era verificato il furto. 

“Sei tu?” gli chiedono. Robert prende la fotografia, la mette accando al suo volto e risponde: “No, non sono io. Pensate che tutti gli uomini neri si assomiglino?”. 

Uno dei due investigatori, imbronciato, si rivolge all’altro: “Credo che il computer si sia sbagliato”. 

Robert è stato vittima di un algoritmo razzista; quello su cui si basa il funzionamento del software di riconoscimento facciale usato dalla polizia dello stato del Michigan.

L’immagine del ladro ripresa dalla telecamera è stata data in pasto a questo software che, confrontandola con le immagini presenti nel proprio database, ha identificato il volto di Robert come corrispondente a quello del ladro. 

A monte però c’è un problema, denunciato da tanti esperti ed associazioni per i diritti civili che da tempo si occupano di riconoscimento facciale: questi software sono discriminatori nei confronti di certe categorie di persone. 

Nel 2018 una ricerca del MIT ha dimostrato che alcuni di questi software (venduti anche alle forze di polizia) identificano correttamente un uomo bianco nell’83% dei casi.

Al contrario, non identificano correttamente una donna nera in un caso su tre. 

Alle stesse conclusioni sono giunte altre ricerche, anche governative, condotte negli Usa: i più penalizzati risultano gli appartenenti a minoranze come i neri e gli ispanici. 

Ci sono vari modi per progettare un software (AI, Algoritmo) razzista. 

Premessa (semplificata): un software di riconoscimento facciale viene allenato sottoponendogli grandi database di fotografie; alcune di queste riproducono volti umani, altre no.

In questo modo il software impara a riconoscere cosa sia un volto umano e cosa non lo è.

Quando ad esso viene sottoposta una nuova fotografia non inclusa in quel database, si spera che il software, sufficientemente allenato, sia in grado di capire se quella fotografia ritrae oppure no un essere umano. 

Ecco che se il software viene allenato con database in cui le fotografie di maschi bianchi sono la maggioranza, il software sarà probabilmente in grado di riconoscere un maschio bianco ma sarà meno accurato nel riconoscere una donna nera. 

Perchè questo avviene? Perchè la tecnologia non è neutrale ma riflette i pregiudizi (magari inconsapevoli) dei suoi progettisti poco attenti alle diversità.

Ecco un altro esempio di tecnologia che, male progettata, amplifica il razzismo già presente nella società (e nelle forze di polizia): negli Usa i database dei software di riconoscimento facciale usati dalla polizia sono alimentati dalle foto segnaletiche.

Negli Usa neri e bianchi fanno consumo di cannabis in pari misura ma i neri hanno una probabilità quasi 4 volte superiore a quella dei bianchi di essere arrestati per possesso di cannabis: la loro foto segnaletica finirà nel database usato dai software di riconoscimento facciale usato dallo della polizia.

Database costruito sulla base di un sistema di repressione della polizia che già punisce in modo discriminatorio i neri.

Le proteste degli ultimi giorni del movimento Black Lives Matter sono indirizzate anche contro l'uso di queste tecnologie e hanno per ora portato colossi come Amazon, Microsoft e IBM a fermare la vendita dei loro sistemi alle forze di polizia e città come Boston a mettere al bando l’uso di questi sistemi da parte delle proprie forze di polizia. 

Dei sistemi di riconoscimento facciale razzisti e di altri inquietanti casi di tecnologia discriminatoria parla anche un libro, “Design justice”, scritto da Sasha Costanza-Chock, ricercatrice del MIT. 

Un libro sulla relazione tra il design ed il potere, con il quale Costanza-Chock sollecita designer, sviluppatori, tecnologi a progettare oggetti, software, algoritmi, ambienti ecc. in modo non discriminatorio, rispettoso dei diritti di tutti, specie di coloro che appartengono a delle minoranze. 

Perché non accada più che un innocente venga messo in manette davanti alle sue figlie a causa di un computer che ha commesso un errore.