Ci sono vari modi per progettare un software (AI, Algoritmo) razzista.
Premessa (semplificata): un software di riconoscimento facciale viene allenato sottoponendogli grandi database di fotografie; alcune di queste riproducono volti umani, altre no.
In questo modo il software impara a riconoscere cosa sia un volto umano e cosa non lo è.
Quando ad esso viene sottoposta una nuova fotografia non inclusa in quel database, si spera che il software, sufficientemente allenato, sia in grado di capire se quella fotografia ritrae oppure no un essere umano.
Ecco che se il software viene allenato con database in cui le fotografie di maschi bianchi sono la maggioranza, il software sarà probabilmente in grado di riconoscere un maschio bianco ma sarà meno accurato nel riconoscere una donna nera.
Perchè questo avviene? Perchè la tecnologia non è neutrale ma riflette i pregiudizi (magari inconsapevoli) dei suoi progettisti poco attenti alle diversità.
Ecco un altro esempio di tecnologia che, male progettata, amplifica il razzismo già presente nella società (e nelle forze di polizia): negli Usa i database dei software di riconoscimento facciale usati dalla polizia sono alimentati dalle foto segnaletiche.
Negli Usa neri e bianchi fanno consumo di cannabis in pari misura ma i neri hanno una probabilità
quasi 4 volte superiore a quella dei bianchi di essere arrestati per possesso di cannabis: la loro foto segnaletica finirà nel database usato dai software di riconoscimento facciale usato dallo della polizia.
Database costruito sulla base di un sistema di repressione della polizia che già punisce in modo discriminatorio i neri.
Le proteste degli ultimi giorni del movimento Black Lives Matter sono indirizzate anche contro l'uso di queste tecnologie e hanno per ora portato colossi come Amazon, Microsoft e IBM a fermare la vendita dei loro sistemi alle forze di polizia e città come Boston a mettere al bando l’uso di questi sistemi da parte delle proprie forze di polizia.