Il riconoscimento facciale è accusato di nuovo di “razzismo”

Il sistema di riconoscimento facciale di Amazon ha dei “pregiudizi”: identifica con maggiore difficoltà i volti femminili rispetto a quelli maschili e quelli di colore rispetto a quelli bianchi. Lo afferma una ricerca del MIT dell'Università di Toronto.

Errori più numerosi su donne di colore

Il sistema di Amazon, Rekognition, è stato in grado di azzeccare tutte le corrispondenze quando ha analizzato i volti di uomini bianchi. Commetteva l'1,3% di errore in caso di uomini di colore. Le percentuali aumentano in caso di visi femminili bianchi (7,1%) e, soprattutto, di donne con la pelle più scusa: afroamericane e ispaniche venivano individuate come uomini in un caso su tre. Gli algoritmi non hanno convinzioni razziste, ma si espongono alle distorsioni perché sono quel che mangiano. Cioè creano la propria visione in base ai dati che elaborano.

Lo studio rinnova quindi i timori che, oltre a rappresentare un rischio per la sorveglianza di massa, il riconoscimenti facciale possa penalizzare le minoranze o determinati gruppi etnici. Amazon non è la sola grande società che sviluppa sistemi di riconoscimento facciale. Ma, a differenza di Google, non ha ancora bloccato la loro vendita a governi e forze dell'ordine. Matt Wood, a capo della divisione intelligenza artificiale del gruppo, ha contestato i risultati dello studio canadese. Afferma che abbia utilizzato “l'analisi facciale” e non “il riconoscimento facciale”. Il primo individua i volti e attribuisce alcune caratteristiche generiche (ad esempio, indossa gli occhiali o ha la pelle scura). Il secondo è invece più affidabile perché crea una corrispondenza precisa tra volti e persone.

Ma il punto non è l'accuratezza

Joy Buolamwini, una delle autrici della ricerca assieme a Inioluwa Deborah Raji, ha risposo a Wood in un post su Medium: al di là delle obiezioni, la tecnologia può essere abusata “indipendentemente dalla sua accuratezza”. Il punto non sta quindi nelle distinzioni tecniche (che comeunque, per Buolamwini, sono marginali) ma nella necessità di “regolamentare” per evitare una sorveglianza di massa. Perché non serve “identificare un individuo” (riconoscimento facciale) ma basta “valutare un attributo come genere o classificazione etnica” (analisi facciale) per “violare le libertà civili”.

Se la tecnologia scambia una persona per un'altra, è possibile che “un innocente venga indicato come criminale sottoposto a controlli ingiustificati. E questo non è più uno scenario ipotetico”. “I potenziali abusi – spiegano le ricercatrici nelle conclusioni del loro studio - non possono essere ignorate”. Anche perché non c'è alcuna certezza che “le minacce alla privacy e le violazioni delle libertà diminuiscono con l'aumento dell'accuratezza”. Servono quindi “azioni politiche, norme di condotta aziendali e linee guida” per far sì che “le minoranze verranno protette e non messe a rischio dall'evoluzione tecnologica”.

Il precedente: parlamentari o criminali?

Rekognition è una tecnologia che Amazon ha già messo, in fase di test, nelle mani delle forze dell'ordine. Non è infatti la prima volta che viene sollevato il problema. Lo scorso luglio, l'American Civil Liberties Union (associazione statunitense per la difesa delle liberà civili) ha testato la tecnologia su 535 parlamentari americani. In 28 casi (cioè in più del 5%), il riconoscimento facciale aveva trovato una corrispondenza (in realtà inesistente) tra i volti del Congresso e quelli di criminali contenuti in un archivio pubblico.

Gli errori avevano coinvolto uomini e donne, politici democratici e repubblicani, bianchi, ispanici e afroamericani. Ma, anche in quel caso, di false corrispondenze era stato molto più alto tra i parlamentari di colore. Costituivano un quinto del Congresso ma sono stati coinvolti nel 39% degli errori di Rekognition. Tra i 28 parlamentari identificati come criminali c'era anche John Lewis, nel 1963 tra i leader della marcia su Washington accanto a Martin Luther King.