N egli ultimi tempi, la fama di San Francisco come culla dei diritti civili si è un po’ offuscata: pensare alla città californiana, oggi, richiama alla mente i colossi del tech con sede nella Silicon Valley, la gentrification selvaggia che sta allontanando la comunità storica, le diseguaglianze economiche sempre più estreme. Nel mese di maggio, però, San Francisco è diventata la prima città al mondo a mettere al bando la tecnologia del riconoscimento facciale. Un colpo inferto non solo alle forze dell’ordine che sempre più si affidano a questi strumenti, ma agli stessi colossi del digitale che – a pochi chilometri di distanza – hanno sviluppato gli algoritmi di deep learning in grado di riconoscere gli oggetti e i volti che compaiono in una foto.
Menlo Park si trova a meno di 50 chilometri da San Francisco. Ed è proprio da qui che il riconoscimento facciale, già nel 2013, usciva dai laboratori di intelligenza artificiale di Facebook per diffondersi nel mondo. Non era la prima volta che questa tecnologia veniva impiegata (il riconoscimento facciale ha una storia molto lunga), ma è sicuramente grazie a Mark Zuckerberg che il mondo intero ha potuto scoprire, praticamente da un giorno all’altro, l’esistenza di uno strumento di cui eravamo quasi tutti ignari.
Improvvisamente, Facebook era diventato capace di riconoscere il volto delle persone presenti nelle foto e di taggarle automaticamente. Una funzione tanto efficiente quanto inquietante e che oggi, almeno in Europa, è stata abbattuta dalla scure del GDPR e dalla crescente attenzione nei confronti della salvaguardia della privacy. Il colosso digitale che per primo ha mostrato, involontariamente, i pericoli insiti in questa tecnologia, però, non si trova a Menlo Park, ma a Mountain View – a 60 chilometri da San Francisco.
Il pregiudizio dell’algoritmo
È il 29 giugno 2015 quando un utente di Twitter si accorge che cercando “gorilla” nell’archivio di Google Photos compaiono le sue foto in compagnia di un’amica nera. In questo caso, più che di riconoscimento facciale, bisognerebbe parlare di riconoscimento immagini, ma il meccanismo dei due algoritmi è relativamente simile: un’intelligenza artificiale addestrata attraverso immagini correttamente etichettate diventa, dopo migliaia di tentativi, in grado di riconoscere in autonomia cosa compare in una foto, confrontandolo con il database di cui è in possesso. In seguito a questo incidente si scatenò un ovvio polverone e per la prima volta si cominciò a parlare di “pregiudizi algoritmici”. Incapaci di risolvere il problema, gli ingegneri informatici di Mountain View decisero semplicemente di eliminare l’etichetta “gorilla” (la situazione non era ancora cambiata nel novembre 2018). Non si è trattato di un caso isolato.
Uno dei più recenti ha come protagonista Amazon Rekognition, il software per il riconoscimento facciale progettato dal colosso fondato da Jeff Bezos e venduto alle forze dell’ordine di tutto il mondo. Nel luglio dello scorso anno, la ACLU (American Civil Liberties Union) ha testato il programma pubblicandone gli esiti sul suo sito. Nell’esperimento, la ACLU ha fatto analizzare a Rekognition un database di 25.000 foto segnaletiche accessibili al pubblico, confrontandole poi con le foto dei 535 parlamentari statunitensi. Rekognition ha individuato, sbagliando, 28 politici eletti alla Camera e al Senato: vale a dire che ha confuso 28 parlamentari con i criminali le cui foto segnaletiche sono archiviate nei database della polizia.
Un’intelligenza artificiale addestrata attraverso immagini correttamente etichettate diventa in grado di riconoscere in autonomia cosa compare in una foto, confrontandolo con il database di cui è in possesso.
Fin qui, ci troviamo davanti a un ulteriore esempio della (pericolosa) inaccuratezza di questi sistemi. Ma c’è di più: nel 39% dei casi, i parlamentari confusi per criminali erano donne e uomini neri; che però rappresentano solo il 20% degli esponenti del Congresso. In poche parole, una persona nera ha circa il doppio della possibilità di essere scambiata per un criminale rispetto a un bianco; perpetuando in questo senso gli stessi pregiudizi di cui è vittima una parte consistente della società.
Non sono solo gli algoritmi di riconoscimento immagini a subire queste distorsioni: nell’ottobre del 2017, si è scoperto che il software di Google chiamato Cloud Natural Language API – che ha il compito di “rivelare la struttura e il significato dei testi” – giudicava negativamente alcune affermazioni relative alla religiosità e alla sessualità, come “sono ebreo” o “sono gay”.
Com’è possibile che avvenga tutto questo? La questione si può sintetizzare con il detto in voga proprio tra gli scienziati informatici: “Se inserisci spazzatura, uscirà spazzatura”. In poche parole, la qualità dei risultati ottenuti da un algoritmo dipende dalla bontà dei dati utilizzati per addestrarlo, essendo questi la materia grezza che permette alle macchine di imparare. Nel caso del riconoscimento facciale, quindi, il problema potrebbe essere che la maggior parte delle foto utilizzate proviene da banche dati in cui sono presenti principalmente immagini di persone bianche. L’algoritmo, di conseguenza, impara a riconoscere correttamente quest’ultime, ma non è adeguatamente addestrato a riconoscere le minoranze etniche (e infatti gli algoritmi ottengono i risultati migliori con i maschi bianchi, e i peggiori quando si tratta di donne nere).
Un meccanismo simile – individuato dalla ricercatrice Amanda Levendowski, della New York University – è quello che ha causato i gravi problemi riscontrati dal software di Google per l’analisi del testo: “La maggior parte delle opere oggi di dominio pubblico [spesso utilizzate per l’addestramento degli algoritmi, nda] sono state pubblicate prima degli anni Venti”, ha spiegato Levendowski a Motherboard USA. “Un database che faccia affidamento solo su questi lavori non potrà che riflettere i pregiudizi del tempo; e lo stesso farà il sistema di intelligenza artificiale allenato usando questi dati”.
Per quanto involontariamente, insomma, gli algoritmi possono incorporare in sé gli stessi pregiudizi della società. “Si dà per scontato che le macchine siano neutrali e c’è addirittura la speranza che la tecnologia che creiamo abbia meno pregiudizi di noi. Ma non abbiamo equipaggiato questi sistemi con gli strumenti necessari a sconfiggere i nostri bias”, ha spiegato durante un TED Talk la ricercatrice del MIT Joy Buolamwini.
La scarsa consapevolezza del funzionamento di questi strumenti – considerati neutri e oggettivi in quanto basati sulla statistica – è ciò che ha permesso una loro diffusione incontrollata.
Tutto questo è avvenuto mentre governi e forze dell’ordine di tutto il mondo si dotavano senza troppo pensarci di sistemi di riconoscimento facciale negli aeroporti, alle frontiere, negli stadi, direttamente sulle strade – per non parlare degli algoritmi di polizia predittiva. Com’è stata possibile una tale diffusione, considerando la quantità di problemi riscontrata? La scarsa consapevolezza del funzionamento di questi strumenti – considerati neutri e oggettivi in quanto basati sulla matematica (o, più precisamente, sulla statistica) – è ciò che ha permesso una loro diffusione incontrollata, senza che venissero prese le necessarie contromisure e senza attendere che si raggiungesse un livello di accuratezza tale da renderle veramente affidabili.
Non è solo questa la ragione che ha portato la città di San Francisco a vietare l’utilizzo del riconoscimento facciale. Poniamo che gli algoritmi diventino precisi al 100%, senza mai sbagliare un colpo: saremmo comunque disposti ad accettare che nelle città si diffondano telecamere a ogni angolo?
“Le preoccupazioni che hanno motivato la messa al bando decisa a San Francisco non hanno radice solo nella potenziale inaccuratezza delle tecnologie di riconoscimento facciale, ma in una lunga storia di sorveglianza di stato portata avanti con gravi pregiudizi politici e razziali”, ha scritto sul Guardian il docente di Legge Veena Dubal. “Questa ordinanza è stata messa a punto (…) anche perché è stato più volte dimostrato che una sorveglianza troppo ampia ha un impatto deleterio sulla società, a partire dalle comunità più svantaggiate”.
L’avanguardia cinese
Torneremo più avanti ad approfondire questo aspetto, adesso vale la pena di soffermarsi su quanto sta avvenendo nella nazione che, per prima, ha costruito quello stato di sorveglianza che oggi sembra affascinare così tanto anche l’occidente: la Cina.
Poco più di un anno fa, le foto che mostravano una poliziotta cinese dotata di occhiali da sole con incorporata una telecamera per il riconoscimento facciale hanno fatto il giro del mondo. Uno strumento ancora in fase di sperimentazione, ma che – stando a quanto dichiarato dalle forze dell’ordine della Repubblica Popolare – è già utilizzato nelle stazioni dei treni delle grandi città per identificare possibili fuggitivi o persone prive del permesso di viaggiare.
In Cina, però, il riconoscimento facciale è stato inserito in oltre duecento milioni di telecamere di sicurezza e viene ormai usato per sostenere la cultura governativa della sorveglianza. La stessa tecnologia viene utilizzata in alcuni uffici (tra cui quelli di Yitu, una startup di Shanghai che si occupa, manco a dirlo, di riconoscimento facciale) per monitorare costantemente il comportamento dei dipendenti: quanto a lungo vanno in pausa, quanto sostano davanti alla macchinetta del caffè, quanto spesso vanno in bagno. Non solo: in una scuola media di Hangzhou è stato montato un sistema in grado di controllare il livello di attenzione degli studenti, fornendo loro un punteggio che viene visualizzato dagli insegnanti su display.
Una sorveglianza troppo ampia ha un impatto deleterio sulla società, a partire dalle comunità più svantaggiate.
A Xiangyang (sei milioni di abitanti), una città estremamente trafficata, soprattutto all’incrocio che si trova a sud del ponte di Changhong, la scorsa estate la polizia ha installato varie telecamere e un maxischermo. Le foto di chi infrange il codice della strada vengono proiettate su schermo con nome e cognome. “Se vieni ripreso dal sistema e non vedi che il tuo volto è stato proiettato, potrebbero comunque vederlo i tuoi vicini o i tuoi colleghi e questo provocherà pettegolezzi sul tuo conto”, ha raccontato al New York Times una portavoce del Comune.
Per concludere con uno tra gli esempi più noti e citati: gli appartenenti alla minoranza musulmana degli uiguri, nella regione dello Xinjiang, sono seguiti in ogni loro spostamento attraverso i droni dotati di telecamera del programma Dove, vengono controllati a ogni ingresso in uffici pubblici e vivono in un programma di sorveglianza di massa (con tanto di controllo obbligatorio del DNA).
In Italia
Anche dalle nostre parti qualcosa inizia a muoversi. È notizia recente – e non abbastanza dibattuta – la decisione del governo di inserire nella cosiddetta norma Sblocca Cantieri l’obbligo di telecamere per la sorveglianza – sebbene prive del riconoscimento facciale – in ogni aula delle scuole dell’infanzia e in tutte le strutture di assistenza e cura di anziani e disabili.
“È un’altra promessa mantenuta”, ha commentato il ministro Matteo Salvini, evidentemente soddisfatto per l’approvazione ottenuta in Commissione anche con l’appoggio delle opposizioni (la norma è passata poi al Senato il 6 giugno 2019). Il messaggio che passa è chiaro: la sicurezza si può ottenere solo attraverso un costante controllo; senza considerare, come invece andrebbe fatto, che in questo modo bambini e anziani (ovvero i membri più indifesi della nostra società) vengano costantemente ripresi e registrati.
Il problema principale, però, è un altro: l’introduzione delle telecamere negli asili e negli ospizi rischia di essere il primo passo verso un cedimento generalizzato alla cultura della sorveglianza. Nel gennaio 2019, il leader della Lega ha affermato la volontà di introdurre videocamere al di fuori di ogni scuola media e superiore per combattere lo spaccio negli istituti. Nel mese di aprile ha invece parlato della necessità di mettere telecamere all’interno delle aule, in tutte le scuole superiori.
In Italia, l’introduzione delle telecamere negli asili e negli ospizi rischia di essere il primo passo verso un cedimento generalizzato alla cultura della sorveglianza.
Una volta accettato che le telecamere facciano il loro ingresso negli asili, perché non inserirle anche in tutte le altre scuole? E a quel punto, perché non anche nei bagni? E perché non utilizzare il riconoscimento facciale per riconoscere subito i pusher, nelle scuole? Caduta la prima tessera, il rischio che l’effetto domino si scateni senza più incontrare ostacoli non può essere sottovalutato. “Chi non ha nulla da temere non ha problemi di vedere una divisa, cani antidroga o videocamere fuori dalle scuole medie o dai licei”, ha commentato Salvini. “Chi è contrario o spaccia o si fa”. La cultura della sorveglianza sembra rapidamente farsi strada anche dalle nostre parti, senza che ci sia alcun tipo di dibattito sulle conseguenze causate da controlli sempre più pervasivi.
Il rischio è che invece di puntare sulla prevenzione e la conoscenza, si prenda la facile scorciatoia della repressione. Una strategia che sembra incontrare poche opposizioni nella società e che lascia presagire un futuro in cui le telecamere saranno presenti ovunque e controlleranno tutti, che abbiano qualcosa da nascondere o meno.
Libertà e sicurezza
Dalla presunzione di innocenza si passa alla presunzione di colpevolezza; ulteriormente amplificata con l’uso del riconoscimento facciale che, in caso di errori dell’algoritmo, costringe a dimostrare la propria estraneità ai fatti a persone che hanno il solo torto di essere state confuse con qualcun altro da un sistema automatico.
Gli attivisti per le libertà civili hanno più volte messo in guardia contro questi modelli di sorveglianza, che sul lungo termine mettono a rischio, per esempio, la libertà di partecipare senza preoccupazioni a proteste politiche e minano anche la semplice libertà di farsi gli affari propri in pubblico: “La questione in ballo è la libertà”, scrisse il giudice William O’Douglas nel 1948, in una nota che è poi diventato un fondamentale precedente. “E il principio di ogni libertà è il diritto di essere lasciati in pace”.
Rinunciare alla propria privacy significa quindi rinunciare a parte della propria libertà. Non si tratta solo di principi astratti, ma anche di inevitabili conseguenze pratiche. Sostengono gli attivisti della ACLU:
La crescente presenza di videocamere causerà cambiamenti sottili ma profondi nel modo di vivere gli spazi pubblici. Quando i cittadini vengono osservati dalle autorità – o sono consapevoli che potrebbero esserlo in qualunque momento – diventano meno liberi di fare ciò che vogliono. Sapere di essere osservati mette un freno ai nostri comportamenti. Stiamo molto più attenti a fare qualcosa che potrebbe offendere o richiamare l’attenzione di chi ci sta osservando. Potremmo imparare a essere più attenti a ciò che leggiamo ed evitare di soffermarci su titoli che potrebbero mettere in allarme i possibili osservatori. Potremmo anche pensare un po’ più a lungo a come vestirci, per evitare un look che possa renderci sospetti. Gli studi effettuati in Gran Bretagna, in effetti, hanno mostrato come le persone che sembrano ‘fuori luogo’ sono quelle che vengono sottoposte alla sorveglianza più prolungata.
Dalle telecamere negli asili al timore di indossare vestiti o leggere articoli che potrebbero attirare attenzioni indesiderate, il passo, evidentemente, è ancora lungo. Ma a legare i due estremi è un filo rosso la cui destinazione ultima è una sola: la creazione (foss’anche involontaria) di una società sempre più conformista. I professori che nelle scuole vengono costantemente registrati potrebbero decidere di lasciar perdere qualche metodo di istruzione alternativo, gli studenti potrebbero evitare di porre domande provocatorie, i manifestanti potrebbero pensarci due volte prima di scendere in piazza. Il risultato della cultura della sorveglianza è il sogno di ogni politica autoritaria: cittadini omologati, che non osano attirare l’attenzione su di sé e che valutano attentamente ogni loro comportamento.
Se tutto questo vi sembra esagerato, considerate che gli Stati Uniti oggi richiedono l’accesso ai nostri profili social per ottenere il visto d’ingresso (compreso l’Esta, il visto rapido online). La procedura per ora è facoltativa e non è possibile negare l’ingresso per mancato rilascio di queste informazioni, ma non è detto che le cose continueranno così. Stephen Miller, senior advisor di Donald Trump, ha già fatto sapere che il sistema potrebbe essere ulteriormente esteso.
Questo ci riporta al punto centrale: ogni volta che accettiamo di subire più sorveglianza per avere in cambio una maggiore (e presunta) sicurezza, cediamo inevitabilmente una parte di libertà. Non è possibile avere il massimo di libertà e il massimo di sicurezza. È la classica coperta corta: bisogna decidere quanta vogliamo dell’una o dell’altra. E dobbiamo anche decidere quanta libertà siamo disposti a cedere prima di ribellarci, ben sapendo che ogni cedimento verso la sorveglianza rende la stessa ribellione sempre più difficile (senza peraltro nessuna certezza che le tutele democratiche rimangano sempre in vigore).
“La libertà non si baratta con promesse di ordine”, ha affermato lo scorso 25 aprile il presidente della Repubblica Sergio Mattarella. Una rievocazione del celebre aforisma di Benjamin Franklin (“Chi baratta la libertà con la sicurezza non merita né libertà né sicurezza”) che – mentre il mondo occidentale segue la Cina riempiendosi di telecamere – dovremmo tenere a mente.
