Automatizzare i preconcetti: cosa succede quando le macchine scoprono i generi

L’anno scorso, alcune grandi innovazioni nel campo dell’apprendimento automatico sono finite nelle prime pagine dei giornali, costringendoci a riflettere su molti dei pregiudizi persistenti nella nostra società. Quando si parla di stereotipi di genere e di come i sistemi computerizzati assimilano una lingua ci sono, infatti, dei rischi da tenere in considerazione. Kate McCurdy, linguista […]
Kate McKurdy

L’anno scorso, alcune grandi innovazioni nel campo dell’apprendimento automatico sono finite nelle prime pagine dei giornali, costringendoci a riflettere su molti dei pregiudizi persistenti nella nostra società. Quando si parla di stereotipi di genere e di come i sistemi computerizzati assimilano una lingua ci sono, infatti, dei rischi da tenere in considerazione. Kate McCurdy, linguista computazionale, ha osservato come gli algoritmi tendano a mettere sullo stesso piano il genere semantico e quello grammaticale, cercando di capire quali siano le conseguenze per le app che si basano sulla cosiddetta intelligenza artificiale e se ci sia un metodo per correggere questi risultati.

Che ne dici di iniziare parlandoci della tua ricerca?

Sì, dunque, mi occupo dello studio del genere grammaticale nel word embedding. Il word embedding (traducibile come “rappresentazione distribuita delle parole”) è una tecnologia per elaborare il linguaggio naturale usata in molti campi. Il fulcro di questa tecnologia è un algoritmo che riconosce il significato di una parola basandosi sulle parole vicine all’interno di un testo. Negli ultimi anni abbiamo assistito a una serie di sviluppi importanti in questo ambito: le ricerche in corso sono numerose e grandi compagnie come Facebook e Google fanno ormai uso di queste tecnologie. Solo qualche anno fa è stato elaborato un nuovo algoritmo che permette di processare velocemente un modello e creare delle elaborate rappresentazioni del significato delle parole. Ad esempio, utilizzando in modo automatico l’algoritmo su un corpus testuale, questo è capace di indicare, senza intervento umano, che i lessemi cane, gatto e animale da un lato, così come mela e banana dall’altro, sono correlati. Questa tecnologia ha un grande potenziale e trova applicazione nei campi più diversi. Anche le implicazioni problematiche, però, non hanno tardato a venire a galla.

Perché questi algoritmi correlano i lessemi in base al genere…

Giusto. Il problema è che, anche se sono in grado di creare associazioni veramente utili come nel caso di mela e banana, gli algoritmi imparano, allo stesso modo, a correlare i lessemi in modo non altrettanto utile, secondo rappresentazioni sociali che invece vorremmo evitare di reiterare. L’anno scorso, un gran numero di ricercatori ha pubblicato ricerche relative al fatto che queste tecnologie associavano sistematicamente termini come business, ufficio e salario a uomo, zio e padre. Una tendenza alla maschilizzazione, insomma. Termini relativi alla “casa” e alla “famiglia” erano invece elaborati come correlati all’universo semantico femminile.

Provo a spiegarmi con altri esempi. La ricerca ha rilevato che, da un lato, una delle proprietà più impressionanti del word embedding è che queste rappresentazioni possono dare vita ad interessanti esercizi di analogia. Ad esempio, interrogando la banca dati con l’equazione l’uomo sta al re come la donna sta a “x”, il risultato sarà che x = regina. Incredibile, vero? Poi però,  continuando su questo schema, si è scoperto che queste analogie possono portare ad equazioni del tipo: l’uomo sta alla donna come il pilota all’hostess. Un risultato che fa abbastanza riflettere. Gli studiosi hanno dunque realizzato che, basandosi sulle probabilità statistiche delle altre parole vicine nel testo, l’algoritmo finisce per costruire un modello fatto di correlazioni alquanto sgradite. E la questione del genere è solo la punta dell’iceberg. Gli stessi ricercatori hanno poi scoperto che il modello rappresentava altre correlazioni controverse, in molti casi razziste con riferimenti all’appartenenza etnica o a epiteti dati ad alcuni Paesi o gruppi sociali, ecc.

Capisco, certo.

Si tratta di semplici associazioni, ma dai risvolti seriamente problematici, specialmente se usate per determinati scopi. Un ricercatore, ad esempio, ha elaborato uno scenario del tutto plausibile: immaginiamo di trovarci a navigare su Google e di voler cercare un possibile candidato per un particolare lavoro nell’ambito della programmazione informatica…

Sì…

Immaginiamo anche che la ricerca dei candidati sia filtrata a partire da una lista di università locali. Siccome i nomi delle persone vengono elaborati dagli algoritmi a partire anche dal testo, l’applicazione potrebbe dedurre che nomi come Mark e John siano più validi per il lavoro nel settore della programmazione informatica di un nome come Samantha perché più comuni in quel contesto, attribuendo dunque ai candidati con nomi maschili un punteggio maggiore. In questo modo, un datore di lavoro in cerca di candidati, rischia di pregiudicare la sua ricerca statistica in base al tipo di input dato. E questo è solo un esempio di come queste tecnologie e la loro applicazione possono entrare in conflitto con necessità e dinamiche della vita di tutti i giorni.

Qual è dunque il legame con il genere grammaticale? Da questo punto di vista l’inglese presenta forse meno difficoltà, ma per le lingue che hanno il genere grammaticale ci saranno maggiori implicazioni…

Sì, esatto. Le problematiche di cui stiamo parlando sono strettamente correlate ad osservazioni fatte dai ricercatori. Quello che io e il gruppo di Babbel stiamo cercando di valutare è in che modo queste tecnologie interagiscono con lingue che distinguono il genere grammaticale. In spagnolo, francese e tedesco, ad esempio, sappiamo che la parola padre non è semplicemente maschile a livello semantico, ma sappiamo anche che la parola padre è maschile perché preceduta da un articolo al maschile, in tedesco “der” Vater. In spagnolo “el” padre. Per cui abbiamo a che fare da un lato con la problematica del genere semantico e dall’altro con quello grammaticale, rappresentato dagli articoli.

La cosa interessante è che, se ci riferiamo a persone, la logica dietro ai riferimenti di genere si fa più complessa. Storicamente, esistono delle associazioni che vengono sempre più contestate. In svedese, ad esempio, è stato creato un pronome di genere neutro, “hen” e ripensamenti a livello culturale stanno avvenendo ovunque. Per gli oggetti la questione è diversa: anch’essi possiedono un genere grammaticale, per esempio tavolo è maschile in tedesco (der Tisch), ma femminile in francese (la table) e spagnolo (la mesa). È abbastanza chiaro che non esiste una logica di genere e che questa distinzione è arbitraria. La differenza di genere per il termine tavolo in tedesco e in spagnolo la dice lunga sulla mancanza di una regola di base sull’attribuzione del genere grammaticale per gli oggetti. Il tavolo non ha infatti delle proprietà prettamente maschili o femminili, e ciò avviene per la maggior parte degli oggetti. Ma quello che il mio team ha scoperto è che, siccome questi modelli statistici di word embedding si basano su termini che circondano nel contesto altri termini, se non si interviene attivamente a prevedere e correggere questi errori per tempo, il modello presenterà, ad esempio per il tedesco, il termine tavolo come automaticamente al maschile. Tavolo entrerà dunque a far parte dello spazio semantico di padre, fratello, ecc. E questo è valido per ogni termine associato al genere grammaticale maschile.

Ad esempio, in tedesco la parola atleta esiste sia al maschile che al femminile: der Sportler e die Sportlerin. Ma essendo il tavolo (der Tisch) grammaticalmente maschile, in tedesco sarà associato alla forma maschile der Sportler anche dal punto di vista semantico, o almeno è così che verrà processato dal modello. In spagnolo invece, siccome il tavolo (la mesa) è femminile, sarà rappresentato come facente parte dello spazio semantico femminile, insieme a parole come madre, zia e simili. Ciò vuol dire che anche se il parlante sa bene che il genere grammaticale dei sostantivi in molte lingue è arbitrario e che un tavolo, o qualsiasi altro oggetto, non ha caratteristiche maschili o femminili al di là di un’associazione mentale, il risultato è che si potrebbe arrivare a sviluppare una rappresentazione che definisce una differenza semantica di genere. E questo potrebbe influenzare i risultati, non importa in che contesto di applicazione.

Immaginiamo, ad esempio, di fare una ricerca online in un sito pensato per raccomandare o suggerire dei prodotti con lo scopo di fare un regalo ad un’amica. Effettuando la ricerca in spagnolo i risultati potrebbero essere diversi dalla ricerca in tedesco, poiché tra le due lingue esistono delle differenze di genere grammaticale. Esistono vari tipi di approssimazioni che possono indurre ad ottenere risultati stereotipati che possono essere evitati solo prevedendo le problematiche.

Alla luce delle tue ricerche, credi di aver trovato un modo efficace per effettuare delle correzioni?

Il modo più semplice di intervenire dovrebbe essere quello di sbarazzarsi delle informazioni riguardanti gli articoli, giusto? Non tenere conto degli articoli nell’elaborazione dei dati, vuol dire considerarli come “non portatori di significato”. Se questo potrebbe andare bene per alcune lingue, con altre ci sarebbe però bisogno di trovare soluzioni più accurate. In tedesco, per esempio, gli articoli non sono portatori solo di informazioni relative al genere, ma anche relative al caso. Sarebbe quindi più produttivo pensare ad un approccio più sofisticato. Nelle nostre ricerche abbiamo iniziato facendo la cosa più semplice ed ovvia, per ottenere alcune prove che convalidassero le nostre osservazioni, dimostrando che è possibile utilizzare un modello che porti a risultati privi di pregiudizi legati al genere grammaticale. Credo però che trovare una soluzione a questo problema possa rivelarsi più arduo del previsto, visto che lingue diverse si comportano in modo diverso. Questi modelli di word embedding sono molto sviluppati e innovativi in inglese e quindi danno dei risultati molto vicini al significato semantico delle parole solo in quella lingua. Dobbiamo riflettere sui bisogni specifici e sulle proprietà di altre lingue per riuscire a trarre conclusioni significative.

Avete intrapreso una via particolare per farlo, qui da Babbel?

Beh, noi ci occupiamo di osservare le diverse applicazioni di tecnologie linguistiche per gli apprendenti. Nel caso in cui una particolare parola funzioni bene in inglese, ma non in spagnolo o in un’altra lingua – mettiamo ad esempio che si tratti della concezione di un esercizio di comprensione per studenti di spagnolo e tedesco e l’esercizio consista nel domandare quale di un gruppo di parole sia più simile all’altro – se non arriviamo ad anticipare questo genere di situazioni potremmo trovarci a fornire a chi sta studiando la lingua delle informazioni non corrette. Un modello può arrivare a ridurre la distanza semantica tra due parole semplicemente per via del loro genere grammaticale, privilegiando dunque il genere alla relazione di significato.

Ampliando le prospettive, in quali ambiti pensi che questo tipo di analisi critica dei modelli esistenti possa dare dei risultati significativi a livello sociale?

In ogni ambito dove la cosiddetta tecnologia dell’intelligenza artificiale trova applicazione. Credo che questa tecnologia stia entrando sempre di più nelle nostre vite, anche se in modo ancora poco chiaro ed è ad oggi difficile prevedere gli effetti che avrà in futuro. Nella nostra ricerca stiamo gettando un po’ di luce solo su uno dei centinaia di migliaia di fattori che potrebbero influenzare in qualche modo decisioni specifiche prese dal sistema. E questo è importante per te come consumatore, per me come ricercatore e non solo.

Altre interessanti ricerche pubblicate recentemente dimostrano che esistono delle connessioni con il ruolo semantico delle immagini. Ad esempio, l’associazione semantica tra donna e cucinare è così forte che, di fronte all’immagine di un uomo che cucina, alcuni algoritmi capaci di etichettare le immagini giungeranno a considerare che si tratta di una donna anziché di un uomo, semplicemente per il fatto che questo tipo di associazione è molto forte. Per il momento si tratta di un risultato estratto da meri dati ed è ancora difficile capire come si evolverà la situazione e con che conseguenze dirette. Pensiamo, ad esempio, ad un sistema per selezionare i candidati per un posto di lavoro che utilizzi un algoritmo impiegato per esplorare i loro CV alla ricerca di parole chiave, una pratica ormai comune in molte aziende: se non si fa attenzione ad evitare i pregiudizi linguistici, la scelta del CV da trattenere per il colloquio, potrebbe essere influenzata in modo erroneo.

Certo, è vero.

Si potrebbe arrivare al punto in cui il sistema influisce negativamente sui processi di assunzione. Si potrebbe arrivare anche al punto in cui tutte le decisioni prese in modo automatizzato, a livello strutturale o istituzionale, rischiano di essere afflitte da questo tipo di pregiudizio linguistico. Se ci si appoggia ad un tipo di tecnologia “opaca”, ciò ha conseguenze dirette sui beneficiari ultimi del servizio. Potrebbe avere un impatto negativo significativo, con conseguenze anche di portata istituzionale. In ogni caso, proprio perché si tratta di una tecnologia ancora in fase di sviluppo, è veramente difficile prevedere le conseguenze in modo specifico. Proprio per questo motivo è importantissimo riconoscere in anticipo questi pericoli e i potenziali fattori determinanti.

 

Condividi: