Modelli di linguaggio come GP3 di OpenAI e GShard di Google imparano a scrivere testi come fanno gli esseri umani, internalizzando milioni di esempi dalla rete pubblica. Partendo da fonti e piattaforme come ebook, Wikipedia, Reddit, essi arrivano a completare intere frasi e paragrafi.
I modelli di linguaggio lasciano trapelare i dati sensibili
Uno studio, pubblicato da Google, Apple, l’Università di Stanford, OpenAI, l’UCLA, Berkeley e la Northeastern University, mette in evidenza le insidie all’interno di questo approccio. I coautori hanno dimostrato che i modelli di linguaggio possono essere indotti a mostrare informazioni private e dati sensibili se gli vengono fornite determinate parole.
È risaputo infatti che tali modelli possano far trapelare dati sensibili a partire dai dati che gli sono forniti.
Questa divulgazione è un timore insito in ogni modello di linguaggio, in quanto il loro dataset di partenza contiene numeri di telefono, indirizzi e nomi.
Lo studio è stato condotto a partire dal modello GPT-2. I ricercatori si sono basati su questo linguaggio, piuttosto che sul GPT-3, onde evitare possibili spiacevoli conseguenze, in quanto il GPT-3 è un modello alquanto recente. Gli studiosi hanno inoltre utilizzato un dataset di dati pubblici, ottenendo il consenso scritto per l’uso di dati privati.
Il metodo di ricerca
I modelli di linguaggio rendono semplice la generazione di moltissimi output. Se “nutriti” con frasi casuali, essi possono imparare a comporre innumerevoli frasi. La maggior parte delle volte, la conclusione della frase è solo una piccola parola, ma il modello può facilmente imparare a suggerire un’intera frase.
I ricercatori hanno scorso milioni di diversi output a partire dal modello di linguaggio, cercando di predire quale testo fosse memorizzato. In questo senso, hanno fatto leva sul fatto che i modelli tendono a essere più sicuri del suggerimento se l’output finale si trova all’interno del dataset di partenza.
Modelli di linguaggio e dati sensibili: i risultati
Di 1800 frammenti di output, 600 sono stati presi dal dataset di partenza. Quest’ultimo conteneva titoli, messaggi, codici JavaScript e informazioni personali. Alcuni di questi frammenti sono apparsi raramente, ma il modello di linguaggio li ha memorizzati allo stesso modo.
Inoltre, i ricercatori hanno scoperto che modelli di linguaggio più grandi apprendono più informazioni rispetto a modelli più piccoli. Il GPT-2-XL ha memorizzato per esempio informazioni dieci volte più numerose rispetto al GPT-2.
Questo aspetto è fondamentale per quanto riguarda il GPT-3 da 175 miliardi di parametri, pubblicamente accessibile tramite un API. Microsoft’s Turing Natural Language Generation Model contiene 17 miliardi di parametri, mentre Facebook utilizza un modello da 12 miliardi.
In questo senso, i coautori hanno notato che forse è possibile mitigare la memorizzazione, utilizzando una privacy differenziata. Tuttavia, è probabile che una tale soluzione non possa impedire la memorizzazione di informazioni che vengono inserite più volte.
I modelli di linguaggio: rischi e problemi
Aldilà della divulgazione di dati sensibili, i modelli di linguaggio rimangono problematici in quanto amplificano i bias del dataset sul quale si basano. Spesso e volentieri, una parte del dataset proviene da comunità con pregiudizi di genere, di religione e di razza. Un tale bias può portare a piazzare parole come “succhiare” e “cattiva” vicino a pronomi femminili, come può inserire la parola “islam” di fianco a quella “terrorismo”.
Altri studi hanno poi rilevato bias e stereotipizzazioni all’interno di alcuni dei più popolari modelli di linguaggio. Sarebbe allora facile fare leva su di essi per far circolare fake news e bugie volte a radicalizzare individui, facendoli divenire estremisti.
Per contrastare questa deriva, OpenAI è al lavoro per aumentare i propri livelli di sicurezza e inserire un filtro di tossicità che limiti l’utilizzo del linguaggio pericoloso. La speranza è quella di eliminare totalmente ogni rischio di anti-semitismo.
Rimane tuttavia poco come eliminare il rischio di memorizzazione del linguaggio tossico, razzista e sessista.
Il caso Google
In questo senso, Google si è dimostrata pronta a lasciar da parte l’etica quando conveniente per l’azienda.
La ricercatrice AI Timnit Gebru è stata infatti licenziata in seguito alle critiche da lei rivolte alla compagnia tramite una mail. In essa la ragazza etiope metteva in dubbio l’etica alla base della costruzione di grandi modelli di linguaggio, chiedendosi chi ne fosse avvantaggiato e chi no.
Nel testo incriminato, la Gebru suggeriva che grandi modelli di linguaggio hanno il potenziale sia per ingannare i ricercatori AI e sia per indurre la popolazione a scambiare i propri testi come pieni di significato.
Google ha infatti interessi commerciali in conflitto con la posizione presa dalla Gebru. Il CEO della compagnia Sundar Pichai si è poi scusato per come è stato gestito l’affaire Gebru, ma nel frattempo l’azienda ha dimostrato di aver poca voglia di fare qualcosa riguardo i problemi che concernono i modelli di linguaggio.
Non resta che vedere come si comporteranno Microsoft e Facebook.
