SIpEIA prende posizione su ChatGPT e gli altri Large Language Model sottolineando i rischi che nascono non dalla tecnologia ma dal fatto che siano prodotti commerciali con un modello di business non ancora chiaro. (versione pdf)
Abstract
La Società Italiana per l’Etica dell’Intelligenza Artificiale (SIpEIA) vuole evidenziare i rischi introdotti da ChatGPT e GPT-4 di OpenAI e gli altri analoghi Large Language Models (LLM) sviluppati da altre aziende. Gli argomenti che ci portano ad una posizione di prudenza sono molteplici. Prima di tutto la retorica inevitabilista che accompagna come sempre l’introduzione di una nuova tecnologia e l’assenza di contromisure da parte di OpenAI quali quella di permettere a tutti di sapere se un testo è stato prodotto da ChatGPT, in modo da metterci in grado di scoprire se un testo, ad es., una tesi di laurea, sia contraffatto: tutti i dati dell’interazione degli utenti con ChatGPT sono raccolti da OpenAI per i suoi fini, quindi perché non metterli a disposizione di tutti per scoprire eventuali plagi? Tale raccolta indiscriminata di dati degli utenti ha per altro portato all’intervento del Garante per la protezione dei dati personali. Se ormai Wikipedia definisce l’Intelligenza Artificiale come “intelligence demonstrated by machines”, l’intelligenza attribuita da alcuni a ChatGPT è invece molto distante da quella umana, mancando a ChatGPT un grounding nella realtà per tramite della corporeità (embodiment). Molti difensori di ChatGPT usano argomenti che tracciano analogie con altre tecnologie del passato: tutte le tecnologie hanno utilizzi dannosi, l’automazione ha prodotto in passato più posti di lavoro di quanti ne ha cancellati, e così via. Bisogna notare invece che l’impatto che possono avere queste tecnologie è a livello sistemico, sociale ed economico: come i social network hanno contribuito a mettere in pericolo le democrazie, e le tecnologie ICT hanno sempre creato nuovi monopoli, l’impatto che possono avere i LLM sulla disinformazione può essere devastante e nuovi monopoli tecnologici possono portare a incrementare le disuguaglianze.
Bisogna evitare che il business model che caratterizza il capitalismo della sorveglianza diventi il modello di monetizzazione anche dei LLM, perché l’impatto sarebbe molto maggiore. Infatti, i LLM creano “relazioni sintetiche” con gli utenti, coinvolgendoli in una interazione anche emozionale e portando a nuove e più profonde modalità di estrazione dei dati, nonché possibilità di manipolazione degli utenti. Noi umani infatti attribuiamo a chi comunica con noi stati mentali ed emozioni, che i LLM by design non hanno, e siamo quindi esposti a manipolazione da parte loro.
Vogliamo evidenziare infine i rischi che l’AI già ora presenta quando è basata su modelli economici basati sullo sfruttamento, piuttosto che orientare l’attenzione dei media verso scenari di rischio lontani e probabilmente irrealistici menti artificiali che supererebbero le capacità degli esseri umani.
SIpEIA presenta più nel dettaglio le preoccupazioni nei confronti di come viene gestita l’innovazione in questo position paper.
Position paper di SIpEIA su ChatGPT e gli altri Large Language Model
Da quando ChatGPT è stata resa pubblica da OpenAI nel novembre 2022 si è alimentato un forte dibattito sul suo impatto sulla società. Henry Kissinger, Erik Schmidt e Daniel Huttenlocher scrivono sul Wall Street Journal che questa tecnologia è capace di “transform the human cognitive process” e che presenta “a philosophical and practical challenge on a scale not experienced since the start of the Enlightenment”. In questo position paper vogliamo riportare la posizione della Società Italiana per l’Etica dell’Intelligenza Artificiale riguardo alle tecnologie Large Language Model (LLM) su cui si basano ChatGPT, la nuova versione GPT-4 e gli altri sistemi con funzionalità simili.
Vogliamo partire prima di tutto dall’impatto che ChatGPT e gli altri LLM possono avere nel mondo della formazione. La possibilità che compiti a casa, elaborati o anche intere tesi siano scritte non dagli studenti ma da un LLM in real time ha suscitato un’ondata di preoccupazione nel mondo delle scuole e dell’università. Si stanno già compilando le liste degli esami che ChatGPT permette di superare con successo. I testi prodotti dai LLM sono difficilmente identificabili dai sistemi antiplagio utilizzati per scoprire se uno studente ha fatto dei “taglia-incolla” da materiale reperito su internet, in quanto i LLM producono un nuovo testo potenzialmente diverso da quelli su cui sono stati addestrati prendendoli dal web. OpenAI stessa si è affrettata a produrre un sistema AI per riconoscere se un testo è stato scritto dall’AI, ma è capace solo di scarse prestazioni.
Non entriamo qui nell’enorme dibattito su come ChatGPT possa diventare invece uno strumento didattico né vogliamo produrre raccomandazioni morali su come gli studenti dovrebbero evitare di usare ChatGPT per copiare.
Vogliamo però evidenziare come nessuno (a nostra conoscenza) abbia fatto ancora notare che esiste un modo semplicissimo per sapere se un testo è stato scritto da ChatGPT. Un modo che non richiede neanche l’utilizzo di tecnologie AI. La soluzione non è quindi chiedere a ChatGPT stessa se ha prodotto il testo, ma chiederlo a OpenAI. ChatGPT non ha memoria di quanto ha detto al di fuori di una singola conversazione. OpenAI invece come tutte le piattaforme web e i motori di ricerca tiene traccia nei suoi registri (logfile) di tutte le richieste degli utenti e di tutte le risposte fornite dal chatbot per migliorare il prodotto e per raccogliere informazioni su di noi da monetizzare. Certo per identificare il plagio da parte di studenti più motivati nel copiare che fanno una parafrasi del testo ottenuto da ChatGPT occorrerebbe solo qualche semplice strumento di AI che vada a dare una misura della distanza dal testo prodotto da ChatGPT. Ma siamo sicuri che nella maggior parte dei casi basterebbe un semplice “CTRL-F” sul file di log di ChatGPT.
OpenAI dovrebbe mettere a disposizione un sistema per verificare se un testo sia stato prodotto da ChatGPT, ma invece OpenAI non ha neanche rivelato la possibilità di crearlo.
Un avvertimento per gli studenti che copiano tesi, che sono documenti pubblici: il vostro complice ChatGPT sa comunque che avete copiato. Come in un film di gangster, non potete dormire tranquilli: un giorno potrebbe cambiare i termini di servizio e divulgare l’origine della vostra tesi. Per non parlare del fatto che i testi prodotti da ChatGPT possono essere oggetto di un data breach, come successo il 20 marzo, e cadere in mani di malintenzionati che scoprono che avete copiato la tesi.
Senza un tale strumento, vietare l’utilizzo di ChatGPT, come fatto da alcune scuole e università, significa introdurre una norma che non può essere applicata.
La disponibilità di uno strumento di verifica che un testo non sia stato prodotto da un LLM è fondamentale anche al di fuori del mondo della formazione. L’editore di fantascienza Clarkesworld ha dovuto temporaneamente sospendere la possibilità di sottomettere contributi. Ma ancora più importante sarebbe l’esistenza di tale possibilità di verificare la provenienza di un testo da ChatGPT per evitare uno dei rischi più gravi preconizzati dall’introduzione dei LLM: la disinformazione. La creazione di bot online che vanno a corrompere il “discorso pubblico” farà un salto di livello con sistemi che possono creare a basso costo una infinità di contributi di parte o “fake”, personalizzati in base alle informazioni disponibili sul singolo destinatario del messaggio, in quasi 100 lingue (oltre 1000 nel caso di Bard, l’LLM di Google).
Questo modo di procedere dei grandi player dell’informatica non è una novità, l’introduzione senza precauzioni di ChatGPT è solo un altro esempio che rientra nella predizione fatta da Shoshana Zuboff nel celebre libro The Age of Surveillance Capitalism (2019); ogni volta che viene introdotta una nuova tecnologia parte un Cycle of Dispossession formato da 4 fasi: incursion, habituation, adaptation, and redirection.
Siamo già entrati nella fase di habituation, dopo l’incursione selvaggia nel mondo della scuola. Seguirà l’adaptation a seguito dei primi provvedimenti legislativi edulcorati dall’attività di lobbying dei magnati di Silicon Valley. Attendiamo con ansia la sorpresa della redirection.
Partiamo quindi da questo semplice argomento per mostrare l’enorme ipocrisia del mondo di Silicon Valley nel modo in cui introducono delle nuove tecnologie, senza prendersi le responsabilità sugli effetti che causano nella società.
L’ipocrisia emerge nel nome stesso dell’azienda che ha creato e reso pubblico ChatGPT: OpenAI. Nata come una start-up “non-profit” per promuovere la trasparenza sui sistemi AI, ha cominciato a porre ostacoli alla divulgazione dei propri codici sorgenti con il pretesto della loro pericolosità, fino poi ad arrivare alla totale mancanza di trasparenza di quanto sta facendo (non conosciamo né gli algoritmi né i dati su cui sono stati addestrati i LLM, né come vengano utilizzati i dati forniti inconsapevolmente dagli utenti) e ad essersi praticamente trasformata in una società privata finanziata da Microsoft.
Non è da sottovalutare infine il fatto che pur esistendo diversi altri LLM (Galactica di META, Bard di Google, ecc.), OpenAI sia stata la prima azienda a lanciare il cuore oltre l’ostacolo e rendere pubblico l’accesso a tutti gli interessati (in poco tempo centinaia di milioni di persone da cui ricava dati anche personali per migliorare le prestazioni di ChatGPT), nonostante i problemi chiaramente manifestati dal sistema: essendo una startup senza ancora un capitale reputazionale da perdere e non essendo una azienda quotata in borsa, ha un atteggiamento diverso riguardo ai rischi.
L’ipocrisia di Silicon Valley non è una novità (si pensi al recente salvataggio da parte dello stato dei conti correnti dei libertarian antistatalisti presso Silicon Valley Bank) ed è accompagnata da una enorme campagna di marketing, di cui spesso i media si fanno promotori inconsapevoli.
Ci dicono le vestali della tecnologia e dell’inevitabilismo tecnologico che la preoccupazione del mondo della formazione nei confronti di ChatGPT sarebbe paragonabile a quella prodotta da altre innovazioni in passato quale l’introduzione della calcolatrice tascabile negli anni ’70: si sono sbagliati gli allora profeti dell’atrofizzazione della nostra capacità cognitiva di fare calcoli e quelli che evidenziavano il possibile danno dell’uso abusivo della calcolatrice per fare compiti a casa e verifiche a scuola. Ma chi fa una tale analogia non considera la differenza di contesto: una calcolatrice aveva un costo modesto ed era riproducibile facilmente da altre aziende. Nel caso dei LLM le capacità computazionali richieste sono in mano a pochi e la distanza fra le capacità computazionali delle aziende private in US e quelle in mano ai centri di ricerca pubblici è di diversi ordini di grandezza.
Chi sottolinea i pericoli di una nuova tecnologia viene spesso accusato di essere contro il progresso e gli viene replicato che i pericoli dipendono dall’uso che se ne fa. Nel caso dei LLM bisogna però prestare attenzione all’entità del possibile pericolo, perché non riguarda solo singoli individui ma il livello della società stessa, cosa che non capita con la maggior parte delle altre tecnologie. OpenAI stessa ne è cosciente come appare dalla system card di GPT-4: “AI systems will have even greater potential to reinforce entire ideologies, worldviews, truths and untruths, and to cement them or lock them in”.
Lo stesso tipo di ragionamento vale per il dibattito sul futuro dei posti di lavoro: i LLM hanno la potenzialità di svolgere compiti intellettuali tipici dei “colletti bianchi”, mentre fino a poco tempo fa si pensava fossero i lavori manuali quelli più a rischio per via dell’automazione robotica. L’obiezione fatta spesso alla preoccupazione di una diminuzione dei posti di lavoro è che in passato ogni automazione (ad es., l’automobile) ha portato ad un aumento dei posti di lavoro. Nel caso dell’AI però bisogna considerare che al cambiamento nel mondo del lavoro si accompagna un più generale cambiamento economico e sociale, con un impatto sulla qualità del lavoro delle persone, con aumento delle disuguaglianze economiche, creazione di monopoli, impatto sulla democrazia. Inoltre, la possibilità di replicare all’infinito a costi limitati i sistemi AI, a differenza del mondo della robotica, è un ulteriore elemento di novità che non era presente nelle evoluzioni tecnologiche precedenti.
Il termine Intelligenza Artificiale, come ci ricorda Anthony Elliot, è un figlio degli anni ’50. Oggi forse non avremmo usato un termine simile: artificiale ha ormai una connotazione negativa e l’AI, ci dice Kate Crawford in Atlas of AI, non è neppure davvero artificiale. Nel caso di ChatGPT&co si pensi al ruolo che hanno i “censori” sottopagati che devono togliere tutte le brutture raccolte sul web per pochi spiccioli.
La presunta intelligenza dei sistemi di machine learning alla base del LLM è questione molto dibattuta.
Prima di tutto, nei LMM manca completamente una nozione di verità e di connessione con la realtà: “vivono” in un mondo fatto puramente di parole, in accordo con quanto sostengono linguisti computazionali come Christopher Manning, fra i creatori della Distributional semantics. Assente del tutto è la connessione (grounding) con la realtà che a noi umani ci è fornita dal nostro corpo, da cui dipendono strettamente le nostre capacità cognitive: il cosiddetto embodiment. E senza il corpo non stiamo neanche a parlare di emozioni.
Inoltre, il linguaggio è una manifestazione del pensiero e non viceversa ed ha una natura inerentemente relazionale, dover il significato emerge nel dialogo fra due persone e dall’accordo che raggiungono su quanto viene comunicato.
I LLM non sembrano tenere conto di alcune distinzioni base della nostra cognizione identificate dalla scienza cognitiva: la distinzione fra conoscenza/intelligenza tacita ed esplicita e fra memoria semantica ed episodica. Per decenni l’AI classica ha rincorso la possibilità di riprodurre le capacità dell’intelligenza esplicita degli esseri umani: la capacità di ragionare logicamente, di avere una rappresentazione dichiarativa del mondo. L’AI classica ha avuto più problemi a riprodurre la conoscenza tacita, fra cui anche la capacità di comprendere o generare frasi in linguaggio naturale, nonostante lo sforzo dei linguisti computazionali. Con l’avvento del deep learning si è aperta la possibilità di riprodurre l’intelligenza tacita: riconoscere immagini e voci, creare robot che imparano a muoversi da soli, e ora con ChatGPT rispondere a delle domande producendo testo di alta qualità. Il problema è che questi sistemi by-design non sono pensati per riprodurre anche le capacità logiche dell’intelligenza esplicita. Analogamente, la memoria episodica degli esseri umani è il mezzo per ricondurre una conoscenza all’esperienza in cui si è appresa tale conoscenza, nonché alle emozioni provate al momento. Tutto questo meccanismo è lontano da ChatGPT che almeno nella versione attuale non riesce a ricostruire le fonti in base alle quali sta rispondendo.
Fonti che per altro riguardano l’universo mondo, nel bene e nel male: faremmo mai leggere ad una persona in età di formazione tutto quanto c’è sul web pure senza alcuna indicazione critica? Tutti gli orrori, errori, distorsioni che si trovano online senza una adeguata “data curation”?
I LLM riescono ad avere delle sorprendenti prestazioni dal punto di vista linguistico, pur non avendo la minima idea delle regole grammaticali. E’ un risultato fenomenale, ma alieno rispetto a quanto fanno gli esseri umani, come ricorda Chomsky: la grammatica che sviluppiamo “can be understood as an expression of the innate, genetically installed ‘operating system’ that endows humans with the capacity to generate complex sentences and long trains of thought”.
Infine, noi esseri umani non possiamo fare a meno di attribuire che ci siano stati mentali dietro le parole che qualcuno pronuncia (la cosiddetta “intentional stance” del filosofo Daniel Dennet). Invece, i LLM generano testi senza avere una mente, inducendoci però lo stesso a credere che abbiano credenze o provino emozioni che non hanno. Questa finta “umanità sintetica” è fonte di rischi, specialmente quando non si sappia che a parlare sia una macchina.
Una sola intelligenza artificiale (o comunque una manciata in futuro) che diventa la fonte principale di informazione, come lo è diventato il motore di ricerca Google Search, ma con un suo unico punto di vista neanche specificato, introduce inoltre forti preoccupazioni riguardo al rischio di omologazione della conoscenza, come ha evidenziato Guido Scorza: “Il dubbio è che, senza rendercene conto, stiamo giocando con un’arma di manipolazione e omologazione di massa dell’opinione pubblica e della coscienza collettiva globale, almeno per il momento saldamente nelle mani di una manciata di Paperoni”. L’unicità del punto di vista è anche un difetto di uno strumento più tradizionale come Wikipedia, ma con ChatGPT il problema aumenta di grandezza per via della sua modalità interattiva.
Non bisogna dimenticare inoltre l’impatto ambientale della fase di addestramento dei LLM. A questa preoccupazione si risponde spesso con l’argomento che le capacità di calcolo necessarie presto diminuiranno e con questo i costi per l’ambiente. Questo controargomento ignora però il fatto che se anche diminuiranno i costi energetici dei sistemi attuali ci sarà sempre ancora uno spazio ampio per creare modelli sempre più grandi (ad es., per generare video anziché solo testi) e che aumenterà di molto il numero di aziende che creeranno LLM anche se utilizzando risorse di calcolo minori di quelle necessarie oggi.
Una questione spesso ignorata è che pur essendo alcuni rischi che pongono i LLM simili a rischi già esistenti nel presente, la numerosità potenzialmente quasi infinita di testo che possono creare i LLM cambia la natura del problema: una persona o anche un gruppo di persone che producono disinformazione è un problema strutturalmente diverso da avere a disposizione una quantità enorme e replicabile di risorse che producono disinformazione. Un singolo artista che si ispira ad un’opera di un collega è un problema diverso da una macchina che può produrre infinite variazioni ispirate ad un’opera soggetta a diritto di autore. Come suggerisce lo scienziato cognitivo Gary Marcus il legislatore deve prendere in considerazione l’aspetto dimensionale, che trasforma questioni giuridiche ora già regolate in nuovi problemi giuridici.
Facciamo anche attenzione alla retorica che viene usata quando i grandi player parlano di AI. In una recente intervista Sam Altman, CEO di OpenAI, dice “[GPT] it’s buggy it doesn’t do a lot of things very well but neither did the very earliest computers” comparando due tecnologie incomparabili, o twitta “i am a stochastic parrot, and so r u” andando a sminuire le peculiarità di noi esseri umani pur di giustificare le limitazioni dei sistemi AI attuali: il pappagallo stocastico è un riferimento alla celebre critica che Benter, McMillan-Major, Gebru, Mitchell hanno fatto già 3 anni fa ai LLM.
Concordiamo con la necessità espressa da molti di una maggiore attenzione del mondo della ricerca verso la verifica dei rischi che pongono i sistemi AI che utilizzano enormi quantità di dati, raccolti anche in maniera legale secondo una normativa ormai obsoleta, ma in genere con scarsa consapevolezza da parte degli esseri umani che li cedono. Non concordiamo invece con richieste irrealistiche di una moratoria di sei mesi nello sviluppare nuovi sistemi, in quanto tutti i problemi sono già presenti con la tecnologia attuale. Infine, non concordiamo il reiterato allarme verso un rischio insito nell’AI di sorpassare le capacità umane e di mettere in futuro a rischio la nostra società, in quanto si tende a sottovalutare il ruolo che i grandi player dell’AI hanno nel mettere a rischio già ora la nostra società utilizzando l’AI per rientrare dei loro immensi investimenti e per ottenere un profitto.
Il documento tecnico stesso che accompagna la nuova evoluzione di ChatGPT, GPT-4, gioca a nostro avviso su questa ambiguità, evidenziando problemi legati al presunto carattere “agentic” di tale sistema, la sua capacità di “long-term-planning”, “power seeking”: termini che tolti dal contesto dell’articolo che li definisce diventano evocativi di pericoli lontani che allontanano l’attenzione riguardo al potere che questi strumenti danno alle aziende che li hanno creati.
Infine, facciamo nostro l’appello di Tristan Harris, fondatore del Center for Humane Technology, e Aza Raskin a tenere separati i modelli di business basati sull’engagement degli utenti, propri dei social media attuali. Tali modelli sono infatti la causa dei danni prodotti alle persone e al discorso pubblico, della possibilità di manipolare i social media per fini politici danneggiando la democrazia, fino ad alimentare genocidi.
Per Harris ChatGPT può essere considerato una nuova frontiera dell’interazione con i computer in quanto permette di costruire delle “synthetic relationship” (relazioni artificiali): siamo di fronte ad un cambiamento paradigmatico dato che abbiamo costruito delle tecnologie con cui possiamo creare delle relazioni uno a uno, anche emotive, anche intime, senza una mediazione. I LLM possono all’interno di questa relazione manipolare l’interlocutore, esibendo emozioni che non hanno per sembrare amici, rispondendo su tutto e inventando, non sapendo quale siano i limiti della realtà.
I social media si sono posti come intermediari nelle relazioni con altri esseri umani (i nostri amici sulle piattaforme), scegliendo i loro post da farci vedere fra la moltitudine che postano (e scegliendoli in base anche alla pubblicità da presentare all’utente).
Ora i LLM come ChatGPT possono sostituirsi direttamente alle persone per creare nuove relazioni dialogiche non solo informative ma anche emozionali e diventare una nuova dimensione di engagement da parte dei mercanti dell’attenzione e un nuovo territorio di estrazione di informazione su di noi dai capitalisti della sorveglianza, dati presi nell’intimo di una conversazione e più profondi di quelli prodotti dall’osservazione del nostro comportamento come accade nell’utilizzo del web o delle app.
Nell’era dei social media la corsa è stata per competere per la nostra attenzione, per creare un lock-in di più utenti possibili facendo leva sul network effect. Dato che gli spazi di questa competizione si stanno esaurendo i sistemi di LLM rischiano di diventare la nuova frontiera, tramite la costruzione di relazioni personali, per massimizzare l’ingaggio degli utenti come base di un nuovo modello di business.
Come la pubblicità ha già inquinato il discorso intimo fra amici costituito dal newsfeed di loro post, auspichiamo che la nuova frontiera della monetarizzazione di questi strumenti di relazioni artificiali non sia quello di fare pubblicità in maniera più o meno occulta indirizzando il discorso verso obiettivi non conosciuti all’utente.
La capacità di entrare in relazione con altri esseri umani è una delle nostre caratteristiche fondamentali. Dare questo potere ad una macchina vuol dire creare uno strumento che ha possibilità di influenzarci molto più profonde delle altre tecnologie. Tali strumenti, quindi, non possono essere messi a disposizione senza che prima vengano testati adeguatamente, così come succede da inizio del ‘900 ad esempio con le authority che regolano l’introduzione di nuovi principi farmacologici.
In questo senso i LLM presentano un pericolo diverso dai sistemi per la creazione di immagini che hanno una dimensione relazionale minore, anche se sono ancora più pericolosi dal punto di vista della disinformazione data l’immediatezza dell’impatto di una immagine contraffatta. Forse le problematiche convergeranno quando i modelli generativi che creano video saranno più sviluppati, e il dialogo in chat si potrà accompagnare ad una relazione sintetica in “videoconferenza”.
Concludiamo questo position paper unendoci all’appello Statement from the listed authors of Stochastic Parrots on the “AI pause” letter di Timnit Gebru, Emily M. Bender, Angelina McMillan-Major, Margaret Mitchell:
It is indeed time to act: but the focus of our concern should not be imaginary “powerful digital minds.” Instead, we should focus on the very real and very present exploitative practices of the companies claiming to build them, who are rapidly centralizing power and increasing social inequities.
21/04/2023