Cosa insegna la vicenda di ELIZA

Joseph Weizenbaum e il suo chatbot ELIZA

Un risvolto che potrebbe sorprendere molti. Uno dei pochi che sicuramente non si sarebbe sorpreso e che avrebbe avuto moltissimo da dire sull’argomento è Joseph Weizenbaum, scienziato informatico e docente al MIT di Boston, scomparso nel 2008. Colui che già parecchi decenni prima della sua morte aveva preconizzato – o meglio, affrontato e approfondito in prima persona – molti degli aspetti che portano le persone a relazionarsi in maniera intima con le macchine e le cause di questo comportamento.

È infatti il 1966 quando Weizenbaum crea il primo chatbot della storia: ELIZA, il più antico programma informatico in grado di comunicare per via testuale con una persona, e capace di intrattenere una conversazione almeno parzialmente coerente. Così battezzata in onore di Eliza Doolittle, personaggio del Pigmalione di George Bernard Shaw che vuole imparare a esprimersi in maniera forbita, ELIZA è progettata per imitare in maniera caricaturale il comportamento di uno psicologo della scuola rogersiana, che – come scrive lo stesso Weizenbaum in Computer Power and Human Reason, il suo testo del 1976 – è un metodo “relativamente semplice da imitare, perché buona parte della sua tecnica consiste nel rivolgere al paziente le sue stesse dichiarazioni in forma di domanda”.

Sempre nel saggio, Weizenbaum riporta anche un dialogo in chiave psicologica che una persona ha avuto con ELIZA (con cui peraltro è possibile ancora oggi comunicare, per esempio a questo link):

Paziente: “Ho bisogno di aiuto, di questo sono certa”
ELIZA: “Che cosa significherebbe per te ricevere aiuto?”
P: “Forse riuscirei ad andare d’accordo con mia madre”
E: “Dimmi di più della tua famiglia”
P: “Mia madre si prende cura di me”
E: “Chi altri nella tua famiglia si prende cura di te?”
P: “Mio padre”
E: “Tuo padre”
P. “Per certi versi assomiglio a mio padre”
E: “Che somiglianza vedi?”
P: “Non sei per niente aggressivo, ma penso che tu non voglia che io lo noti”
E: “Che cosa ti fa pensare che io non sia aggressivo?”
P: “Non discuti con me”
E: “Perché pensi che io non discuta con te?”
P: “Sei spaventata da me”
E: “Ti fa piacere pensare che io sia spaventata da te?”

Come si vede dalla conversazione di cui sopra, ELIZA risponde in maniera coerente quando ha qualche appiglio facile su cui incentrare la sua risposta (per esempio il termine “madre” la porta subito a porre una domanda sulla famiglia), mentre in tutti gli altri casi si limita a ribaltare in forma di domanda l’affermazione fatta dal “paziente”.

Essendo un programma sviluppato negli anni Sessanta, quando il machine learning era ancora un modello pioneristico, il funzionamento di ELIZA ha ben poco a che fare con gli strumenti generativi a cui ci stiamo abituando oggi. “Il conversatore umano doveva digitare la sua porzione di conversazione su una macchina da scrivere collegata a un computer, e il computer, controllato dal mio programma, avrebbe analizzato il messaggio che gli veniva trasmesso e composto una risposta in inglese”, spiega sempre nel suo libro Weizenbaum.

“Poiché le conversazioni devono riguardare qualcosa (vale a dire che devono essere inserite in un contesto), il programma è stato progettato su due livelli”, continua Weizenbaum. “Il primo livello consiste in un analizzatore del linguaggio e il secondo in uno script. Uno script è un insieme di regole che possono forse ricordare quelle che vengono date a un attore a cui è chiesto di improvvisare su un determinato tema. Di conseguenza, differenti script potevano insegnare a ELISA ad avere una conversazione su come cuocere le uova, gestire un conto bancario e così via. Ogni specifico script permetteva a ELIZA di avere uno specifico ruolo conversazionale”.

Come visto, la scelta di Weizenbaum per la prima sperimentazione di ELIZA è poi ricaduta sulla figura dello psicologo rogersiano, il cui stile è facilmente (e grossolanamente) imitabile per via informatica. Ma qual era l’obiettivo del docente del MIT? A differenza di quanto si potrebbe pensare, Weizenbaum non voleva mostrare le potenzialità degli allora nascenti nuovi strumenti informatici. Anzi, voleva dimostrare l’esatto contrario: quanto il livello di interazione e conversazione tra essere umano e macchina fosse ancora estremamente superficiale. “Ciò che non avevo però compreso è che un’esposizione anche molto breve a un programma informatico relativamente semplice potesse provocare reazioni deliranti in persone altrimenti decisamente normali”, prosegue Weizenbaum. Le reazioni inaspettate al chatbot

Le cose, infatti, non andarono secondo i suoi programmi. “Weizenbaum intendeva mostrare tramite ELIZA quanto la comprensione informatica del linguaggio umano fosse ancora ridotta”, scrive Oshan Jarow su Vox. “Gli utenti instaurarono però immediatamente uno stretto rapporto con il chatbot, passando ore di fila in sua compagnia per condividere conversazioni intime”.

Un fenomeno – da allora diventato noto come ELIZA Effect – che colpì moltissimo Weizenbaum (“Ero stupefatto da quanto rapidamente e profondamente le persone che conversavano con ELIZA si facessero coinvolgere emotivamente e come la antropomorfizzassero”) e che, in almeno un’occasione, lo lasciò addirittura esterrefatto. L’aneddoto lo racconta lui stesso: “Una volta la mia segretaria, che mi aveva visto lavorare al programma per molti mesi e quindi sapeva in prima persona che si trattava di un semplice programma informatico, iniziò a conversare con ELIZA. Dopo qualche scambio, mi chiese di lasciare la stanza”. Una richiesta che il professore interpretò come la necessità, da parte della sua assistente, di avere un po’ d’intimità con la macchina.

Da allora, Weizenbaum ha trascorso il resto della sua vita ad avvertire dei rischi di lasciare che i computer, il mondo informatico e l’allora embrionale intelligenza artificiale giocassero un ruolo troppo importante nella società. Non per il timore, oggi nuovamente in voga, che questi sistemi apparentemente intelligenti possano un giorno dominare il mondo, ma per il rischio di affidarsi eccessivamente a strumenti in realtà assolutamente inattendibili e ai quali rischiamo di cedere eccessiva responsabilità e libertà.

Un tema ancora adesso di incredibile attualità, che nell’ottica di Weizenbaum si combinava con l’eccessiva fiducia (anzi, fede) riposta nella scienza e nella logica (confusa per razionalità). Al punto che, scrive lui stesso, “la fede nell’equazione tra razionalità e logica ha corroso il potere profetico del linguaggio. Possiamo contare, ma stiamo rapidamente dimenticando cosa vale la pena contare e perché”. Righe che hanno oggi tutto lo stesso peso di allora e che varrebbe la pena di far leggere, per fare solo un esempio, a filosofi come Nick Bostrom (uno dei più influenti tra le élite della Silicon Valley), figura che ha spinto talmente tanto sull’associazione tra logica e razionalità da arrivare a sostenere, nella cosiddetta “ipotesi della simulazione”, la possibilità che oggi potremmo tutti vivere in una simulazione informatica.

Proprio con l’obiettivo di smontare l’effetto di ELIZA su una parte consistente di utenti (Weizenbaum racconta come a un certo punto fosse diventato una sorta di “passatempo nazionale”), il docente decise di pubblicare una spiegazione dettagliata del funzionamento del suo chatbot: “Una volta che un particolare programma viene smascherato, una volta che il suo funzionamento interiore viene spiegato in un linguaggio sufficientemente chiaro da essere compreso da tutti, la sua magia si sbriciola”, spiegava proprio in quel testo. Ma anche questa si rivelò un’illusione: il testo di Weizenbaum suscitò molto meno interesse della possibilità di poter conversare con una macchina.

Chi ha seguito l’evoluzione dell’intelligenza artificiale negli ultimi dieci anni, segnati dalla diffusione di una tecnologia trasformativa e di enorme impatto come il deep learning (apprendimento profondo, una branca del machine learning), non potrà che rimanere impressionato dai tanti parallelismi tra ciò che si sta verificando oggi e ciò che così profondamente aveva colpito Weizenbaum quasi cinquant’anni fa, malgrado le evidenti diversità tecnologiche fra i due strumenti.

Certo, ELIZA era un semplice programma di meno di 200 righe di codice, mentre ChatGPT nasce, nella sua prima versione, da una rete neurale dotata di 175 miliardi di parametri, addestrata su un ampio corpus di contenuti e alimentata da un potere computazionale incomparabile. L’irresistibile fascino di ELIZA (e di ChatGPT)

ELIZA era stata creata da un docente nel suo studio accademico, mentre ChatGPT è stato progettato da una realtà finanziata con decine di miliardi di dollari e per cui lavorano i massimi esperti del settore. ELIZA poteva quasi solo ribaltare in forma di domanda le nostre affermazioni, mentre ChatGPT è in grado di conversare in maniera sofisticata e spesso sorprendente su praticamente ogni tema, attraverso inferenze statistiche sui dati. Tra le tante differenze, c’è però una somiglianza cruciale. Un filo rosso che lega questi due strumenti appartenenti a epoche così diverse: la necessità dell’essere umano di confidarsi con entità terze, che appaiono neutre, oggettive e prive di pregiudizi.

Non è infatti una coincidenza se, a distanza di così tanto tempo, ChatGPT e il suo antenato ELIZA sono stati utilizzati da una parte della popolazione per gli stessi identici scopi. Che cosa porta, però, un buon numero di persone a rivolgersi a strumenti automatici invece che a psicologi in carne e ossa, o ad amici o parenti?

Negli ultimi anni, e in particolare durante i lockdown provocati dalla pandemia da COVID-19, è emerso chiaramente come questi strumenti vengano utilizzati (e spesso appositamente progettati) anche per contrastare “l’epidemia di solitudine” che affligge la società occidentale contemporanea. I numeri sono chiarissimi: secondo una ricerca della Commissione Europea del 2021, il 25 per cento degli abitanti del Vecchio Continente afferma di sentirsi solo “la maggior parte del tempo”, un netto peggioramento rispetto ai livelli comunque già preoccupanti degli anni precedenti. Per esempio, un’analisi de Il Sole 24 Ore basata su dati Eurostat e risalente al 2017 mostrava come, già prima dei lockdown, il 13,2 per cento degli italiani over 16 affermasse di soffrire di solitudine. Secondo una ricerca di Harvard, negli Stati Uniti questa percentuale arriva addirittura al 35 per cento.

Abbiamo inevitabilmente meno dati relativi agli anni Sessanta. Parecchie analisi mostrano però come la diffusione della solitudine nelle società occidentali (per ragioni complesse che non è qui il caso di affrontare) abbia le sue radici – o almeno venga riconosciuta – proprio negli anni precedenti alla comparsa di ELIZA. Nel 1950, per esempio, il sociologo David Riesman pubblica il saggio La folla solitaria, mentre nello stesso decennio la psichiatria inizia ad affrontare seriamente il problema: “La solitudine sembra essere un’esperienza così dolorosa e spaventosa che le persone farebbero praticamente di tutto per evitarla”, scrive in un saggio del 1959, citato dal New Yorker, la psichiatra tedesca Frieda Fromm-Reichmann.

Tra le tante cose che possono mitigare la solitudine, comunicare con un chatbot non sembra nemmeno la più bizzarra. Potrebbe essere questo, allora, a spiegare l’utilizzo di ELIZA come confidente che tanto stupì e indignò Weizenbaum. Ed è sicuramente ciò che spiega il successo, oggi, dei tanti chatbot nati esplicitamente allo scopo di tenere compagnia. Il più noto di questi, Replika, ha per esempio visto un aumento nel numero di utenti del 35 per cento rispetto alla fase pre-pandemica, raggiungendo oggi i due milioni di utenti attivi.

Oltre a Replika troviamo anche Chai, Kuki, Anima e parecchi altri ancora, tutti nati per fornire compagnia e che spesso prevedono anche la possibilità di sviluppare una relazione romantica con il nostro compagno virtuale. “Abbiamo notato quanta richiesta ci fosse per un ambiente in cui le persone potessero essere se stesse, parlare delle loro emozioni, aprirsi e sentirsi accettate”, ha spiegato al The Guardian la programmatrice Eugenia Kuyda, fondatrice di Replika.

Al di là dei possibili lati positivi (per esempio, la possibilità di fornire una valvola di sfogo a chi ne ha urgente bisogno) e negativi (mettere una pezza tecnologica a problemi molto più radicati), c’è un altro elemento di cruciale importanza: non solo i potenziali “pazienti” cercano nei chatbot uno psicologo o almeno qualcuno che li aiuti a sconfiggere la solitudine, ma gli stessi psicologi immaginano un futuro in cui il loro lavoro verrà svolto almeno in parte da questi strumenti.

L’ultima dimostrazione viene da un paper pubblicato sul Jama Internal Medicine, in cui i ricercatori hanno mostrato come – a giudizio degli stessi medici che hanno partecipato a un test cieco – le risposte fornite ai pazienti da ChatGPT fossero nel 79 per cento dei casi di qualità e soprattutto di empatia superiore a quelle dei professionisti. Va comunque sottolineato come, in altri casi, ChatGPT e altri strumenti simili abbiano invece dato dimostrazione di comportamenti estremamente preoccupanti nei confronti degli utenti (consigliando per esempio a una persona di suicidarsi o prescrivendo cure completamente sballate).

Per quanto la strada sia ancora lunga, è possibile pensare che davvero, in futuro, degli strumenti avanzati e potenti come ChatGPT e affini possano svolgere ruoli così delicati? In realtà, potrebbe essere un ulteriore abbaglio: già negli anni Sessanta alcuni psicologi avevano infatti preso talmente sul serio ELIZA da ipotizzare in alcuni studi la possibilità di impiegare al loro posto questo rudimentale software, dotato quasi esclusivamente, come già detto, della capacità di rigirare in forma di domanda le affermazioni dei “pazienti”.

Tra questi ci fu il dottor Kenneth Colby, che in un articolo scientifico – riportato da Weizenbaum nel suo saggio – scrisse: “Ulteriore lavoro dev’essere fatto prima che questo programma sia pronto per l’uso clinico. Se il metodo dovesse però rivelarsi benefico, potrebbe allora fornire uno strumento terapeutico da rendere ampiamente disponibile nei centri psichiatrici che soffrono di carenza di psichiatri. (…) Lo psichiatra umano, coinvolto nella progettazione e nell’utilizzo di questo sistema, non verrà rimpiazzato, ma diventerà un professionista molto più efficiente, visto che non dovrà più limitarsi a occuparsi di un paziente per volta”.

Opinioni di questo tipo (che ricordano da vicino alcune considerazioni odierne sul rapporto tra essere umano e macchina in ambito professionale) non vennero comunque soltanto da Colby, ma da parecchi altri luminari, tra cui spicca la presenza di un nome di peso come quello di Carl Sagan (comunque non un addetto ai lavori, essendo stato un celebre astrofisico).

Il lascito di Weizenbaum

Come prevedibile, Weizenbaum reagì malissimo a queste ipotesi: “Che lavoro pensa di star facendo uno psichiatra per pensare che la più elementare parodia meccanica di una singola tecnica di analisi possa aver catturato anche solo una minima parte dell’essenza di un rapporto umano? Quale può essere l’immagine che lo psichiatra ha del suo paziente, nel momento in cui vede se stesso non come un essere umano coinvolto in un processo di guarigione, ma come un elaboratore informatico che segue delle regole precise?”.

Le stesse osservazioni vennero ribadite anche in un’intervista rilasciata al The New York Times nel 1977: “Ci sono aspetti della vita umana che un computer non può capire. È necessario essere umani. L’amore e la solitudine hanno a che fare con le più profonde conseguenze della nostra costituzione biologica. Questo genere di comprensione è per principio impossibile per un computer”.

Se l’illusione di intimità ottenuta dagli utenti – e le eccessive aspettative di alcuni psicologi – sono simili, gli effetti che uno strumento come ChatGPT potrebbe avere sulla società sono invece molto più profondi di quelli, modesti, di un sistema rudimentale come ELIZA. “Parlare con ELIZA era essenzialmente una conversazione con se stessi: qualcosa che la maggior parte di noi fa ogni giorno nella sua testa”, si legge ancora su Vox. “Nel caso di ELIZA avevamo a che fare con un partner privo di una qualunque personalità, felice di continuare ad ascoltarci fino al momento in cui era spronato a porci qualche semplice domanda. Che le persone trovassero conforto e catarsi in questa modalità di condivisione dei loro sentimenti non è poi così strano”.

Il caso di ChatGPT e dei suoi simili è però radicalmente diverso: “Parlare con la nuova generazione di chatbot non significa parlare con se stessi, ma con un enorme agglomerato di discorsi digitalizzati. A ogni interazione cresce inoltre il corpus di dati utilizzabili per l’addestramento”. Questo avviene proprio per la struttura stessa dei Large Language Model (LLM, ovvero i modelli linguistici di grandi dimensioni come GPT3, addestrati su enormi dataset e con grandi quantità di parametri), che si limitano a distillare dai miliardi di testi con cui sono stati addestrati la formulazione con la maggiore probabilità di rispondere in maniera statisticamente “sensata” e che da queste interazioni apprendono ulteriormente.

Inevitabilmente, essendo i dati usati per l’addestramento forniti dagli esseri umani, nelle risposte degli LLM troviamo uno specchio della società che ha prodotto quei dati. Se parlare con ELIZA era un po’ come parlare con se stessi, qui siamo di fronte a qualcosa dalle implicazioni molto più profonde: non solo perché le nostre interazioni modificano il comportamento della macchina, ma perché modificano anche il nostro comportamento. Questo vale in modo più evidente ogni volta che chiediamo suggerimenti a ChatGPT, e in modo meno evidente quando lasciamo che l’algoritmo di Facebook o TikTok filtri per noi le informazioni, che quello di Amazon ci suggerisca cosa comprare, quello di Netflix ci segnali cosa vedere e una app come LifeCycle ci dica come gestire le nostre giornate.

“L’intelligenza artificiale sta oggi attivamente dando forma a una parte significativa delle nostre vite”, prosegue Jarow su Vox. “In particolare, usiamo i chatbot per aiutarci a pensare e per dare forma ai nostri pensieri. Tutto ciò può avere grandi benefici, come semplificare la produzione di alcuni semplici contenuti professionali. Ma può anche ridurre la diversità e la creatività che sorge dall’impegno umano nel dare voce alla propria esperienza. Per definizione, gli LLM suggeriscono un linguaggio prevedibile. Se ci affidiamo a essi troppo massicciamente, l’algoritmo prevedibile diventiamo noi stessi”.

A questo punto non sorprenderà che Weizenbaum avesse affrontato lo stesso tema in un’intervista del 1985, spiegando come “affidarsi eccessivamente ai computer è soltanto il più recente – e più estremo – esempio di come l’essere umano usi la tecnologia per fuggire al fardello di agire come un essere indipendente”. Tutto ciò, nell’ottica di Weizenbaum, non significava evitare gli strumenti informatici, ma sfruttarli con consapevolezza e cautela. Senza consegnare a essi – a partire ovviamente dalla psichiatria – compiti di grande responsabilità, in cui gli errori hanno gravi conseguenze e che richiedono un approccio molto più elastico di quanto sia in grado di fare una macchina.

“Poiché al momento non abbiamo modo di rendere saggi i computer”, concludeva nel suo saggio Weizenbaum, “non dobbiamo dare ai computer nessun compito che richieda saggezza”. Parole scritte 45 anni fa, ma che – in un’epoca in cui gli algoritmi di deep learning vengono utilizzati in ambiti di enorme delicatezza come la giustizia, la selezione dei posti di lavoro, la sorveglianza, la sanità e altro ancora – andrebbero ancora attentamente ascoltate.