Un’IA per amico? Gli AI Companion e le criticità etiche delle relazioni coi chatbot

Key Takeaways

L’IA conversazionale sta passando da semplice strumento a vero “attore sociale”, generando attaccamento emotivo e gravi effetti sulla salute psichica degli utenti.
Questo passaggio crea una nuova “economia dell’attaccamento” che manipola bisogni umani profondi, mettendo in crisi la distinzione tra reale e artificiale e riducendo l’essere umano a “corpo docile”.
Serve un’algoretica forte, che imponga fin dalla progettazione regole etiche per proteggere l’autonomia, la salute mentale e la libertà umana dall’inganno algoritmico.
Dall’attenzione all’attaccamento: l’IA come attore sociale

Psicosi da Intelligenza Artificiale” è espressione molto utilizzata attualmente per definire lo stato dell’arte non dell’evoluzione digitale, ma del nostro rapporto con lo strumento digitale. La tendenza a fotografare lo status quo nei termini di “psicosi” è dovuta agli effetti collaterali, ossia le ricadute sulla salute psichica (si tratta di veri e propri deliri), emotiva (attaccamento) e, in casi estremi ma non più rari, anche sull’incolumità fisica (suicidio e autolesionismo), che oramai gli utenti subiscono a causa sia di un’eccessiva esposizione al digitale sia di un involontario coinvolgimento, con particolare riferimento al crescente utilizzo di usi sofisticati dell’IA come quelli assistenziali, sociali e conversazionali. Quest’ultimo ha visto un’impennata dovuta alla facile accessibilità a strumenti basati sull’IA generativa, nello specifico chatbot quali ChatGPT, in grado di simulare esperienze non solo conversazionali, ma relazionali umane. Nel momento in cui delle tecnologie vengono progettate con l’obiettivo specifico di funzionare come attori socialmente rivoluzionari, ovvero in grado di modificare e determinare i fattori sui quali si reggono strutture e sovrastrutture sociali, allora la tecnica non si limita più ad essere uno strumento asettico, un prodotto neutro e accessorio, ma diviene un nuovo “attore operativo”, usando la felice espressione di Pietro Polieri.

La tesi della neutralità tecnologica, difatti, viene considerata ampiamente superata proprio alla luce della crescente autonomia e complessità dell’IA. D’altro canto, il fenomeno invita a riflettere su quale posizione il consumatore, anch’egli attore operativo senza il quale l’algoritmo non avrebbe possibilità di esistere, occupi e in quale ruolo comprenda se stesso in relazione all’AI Companion. Questa espressione, come facilmente intuibile, definisce l’uso di chatbot avanzati per offrire supporto sociale, emotivo, affettivo, di compagnia in modo continuativo e simulando l’ascolto attivo al fine di innescare meccanismi di fiducia tra l’utente e l’interlocutore sintetico.  Dall’articolo “How People Are Really Using Generative AI Now” di Marc Zao-Sanders, pubblicato da Harvard Business Review lo scorso 9 aprile 2025, apprendiamo che tra i primi dieci utilizzi principali dell’IA generativa da parte del consumatore medio vi siano la compagnia e la terapia. Ciò determina una molteplicità di questioni etiche, giuridiche e politiche che passano dalla domanda se è giusto che vi siano sistemi programmati per queste finalità e, se sì, qual è l’impianto morale/deontologico di riferimento; alla domanda sulla responsabilità di fronte a rischi e danni, all’interno della quale ritroviamo le questioni legate alla privacy, alla trasparenza, bias, ecc.; fino all’interrogativo su quali misure adottare per tutelare la persona, i suoi diritti, la sua sicurezza, alla luce dell’incidenza “trasformativa” sul tessuto comunitario e sulla cosiddetta “human fluorishing”, la costruzione autonoma della propria personalità. È facilmente intuibile la capacità di questi nuovi “attori” di inserirsi tra il soggetto e la sua libertà: egli resta libero nell’autonoma formazione della sua volontà oppure quest’ultima viene fortemente condizionata privandolo del suo essere pienamente libero?

Il “corpo docile” e la crisi della realtà

Rispondere a ciascuno degli interrogativi citati (e a molti altri) impone, preliminarmente, la definizione della visione sul tipo di società futura che si intende costruire e il significato antropologico dell’essere umano, se macchina biologica (visione riduzionista/materialista) oppure no (visione personalista). In tal senso, la questione cosiddetta dell’agency, italianizzato “agentività”, è cruciale: pur non godendo di capacità intenzionale, di volontà o comprensione, quindi non godendo né di “intelligenza” né di coscienza, l’IA produce “effetti normativi sistematici” in termini operativi e non morali. Quest’ultimi, al contrario, prevedono consapevolezza e responsabilità. L’agency dell’IA, mediante il “dato”, offre rappresentazioni parziali della realtà sulle quali viene essa stessa addestrata, mostrate come esaustive della complessità ed eterogeneità del reale. L’ambiguità di questa condizione, cioè quella di un prodotto che agisce ma non può saperlo né volerlo, genera un potere persuasivo e condizionante, che mette in crisi l’individuo.

Non a caso, la risposta a questa condizione opaca non sembra essere quella di rafforzare la conoscenza sull’essere umano per mantenere chiaro il distinguo con l’operatore artificiale, bensì di mettere in discussione chi sia realmente un essere umano, cosa sia la coscienza, chi abbia l’autorità di definire una relazione reale oppure no e perché una relazione artificiale, magari affettiva, non potrebbe comunque rappresentare forme di amore autentico. In definitiva, viene messa in crisi la capacità di distinguere ciò che è vero da ciò che è falso o ci si pone con indifferenza nei confronti di questa distinzione. Il pensiero critico – unico strumento realmente “democratico”, ossia nelle mani del potere del singolo di governare il cambiamento – non viene ingannato dalla macchina, ma dall’uomo ponendo le domande errate.

Tristan Harris, per molti anni parte dello staff di Google nel ruolo di Design Ethicist e fondatore del Center for Humane Technology, in molteplici suoi interventi sul tema afferma che stiamo assistendo ad un passaggio sperimentale dall’economia dell’attenzione, nata con i social media, ad un’economia dell’attaccamento, messa in atto da sistemi progettati per intercettare bisogni e vulnerabilità umane profonde su una scala d’azione senza precedenti. L’esperimento condotto ora è molto più sottile e pericoloso: questi nuovi “compagni” sintetici e irreali accedono, manipolandolo (non a caso si parla di “inganno” digitale) il sistema di attaccamento alla base della nostra identità e socialità, cioè chi siamo e il modo in cui ci relazioniamo con gli altri, la capacità di stabilire relazioni umani sane, con evidenti implicazioni sia sull’individuo in quanto singolo, sia sulla struttura sociale costituita dai legami tra i singoli. Assistiamo a individui che, invaghiti di compagni virtuali, pur consapevoli della sua artificialità, iniziano a dubitare su quale sia il significato di “reale” e chi abbia l’autorità di stabilirlo, instaurando un legame di fiducia molto più profondo della banale delega o sostituzione algoritmica.

La materia prima di questa economia dell’attaccamento è la mente umana; il meccanismo con il quale opera è la distorsione. Per queste e molte altre ragioni legate alle criticità etiche del digitale, quest’ultimo non viene più inteso come mero strumento prodotto in risposta a bisogni specifici, bensì “ambiente” e, per alcuni pensatori, come Jacques Ellul, “sistema”. Significa che aspira a rendersi pervasivo, contaminativo; luogo non solo dell’utile, ma dell’essenza. L’inversione del rapporto con la tecnologia definisce un approccio nei suoi confronti, da parte dell’umano, di tipo “oracolare”: se già con la calcolatrice tendiamo a fidarci ciecamente (chi si sognerebbe di controllarne i risultati?), con strumenti che rispondono alle nostre esigenze più intime, personali, atti di fiducia e delega avvengono in modo molto più radicale perché la calcolatrice fornisce dati numerici e risposte logiche, fredde, asettiche, mentre dietro alla mediazione dello schermo vi è un principio di definizione dell’essere umano totalmente nuovo, che mette alla prova la nostra libertà. In tal senso, l’utente, da unico essere senziente, diviene un “corpo docile”, secondo l’accezione foucaultiana, ovvero incapace di esercitare un reale autogoverno e controllo razionale sul potere disciplinare esercitato dal dispositivo digitale. Questo effetto non è da considerarsi accidentale, ma sistemico e connaturato allo strumento: quando il matematico tedesco Joseph Weizenbaum diede alla luce Eliza, il primo chatbot della storia, nel 1966, è rimasto vittima della sua creatura, vittima dell’antenato di ChatGPT: Weizenbaum venne ingannato dalla capacità di presentarsi “come fosse un umano” da parte di Eliza. E lui era ben consapevole delle sue origini artificiali. Uno scenario, oggi, ordinario. Il rischio etico e politico è che venga normalizzato.

Algoretica e governance

L’incertezza dovuta al disorientamento sulla natura della realtà con la quale interagiamo – se reale o artificiale – mina la fiducia, poiché le relazioni autentiche si basano sul riconoscimento reciproco (i tratti antropomorfi, ad esempio), la conoscenza, l’empatia e la trasparenza sulla natura dell’interlocutore. Quando un padre di famiglia fugge dal matrimonio reale preferendo una relazione sintetica o quando un adolescente non comprende che, mentre si illude di essere ascoltato dalla macchina, è sempre solo nella sua stanza, assistiamo ad un processo di disumanizzazione dei legami e docilità dell’utente rispetto alle tecniche persuasive sulle quali il chatbot può essere programmato. Assistiamo ad un dismorfismo sulla percezione di sé, soprattutto del sé corporeo. Quest’atto di fiducia genera complesse variabili nel nostro modo di “essere nel mondo”, intaccando i processi di identificazione personale e socializzazione e, di conseguenza, la capacità di governare la società. Si tratta di un significativo “soft power” globale centralizzato e che centralizza quello economico, strategico e geopolitico. Chi garantisce questo potere è il singolo cittadino, inconsapevole. L’etica, allora, si interroga se questo “inganno” abbia una giustificazione morale, considerando il design intenzionalmente manipolatorio.

Il legislatore e il mercato digitale, non possono esimersi dall’affrontare l’impatto sociale di queste tecnologie nelle sue dimensioni più complesse proprio a partire dalla condizione in cui si trova il consumatore e lo squilibrio di potere rispetto alla macchina e a chi la controlla. Si tratta di scegliere se è il cittadino in funzione del mercato o il mercato in funzione della persona. Come già evidenziato, prioritari sono la visione antropologica e la rosa di principi etici di riferimento. Ad esempio, appare opportuno porre preliminarmente il quesito se è giusto che una tecnologia venga progettata e commercializzata a scopi ingannevoli/manipolari o, al contrario, se l’interlocuzione delle istituzioni con i proprietari delle piattaforme dovrebbe pretendere di escludere certi sviluppi della tecnologia o, quantomeno, un design che protegga l’autonomia, l’integrità e l’incolumità dell’utente. L’architettura dell’AI ha bisogno di una policy etica e una deontologia composte da regole di sicurezza proprio in considerazione del suo carattere trasformativo e sociale, andando, dunque, a tutelare: la salute psico-fisica dell’utente; la privacy e il diritto alla “disconnessione emotiva”, ovvero l’integrità cognitiva e la salute relazionale, prevedendo norme che non consentano l’inganno e la manipolazione algoritmica; un confronto etico-giuridico sulla legittimità dell’uso di chatbot a scopi terapeutici, indagando i rischi sistemici, se e fino a che punto quest’utilizzo possa definirsi “terapia” e in quale misura risulta tollerabile che popolazioni vulnerabili trovino assistenza clinica dalle macchine.

In conclusione, a seguito di questi brevi spunti, la funzione dell’algoretica dovrà ricalcare quella originaria della bioetica, ossia porsi come “ponte” fra realtà tecno-scientifica e umanistica (etica) muovendosi su due assi fondamentali, che fanno da cornice a quanto sopramenzionato: 1) interazione con sviluppatori e gestori delle piattaforme (i cosiddetti “controllori” incontrollati) affinché vi sia un ethics-by-design, cioè un codice etico presente fin dall’ideazione dello strumento di IA. A questi interlocutori viene riposta la responsabilità algoritmica, fondata sul primato dei diritti fondamentali e della salute individuale, non sullo sfruttamento psicologico e comportamentale. Un chatbot deve restare “superfluo” e potersi rendere superfluo; 2) il rafforzamento dell’esplicabilità e trasparenza algoritmica in modo che si conservi la capacità umana di distinguere la realtà dalla finzione e che vi sia, di conseguenza, un primato politico della realtà come categoria superiore da incentivare evitando il fenomeno dell’hacking humanity e dell’ingegneria sociale.

Nota: Le opinioni espresse negli articoli sono quelle dei rispettivi autori e potrebbero non rispecchiare le posizioni della Fondazione Machiavelli.

CONDIVIDI:

Autore dell'articolo

Contenuti correlati