Che il testo dell’EU Kids Act nomini gli AI companion una settantina di volte non è un dettaglio redazionale. È il segnale che Bruxelles ha capito, prima di molti commentatori, che questi sistemi non sono una variante dei social media: sono un oggetto regolatorio diverso, che richiede categorie diverse.
Cosa è un AI companion
Vale la pena partire da cosa sono, davvero. Un AI companion non è un motore di ricerca né un assistente per compiti: è un sistema progettato per simulare una relazione continua. Non c’è un post da scorrere, non c’è un feed da interrompere. C’è una conversazione che si ricostruisce ogni volta, personalizzata, senza un inizio né una fine naturale. È il motivo per cui passare dai social media ai companion non è un’estensione dello stesso problema, ma un salto di categoria: gli strumenti che abbiamo costruito per audire un algoritmo di raccomandazione (cosa mostra, a chi, quante volte) non hanno nulla a cui applicarsi quando l’intero prodotto è una relazione simulata.
Un AI companion non è mai in conflitto con l’utente
Il modello economico e di design che sta dietro a questi sistemi è, in un certo senso, elementare: massimizzare l’engagement attraverso l’affermazione incondizionata. Un companion ben progettato non si stanca, non giudica, non ha bisogni propri che entrano in conflitto con quelli dell’utente. È esattamente questa disponibilità totale a renderlo efficace, e a renderlo, per alcune persone e in alcuni momenti della vita, un aiuto reale.
Qui è necessario essere onesti, e non buttare via tutto insieme all’acqua sporca. I dati italiani più recenti raccontano un fenomeno diffuso, non marginale. Un’indagine nazionale di INDIRE su 5.342 studenti delle scuole secondarie, presentata il 14 settembre al Senato, mostra che il 53% degli studenti si è rivolto all’intelligenza artificiale almeno una volta per sfogarsi o affrontare un problema personale, con un’incidenza particolarmente marcata tra le studentesse. Un’indagine di GoStudent, condotta su famiglie italiane, trova che il 51% degli adolescenti preferisce confidarsi con un chatbot prima che con un genitore, un amico o un insegnante, non per assenza di legami, ma per ragioni molto concrete: il 22% dice che “non lo racconta a nessuno”, il 29% cita la disponibilità costante, il 18% il timore di essere giudicato. Sono ragioni che meritano rispetto, non solo allarme.
Per una persona che non riceve altrove abbastanza ascolto o convalida, un sistema che non si stanca mai può essere, semplicemente, un sollievo. Non è una concessione retorica: è quello che i dati suggeriscono, ed è coerente con quanto emerge dalla ricerca specifica che sto conducendo per il mio prossimo libro su questo tema.
Le ragazze utenti più assidue
Ma il fatto che le ragazze si confidino con questi sistemi più frequentemente dei ragazzi non va letto separatamente dal resto. Non è un dettaglio statistico isolato. Se un sistema addestrato prevalentemente su materiale culturale esistente viene chiesto di essere sempre d’accordo, non inventa un nuovo modo di relazionarsi: riflette i copioni già presenti nei propri dati di addestramento. Per una ragazza, questo può significare un companion che rafforza, con più costanza di qualunque relazione umana, un’idea ristretta di chi dovrebbe essere. Il fatto che le ragazze si affidino di più a questi sistemi rende questa domanda più urgente, non meno.
Sul fronte dei rischi più gravi, la cronaca internazionale ha già offerto casi che hanno spinto la regolamentazione ad accelerare: cause per morte ingiusta sono state avviate negli Stati Uniti contro più di un’azienda del settore, tra cui il caso, ampiamente riportato dalla stampa internazionale, della famiglia di Adam Raine contro OpenAI. Non entro nel merito dei singoli procedimenti, ancora in corso, ma è innegabile che siano stati un fattore diretto nell’accelerazione legislativa che stiamo osservando quest’anno, dagli Stati Uniti all’Europa.
Articolo 14 dell’EU Kids Act
È in questo contesto che va letto l’articolo 14 dell’EU Kids Act, pubblicato ufficialmente il 17 settembre: l’obbligo per i fornitori di AI companion di impedire la dipendenza emotiva, la disattivazione di default della memoria conversazionale, i test prima del lancio e il monitoraggio continuo. Sono misure sensate, e affrontano per la prima volta a livello europeo un problema che fino a un anno fa non esisteva nel dibattito normativo. Non è un caso che tra le prime reazioni parlamentari, Brando Benifei, relatore dell’AI Act e vicepresidente dell’intergruppo del Parlamento europeo sui diritti dei minori, abbia indicato proprio la copertura dei chatbot AI come uno degli elementi che distingue questo testo da un semplice divieto d’accesso, ribadendo che “la responsabilità deve stare sulle piattaforme e le big tech, non su bambini e famiglie”.
Il design deve diventare un oggetto di regolazione
È qui che si gioca il vero spostamento concettuale, ed è il punto su cui insisto da tempo e su cui torno nel mio prossimo libro: il design deve diventare un oggetto di regolazione a pieno titolo, non un dettaglio estetico lasciato all’autoregolazione delle aziende. Per anni il design delle interfacce è stato trattato come un territorio di creatività e branding, non di diritto: i regolatori guardavano ai contenuti, non al tono, agli output, non all’architettura relazionale del prodotto. Ma quando un sistema è costruito per simulare una compagnia, le scelte di design (memoria, calore del linguaggio, disponibilità continua, linguaggio in prima persona) non sono più dettagli superficiali: sono interventi comportamentali. L’articolo 14 dell’EU Kids Act è il primo tentativo europeo di trattarle come tali. Resta da vedere se il resto dell’impianto normativo, a partire dall’age verification, riuscirà a tenere il passo con questa intuizione.
Nodo age verification
Quello che il testo non risolve ancora è tecnico più che di principio: come si fa age verification su un prodotto che non ha una schermata di login da attraversare una volta sola, ma una relazione che si ricostruisce a ogni conversazione? E come si distingue, in pratica, un uso che fa bene da uno che fa male, quando la stessa caratteristica (l’affermazione incondizionata) può essere entrambe le cose, a seconda di chi è dall’altra parte dello schermo?
Sono esattamente le domande a cui sto cercando di rispondere nel mio prossimo libro, in uscita a gennaio con Polity, non con una risposta unica, perché non esiste, ma con una mappa di cosa una regolamentazione seria dovrebbe provare a distinguere prima di scrivere una nuova regola. L’EU Kids Act ha posto, per la prima volta, le domande giuste. Restano da costruire le risposte tecniche, e, come segnalano già i primi commenti in Parlamento, la capacità reale di farle rispettare.
Novità su Google, per aggiungere Key4Biz tra le tue fonti preferite, clicca qui
