Violazioni gravi nella gestione dei dati personali e criticità nei sistemi di verifica dell’età
Il Garante per la protezione dei dati personali ha inflitto una sanzione di 5 milioni di euro alla società statunitense Luka Inc., responsabile del controverso chatbot “Replika”.
La decisione arriva dopo l’accertamento di gravi violazioni delle normative europee sulla privacy, già oggetto di un precedente blocco del servizio in Italia nel febbraio 2023.
Replika è un’applicazione di intelligenza artificiale (AI) generativa che permette agli utenti di creare un “amico virtuale” con cui interagire attraverso interfacce vocali e testuali. Il chatbot può assumere diversi ruoli emotivi e relazionali, da confidente a partner romantico, da mentore a presunto terapeuta.
Mancanza di basi giuridiche e privacy policy inadeguata
Nel corso dell’istruttoria, l’Autorità ha riscontrato che Luka Inc. non aveva individuato, alla data del 2 febbraio 2023, alcuna base giuridica per i trattamenti dei dati personali effettuati tramite Replika.
Inoltre, la privacy policy fornita agli utenti è stata giudicata inadeguata sotto molteplici profili, contravvenendo ai requisiti di trasparenza e completezza imposti dal Regolamento generale sulla protezione dei dati (GDPR).
Minori a rischio: sistema di verifica dell’età insufficiente
Uno degli aspetti più critici evidenziati dal Garante riguarda la tutela dei minori. Nonostante la dichiarazione della società di escludere i minorenni dall’accesso al servizio, al momento dell’accertamento non era stato implementato alcun sistema efficace di verifica dell’età, né in fase di registrazione né durante l’utilizzo dell’app.
Anche le soluzioni tecniche successivamente introdotte da Luka sono state ritenute insufficienti: il sistema di verifica dell’età è risultato ancora oggi carente in molteplici aspetti, con evidenti rischi per la protezione dei dati dei più giovani.
Nuova istruttoria sull’intero ciclo di vita dell’intelligenza artificiale
Oltre al provvedimento sanzionatorio, il Garante ha avviato una nuova istruttoria per analizzare più a fondo le modalità di sviluppo, addestramento e funzionamento del modello di AI generativa alla base di Replika.
In particolare, l’Autorità ha richiesto chiarimenti circa:
- Le misure di valutazione dei rischi adottate;
- Le garanzie a tutela dei dati personali nelle varie fasi di sviluppo del modello linguistico;
- Le tipologie e categorie di dati utilizzati durante l’addestramento dell’IA;
- L’eventuale implementazione di tecniche di anonimizzazione o pseudonimizzazione.
Verso un rafforzamento della vigilanza sull’IA generativa
Il caso Replika si inserisce in un contesto di crescente attenzione delle autorità europee sulla regolamentazione dell’intelligenza artificiale generativa, soprattutto in relazione alla protezione dei dati personali e alla sicurezza degli utenti vulnerabili.
Il provvedimento del Garante italiano rappresenta un segnale forte a tutela dei diritti digitali dei cittadini, specialmente dei minori, e richiama le aziende sviluppatrici di IA a una maggiore responsabilità e trasparenza.
Il problema del trattamento dei dati personali
Sempre nel nostro Paese, ma anche in Francia e in Germania, non è la prima volta che si affrontano criticità serie nel rapporto tra l’AI e i dati personali degli utenti.
Nel marzo 2023, il Garante per la protezione dei dati personali italiano ha disposto una limitazione provvisoria del trattamento dei dati degli utenti italiani da parte di OpenAI, la società statunitense che gestisce ChatGPT.
Le motivazioni includevano:
- Assenza di una base giuridica adeguata per il trattamento dei dati personali degli utenti;
- Mancanza di sistemi efficaci per la verifica dell’età, esponendo i minori a contenuti potenzialmente inappropriati;
- Violazioni del principio di trasparenza e degli obblighi informativi verso gli utenti.
Successivamente, OpenAI ha implementato misure correttive, tra cui l’introduzione di un sistema di verifica dell’età e l’aggiornamento dell’informativa sulla privacy, permettendo così la riattivazione del servizio in Italia. Tuttavia, nel dicembre 2024, il Garante ha concluso l’istruttoria infliggendo a OpenAI una sanzione di 15 milioni di euro per le violazioni riscontrate.
In Germania, le autorità regionali per la protezione dei dati hanno avviato indagini su ChatGPT, focalizzandosi su:
- Modalità di raccolta e trattamento dei dati personali da parte di OpenAI;
- Conformità degli algoritmi utilizzati alle disposizioni del GDPR .
Le autorità hanno inviato questionari a OpenAI per ottenere chiarimenti sulle pratiche di trattamento dei dati e sulla trasparenza delle informazioni fornite agli utenti.
In Francia, la startup Mistral AI è stata oggetto di una denuncia presentata alla Commission nationale de l’informatique et des libertés (CNIL) nel febbraio 2025.
La denuncia riguarda l’applicazione gratuita “Le Chat”, accusata di:
Raccolta illegale di dati personali degli utenti senza un’adeguata base giuridica;
Limitazione dell’esercizio del diritto di opposizione al trattamento dei dati, disponibile solo per gli utenti della versione a pagamento
La CNIL sta attualmente esaminando il caso per verificare la conformità dell’azienda al Regolamento Generale sulla Protezione dei Dati (GDPR).