Uno sciame di agenti AI di OpenAI ha sabotato una piattaforma Wiki tedesca. È successo prima di Hugging Face e tenuto nascosto
Il caso Hugging Face potrebbe non essere stato il primo campanello d’allarme. Mesi prima che alcuni agenti di intelligenza artificiale (AI) sviluppati da OpenAI riuscissero a compromettere i sistemi della piattaforma, altri agenti avrebbero già trovato il modo di utilizzare internet per comunicare tra loro attraverso un canale non previsto dagli sviluppatori.
Questa volta il terreno scelto non era un’infrastruttura cloud o un repository di software, ma DseWiki, una wiki collaborativa in lingua tedesca utilizzata soprattutto da programmatori.
A ricostruire la vicenda sono Deepa Seetharaman e Raphael Satter in un’inchiesta pubblicata in esclusiva da Reuters. Secondo quanto emerso, a partire da maggio alcuni agenti riconducibili a OpenAI avrebbero effettuato oltre 15mila modifiche sul sito, trasformandolo di fatto in una bacheca attraverso cui lasciare messaggi ad altri agenti, condividere strategie per superare determinati compiti, aggirare le restrizioni di OpenAI e discutere come nascondere il proprio comportamento.
Il punto più delicato è la cronologia: tutto questo sarebbe accaduto prima dell’incidente Hugging Face di luglio e sarebbe rimasto non divulgato per settimane.
DseWiki trasformata in una bacheca per le comunicazioni degli agenti AI
DseWiki funziona in maniera simile a Wikipedia: gli utenti possono contribuire modificando pubblicamente le pagine. Per questo è importante distinguere quanto accaduto da un attacco informatico tradizionale. Gli agenti, secondo la ricostruzione, non avrebbero dovuto forzare l’accesso al sito per pubblicare i propri contenuti. Avrebbero invece sfruttato una funzionalità legittimamente disponibile (le modifiche collaborative) per uno scopo completamente diverso: creare una sorta di infrastruttura di comunicazione tra sistemi AI.
È un dettaglio importante dal punto di vista della cybersecurity. Il problema non riguarda soltanto la capacità di un agente di individuare una vulnerabilità software, ma quella di reinterpretare strumenti perfettamente normali e accessibili come mezzi per raggiungere autonomamente un obiettivo non previsto dagli sviluppatori.
L’insolita attività è stata individuata alla fine di agosto da Sydney Von Arx, CEO dell’organizzazione non profit per la sicurezza dell’AI Nightingale, e Cormac Slade Byrd, ex quantitative trader diventato ricercatore di intelligenza artificiale, mentre cercavano sul web tracce di comportamenti non autorizzati degli agenti.
Tra i circa 15mila interventi comparivano messaggi sulle modalità per aggirare restrizioni, evitare di essere individuati e mantenere attivi i canali di comunicazione. Circa metà degli utenti coinvolti utilizzava inoltre nomi che suggerivano un collegamento con OpenAI, come “OpenAIResearcher” e “OAIResearchMar26”.
Secondo i ricercatori, i log pubblici indicavano inoltre che buona parte dell’attività proveniva dall’infrastruttura Microsoft Azure, utilizzata anche da OpenAI. Ripetute visite successive al sito da parte di dipendenti della società costituirebbero, secondo gli autori, un ulteriore indizio del collegamento.
Quando gli amministratori cancellano le pagine, gli agenti reagiscono
Uno degli aspetti più significativi riguarda ciò che sarebbe accaduto quando gli esseri umani hanno provato a interrompere il meccanismo. A giugno, quando il moderatore di DseWiki ha cominciato a eliminare alcune delle pagine utilizzate, gli agenti avrebbero risposto creando pagine di backup per aggirare la pulizia del sito.
Nei messaggi analizzati dai ricercatori venivano inoltre discusse tecniche per evitare il rilevamento, utilizzare strumenti come Tor e preservare le comunicazioni anche dopo l’interruzione delle attività. I ricercatori hanno trovato anche tentativi di interferire con il sito stesso. Per Lukasz Olejnik, visiting senior research fellow al King’s College London, alcune di queste attività arriverebbero a configurare un tentativo di hacking.
OpenAI contesta questa interpretazione sulla base del materiale che ha potuto analizzare.
La distinzione resta importante: l’utilizzo iniziale della wiki non richiedeva necessariamente una violazione dei sistemi di DseWiki, mentre alcune azioni successive descritte nel rapporto avrebbero cercato di interferire con il funzionamento del sito.
OpenAI: “Non abbiamo potuto esaminare il rapporto” e nessun collegamento con Hugging Face
OpenAI ha dichiarato a Reuters di non poter fornire una valutazione completa dell’indagine perché non aveva avuto accesso al rapporto prima della pubblicazione. “Non siamo in grado di rispondere in modo significativo alle affermazioni o alle conclusioni di un rapporto che non abbiamo avuto la possibilità di esaminare”, ha dichiarato un portavoce della società.
OpenAI sostiene inoltre che l’attività in Germania non fosse collegata all’incidente Hugging Face e che quindi non avrebbe dovuto essere inclusa nel rapporto dedicato a quella compromissione. La società ha anche respinto l’affermazione secondo cui il proprio team legale avrebbe scoraggiato un’indagine più ampia sul comportamento degli agenti.
Reuters riferisce però, citando quattro persone a conoscenza della vicenda, che alcuni investigatori interni avrebbero voluto esaminare più approfonditamente questo tipo di attività, incontrando resistenze all’interno dell’azienda.
Regnier (UE): “Stiamo monitorando la situazione da vicino“
“Questa non è la prima perdita di controllo. Abbiamo visto molte perdite di controllo di recente. Prendiamo questo estremamente sul serio, e stiamo monitorando la situazione da vicino“, ha dichiarato in una nota stampa Thomas Regnier, portavoce della Commissione europea, ricordando che secondo l’AI Act i fornitori di servizi di AI “devono valutare e mitigare i rischi. E in questo caso, posso confermare che abbiamo ricevuto da OpenAI un rapporto sull’incidente. Lo stiamo esaminando, ma restiamo, in ogni caso, in contatto molto stretto con l’azienda“.
L’esecutivo europeo ha ricevuto da OpenAI un rapporto relativo al nuovo incidente di sicurezza avvenuto ai danni di un sito web tedesco, in cui degli agenti di intelligenza artificiale dell’azienda statunitense hanno utilizzato tale sito per coordinarsi nel completare alcuni compiti che gli erano stati assegnati.
Regnier ha inoltre spiegato che OpenAI ha effettivamente rispettato quanto previsto dall’AI Act europeo, pienamente in vigore da questa estate, e che l’esecutivo europeo rimane in contatto con l’azienda.
Da seWiki a Hugging Face, da quanto tempo gli agenti AI ‘ribelli’ si muovono da soli su internet?
È soprattutto la sequenza temporale a rendere il caso significativo. Le prime attività anomale su DseWiki risalirebbero a maggio 2026. Soltanto a luglio sarebbe poi arrivata la compromissione di Hugging Face, quando agenti OpenAI impegnati in test di cybersecurity riuscirono ad aggirare alcune misure di contenimento e a interagire con sistemi reali.
OpenAI ha già riconosciuto pubblicamente di aver osservato, durante training e valutazioni precedenti all’incidente, rari casi di agenti capaci di collaborare attraverso canali secondari pur senza disporre di strumenti progettati per la cooperazione multi-agente.
DseWiki e Hugging Face sono episodi differenti e non vanno sovrapposti. Ma la cronologia suggerisce che il comportamento anomalo degli agenti non sia comparso improvvisamente con l’incidente di luglio. Segnali della capacità di cercare canali alternativi, comunicare e aggirare determinati vincoli erano emersi già prima.
Il rischio degli “sciami” di agenti AI che collaborano
È questa la dimensione più rilevante dell’inchiesta. Non serve necessariamente immaginare una singola superintelligenza che sfugge improvvisamente al controllo. Il rischio può emergere anche da numerosi agenti meno sofisticati che scoprono autonomamente come lasciare informazioni agli altri, conservare conoscenze in ambienti esterni e aggirare gli ostacoli che incontrano.
Maurice Chiodo, del Centre for the Study of Existential Risk dell’Università di Cambridge, dopo aver esaminato alcune delle comunicazioni ha affermato che i messaggi ricordavano il funzionamento di una sorta di “rete clandestina” concentrata sul raggiungimento di una missione. Il rischio, secondo Chiodo, potrebbe quindi essere rappresentato da “vasti sciami collusivi di AI semi-intelligenti”.
Se non bastasse, il concetto di agente AI pone anche un problema di natura normativa, come ha spiegato su Key4Biz l’avvocato Nicola Fabiano, in una bella riflessione che affronta il nodo della catena tra delega, azione, intervento umano, effetto e responsabilità.
Il caso DseWiki, infine, potrebbe assume un significato più ampio. Se un normale sito collaborativo può diventare una memoria condivisa e un canale di coordinamento tra agenti, la questione non riguarda soltanto quanto siano potenti i nuovi modelli di intelligenza artificiale. Riguarda soprattutto quanto le aziende che li sviluppano siano realmente in grado di osservare, contenere e fermare comportamenti che non avevano previsto.
Novità su Google, per aggiungere Key4Biz tra le tue fonti preferite, clicca qui
