Analisi

Immuni, cosa dire della sua utilità sulla base dei dati che (non) abbiamo

di Federico Cabitza, Professore Sistemi Informativi e Interazione Uomo-Macchina all’Università degli Studi di Milano-Bicocca |

Al momento le incognite sono più delle certezze e ciò che preoccupa di più, a quasi 4 mesi dall’inizio del progetto Immuni su scala nazionale è la non trasparenza nella condivisione dei dati e una bassa sensibilità riguardo alla necessità di analizzare i dati per cercare e trovare prove di efficacia.

Come noto, la situazione di diffusione della pandemia COVID-19 in molti stati Europei sta raggiungendo numeri che, sebbene ancora molto diversi dalla situazione italiana, non lasciano prevedere un autunno tranquillo e anzi presagire che la situazione dei contagi potrà tornare a salire anche in Italia, con il conseguente spettro di altre forme, più o meno diffuse, di limitazione alla circolazione delle persone sui territori interessati da intensi focolai epidemici.

In questo contesto di incertezza, è più che lecito chiedersi se l’app di digital contact tracing Immuni potrà essere utile, soprattutto in questo periodo di riapertura degli istituti scolastici in cui non sono infrequenti, anche da parte di influenti esponenti del governo, appelli ad una maggiore diffusione e uso. Come abbiamo indicato più volte anche su Key4biz, ogni appello ad un maggiore uso di Immuni si basa sulla convinzione che essa sia utile a contenere la diffusione del contagio, ma questa convinzione non è basata su prove di efficacia e utilità basata sui dati, o almeno su dati che siano stati condivisi alla comunità scientifica italiana per una verifica distribuita, indipendente e verificata da più ricercatori.

A partire dai pochi dati estrapolati finora da interviste e conferenze stampa cosa può quindi essere detto della efficacia di Immuni? 

Partiamo da un dato indiretto: nella settimana dal 10 al 16 Settembre 2020 in Svizzera il sito ufficiale della app di tracciamento, Swisscovid, riporta 465 procedure di sblocco, cioè persone trovate positive che avevano installato l'”Immuni” svizzera e hanno segnalato la loro positività al sistema perché questo notificasse ai loro contatti stretti di essere a rischio (numero di contatti di cui purtroppo ignoriamo il numero). Nello stesso periodo 2.911 persone sono state trovate positive in Svizzera. Di queste però circa 2.154 erano in “età da app”, cioè circa il 74%, estrapolando il dato dalla composizione anagrafica della Confederazione. 465 “autodenunce” su 2.154 positivi che avrebbero avuto la app corrisponde al 22%. È plausibile, perché gli utenti attivi di Swisscovid in Svizzera sono 1 milione e 600.000, il 25% delle persone in età da app (che sono 6 milioni e 405mila, su una popolazione di 8.656.000). L’ordine di grandezza è il medesimo. Se in uno stato si trovano tot positivi in età da app, ci si aspetta che il numero di utenti di app di contact tracing trovati positivi sia simile alla proporzione di utenti di quella app rispetto alla popolazione in età da app.

Applichiamo ora il medesimo ragionamento ad Immuni. In agosto i positivi sono stati 20.755. Estrapoliamo dal dato anagrafico italiano il numero di positivi nell’età da app: circa 15.600. Se consideriamo la diversa prevalenza della malattia nei vari strati della popolazione il numero potrebbe essere leggermente più alto, circa 17.000, ma ritengo non molto diverso. Ora quante persone in età da app hanno Immuni? Non possiamo considerare 6 milioni e 100 mila, l’unico dato condiviso dal Governo e dal CTS, perché questi sono i download, non i suoi utenti attivi.

Se vale la proporzione che troviamo in Svizzera (due terzi) allora in Italia abbiamo ora circa 4 milioni e 100 mila utenze attive (questo è un dato importante che conoscono e non condividono, perchè?), quindi circa il 9% di quelli in età da app (15-75 anni, che in Italia sono 45 milioni e mezzo). Ma questo è il dato attuale, non quello di agosto.

In agosto stimiamo un numero un po’ minore di utenze attive (assumiamo che il numero sia cresciuto poco il mese scorso, e che quindi possiamo considerarlo quasi costante tra gli inizi e la fine del mese), quindi 3 milioni e 630 mila (l’8% della popolazione in età da app). Quindi, dati 20.755 positivi ad agosto, 15.600 in età da app, potremmo aspettarci che un numero simile al 7-8% di questa cifra fosse positivo e avesse Immuni installato: quindi 15.600 x 7% = circa 1.000.

Quante procedure di sblocco abbiamo avuto in agosto? Me ne risultano 96.

Si tratta quindi di un numero tra il 5 e il 6 per mille dei positivi in età da app (poco più della metà dell’1%). Questa è una discrepanza strana. Si possono fare numerose ipotesi, assumendo e non concedendo che il numero sia corretto per via delle approssimazioni a cui siamo costretti dalla non divulgazione dei dati di utilizzo per settimana.

Questo dato è forse dovuto al fatto che la verifica di positività sia avvenuta fuori da un protocollo che richieda di verificare l’uso di Immuni?

È dovuto al fatto che chi ha Immuni ed è trovato positivo non si è segnalato (comportamento che reputiamo improbabile perché comunque questi sarebbe costretto all’isolamento fiduciario dal protocollo sanitario e non riceverebbe alcun danno dalla segnalazione anonima al sistema Immuni).

È dovuto all’impreparazione (anche infrastrutturale) degli operatori sanitari che dovrebbero far partire la procedura di sblocco, poi verificata dall’utente di Immuni?

È, infine, dovuto forse al fatto che immuni ha un numero di falsi negativi molto maggiore di altre app europee? (io questo tenderei ad escluderlo, poiché il modello di rischio è il medesimo).

Infatti, non si può pretendere che questo genere di applicazioni abbia una sensitività (capacità di evitare falsi negativi) troppo alta, soprattutto se sono usate da una ridotta porzione della popolazione. Ricordiamo che se il 10% della popolazione (in età da app) ha scaricato Immuni (dato attuale) solo l’1% dei contatti veramente a rischio (secondo la definizione dell’Istituto Superiore di Sanità) può essere “tracciato” dall’app.

Se invece ad avere Immuni fosse il 25% della popolazione (soglia che alcuni ritengono sia necessario raggiungere per avere un effetto positivo sulla diffusione del contagio) non sarebbero molti di più: il 6%. Inoltre, se il sistema Immuni avesse una sensibilità del 10% (cioè generasse il 90% di falsi negativi, e non è una stima pessimista), allora i contatti davvero a rischio segnalati dall’app sarebbero, rispettivamente, l’1 per mille e il 6 per mille. Si è mai ragionato su questo genere di numeri per capire se l’app può essere davvero utile? In prima approsimazione basta moltiplicare il quadrato della prevalenza dell’app immuni nella popolazione suscettibile per la sensibilità del modello che essa implementa.

Ma torniamo all’altro 6 per mille che ci suona strano, quello sulla quota di positivi che hanno utilizzato attivamente Immuni. Questo dato rappresenta una anomalia (anche rispetto alla Svizzera) che suggerisce la necessità di indagare meglio sull’utilità di questo sistema sulla base di dati reali e ufficiali, non su modellazioni teoriche o sulle estrapolazioni a cui siamo costretti dall’attuale politica di scarsa trasparenza attuata dal nostro Governo in materia.

Inoltre, potremmo chiederci: quante segnalazioni di contatto a rischio si creano a partire dalle procedure di sblocco? Il mio dato (aggiornato alla prima settimana di settembre) è di 221 codici (ID) e 3.080 notifiche: ogni codice in media ha generato quindi 15 contatti: pochi o comunque non molti di più di quanti potrebbe generare un contact tracing manuale. Di nuovo, un indizio (non una prova) di bassa efficacia dell’app in termini di falsi negativi. Ribadisco quanto già scritto: personalmente sono nel novero di chi considera il problema dei falsi negativi molto meno grave di quello dei falsi positivi, perché vale il principio che anche un contatto a rischio identificato in più, un focolaio arrestato sul nascere in più, anche uno solo, è meglio di niente, anche a fronte di costi (di gestione) che diverse voci stimano essere ingenti.

Il problema vero sono invece i falsi positivi

Ovviamente non può essere detto nulla sui falsi positivi a partire dai dati che (non) abbiamo: cioè non sappiamo quanti di quei 3.080 notificati dal 13 luglio ai primi di settembre fossero davvero positivi. Qui si inserisce la mia proposta di un questionario volontario che cercasse di capire dalla voce (anonima) di chi fosse stato notificato dall’app come contatto a rischio:
1) quanti di questi si fosse auto-denunciato al proprio medico di medicina generale o al servizio preposto;
2) quanto questi avessero atteso il tampone in media;
3) quanti si fossero messi in isolamento domiciliare fiduciario e vi avessero messo anche i loro parenti stretti, e quindi quante giornate di lavoro avessero perso loro e quante ore di scuola avessero fatto perdere ai propri figli prima dell’esito del tampone;
4) infine, quanti fossero poi effettivamente risultati positivi al tampone.
Il falso positivo rappresenta un costo, principalmente economico, per il sistema Italia, in termini di tamponi inutili fatti, di ore uomo del personale medico/infermieristico dedicato, di ore-uomo di lavoro perse per quarantene non necessarie; ma anche un costo sociale, per l’ansia ingenerata in chi viene contattato, per l’attesa di un tampone, per l’allontanamento dal proprio ambiente sociale, affettivo, lavorativo, scolastico. 

Al momento le incognite sono più delle certezze e ciò che preoccupa di più, a quasi 4 mesi dall’inizio del progetto Immuni su scala nazionale è la non trasparenza nella condivisione dei dati e una bassa sensibilità riguardo alla necessità di analizzare i dati per cercare e trovare prove di efficacia. Immuni sembra un elemento indubitabile di una strategia nazionale che si basa su verità scientifiche e sull’efficacia delle tecnologie digitali. In realtà è un esperimento tecno-sociale ispirato e influenzato da modelli matematici di cui è necessario provare la affidabilità e fedeltà rispetto al mondo reale. Lo scenario potrà radicalmente cambiare con l’arrivo dei testi antigenici rapidi salivari; ma, per il momento, non possiamo dare per scontato che una soluzione tecnologica sia efficace, e quindi utile, di per sé, in mancanza di analisi statistiche fondate su dati certi, verificati, e quindi di prove di reale efficacia. Possiamo cercarle. Dobbiamo cercarle in questa fase della pandemia, senza perdere altro tempo.

Aggiornamento 26 Settembre 2020


Poche ore dopo la pubblicazione di questo articolo, sono stati diffusi alcuni dati aggiornati su Immuni da parte del ministro dell’Innovazione.

Aggiorniamo le nostre considerazioni. 
Tra il 14 e il 24 Settembre (inizio delle scuole in molte Regioni), quindi in 10 giorni, immuni ha registrato 1109 procedure di sblocco, a fronte di 15060 persone trovate ufficialmente come positivi al COVID-19. Quindi circa il 7%. Questo ci suggerisce che non c’è più la strana discrepanza di Agosto (quando il rapporto era dieci volte più basso). Infatti 7-9% è il tasso di “prevalenza” dell’uso di immuni nella popolazione in età da app, sempre considerando la legge dei “2 terzi rispetto ai download” che possiamo desumere dal caso svizzero. I falsi negativi sembrano quindi fortemente ridimensionati. Rimane urgente ed interessante l’analisi dei falsi positivi: si parla di 10 focolai (epidemici) in quegli stessi 10 giorni, cioè (assumiamo) 10 persone che, in seguito a notifica di contatto, si sono segnalate alle autorità sanitarie competenti, sono state trovate positive, e sono state messe in isolamento domiciliare (così che la catena di contagio sia interrotta o fortemente ridotta). Ovviamente 10 persone su 15000 contatti a rischio (1109 x circa 15 contatti a positivo, si veda sopra) sarebbe un numero molto piccolo, ma non sappiamo quante persone di quelle notificate come contatti a rischio si siano effettivamente attivati per farsi fare il tampone, e quindi quanti di essi siano stati trovati positivi (perdendo quante ore di vita lavorativa/sociale prima di tale esito). Continuiamo a non conoscere quello che più conta per capire se immuni ha un “beneficio netto” positivo in questa fase della pandemia. Rimaniamo convinti che questo potrebbe comunque essere almeno “sondato”, se avessimo più dati da incrociare tra loro, e la volontà politica di “farli parlare” per informare i prossimi passi da fare, tutti quanti, come collettività responsabile e consapevole.