Replika, il Garante privacy blocca il chatbot basato sull'intelligenza artificiale

Garante per la protezione dei dati personali, provvedimento del 2 febbraio 2023

[doc. web n. 9852214]

Registro dei provvedimenti
n. 39 del 2 febbraio 2023

IL GARANTE PER LA PROTEZIONE DEI DATI PERSONALI

VISTO il Regolamento (UE) 2016/679 del Parlamento europeo e del Consiglio del 27 aprile 2016 (di seguito, “Regolamento”);

VISTO altresì il Codice in materia di protezione dei dati personali (d.lgs. 30 giugno 2003, n. 196);

RILEVATO che recenti notizie di stampa hanno dato evidenza – con dovizia di dettagli – di alcune prove condotte sull’applicazione Replika (una chatbot, con interfaccia scritta e vocale, basata sull’intelligenza artificiale che genera un “amico virtuale” che l’utente può decidere di configurare come amico, partner romantico o mentore), prove che hanno evidenziato concreti rischi per i minori d’età e, più in generale, per le persone in stato di fragilità emotiva;

RILEVATO che nella privacy policy (aggiornata al 5 luglio 2022) pubblicata nel suo sito web, il fornitore del servizio dichiara di non raccogliere consapevolmente dati personali di minori di età inferiore ai 13 anni ed incoraggia i genitori e i tutori legali a monitorare l’utilizzo di Internet da parte dei propri figli, a rispettare la privacy policy istruendo i minori a non fornire mai dati personali sul servizio senza la loro autorizzazione e a contattare la piattaforma nell’ipotesi in cui abbiano motivo di ritenere che un bambino di età inferiore ai 13 anni abbia fornito dati personali affinché questi possano essere eliminati dai database;

RILEVATO, in particolare, che nei due principali “App store” l’applicazione viene classificata come idonea a persone maggiori di 17 anni, mentre, nei termini di servizio (aggiornati al 14 settembre 2022) pubblicati nel sito web dello sviluppatore viene indicato un divieto di utilizzo per i minori di 13 anni e l’esigenza che i minori di 18 anni siano previamente autorizzati da un genitore o da un tutore;

CONSIDERATO che dalle prove condotte e riportate dai richiamati articoli di stampa emerge l’assenza di filtri per i minori di età e la proposizione ad essi di risposte assolutamente inidonee rispetto al grado di sviluppo e autoconsapevolezza degli stessi;

VERIFICATO che durante la fase di creazione di un account la piattaforma non prevede alcuna procedura di verifica e controllo dell’età dell’utente, di cui il sistema chiede solamente nome, e-mail e genere;

VERIFICATA altresì l’assenza di meccanismi di interdizione o blocco anche a fronte di dichiarazioni dell’utente che esplicitino la sua minore età e la proposizione di “risposte” da parte della chatbot palesemente in contrasto con le tutele che andrebbero assicurate ai minori e, più in generale, a tutti i soggetti più fragili;

PRESO ATTO che anche diverse recensioni pubblicate nei due principali “App store” contengono commenti di utenti che lamentano contenuti sessualmente inopportuni forniti dalla chatbot Replika;

RILEVATO che nel sito web dello sviluppatore, nonché dei due principali “App store”, Replika viene presentata come una chatbot in grado di migliorare l’umore ad il benessere emotivo dell’utente, aiutandolo a comprendere i suoi pensieri e i suoi sentimenti, a tenere traccia del suo umore, ad apprendere capacità di coping (ossia, di controllo dello stress) a calmare l'ansia e a lavorare verso obiettivi come il pensiero positivo, la gestione dello stress, la socializzazione e la ricerca dell'amore;

RITENUTO che anche tali caratteristiche, riconducibili principalmente ad interventi sull’umore della persona, possano risultare idonee ad accrescere i rischi per i soggetti fragili coinvolti;

CONSIDERATO, altresì, che la richiamata privacy policy non può ritenersi conforme ai principi e agli obblighi previsti dal Regolamento in tema di trasparenza, nulla rivelando in merito agli elementi essenziali del trattamento con particolare riguardo all’utilizzo dei dati personali dei minori, con ciò ponendosi in contrasto con l’art. 13 del Regolamento;

CONSIDERATO che dall’appena riferito difetto di informativa deriva l’impossibilità di individuare la stessa base giuridica delle varie operazioni di trattamento effettuate dalla menzionata chatbot, dovendosi in ogni caso escludere che, con riguardo in particolare ai minori, questa possa – anche solo implicitamente – essere rinvenuta nella disciplina contrattuale, attesa la riconosciuta incapacità dei minori nell’ordinamento italiano a concludere contratti per la fruizione di servizi quale quello in oggetto che comportano una rilevante messa a disposizione di propri dati personali;

RITENUTO pertanto che nella situazione sopra delineata, il trattamento dei dati personali degli utenti, in particolare di quelli minori, si ponga in violazione degli artt. 5, 6, 8, 9 e 25 del Regolamento;

RAVVISATA, pertanto, la necessità di disporre – ai sensi dell’art. 58, par. 2, lett. f), del Regolamento – in via d’urgenza, nei confronti di Luka Inc, società statunitense sviluppatrice e gestrice di Replika, in qualità di titolare del trattamento dei dati personali effettuato attraverso l’applicazione in questione, la misura della limitazione provvisoria del trattamento;

RITENUTO che, in assenza di qualsivoglia meccanismo di verifica dell’età degli utenti, nonché, comunque, del complesso delle violazioni rilevate, detta limitazione provvisoria debba estendersi a tutti i dati personali degli utenti stabiliti nel territorio italiano;

RITENUTO necessario disporre la predetta limitazione con effetto immediato a decorrere dalla data di ricezione del presente provvedimento, riservandosi ogni altra determinazione all’esito della definizione dell’istruttoria avviata sul caso;

RICORDATO che, in caso di inosservanza della misura disposta dal Garante, trova applicazione la sanzione penale di cui all’art. 170 del Codice e le sanzioni amministrative previste dall’art. 83, par. 5, lett. e), del Regolamento;

RITENUTO, in base a quanto sopra descritto, che ricorrano i presupposti per l’applicazione dell’art. 5, comma 8, del Regolamento n. 1/2000 sull’organizzazione e il funzionamento dell’ufficio del Garante, il quale prevede che «Nei casi di particolare urgenza e di indifferibilità che non permettono la convocazione in tempo utile del Garante, il presidente può adottare i provvedimenti di competenza dell'organo, i quali cessano di avere efficacia sin dal momento della loro adozione se non sono ratificati dal Garante nella prima riunione utile, da convocarsi non oltre il trentesimo giorno»;

VISTA la documentazione in atti;

TUTTO CIÒ PREMESSO IL GARANTE:

a) ai sensi dell’art. 58, par. 2, lett. f), del Regolamento dispone, in via d’urgenza, nei confronti di Luka Inc, società statunitense sviluppatrice e gestrice di Replika, in qualità di titolare del trattamento dei dati personali effettuato attraverso tale applicazione, la misura della limitazione provvisoria, del trattamento dei dati personali degli utenti stabiliti nel territorio italiano;

b) la predetta limitazione ha effetto immediato a decorrere dalla data di ricezione del presente provvedimento, con riserva di ogni altra determinazione all’esito della definizione dell’istruttoria avviata sul caso.

Il Garante, ai sensi dell’art. 58, par. 1, del Regolamento (UE) 2016/679, invita il titolare del trattamento destinatario del provvedimento, altresì, entro 20 giorni dalla data di ricezione dello stesso, a comunicare quali iniziative siano state intraprese al fine di dare attuazione a quanto prescritto e di fornire ogni elemento ritenuto utile a giustificare le violazioni sopra evidenziate. Si ricorda che il mancato riscontro alla richiesta ai sensi dell’art. 58 è punito con la sanzione amministrativa di cui all'art. 83, par. 5, lett. e), del Regolamento (UE) 2016/679.

Ai sensi dell’art. 78 del Regolamento, nonché degli artt. 152 del Codice e 10 del d.lgs. 1° settembre 2011, n. 150, avverso il presente provvedimento può essere proposta opposizione all’autorità giudiziaria ordinaria, con ricorso depositato al tribunale ordinario del luogo ove ha la residenza il titolare del trattamento dei dati, entro il termine di trenta giorni dalla data di comunicazione del provvedimento stesso, ovvero di sessanta giorni se il ricorrente risiede all’estero.

In Roma, 2 febbraio 2023

IL PRESIDENTE
Stanzione