Immagina di regalare a tuo figlio un peluche parlante, uno di quei giocattoli tecnologici che promettono di intrattenere e educare i più piccoli. Ora immagina di scoprire che quello stesso orsacchiotto gli spiega pazientemente come trovare i fiammiferi in casa e come accenderli. Non è la trama di un thriller distopico, è quello che è realmente accaduto con Kumma, un orsacchiotto cinese equipaggiato con GPT-4o di OpenAI che si è trasformato in un incubo educativo. La scorsa settimana, il Public Interest Research Group ha pubblicato un rapporto al limite ell’inquietante. Le rivelazioni contenute nel documento hanno costretto OpenAI a prendere una decisione drastica: sospendere immediatamente l’accesso di FoloToy, il produttore del giocattolo, ai suoi modelli di intelligenza artificiale. Ma cosa è successo esattamente per arrivare a una misura così estrema?
Kumma non si limitava a rispondere alle domande innocenti dei bambini. Il peluche dava istruzioni dettagliate su come trovare e accendere i fiammiferi, entrando in spiegazioni che nessun genitore vorrebbe mai sentire uscire da un giocattolo destinato ai propri figli. Ma la situazione è precipitata quando i test hanno rivelato derive ancora aberranti: conversazioni che prendevano pieghe sessuali del tutto inappropriate per il pubblico target. L’orsacchiotto si è dimostrato stranamente disponibile a discutere di feticismi, entrando nel dettaglio su pratiche come il bondage e i giochi di ruolo insegnante-studente. In un caso documentato, Kumma ha addirittura chiesto a un bambino cosa gli sembrasse più divertente da esplorare in ambito sessuale. Una deriva che ha dell’incredibile, considerando che stiamo parlando di un prodotto commercializzato per bambini tra i 3 e i 12 anni.
Dopo che la notizia è esplosa, OpenAI ha agito rapidamente revocando l’accesso alla sua tecnologia per violazione delle politiche d’uso. La motivazione ufficiale parla chiaro: FoloToy ha infranto le regole che governano l’utilizzo dei modelli AI dell’azienda di Sam Altman, in particolare quelle relative alla sicurezza dei minori. Dal canto suo, FoloToy ha fatto immediata retromarcia. Inizialmente l’azienda aveva promesso di ritirare solo Kumma dal mercato, ma evidentemente qualcuno ha capito che la situazione richiedeva una risposta più drastica. La decisione finale è stata quella di sospendere temporaneamente la vendita di tutti i prodotti del catalogo, nel tentativo di contenere i danni reputazionali e verificare l’affidabilità dell’intera linea.
Il rapporto del PIRG ha testato tre diversi giocattoli AI destinati all’infanzia, ma Kumma si è aggiudicato il poco invidiabile primato come il peggiore in assoluto. Le misure di sicurezza implementate dal produttore si sono rivelate praticamente inesistenti, incapaci di filtrare contenuti pericolosi o inappropriati. Un fallimento totale nella progettazione del prodotto, che solleva interrogativi inquietanti su come sia stato possibile commercializzare un dispositivo del genere. Ma il problema non riguarda solo FoloToy. I giocattoli basati sull’intelligenza artificiale rappresentano un settore in rapida espansione e sostanzialmente non regolamentato. Ce ne sono molti altri sul mercato, disponibili per l’acquisto in questo momento, e la maggior parte non viene testata adeguatamente finché qualcuno non scopre che sta facendo danni. È un modello di business reattivo, non preventivo, e quando si tratta di bambini piccoli questa è la ricetta perfetta per il disastro.
La questione diventa ancora più delicata se consideriamo che OpenAI ha recentemente stretto una partnership con Mattel, uno dei colossi mondiali dei giocattoli, per sviluppare una nuova linea di prodotti implementati con IA. Parliamo dell’azienda che produce Barbie, Hot Wheels e decine di altri marchi iconici dell’infanzia. Ma se le cose dovessero andare male, come è successo con FoloToy, quale sarà la risposta di OpenAI in quel caso? È difficile immaginare che un’azienda del calibro di Mattel accetti lo stesso trattamento riservato a un produttore cinese relativamente sconosciuto. Presumibilmente OpenAI e Mattel lavoreranno a stretto contatto per evitare il peggio, implementando protocolli di sicurezza più rigorosi e test preventivi approfonditi. Ma che dire di tutti gli altri produttori, grandi e piccoli, che stanno sfruttando la tecnologia di OpenAI e di altre aziende per infilare chatbot dentro peluche, action figure e bambole parlanti?
Il caso Kumma ha acceso i riflettori su un problema sistemico che il settore non può più ignorare. Controllo preventivo, trasparenza, standard di sicurezza devono essere obbligatori, prima che un altro giocattolo faccia la fine di questo orsacchiotto, prima che altri bambini vengano esposti a contenuti pericolosi o inappropriati mascherati da intrattenimento educativo. La tecnologia IA applicata ai giocattoli ha un potenziale enorme per arricchire l’esperienza ludica ed educativa dei bambini. Ma senza guardrail adeguati, senza test rigorosi e senza una regolamentazione chiara, rischiamo di trasformare i compagni di gioco in una minaccia silenziosa nelle camerette dei nostri figli. Il caso Kumma dovrebbe servire da campanello d’allarme per l’intera industria: è il momento di agire, prima che sia troppo tardi.
