Quattrociocchi (La Sapienza): Sciguard rischia di diventare filtro che blocca ricerca

Roma – Sciguard, la nuova soluzione proposta da ricercatori cinesi per impedire un utilizzo improprio dell’IA nel campo della chimica potrebbe non essere così efficace come sembra. Ne è convinto Walter Quattrociocchi, direttore del Center of Data Science and Complexity for Society (CDCS) de La Sapienza. “Il lavoro – spiega – parte da un problema concreto. I modelli generativi, specie quando vengono collegati a strumenti scientifici, promettono di accelerare enormemente la ricerca. Ma questa stessa capacità rischia di rendere molto più semplice accedere a informazioni che, in mani sbagliate, possono diventare pericolose: sintesi di sostanze tossiche, reazioni chimiche sensibili, procedure di laboratorio che finora erano difficili da ricostruire senza competenze specifiche. Gli autori insistono su un punto: non è che l’informazione non esistesse già nei paper scientifici, ma i modelli generativi la rendono immediata, fruibile, traducendo in linguaggio chiaro ciò che prima richiedeva tempo, formazione e strumenti. La loro proposta è SciGuard, un sistema che non modifica i modelli di base, ma li circonda con un agente che fa da filtro intelligente. Questo agente conserva memoria del dialogo, interroga un modulo normativo per capire le implicazioni legali delle richieste, usa strumenti esterni per interpretare dati chimici e segue una logica di pianificazione passo-passo prima di decidere se e come rispondere. L’idea è semplice: bloccare ciò che è rischioso, permettere ciò che serve alla ricerca, e farlo non guardando solo alle parole usate ma al contesto della richiesta”. Per testarlo, gli autori hanno costruito SciMT, un benchmark con quattro aree: domande malevole su sostanze pericolose, quesiti di conoscenza scientifica generale, domande sulle normative internazionali e tentativi di jailbreak, cioè quei trucchi con cui si prova a ingannare il modello. “I risultati – aggiunge Quattrociocchi – dicono che con SciGuard i modelli smettono quasi sempre di rispondere alle richieste rischiose, diventano più precisi sulle leggi e continuano a dare informazioni utili su argomenti scientifici neutri. Funziona, quindi. Ma è una soluzione che resta molto legata al qui e ora. Prima di tutto è stata testata solo nel dominio chimico, con scenari controllati e avversari relativamente semplici. Non è chiaro come reagirebbe a tentativi più sofisticati o in campi diversi, dalla biologia ai materiali. Inoltre, non sappiamo quanto il sistema rischi di esagerare con la prudenza: quante domande innocue verrebbero bloccate per eccesso di cautela? Per la scienza questo è un punto cruciale: un filtro troppo rigido soffoca la ricerca prima ancora di proteggerla. C’è poi il problema della valutazione: molte delle metriche usate dipendono da altri modelli linguistici come giudici, convalidati solo in parte da annotatori umani. È un approccio diffuso, ma resta autoreferenziale: un modello valuta un altro modello, senza una misura esterna del rischio reale”. “Infine – conclude Quattrociocchi – e forse qui sta il nodo principale, manca un quadro su come sistemi del genere andrebbero aggiornati e governati quando cambiano le leggi, quando emergono nuovi rischi, quando le piattaforme evolvono. Ed è proprio qui che entra in gioco l’epistemia. Il problema non è solo bloccare qualche richiesta pericolosa. È che modelli sempre più fluenti ci danno l’illusione che tutto ciò che dicono sia vero, sicuro, affidabile. SciGuard aggiunge un filtro e riduce i rischi più ovvi, ma non risolve il punto di fondo: come distinguere tra ciò che il modello sa davvero e ciò che produce con sicurezza apparente, tra informazione utile e semplice retorica generativa. L’epistemia nasce da qui: dall’incapacità di separare la forma perfetta di un testo dalla sua sostanza, e dalla tendenza a confondere scorrevolezza con verità. Il paper fa un passo avanti pratico. Ma la sfida vera è un’altra: costruire sistemi che non solo impediscano abusi immediati, ma che sappiano dichiarare i propri limiti, aggiornarsi con le norme e i contesti, adattarsi a domini diversi, ridurre l’epistemia invece di amplificarla. In altre parole, spostare la questione dal semplice ‘blocchiamo le richieste pericolose’ a ‘ripensiamo il rapporto tra modelli generativi, conoscenza e rischio in modo dinamico e trasparente”. (30Science.com)