Quattrociocchi, IA militare non distingue vero e plausibile

Roma – “Il problema non è politico. È architetturale”. Walter Quattrociocchi, professore ordinario alla Sapienza Università di Roma e direttore del Center of Data Science and Complexity for Society (CDCS), interviene nel dibattito seguito alla nota di Dario Amodei, ceo di Anthropic, sull’integrazione dei modelli generativi nei contesti della difesa e dell’intelligence statunitense. Nel suo statement, Amodei richiama la “difesa della democrazia”, la responsabilità verso i “valori occidentali” e la necessità di fissare linee rosse etiche su sorveglianza domestica e armi autonome, rivendicando al contempo l’integrazione dei modelli generativi in reti classificate, nell’analisi di intelligence, nella pianificazione operativa e nelle cyber operations. È proprio questa coesistenza tra solennità valoriale e adozione operativa massiccia che, secondo Quattrociocchi, lascia fuori il nodo tecnico centrale.  “La demenza complessiva della faccenda sta nel fatto che questi sistemi non sono strumenti di giudizio. Non sono neanche macchine che comprendono il mondo. Sono modelli statistici che stimano la probabilità della prossima sequenza di token sulla base di enormi quantità di testo”. In altri termini, producono risposte plausibili perché coerenti con le regolarità linguistiche apprese, ma non hanno accesso diretto ai fatti né un meccanismo interno di verifica. Il docente sottolinea che non esiste nei modelli un criterio che consenta loro di distinguere tra vero e semplicemente coerente. “La loro forza è la compressione delle regolarità del discorso; il mondo, però, non coincide con esse”. L’errore non è un incidente occasionale, ma una possibilità intrinseca alla struttura probabilistica del sistema. Quando si parla di “guardrail”, di limiti etici e di usi leciti, secondo Quattrociocchi si interviene a valle del problema. “L’inaffidabilità non è un difetto contingente che verrà risolto con qualche fine-tuning in più o con un protocollo di supervisione aggiuntivo; è la conseguenza diretta di un’architettura che ottimizza la plausibilità statistica invece della verità fattuale”. Un modello può produrre risposte corrette, anche sofisticate, ma non possiede un criterio interno per sapere quando lo sono, né un ancoraggio causale che lo colleghi al mondo che descrive. “Integrare sistemi di questo tipo in contesti ad alta intensità strategica significa introdurre opacità probabilistica dentro catene decisionali dove l’errore non è un refuso, ma può diventare un’escalation”. Per Quattrociocchi, il punto non è essere contro l’AI nella difesa, né indulgere in moralismi astratti. “Il punto è pretendere una descrizione corretta del processo: capire che cosa fa davvero un modello generativo, quali sono i suoi limiti intrinseci, quale tipo di errore produce e in quali condizioni tende a emergere”. Senza questa comprensione, avverte, il dibattito rischia di ridursi a una contrapposizione simbolica tra principi dichiarati e rassicurazioni formali. Il nodo, conclude, è “epistemico”, cioè riguarda la qualità e l’affidabilità della conoscenza prodotta. Occorre distinguere tra simulazione di giudizio e giudizio effettivo, tra performance statistica e affidabilità epistemica — ossia la capacità di generare conoscenza fondata, verificabile e consapevole dei propri limiti. “La differenza tra plausibilità e verità non è una sottigliezza filosofica. In certi contesti è una questione strategica”. Ignorarla, coprendola con dichiarazioni solenni, significa non affrontare il problema strutturale dell’integrazione dell’AI nelle infrastrutture critiche dello Stato.(30Science.com)