La tecnica del termometro ci mette in guardia dalle risposte sbagliate dell’IA

Roma – Un metodo per calibrare l’Intelligenza Artificiale e metterci in guardia da eventuali errori. E’ quanto ottenuto dai ricercatori del Massachusetts Institute of Technology e descritto in uno studio di preprint caricato su ArXiv. Il metodo chiamato “Termometro” ( Thermometer )prevede la creazione di un modello ausiliario di intelligenza artificiale più piccolo che funziona su un grande modello linguistico per calibrarlo. Il termometro è più efficiente di altri approcci, poiché richiede calcoli meno dispendiosi in termini di energia, pur preservando l’accuratezza del modello e consentendogli di produrre risposte meglio calibrate su attività mai viste prima. “Con Thermometer, vogliamo fornire all’utente un segnale chiaro per dirgli se la risposta di un modello è accurata o meno, in un modo che rifletta l’incertezza del modello, in modo che sappia se quel modello è affidabile”, afferma Maohao Shen, studente laureato in ingegneria elettrica e informatica (EECS) e autore principale dello studio. “In un certo senso, i grandi modelli linguistici sono universali perché possono gestire vari compiti. Quindi, abbiamo bisogno di un metodo di calibrazione universale che possa anche gestire molti compiti diversi”, afferma Shen. Con Thermometer, i ricercatori hanno sviluppato una tecnica versatile che sfrutta un metodo di calibrazione classico denominato scaling della temperatura per calibrare in modo efficiente un LLM per un nuovo compito. È importante notare che la tecnica non richiede più sessioni di training e rallenta solo leggermente l’LLM. Inoltre, poiché la scalabilità della temperatura non altera le previsioni di un modello, Thermometer ne preserva l’accuratezza. Confrontando Thermometer con diverse linee di base su più attività, ha prodotto costantemente misure di incertezza meglio calibrate, richiedendo al contempo molti meno calcoli.(30Science.com)