IA può prevedere i risultati degli studi meglio degli esperti umani

Roma – I modelli linguistici di grandi dimensioni, un tipo di intelligenza artificiale che analizza il testo, possono prevedere i risultati degli studi neuroscientifici proposti con maggiore accuratezza rispetto agli esperti umani. A questo curioso risultato giunge uno studio, pubblicato sulla rivista Nature Human Behaviour, condotto dagli scienziati dell’University College di Londra. Il team, guidato da Ken Luo, ha esaminato la capacità dei modelli linguistici di grandi dimensioni (LLM), addestrati su vasti set, di estrapolare modelli dalla letteratura scientifica e prevedere i risultati dei trial. “Dall’avvento dell’Intelligenza artificiale – afferma Luo – molte ricerche si sono concentrate sulle capacità di risposta alle domande degli LLM, dimostrando la loro straordinaria abilità nel riassumere le conoscenze da ampi dati di formazione. Tuttavia, anziché enfatizzare la capacità retrospettiva di recuperare informazioni passate, volevamo esplorare la possibilità di sintetizzare conoscenze e prevedere risultati futuri”. Il progresso scientifico, spiegano gli esperti, si basa spesso su tentativi ed errori, ma ogni esperimento meticoloso richiede tempo e risorse. Anche i ricercatori più abili possono trascurare intuizioni critiche dalla letteratura. Il team ha sviluppato BrainBench, uno strumento per valutare l’efficacia dei modelli linguistici di grandi dimensioni (LLM) nel predire i risultati delle neuroscienze. Composto da numerose coppie di abstract di studi di neuroscienze, il modello analizza da un lato il testo che riporta il background della ricerca, i metodi e i risultati, e al contempo una versione in cui background e metodi sono invariati, ma i risultati sono stati modificati da esperti nel dominio di neuroscienze per ottenere un risultato plausibile ma errato. Il gruppo di ricerca ha testato 15 diversi LLM di uso generale e 171 esperti di neuroscienze umane. Tutti i modelli di intelligenza artificiale hanno superato i partecipanti umani, raggiungendo una precisione media dell’81 per cento, a fronte del 63 per cento riscontrato tra gli esperti di neuroscienze. Anche quando sono stati coinvolti solo i volontari con il grado di competenza più elevato, la precisione media, che raggiungeva il 66 per cento, restava comunque significativamente più bassa rispetto agli LLM. Successivamente, i ricercatori hanno adattato un modello esistente open source addestrandolo specificamente sulla letteratura neuroscientifica. Il risultato, chiamato BrainGPT, ha ottenuto un punteggio di precisione dell’86 per cento. “Questi risultati – commenta Bradley Love, altra firma dell’articolo – supportano l’ipotesi che nel prossimo futuro gli scienziati utilizzeranno strumenti di intelligenza artificiale per progettare le sperimentazioni. Siamo rimasti davvero colpiti dalle performance incredibilmente accurate degli LLM. Ci chiediamo se gli scienziati siano sufficientemente innovativi ed esplorativi”. “Sulla base dei nostri risultati – conclude Luo – stiamo sviluppando strumenti di intelligenza artificiale per assistere i ricercatori. La possibilità di sfruttare le capacità dell’intelligenza artificiale consentirebbe un’iterazione più rapida e un processo decisionale più informato nella definizione degli esperimenti scientifici”.(30Science.com)