Con più dati, l’IA passa da riconoscere la struttura a capire il significato delle frasi

Roma – Quando i modelli linguistici sono addestrati con un set di dati sufficientemente ampio, hanno maggiori probabilità di comprendere il significato del linguaggio, piuttosto che la mera struttura delle frasi. Questo curioso risultato emerge da uno studio, pubblicato sul Journal of Statistical Mechanics: Theory and Experiment (JSTAT), condotto dagli scienziati dell’Università di Harvard. Il team, guidato da Hugo Cui, ha utilizzato delle reti semplificate per valutare in che modo i sistemi di intelligenza artificiale interpretino gli input forniti. Le capacità linguistiche dei modelli di IA, spiegano gli esperti, sono sorprendenti, e permettono di intrattenere conversazioni apparentemente naturali con i bot, come chatGPT, con una fluidità notevole. Tuttavia, si conosce ancora molto poco sulle dinamiche alla base dei processi interni delle reti. I ricercatori hanno scoperto che quando si utilizzano piccole quantità di dati per l’addestramento, le reti neurali analizzano la posizione delle parole in una frase. Ad esempio, negli idiomi a cui siamo abituati, il predicato si trova tra il soggetto e il complemento. Proprio come i bambini che imparano a leggere, spiegano gli studiosi, le reti neurali iniziano a comprendere le frasi in base alla posizione delle parole: a seconda di dove si trovano i lemmi, la rete può dedurre relazioni, individuare il soggetto, il predicato e i complementi. Con l’aumentare delle interazioni, però, il significato delle parole diventa la fonte primaria di informazioni. Il modello semplificato, infatti, dimostra che la quantità di dati che vengono forniti all’intelligenza artificiale influenza direttamente la strategia utilizzata dall’IA per l’interpretazione delle frasi. Nello specifico, all’aumentare dell’esperienza, il modello passa dalle ‘regole posizionali di base’ a una comprensione più profonda del significato delle parole e delle loro interazioni. Gli scienziati hanno scoperto, inoltre, che il passaggio avviene in modo brusco, in modo simile a un cambiamento di fase in fisica. Il quantitativo di dati necessario alla transizione da una comprensione di tipo posizionale a una di tipo semantico, però, è influenzato da diversi fattori, come la complessità del modello e la qualità dei dati, e non è determinabile universalmente. Il lavoro, sostengono gli autori, contribuisce a chiarire meglio come i modelli di intelligenza artificiale imparino a comprendere il linguaggio umano. “Per valutare le relazioni tra le parole – spiega Cui – la rete può utilizzare due strategie, una delle quali è quella di sfruttare la posizione delle parole. Nell’inglese, ad esempio, il soggetto si trova generalmente prima del predicato. Quando però il quantitativo di dati supera una determinata soglia, la rete inizia a fare affidamento sul significato”. “I nostri risultati sono molto rilevanti – conclude Cui – anche se le nostre reti sono semplificate rispetto ai modelli complessi con cui le persone interagiscono quotidianamente, perché possono fornirci spunti per iniziare a comprendere le condizioni che portano a una strategia piuttosto che a un’altra. La conoscenza teoria che abbiamo acquisito potrebbe essere utilizzata per rendere le reti neurali più efficienti e sicure. Potremmo realizzare traduttori automatici migliori, assistenti virtuali più capaci e modelli di linguaggio in grado di comprendere e generare testi in modo più naturale”.(30Science.com)