L’intelligenza artificiale commette errori di ragionamento simili a quelli umani

Roma – I grandi modelli linguistici (LM) possono completare compiti di ragionamento astratto, ma sono suscettibili a molti degli stessi tipi di errori commessi dagli esseri umani. È quanto emerge da uno studio pubblicato su PNAS Nexus e guidato da Google DeepMind. Gli autori hanno testato LM all’avanguardia e esseri umani su tre tipi di compiti di ragionamento: inferenza del linguaggio naturale, valutazione della validità logica dei sillogismi e compito di selezione di Wason. Gli autori hanno scoperto che i LM sono inclini a effetti di contenuto simili a quelli degli esseri umani. Sia gli esseri umani che i LM hanno maggiori probabilità di etichettare erroneamente un argomento non valido come valido quando il contenuto semantico è sensato e credibile. I LM sono altrettanto scarsi degli umani nel compito di selezione Wason, in cui al partecipante vengono presentate quattro carte con lettere o numeri scritti su di esse (ad esempio, “D”, “F”, “3” e “7”) e gli viene chiesto quali carte dovrebbe girare per verificare l’accuratezza di una regola come “se una carta ha una “D” su un lato, allora ha un “3” sull’altro lato”. Gli umani spesso scelgono di girare carte che non offrono alcuna informazione sulla validità della regola ma che testano la regola contrapposta. In questo esempio, gli umani tenderebbero a scegliere la carta etichettata “3”, anche se la regola non implica che una carta con “3” avrebbe “D” sul retro. I LM commettono questo e altri errori e mostrano un tasso di errore complessivo simile agli umani. Le prestazioni umane e dei LM nel compito di selezione Wason migliorano se le regole sulle lettere e i numeri arbitrari vengono sostituite con relazioni socialmente rilevanti, come l’età delle persone e se una persona sta bevendo alcol o soda. Secondo gli autori, i LM addestrati su dati umani sembrano presentare alcune debolezze umane in termini di ragionamento e, come gli esseri umani, potrebbero aver bisogno di una formazione formale per migliorare le loro prestazioni di ragionamento logico. (30science.com)