ChatGPT non è affidabile come strumento diagnostico

Roma – ChatGPT non è affidabile come strumento diagnostico, in quanto fornisce diagnosi corrette da informazioni su casi reali solo nella metà dei casi. Lo studio condotto da una squadra internazionale di ricercatori guidata da Ali Hadi, del Dipartimento di Pediatria della Schulich School of Medicine and Dentistry, Western University, London, Ontario, Canada, pubblicato sulla rivista PLoS ONE, mette in guardia la popolazione dall’affidarsi allo strumento come consulenza medica. Nella ricerca, ChatGPT ha risposto correttamente al 49% dei casi. L’accuratezza complessiva è stata del 74%, la precisione del 48,67%, la sensibilità del 48,67%, la specificità dell’82,89%. La maggior parte delle risposte sono state considerate a basso carico cognitivo, con una percentuale del 51%, e la maggior parte delle risposte sono state complete e pertinenti, con una percentuale del 52%. La combinazione di un’elevata rilevanza e di un’accuratezza relativamente bassa rende poco consigliato per le persone di fare affidamento su ChatGPT per la consulenza medica, in quanto può proporre informazioni importanti che possono essere fuorvianti. Sebbene i risultati indichino che ChatGPT fornisce coerentemente le stesse informazioni a diversi utenti, dimostrando una sostanziale interrelazione tra i vari utenti, rivelano anche le carenze dello strumento nel fornire informazioni mediche fattualmente corrette, come dimostra la sua bassa accuratezza diagnostica. Secondo lo studio, ChatGPT nella sua forma attuale non è accurato come strumento diagnostico. In base all’analisi qualitativa svolta dai ricercatori è risultato che ChatGPT fatica a interpretare i valori di laboratorio e i risultati di imaging e può, dunque, trascurare informazioni chiave rilevanti per la diagnosi. Tuttavia, è ancora utile come strumento educativo. ChatGPT è stato, in generale, abile nell’escludere una diagnosi differenziale specifica e nel proporre eventuali passi diagnostici da compiere. Inoltre, le risposte sono state di facile comprensione, dimostrando un potenziale vantaggio nel semplificare concetti complessi per gli studenti di medicina. Secondo i ricercatori, ulteriori ricerche dovrebbero concentrarsi sul miglioramento dell’accuratezza e dell’affidabilità di ChatGPT come strumento diagnostico. L’integrazione di ChatGPT nella formazione medica e nella pratica clinica richiede un esame approfondito dei suoi limiti didattici e clinici. “Dovrebbero essere stabilite linee guida trasparenti per l’uso clinico di ChatGPT, e gli studenti di medicina e i medici dovrebbero essere formati su come utilizzare lo strumento in modo efficace e responsabile”, hanno dichiarato gli autori. ChatGPT ha guadagnato una notevole popolarità come strumento didattico nella formazione medica. Il suo accesso a vaste conoscenze mediche, combinato con la capacità di fornire risposte in tempo reale, uniche e perspicaci in tempo reale, in combinazione con i metodi di insegnamento tradizionali, può aiutare gli studenti a colmare le lacune di conoscenza e a semplificare concetti complessi, fornendo risposte istantanee e personalizzate a domande cliniche. Tuttavia, l’uso di ChatGPT nell’insegnamento della medicina pone delle sfide; database obsoleti possono portare alla diffusione di informazioni imprecise e fuorvianti per gli studenti. Per superare questo problema, i ricercatori auspicano avvengano futuri progressi in altri LLM, addestrati sulla letteratura medica o integrati con banche dati mediche in tempo reale. “Anche se numerosi studi, tra cui il nostro, hanno valutato ChatGPT per l’educazione medica, ulteriori ricerche sono essenziali per determinare la qualità e l’efficacia di ChatGPT”, hanno sottolineato i ricercatori. “La ricerca futura dovrebbe concentrarsi sul discernimento delle competenze dei professionisti medici che fanno eccessivo affidamento sulla ChatGPT, valutando la fiducia dei pazienti nelle diagnosi supportate dall’intelligenza artificiale e l’impatto complessivo sui risultati clinici”, hanno aggiunto gli autori. “Questi studi futuri contribuiranno allo sviluppo di linee guida per l’integrazione dell’IA nella formazione medica e nella pratica clinica”, hanno precisato gli scienziati. Sebbene molti concordino sull’urgente necessità di linee guida e regolamenti appropriati per l’applicazione di ChatGPT nell’assistenza sanitaria e nell’educazione medica, è altrettanto importante procedere con cautela, assicurando che gli LLM, come ChatGPT, siano implementati in modo responsabile ed etico”, hanno sottolineato gli autori.(30Science.com)