AGI - ChatGPT, il sistema di intelligenza artificiale specializzato nella conversazione con un utente umano, è in grado di ottenere un punteggio vicino alla soglia del minimo necessario per ottenere la licenza medica negli Stati Uniti. A dimostrarlo uno studio, pubblicato sulla rivista Plos Digital Health, condotto dagli scienziati di AnsibleHealth, un provider di servizi tecnologici che integra personale, sensoristica e infrastrutture per fornire assistenza e cura ai pazienti con malattie respiratorie croniche.
Il team, guidato da Tiffany Kung e Victor Tseng, ha valutato le prestazioni del sistema attraverso l'USMLE, una serie altamente standardizzata e regolamentata di tre esami che negli Stati Uniti sono necessari per conseguire la licenza medica.
Questo test, spiegano gli esperti, misura una serie di conoscenze che abbracciano la maggior parte delle discipline mediche, dalla biochimica alla bioetica fino al ragionamento diagnostico. A differenza della maggior parte delle chatbot note, aggiungono gli autori, ChatGPT non utilizza la rete internet, ma produce un testo attraverso le relazioni tra i termini elaborate sulla base di processi interni.
In questo lavoro, gli studiosi hanno considerato 350 su 376 domande dell'USMLE, nella versione somministrata lo scorso giugno agli aspiranti medici statunitensi. Sono state infatti escluse le domande basate sulle immagini.
Dopo la rimozione delle risposte considerate indeterminate, riportano gli scienziati, ChatGPT ha ottenuto un punteggio compreso tra il 52,4 e il 75,0 per cento del totale. "Raggiungere il punteggio minimo per superare l'esame USMLE (il 60 per cento delle risposte corrette) - osserva Kung - è notoriamente complicato. ChatGPT si è dimostrato in grado di ottenere un buon risultato senza rinforzo umano. Questo segna una pietra miliare importante nella maturazione clinica dell'intelligenza artificiale".
"I nostri risultati - commentano gli autori - restituiscono una prima idea di cosa il software puo' fare. Il potenziale di applicazione del sistema spazia dall'educazione medica fino alla pratica clinica. ChatGPT è gia' utilizzato per rendere i rapporti medici e tecnici piu' comprensibili per i pazienti. Nel nostro studio abbiamo interagito con il sistema in modo molto approfondito, chiedendogli di sintetizzare o semplificare determinati passaggi. ChatGPT ha contribuito in modo sostanziale alla stesura dell'articolo scientifico".