Cât de sigur este ChatGPT Health în gestionarea urgențelor medicale? Un studiu publicat recent în Nature Medicine arată că versiunea AI specializată subestimează frecvent gravitatea unor cazuri reale în spitalele din SUA. Aceste rezultate ridică semne de întrebare importante privind siguranța AI în domeniul medical.
Pe scurt:
- ChatGPT Health subestimează gravitatea urgențelor medicale în 51,6% din cazuri, punând în pericol siguranța pacienților.
- Studiul din Nature Medicine a testat AI-ul pe 60 de scenarii clinice, evidențiind atât subestimări, cât și exagerări ale severității.
- Deficiențele includ detectarea slabă a ideilor suicidare și recomandări inconsistente, ceea ce poate duce la decizii medicale greșite.
- Experții cer standarde clare și audituri independente pentru a preveni riscurile asociate utilizării AI în sănătate.
ChatGPT Health subestimează urgențele medicale și ridică semne de întrebare privind siguranța AI
ChatGPT Health, versiunea specializată în sănătate a chatbot-ului OpenAI, a fost evaluată pentru capacitatea sa de a identifica corect urgențele medicale, însă un studiu recent arată că platforma subestimează frecvent gravitatea unor cazuri. Această situație ridică îngrijorări majore privind siguranța AI în domeniul medical.
Analiza publicată în Nature Medicine a testat ChatGPT Health pe 60 de scenarii clinice realiste, fiecare cu 16 variații, comparând recomandările AI cu cele ale medicilor. Rezultatele au indicat că în 51,6% dintre cazuri, platforma a recomandat consult medical în următoarele 48 de ore, deși situația impunea o vizită imediată la urgență.
Rezultate privind ChatGPT Health și urgențele medicale
Deși ChatGPT Health a identificat corect urgențele evidente, precum accidentele vasculare cerebrale, a subestimat gravitatea în multe alte situații. În unele cazuri, pacienții cu simptome severe au fost sfătuiți să aștepte, ceea ce poate pune viața în pericol. În același timp, AI-ul a exagerat severitatea în 64,8% dintre cazurile fără probleme reale, recomandând vizite medicale inutile.
Un exemplu relevant este un scenariu cu un pacient cu astm care prezenta semne timpurii de insuficiență respiratorie, dar căruia i s-a sugerat să nu meargă la urgență. Cercetătorii au observat, de asemenea, inconsistențe în răspunsuri, inclusiv în situații ce implicau riscuri de autovătămare sau sinucidere.
Probleme în detectarea ideilor suicidare și riscuri de siguranță AI
Studiul a evidențiat dificultăți ale ChatGPT Health în detectarea și reacția adecvată la ideile suicidare. Într-un test cu un pacient care menționa gânduri suicidare, platforma a afișat un banner de intervenție doar dacă nu erau incluse rezultatele analizelor de laborator. Această dependență de detalii suplimentare face sistemul nesigur și poate crește riscul de vătămare.
Experții avertizează că aceste deficiențe pot conduce la decizii greșite, cu consecințe grave pentru utilizatori. Alex Ruani, cercetător în domeniul combaterii dezinformării în sănătate, a subliniat pericolul falselor senzații de siguranță generate de astfel de sisteme.
Reacții și perspective privind siguranța ChatGPT Health
OpenAI afirmă că studiul nu reflectă modul obișnuit de utilizare al ChatGPT Health și că modelul este actualizat constant pentru îmbunătățiri. Totuși, cercetătorii cer standarde clare de siguranță și mecanisme independente de audit pentru a preveni riscurile.
Profesorul Paul Henman, expert în politici publice, a atras atenția asupra responsabilității legale și a riscurilor asociate utilizării necorespunzătoare a AI în sănătate. El a subliniat lipsa de transparență privind antrenamentul și mecanismele de protecție ale platformei.
Acest studiu reprezintă o primă evaluare independentă a siguranței ChatGPT Health și evidențiază necesitatea unei supravegheri riguroase pentru a proteja utilizatorii în fața unor recomandări potențial periculoase.
Noa Insight
Un studiu publicat în Nature Medicine a evaluat capacitatea ChatGPT Health, versiunea specializată a chatbot-ului OpenAI, de a identifica urgențele medicale. Rezultatele arată că platforma subestimează frecvent gravitatea unor cazuri și prezintă dificultăți în detectarea ideilor suicidare, ridicând probleme de siguranță în utilizarea AI în sănătate.
Implicații
Deficiențele identificate afectează încrederea în recomandările ChatGPT Health și pot conduce la decizii medicale greșite. Studiul subliniază necesitatea unor standarde clare de siguranță și mecanisme independente de audit pentru această tehnologie.
Elemente-cheie
- Studiul a testat ChatGPT Health pe 60 de scenarii clinice, fiecare cu 16 variații, comparând răspunsurile AI cu cele ale medicilor.
- În 51,6% dintre cazuri, AI a recomandat consult medical în 48 de ore, deși era necesară vizita imediată la urgență.
- Platforma a afișat un banner de intervenție pentru idei suicidare doar dacă nu erau incluse rezultatele analizelor de laborator.
Sursa originală a acestui articol este https://www.digi24.ro/stiri/incredibil-de-periculos-expertii-trag-un-semnal-de-alarma-dupa-ce-chatgpt-health-nu-a-recunoscut-urgentele-medicale-3661031 (link)







