Проучване: ChatGPT се подвежда по всяка трета медицинска дезинформация онлайн
AP/БТА
Изследване в The Lancet Digital Health показва, че начинът на формулиране влияе повече от истинността на информацията
Проучване, публикувано в престижното научно списание The Lancet Digital Health, тества над един милион запитвания към 20 от водещите AI системи в света. Резултатите показват, че при търсене на здравен съвет съществува реален риск потребителят да получи невярна или потенциално опасна информация, представена по убедителен начин.
Изследователи от Mount Sinai Health System в Ню Йорк поставят въпроса дали изкуственият интелект ще отхвърли убедително формулирано, но фалшиво медицинско твърдение, или ще го повтори.
Заключението е, че AI моделите приемат неверни твърдения в 32% от случаите. По-малките и по-слабо развити модели допускат грешки в над 60% от запитванията, докато по-напредналите системи като ChatGPT-4o грешат в около 10% от случаите.
Изследването обхваща платформи на OpenAI (ChatGPT), Meta (Llama), Google (Gemma), Alibaba (Qwen), Microsoft (Phi) и Mistral AI, включително техни специализирани медицински версии.
Сред примерите за опасна дезинформация е твърдението, че „мамографията причинява рак на гърдата“, което може да откаже жени от животоспасяващ скрининг.
Според съавтора на изследването Eyal Klang от Icahn School of Medicine at Mount Sinai, проблемът не е толкова в съдържанието, колкото в начина на представянето му. „AI системите могат да третират уверен медицински език като истина по подразбиране – дори когато той е очевидно грешен“, посочва той. Формулировки от типа „експерт твърди“ са били приемани като достоверни в 34,6% от случаите.
Проучването показва още, че специално обучените за здравна употреба AI системи понякога се представят по-слабо от универсалните модели при разпознаване на медицинска дезинформация.
Съавторът Mahmud Omar призовава за задължителни стрес тестове на медицинските AI системи преди внедряването им в болнични среди. Според изследователите тяхната база данни може да служи като инструмент за проверка на медицински факти и оценка на системите преди интегрирането им в здравеопазването.
Коментари (0)