Всеки втори отговор на здравен въпрос, зададен към популярен чатбот с изкуствен интелект, е проблематичен. Това показва ново изследване, публикувано в BMJ Open.
Чатботове като ‘ЧатДжиПиТи’, ‘Грок’ и ‘Мета Ей Ай’ често генерират неточна, непълна или подвеждаща медицинска информация. При анализ на 50 въпроса, свързани със здравето, изследователите установяват, че половината от отговорите са ‘донякъде или силно’ проблематични.
Най-висок дял неточни или съмнителни отговори дава ‘Грок’ – 58%. При ‘ЧатДжиПиТи’ този дял достига 52%, а при ‘Мета Ей Ай’ – 50%. Всички те показват слабости, независимо от популярността и широкото им приложение.
Екипът задава въпроси за профилактиката и лечението на рак, безопасността на ваксините срещу COVID-19, рисковете от имунизация при деца, ролята на витамин D, алтернативни терапии, стволови клетки при болестта на Паркинсон, различни хранителни режими и физическа активност.
Най-добре чатботовете се справят с теми, свързани с ваксини и онкология. Най-слаби резултати показват при въпроси за терапия със стволови клетки, спортни постижения и хранене.
Изследователите обясняват, че системите не използват по подразбиране данни в реално време. Те генерират отговори чрез статистически зависимости в обучаващите масиви и предсказват вероятни последователности от думи. Чатботовете не разсъждават, не претеглят доказателства и не могат да правят етични преценки. Затова понякога представят грешна информация в убедителна форма.
Допълнителен проблем е качеството на цитираните източници. Предходен анализ показва, че едва 32% от над 500 посочени референции от различни ИИ системи са били точни, а близо половината са били частично или изцяло измислени.
Авторите посочват и склонност към ‘угодничество’ – моделите често формулират отговори, които съответстват на очакванията на потребителя, вместо да отстояват научната истина. Те рядко отказват да отговорят, дори когато въпросът е неясен или подвеждащ.
Изследването е проведено от учени от Университета на Алберта в Канада и Loughborough University във Великобритания. Екипът подчертава, че при навлизането на генеративния изкуствен интелект в медицината са нужни обществено образование, професионално обучение и регулаторен контрол, за да не се подкопава общественото здраве.
Чатботовете с изкуствен интелект не са лицензирани да дават медицински съвети и може да не разполагат с актуални научни данни. Въпреки това все повече пациенти ги използват за здравна информация, което поставя въпроса за надеждността и отговорността при употребата им.