Исследователи из Калифорнийского университета решили выяснить, подходит ли популярный чат-бот ChatGPT для онлайн-консультаций по медицинским вопросам. Оказалось, что лицензированная медкомиссия куда чаще ставит ИИ оценку «хорошо» или «очень хорошо», чем реальным врачам — 78,5% против 22,1%.

Исследователи обратились к сабреддиту Reddit AskDocs (r/AskDocs), где более 480 000 участников задают свои вопросы касательно здоровья, а им отвечают лицензированные и проверенные медицинские работники. Случайным образом было отобрано 195 уникальных случаев, которые передали в ChatGPT версии 3.5, попросив сгенерировать ответ.

Три лицензированных медицинских работника оценивали каждый вопрос и ответ, не зная, дал ли его врач или нейросеть. Оценивалось качество предоставленной информации, эмпатия и доступность изложения. В итоге, специалисты предпочли ответы ChatGPT в 79% случаев.

Ответы уровня качества «хорошо» или «очень хорошо» были в 3,6 раза чаще у ChatGPT, чем у врачей, а ещё чат-бота посчитали «эмпатичнее» в 9,8 раз чаще, чем реальных специалистов (45,1% против 4,6%). Но это не означает, что врачи заменимы. По словам исследователей, работникам в этой сфере следует использовать ChatGPT как инструмент обучения для улучшения своей практики.

Исследование было опубликовано в журнале JAMA Internal Medicine.
4PDA