Больше сотни практикующих медиков перепутали совпадение с закономерностью, и виноват в этом оказался не человеческий фактор, а доверие к ИИ.Автор новостей
Ученые решили выяснить, способны ли практикующие врачи распознать ошибку алгоритма, если цифры перед глазами говорят обратное. Результат оказался тревожным: медики с многолетним стажем раз за разом шли на поводу у неверных подсказок системы.
В эксперименте участвовали 105 врачей в первой части и еще 118 во второй, все — из разных специальностей, со средним стажем от 10 до 13 лет. Каждому предложили сыграть роль лечащего врача при вымышленном заболевании и экспериментальном препарате. Алгоритм заранее разделил пациентов на две группы — «высокочувствительных» к лечению и «низкочувствительных». Задача участника была простой: решить, давать ли лекарство, и сразу же увидеть результат.
Подвох кроется в самих метках. На деле шансы на выздоровление у обеих групп были абсолютно одинаковыми, никакой связи с ярлыком системы не существовало. В первом опыте препарат работал средне, но одинаково хорошо для всех. Во втором — не помогал вообще никому.
Несмотря на это, врачи назначали лечение «высокочувствительным» пациентам заметно чаще и оценивали эффект как более выраженный именно в этой группе, хотя выздоравливали пациенты обеих категорий с одинаковой частотой. Во втором эксперименте картина повторилась еще более ярко: даже когда препарат вообще ничего не давал, многие участники в итоге были уверены, что лечение сработало, особенно для «отмеченных» алгоритмом пациентов.
Авторы сравнили поведение врачей с более ранним опытом на обычных пользователях интернета — там наблюдалась та же ловушка. Медицинское образование ситуацию не спасло. Причем личное отношение к технологиям роли не сыграло: те, кто заявлял о недоверии к ИИ, полагались на его метки ничуть не меньше сторонников автоматизации.
Исследователи выделяют несколько возможных объяснений. К ним относят: привычку доверять машине без перепроверки, склонность видеть в данных то, что и так ожидаешь увидеть. Также часто совпадение принимают за закономерность. Ученые признают, что сценарий был предельно упрощен — без истории болезни, сопутствующих диагнозов и прочего контекста, которым врачи обычно пользуются в реальной практике.
Тем не менее сам факт настораживает ученых. Например, европейский AI Act прямо требует, чтобы в медицине рядом с алгоритмом всегда стоял врач — именно он должен проверять и утверждать решения ИИ, а не система сама по себе. Но это исследование ставит под сомнение саму идею такого контроля. Если даже в упрощенных условиях специалист не замечает явную ошибку алгоритма, то его присутствие рядом с системой превращается в формальность — он вроде бы принимает решение сам, но на деле просто повторяет то, что подсказал ИИ.
Также ранее рассказывали, что соцсети заполонили фейковые ИИ-врачи. подробности в статье.