Более ста практикующих врачей не смогли отличить совпадение от закономерности, и причина этого кроется не в человеческом факторе, а в доверии к ИИ.
Исследователи решили выяснить, могут ли практикующие врачи обнаружить ошибку алгоритма, когда цифры говорят об обратном. Результат оказался тревожным: медики с большим опытом неоднократно поддавались неверным подсказкам системы.
В исследовании приняло участие 105 врачей в первой части и ещё 118 во второй, все они — из различных специальностей, со средним стажем от 10 до 13 лет. Каждому из них предложили сыграть роль лечащего врача при вымышленном заболевании и экспериментальном препарате. Алгоритм заранее разделил пациентов на две группы — «высокочувствительных» и «низкочувствительных». Задача участников заключалась в том, чтобы решить, давать ли лекарство, и сразу же увидеть результат.
Подвох заключался в самих метках. На деле шансы на выздоровление у обеих групп были абсолютно одинаковыми, и никакой связи с ярлыком системы не существовало. В первом опыте препарат работал средне, но одинаково хорошо для всех. Во втором — не помогал никому.
Тем не менее, врачи назначали лечение «высокочувствительным» пациентам значительно чаще и оценивали эффект как более выраженный именно в этой группе, хотя выздоровление пациентов обеих категорий происходило с одинаковой частотой. Во втором эксперименте ситуация повторилась ещё более ярко: даже когда препарат не давал никаких результатов, многие участники были уверены, что лечение сработало, особенно для «отмеченных» алгоритмом пациентов.
Авторы сравнили поведение врачей с более ранними исследованиями на обычных пользователях интернета — там также наблюдалась аналогичная ловушка. Медицинское образование не изменило ситуацию. Причём личное отношение к технологиям не сыграло роли: те, кто выражал недоверие к ИИ, полагались на его метки не меньше сторонников автоматизации.
Исследователи выделяют несколько возможных причин. К ним относятся: привычка доверять машине без проверки, склонность видеть в данных то, что уже ожидаешь увидеть. Также часто совпадение принимается за закономерность. Ученые отмечают, что сценарий был значительно упрощен — без истории болезни, сопутствующих диагнозов и дополнительного контекста, который врачи обычно используют в своей практике.
Тем не менее сам факт вызывает тревогу у исследователей. Например, европейский AI Act прямо требует, чтобы в медицине рядом с алгоритмом всегда находился врач — именно он должен проверять и утверждать решения ИИ, а не система сама по себе. Однако это исследование ставит под сомнение саму концепцию такого контроля. Если даже в упрощенных условиях специалист не видит явную ошибку алгоритма, то его присутствие рядом с системой становится формальностью — он вроде бы принимает решение самостоятельно, но на самом деле просто повторяет то, что подсказал ИИ.
Фото: hi-tech.mail.ru