Обычная логика подсказывает, что лучшие прогнозы — это те, которые сводят к минимуму ошибки. Однако на практике люди чаще выбирают прогнозы, которые увеличивают вероятность идеального результата, даже если это сопряжено с большим риском серьезных ошибок.
Результаты нового исследования ставят под сомнение основополагающее предположение, на котором базируются многие системы прогнозирования, инструменты предиктивной аналитики и модели искусственного интеллекта, которые обычно создаются для уменьшения средней ошибки, а не для увеличения вероятности точного попадания.
«Для многих людей цель прогноза — быть правыми, а не просто минимизировать среднюю ошибку, — отмечает автор исследования, научный сотрудник Школы бизнеса Бута Чикагского университета Беркли Дитворст. — Это важно учитывать тем, кто разрабатывает модели предиктивного анализа и часто сосредоточен на уменьшении грубых неточностей вместо того, чтобы просто делать прогнозы идеальными».
Дитворст проанализировал 16 исследований, охватывающих разнообразные задачи прогнозирования и экспериментальные дизайны. Во всех этих работах участники последовательно демонстрировали то, что ученые называют «уменьшающейся чувствительностью к ошибке прогноза».
В многочисленных экспериментах участникам предлагались распределения вероятностей, и их просили делать прогнозы. Люди значительно чаще выбирали те варианты, которые максимизировали их шансы оказаться абсолютно правыми, а не те, которые снижали бы общую вероятность ошибки.
Кроме того, исследователи изучили эмоциональные реакции на ошибки в прогнозах, и они оказались не менее показателями. Удовлетворенность резко снижалась при переходе от «точно угадал» к «чуть-чуть промахнулся». А вот дальнейшее увеличение ошибки — от небольшой к более значительной — вызывало заметно меньший дополнительный спад удовлетворенности. Иными словами, существует четкая психологическая граница между «правильно» и «неправильно», а степень ошибки — при разумных пределах — волнует людей гораздо меньше.
Это создает потенциальный разрыв между тем, как функционируют модели, и тем, как их оценивают пользователи. Многие рекомендательные системы, прогнозы спроса, финансовые и погодные модели, а также ИИ-сервисы оптимизируются под статистические метрики, которые минимизируют среднюю ошибку или вероятность крупных ошибок. Но конечные пользователи могут оценивать их по другому критерию — как часто система дает им ощущение их стопроцентной правоты.
Дитворст подчеркивает: прежде чем разрабатывать системы прогнозирования, важно понять, чего на самом деле ждут люди — меньших средних ошибок или максимума «идеальных» попаданий. Иначе даже с математически оптимальной моделью можно столкнуться с низким доверием и негативным отношением к технологиям.
Фото: hi-tech.mail.ru