Искусственный интеллект все более эффективно подражает человеческому поведению и даже научился отвечать на онлайн-опросы так хорошо, что это ставит под сомнение достоверность научных исследований, политических и социологических данных.
Онлайн-опросы — фундамент современных социальных наук. Существуют даже специальные платформы, позволяющие ученым быстро и недорого собирать информацию. Тем не менее, эти системы оказались подвержены масштабным манипуляциям. По данным специалистов Школы передовых исследований IMT в Лукке и Кембриджского университета, от 4 до 90% ответов в определенных выборках могут быть ложными или мошенническими. Эта проблема особенно актуальна в условиях стремительного развития индустрии автономных ИИ-агентов, которые способны заполнять анкеты практически без человеческого участия.
«Проблема заключается в том, что инструменты, которые прежде применялись для отличения людей от ботов, больше не эффективны, — объясняет Фолько Паницца, один из соавторов работы. — Мы не можем определить, отвечает ли человек или нет. Это означает, что все данные потенциально загрязнены».
Последствия могут быть серьезными не только для науки: опросы широко используются в политической социологии, и искажение данных может повлиять на демократические процессы. Даже небольшая доля «загрязненных» данных — всего 3−7% мошеннических ответов — способна исказить статистические выводы.
Обычные средства защиты — CAPTCHA и проверочные вопросы — становятся менее действенными против современных языковых моделей. В отличие от примитивных ботов, сегодняшние ИИ создают связные и осмысленные ответы с учетом контекста, зачастую превосходя людей в задачах, которые должны выявлять автоматизированное участие.
Авторы предлагают несколько решений: анализировать поведенческие паттерны — скорость набора текста, использование копирования и вставки; полагаться на верифицированные панели респондентов с проверкой личности. Однако самое неожиданное предложение — изменить логику обнаружения ботов: создавать задания, которые используют ограничения человеческого мышления, а не слабости ИИ.
«Машины великолепно имитируют поведение людей, но намного хуже воспроизводят человеческие ошибки», — подчеркивает Паницца. Если респондент отвечает слишком хорошо — это может стать сигналом. Заставить ИИ намеренно делать ошибки «по-человечески» значительно сложнее, чем просто научить его давать правильные ответы на заданные вопросы.
Фото: hi-tech.mail.ru