Эта разработка даст возможность улучшить существующие тесты
Исследователи Самарского университета им. Королева разработали методику, позволяющую идентифицировать информацию, созданную интернет-ботами, даже в тех случаях, когда это не удается определить традиционными тестами.
"Преподаватели и аспиранты Самарского университета им. Королева стали первыми в мире (по данным Google Scholar), кто провел экспериментальное исследование, посвященное проблемам устаревания информации, используемой популярными системами искусственного интеллекта (ИИ) — так называемыми большими языковыми моделями (БЯМ)", — говорится в сообщении. Результаты работы опубликованы в российском научном журнале "Искусственный интеллект и принятие решений".
Как пояснили в университете, системы БЯМ применяются для различных операций с текстами, таких как создание, литературная обработка, исправление ошибок, перевод, а также написание программного кода, поиск и сбор информации, ответы на вопросы пользователей в сети. Вопрос достоверности ответов от чат-ботов остается актуальным. В ходе исследования проблем устаревания информации самарские ученые обнаружили закономерность, позволяющую выявлять в интернете ботов, скрывающихся под личностью человека. Они определили тип вопросов, по ответам на которые можно понять, дает ответ человек или искусственный интеллект.
"В нашем исследовании мы анализировали ограничения применения БЯМ в связи с устареванием информации, на которой модели обучались ранее. Традиционные БЯМ не имеют систем дообучения по большинству тем и областей человеческих знаний, поэтому со временем информация, которой располагают эти языковые модели, устаревает, и ответы их чат-ботов становятся неточными и теряют актуальность", — отметил доктор технических наук, профессор кафедры программных систем Самарского университета Андрей Сухов.
Ученые выяснили, что форма информации, которую предоставляют чат-боты до и после обучения, различается. Например, ответ системы ИИ на вопрос, который она не изучала, будет содержать ссылки на источники информации в сети, что указывает на то, что на вопрос отвечает программа. Момент изменения формата ответа соответствует времени завершения обучения программы, что позволяет определить и возраст информации, которой она располагает. Авторы исследования пришли к выводу, что для выявления ИИ необходимо составить и задать список вопросов, предполагающих простой числовой ответ, имеющий разные значения в разные временные периоды, чтобы ответы на эти вопросы можно было легко проверить с помощью поисковых систем в интернете. Ученые считают, что представленный ими алгоритм в будущем можно использовать для создания обновленного списка вопросов при прохождении теста Тьюринга — классического исследования искусственного интеллекта, который современные системы проходят с легкостью.
Фото: hi-tech.mail.ru