В последнее время все чаще обсуждается так называемый многоагентный искусственный интеллект — технология, которая кардинально отличается от привычных чат-ботов.
Если традиционные языковые модели, такие как ChatGPT, просто предсказывают, каким должен быть следующий ответ, опираясь на обширные текстовые данные, то многоагентный (или мультиагентный) ИИ имеет возможность самостоятельно принимать решения, реагируя на изменения окружающей среды. Представьте себе флот беспилотных автомобилей, которые используют одну дорогу и должны мгновенно координировать свои действия — управлять ими без участия человека может лишь ИИ-агент.
Сарра Алькахтани, доцент кафедры информатики Университета Уэйк-Форест, занимается обучением с подкреплением в мультиагентных условиях (MARL). Она недавно была удостоена престижной премии CAREER от Национального научного фонда США для разработки стандартов и тестов, которые помогут обеспечить надежную работу многоагентных систем даже в случае сбоя или взлома одного из участников.
По словам Алькахтани, ИИ-агенты не только делают прогнозы — они оценивают уровень неопределенности вокруг себя и принимают решение, безопасно ли действовать самостоятельно или лучше обратиться за помощью к человеку. Обучение таких систем основывается на том же принципе, что и наше собственное обучение: агенты допускают ошибки и получают за них «наказание» в виде отрицательных чисел, а за правильные действия — «награду», положительные числа. Постепенно агенты «осознают», какое поведение приводит к успеху.
Однако при всех перспективах — от управления медицинскими дронами, доставляющими кровь в труднодоступные районы, до систем мониторинга окружающей среды — такая технология остается уязвимой. Алькахтани обнаружила, что даже малейшие изменения в окружении или формулировке задачи приводят к ошибкам агентов. А в случае, если злоумышленник захватит управление хотя бы одним агентом, это может нарушить работу всей группы.
В настоящее время алгоритмы тестируются в игровых симуляциях с четкими правилами, но главной проблемой остается переход из виртуального мира в реальный. Именно над этим и трудится Алькахтани. Она планирует протестировать свои разработки на группах дронов, которые будут патрулировать перуанскую Амазонию в поисках нелегальных золотых приисков, уклоняясь от угроз со стороны браконьеров.
На вопрос о доверии к искусственному интеллекту Алькахтани отвечает неожиданно: она доверяет системам, которые разрабатывает сама, но главный вопрос заключается в другом — достаточно ли усилий мы прилагаем, чтобы сделать эти технологии понятными и надежными для обычных пользователей? Прежде чем выпускать ИИ-агентов в реальный мир, люди должны понимать, как именно они будут действовать.
Фото: hi-tech.mail.ru