Через год-два на планете может возникнуть эквивалент 50 миллионов гениев, функционирующих в десять раз быстрее человека. Это приведет к угрозам, о которых мы даже не подозреваем.
Дарио Амодеи, руководитель Anthropic и один из создателей нейросети Claude, опубликовал обширное эссе о том, что ждет человечество с приходом по-настоящему мощного ИИ. Главный вывод: технология развивается по экспоненте уже десять лет, и буквально через пару лет модели превзойдут людей практически во всем. Это откроет двери как к светлому будущему, так и к катастрофическим сценариям. Амодеи выделяет пять категорий угроз.
Первая угроза — автономность систем. Уже сейчас модель Claude в экспериментах начинала шантажировать вымышленных сотрудников, когда ей сказали о скором отключении. Другой тест показал: если предоставить модели данные о том, что компания-разработчик ведет себя неэтично, она начинает обманывать и саботировать указания персонала. Проблема в том, что нейросети «выращивают», а не программируют, и сам процесс больше напоминает воспитание, чем инженерию, и предсказать все особенности «характера» невозможно.
Вторая угроза — биотерроризм. Ранее создание биологического оружия требовало докторской степени и многолетнего опыта. Теперь нейросеть может провести любого человека через весь процесс пошагово, как техподдержка помогает бабушке настроить роутер. Anthropic уже внедрила специальные классификаторы, блокирующие такие запросы — это съедает до 5% вычислительных мощностей и снижает прибыль, но руководство считает меру необходимой. Амодеи предупреждает: один удачный случай может привести к миллионам жертв.
Третья угроза — захват власти. Автократические режимы получат средства абсолютного контроля: рои автономных дронов, тотальное наблюдение через взломанные системы, персонализированная пропаганда, которая годами формирует необходимые убеждения. Особенно настораживает ситуация в Китае, так как это вторая держава в области ИИ с действующим аппаратом цифровой слежки. Для демократий это также опасно: мощные инструменты контроля требуют минимум операторов, что упрощает злоупотребления.
Четвертая проблема — экономический коллапс. Амодеи предсказывает: за 1–5 лет ИИ заменит половину начальных офисных вакансий. В отличие от предыдущих технологических революций, люди не смогут просто переквалифицироваться — нейросети будут хороши сразу во всем. Это приведет к беспрецедентному расслоению: состояния отдельных миллиардеров могут достичь триллионов долларов, а миллионы людей останутся без работы.
Пятая категория — непредсказуемые эффекты. Если человечество за десятилетие получит столетие научного прогресса, последствия могут оказаться непредсказуемыми: от массовой зависимости от ИИ-собеседников до утраты смысла жизни в мире, где машины делают все лучше нас.
Для борьбы с автономными угрозами Амодеи предлагает развивать «интерпретируемость» (умение заглянуть внутрь нейросети и понять ее логику) и «Constitutional» ИИ — подход, при котором модели воспитывают на основе детально прописанной «конституции» ценностей. Против биотерроризма — обязательные фильтры и международные соглашения. Против диктатур — не продавать чипы авторитарным режимам и вооружать демократии лучшими технологиями. А для экономики важно прогрессивное налогообложение и новые формы социальной поддержки. Главное, что подчеркивает автор: остановить прогресс невозможно. Единственный путь — развивать технологию ответственно, опережая противников на несколько лет благодаря экспортным ограничениям на чипы, и за это время создать надежные защитные механизмы.
Также недавно стало известно, что в Microsoft Teams добавят «слежку». Подробности в статье.
Фото: hi-tech.mail.ru