Андрей Карпатый в выходные создал веб-приложение, которое задаёт один вопрос четырём различным языковым моделям, заставляет их анонимно оценивать работы друг друга, а затем формирует окончательный ответ через «председателя».
Разработчик и сооснователь компании OpenAI Андрей Карпатый представил инструмент для одновременной работы с несколькими большими языковыми моделями. Внешний вид LLM Council напоминает стандартный ChatGPT, однако под капотом функционирует целая команда ИИ: GPT-5.1, Gemini 3 Pro, Claude Sonnet 4.5 и Grok 4. Приложение доступно на GitHub и использует сервис OpenRouter — единый шлюз, который позволяет взаимодействовать с различными моделями через один API-ключ без необходимости регистрации у каждого провайдера отдельно.
Процесс состоит из трёх этапов. На первом этапе пользователь задаёт вопрос, и каждая модель генерирует свой ответ независимо от других. Человек может сразу увидеть все четыре варианта рядом. Второй этап добавляет элемент интриги: модели получают анонимные ответы коллег (без указания авторства) и должны оценить их по качеству, глубине и точности. На заключительном этапе в процесс вмешивается «председатель совета» — отдельная модель (Карпатый выбрал для этой роли Gemini 3 Pro), которая видит исходный запрос, все варианты ответов и все оценки. На основе этой информации председатель формирует итоговый, коллективно согласованный ответ.
Карпати использует LLM Council для анализа книг: различные ИИ предоставляют свои пересказы сложных глав и комментарии, а затем сами объясняют, чей разбор оказался более удачным. По его наблюдениям, совет почти всегда ставит GPT-5.1 на первое место за глубину, Claude стабильно оказывается внизу, а Gemini 3 Pro и Grok 4 — где-то посередине. Однако сам разработчик не всегда согласен с результатами голосования: GPT-5.1 кажется ему чрезмерно многословным, Gemini 3 Pro более сдержанным, а Claude — слишком лаконичным.
Концепция «совета ИИ» перекликается с подходом GPT-5 Pro и Gemini 2.5 Deep Think, где несколько моделей работают параллельно. Тем не менее, LLM Council позволяет выбирать ИИ разных разработчиков, что помогает лучше понять сильные и слабые стороны каждой модели на реальных запросах, а не только по абстрактным тестам. Одновременно приложение служит карманным бенчмарком: можно наблюдать, кого совет чаще ставит выше, как модели расходятся в оценках сложных текстов и насколько их рейтинги совпадают с человеческой интуицией. Это практический пример multi-agent workflow без сложной терминологии: каждая модель — параллельный работник, модели-критики оценивают коллег, а менеджер синтезирует финальное решение.
Также стало известно, что нейросети можно взломать стихами. Подробности в статье.
Фото: hi-tech.mail.ru