150 человек из Сан-Франциско совершили то, что не удалось тысячам инженеров Google и OpenAI: они научили нейросеть сначала анализировать изображение, а затем его создавать.
Компания Luma AI, ранее известная благодаря видеогенератору Dream Machine, представила модель Uni-1. Она сначала анализирует задачу, формирует план сцены и лишь затем приступает к созданию пикселей.
Почти все популярные генераторы, такие как Midjourney, Stable Diffusion, Google Imagen, используют диффузионный метод: начинают с случайного шума и постепенно «вычищают» из него изображение. Этот подход даёт впечатляющие результаты, однако не способен к рассуждению. Модель не осознаёт, что она рисует, так как просто следует статистическим шаблонам.
Uni-1 работает по-другому, он авторегрессионный — генерирует изображение токен за токеном, аналогично тому, как языковые модели создают текст. Текст и изображение существуют в едином потоке данных, без передачи между разными системами. Это устраняет «шов» между пониманием и созданием, именно в этом месте зачастую теряется смысл сложного запроса.
Google и OpenAI также пытались объединить понимание и генерацию, но через дополнительные этапы: GPT-4 переформулирует запрос перед тем, как DALL-E его создает, тогда как Luma устранил посредника.
Модель использует несколько отдельных фотографий питомцев и комбинирует их в единую сцену — с академическими мантиями, доской с формулами и логотипом Luma. Либо она берет один детский снимок пианиста и генерирует серию кадров, где он взрослеет — с одинаковым углом камеры и освещением на каждом этапе. Это задачи, которые раньше требовали ручной обработки.
Еще более важно, что Uni-1 самостоятельно проверяет результат, обнаруживает несоответствия с заданием и исправляет их без вмешательства человека. Такой цикл «сделал — проверил — исправил» был нормой для кодовых агентов, но впервые появился в творческих инструментах.
