Пользователь Reddit с ником Medicine_Blogscanner в сообществе r/LocalLLM продемонстрировал, как запустить gpt-oss-120b — открытую 120-миллиардную модель OpenAI, предназначенную для сложных аналитических задач — на шести обычных устройствах одновременно. Подробности эксперимента освещены в издании Wccftech.
Экспериментатор обошел стандартные требования, которые предполагают наличие как минимум 60 ГБ оперативной памяти для запуска модели, а в несжатом виде она требует уже 240 ГБ. Он использовал два метода: сначала применил 4-битную квантизацию, что позволило сократить занимаемую память примерно в четыре раза, а затем распределил получившиеся 47 ГБ между несколькими устройствами.
В качестве вычислительного ресурса использовались Samsung Galaxy S24+, мини-ПК с видеокартой RTX 3060 (12 ГБ видеопамяти), ноутбук на Windows с 12 ГБ оперативной памяти, MacBook Pro с чипом Intel, Mac mini и MacBook Pro на M3. Устройства были объединены через домашнюю сеть с помощью технологии конвейерной параллельности: слои модели — элементы, из которых формируется «мышление» нейросети — обрабатывались последовательно разными устройствами, как детали на конвейере. Главная машина с названием Tiny взяла на себя наибольшую нагрузку — около 28,7 ГБ данных.
Скорость работы оказалась довольно скромной: 1,1 токена в секунду, что примерно соответствует одному слову в секунду. На предложение из двадцати слов уходит около двадцати секунд. Wccftech описывает этот результат как «творческое доказательство концепции»: он подтверждает возможность распределенного запуска крупных языковых моделей без специализированного оборудования, однако для реального использования такой темп неприемлем.
Тем не менее, сам факт примечателен: модели такого размера традиционно требуют одного-двух профессиональных GPU с объемом памяти не менее 80 ГБ каждый. OpenAI выпустила gpt-oss-120b в открытый доступ для задач высокого уровня рассуждения без зависимости от облачных сервисов. Вскоре после публикации весов сообщество энтузиастов начало эксперименты с запуском модели на неожиданном оборудовании — эксперимент Medicine_Blogscanner является этому подтверждением.
Фото: hi-tech.mail.ru