Пользователь Reddit с ником Levfo преобразовал смартфон Pixel 7 в портативный компьютер, способный запускать языковые модели без подключения к интернету. Он изготовил корпус на 3D-принтере и установил модель Qwen2.5-abliterate, содержащую 3 миллиарда параметров.
Пользователь Reddit с ником Levfo продемонстрировал, как преобразовать смартфон Pixel 7, выпущенный в 2022 году, в автономный портативный компьютер для работы с языковыми моделями без доступа к интернету. Его эксперимент показывает, что даже устаревший смартфон может эффективно справляться с локальным ИИ — важно лишь правильно выбрать модель в соответствии с мощностью устройства.
Levfo изготовил корпус на 3D-принтере, который превращает смартфон в кибердек — самодельное устройство в форме портативного компьютера. CAD-файлы для корпуса он создал с помощью Claude Code. В нижней части корпуса предусмотрен отсек для повербанка, что позволяет устройству работать с ИИ продолжительное время без подключения к сети, не разряжая основной аккумулятор телефона.
На собранный гаджет установлена языковая модель Qwen2.5-abliterate:3b — модель с 3 миллиардами параметров. Суффикс abliterate указывает на то, что из модели были удалены фильтры безопасности. В отличие от стандартных ИИ-ассистентов, такая модель не отказывается выполнять запросы, которые обычно блокировал бы обычный чат-бот. Подобные модели пользуются спросом в исследовательских кругах, хотя риски злоупотреблений при их использовании очевидны.
Слабой стороной проекта является скорость работы. Pixel 7 оснащен чипом Google Tensor G2 и 8 ГБ оперативной памяти. На таком оборудовании модель выдает всего 5 токенов в секунду, что соответствует примерно трем-четырем словам. Это медленно, но вполне работоспособно. Запустить на Pixel 7 модели объемом более 3 миллиардов параметров уже невозможно — устройству просто не хватит ресурсов.
Опыт Levfo показывает, что смартфоны Pixel нескольких поколений могут работать с открытыми языковыми моделями полностью в офлайне — без связи с серверами и ограничений со стороны провайдеров. Пользователь сам выбирает нужную модель, включая ту, которую официальный Google-ассистент не сможет запустить.
Фото: hi-tech.mail.ru