Модель способна читать текст непосредственно с фотографий.
Google предоставила открытый доступ к TranslateGemma — набору компактных языковых моделей, предназначенных исключительно для перевода. В отличие от многофункциональных помощников, данная система сосредоточена на одной задаче и успешно ее выполняет: поддержка 55 языков, работа в офлайн-режиме, возможность обработки текста и изображений одновременно.
Обычный Google Translate — это облачный сервис. Каждый запрос отправляется на серверы компании, где обрабатывается и возвращается обратно. Для личного использования это вполне приемлемо. Однако для бизнеса, медицины, юриспруденции или государственного сектора такая схема не подходит: данные не должны покидать пределы организации. TranslateGemma решает эту проблему, так как модель полностью функционирует на вашем оборудовании. Более того, облачные API могут быть затратными при больших объемах, тогда как локальная модель — это единоразовая загрузка без каких-либо ограничений.
В основе находится архитектура Gemma 3 — та же, что Google применяет в своих мультимодальных моделях. TranslateGemma была дообучена на 4,3 миллиарда токенов параллельных текстов: это пары «оригинал — перевод» на разных языковых парах. В дополнение модель прошла обучение с подкреплением на 10,2 миллиона токенов — это улучшает точность и естественность перевода.
Размер модели составляет 4 миллиарда параметров, для сравнения: GPT-4 — это около 1,8 триллиона параметров. TranslateGemma в 450 раз меньше, при этом в своем сегменте демонстрирует результаты, сопоставимые с значительно более тяжелыми системами. Размер контекстного окна — 2000 токенов. Это примерно 1500 слов за один запрос, что достаточно для большинства документов и сообщений.
Модель действительно может считывать текст с изображений и сразу его переводить. Технически это осуществляется следующим образом: изображение нормализуется до разрешения 896×896 пикселей и кодируется в 256 токенов, после чего модель обрабатывает его наряду с текстом. На практике: вы сфотографировали меню в иностранном ресторане, дорожный знак, контракт на иностранном языке или интерфейс программы — получили перевод без промежуточного этапа с распознаванием текста вручную.
Запустить модель можно локально с помощью Python-библиотеки Transformers. Необходима видеокарта с поддержкой CUDA (подойдут большинство современных Nvidia) и несколько гигабайт VRAM. Либо прямо в браузере через WebGPU и Transformers.js v4. Это позволяет интегрировать модель в веб-приложение, и она будет работать на устройстве пользователя, без участия сервера.
Для разработчиков модель доступна на HuggingFace. Лицензия Google допускает коммерческое использование при соблюдении условий Gemma Terms of Use. Такой переводчик будет полезен, прежде всего, командам, работающим с конфиденциальными текстами и не имеющим возможности отправлять их в облако. Разработчикам, стремящимся встроить перевод в собственные продукты и избежать зависимости от внешних API. Исследователям, которым нужен контроль над инфраструктурой. И всем, кто хочет работать с документами на 55 языках без ежемесячной подписки.
<div class="mediaPollEmbed" data-prerendered><noscript><section><h2>Как россияне относятся к рекламе товаров в соцсетях</h2><p>7 вопросов</p><form method="POST" action="https://media-poll.mail.ru/api/75b137bb-03a7-5cee-a8ea-0203c3d449c6"><fieldset><legend>Про какие из этих источников информации о брендах и товарах вы можете сказать, что они вызывают у вас доверие?</legend><label><input type="checkbox" name="24045" value="87142"/>Реклама по ТВ</label><br/><label><input type="checkbox" name="24045" value="87143"/>Реклама на радио</label><br/><label><input type="checkbox" name="24045" value="87144"/>Реклама на улицах города, на транспорте</label><br/><label><input type="checkbox" name="24045" value="87145"/>Реклама в онлайн-видео сервисах и онлайн-кинотеатрах</label><br/><label><input type="checkbox" name="24045" value="87146"/>Баннеры в интернете и приложениях</label><br/><label><input type="checkbox" name="24045" value="87147"/>Рекомендации и советы блогеров</label><br/><label><input type="checkbox" name="24045" value="87148"/>Рекомендации друзей</label><br/><label><input type="checkbox" name="24045" value="87149"/>Реклама в социальных сетях </label><br/><label><input type="checkbox" name="24045" value="87150"/>Отзывы покупателей</label><br/></fieldset><button type="submit">Далее</button></form></section></noscript></div><script type="text/javascript">(function(window){var mediaPoll=(window.mediaPoll=window.mediaPoll||{});var container=document.currentScript.previousElementSibling;var uuid="75b137bb-03a7-5cee-a8ea-0203c3d449c6";mediaPoll.loadAPIPromise=mediaPoll.loadAPIPromise||new Promise((resolve,reject)=>{const loadScript=(onload,onerror)=>{var head=document.getElementsByTagName('head')[0];var script=document.createElement('script');script.async=true;script.onload=onload;script.onerror=onerror;script.src='https://media-poll.mail.ru/-/1773310186877/embed/main.js';head.appendChild(script)};loadScript(resolve,()=>{mediaPoll.loadAPIPromise=null;reject()})});mediaPoll.loadAPIPromise.then(()=>{window.mediaPoll.render(uuid,container)})})(window)</script>
Фото: hi-tech.mail.ru