Google расширила свою линейку ИИ-процессоров восьмого поколения: к TPU 8t и 8i присоединились 8tx для защищенных вычислений и 8i Max для обработки огромных контекстных окон. Это уже четвертые новые системы за текущий год.
Google представила два новых ИИ-процессора восьмого поколения — TPU 8tx и TPU 8i Max. В сочетании с анонсированными ранее TPU 8t и TPU 8i это уже четыре новые системы за один год — впервые в истории компании.
TPU (Tensor Processing Unit, тензорный процессор) — это собственные чипы Google, предназначенные для обучения и внедрения нейросетей, включая модель Gemini. Первые такие процессоры были разработаны более десяти лет назад для задач распознавания речи и машинного перевода, а сегодня у TPU почти сто клиентов — от лабораторий ИИ до университетов и торговых компаний.
В апреле Google представила TPU 8t для обучения моделей и TPU 8i для быстрого выполнения операций. Они обеспечивают до 2,7 раз большую скорость обучения и на 80% лучшее соотношение цены и производительности по сравнению с предыдущим поколением — чипом Ironwood, который мы рассматривали отдельно. Новые системы разрабатываются с учетом «эпохи ИИ-агентов» — автономных программ, способных самостоятельно решать задачи.
TPU 8tx предназначен для защищенных и конфиденциальных вычислений. Он ориентирован на государственные структуры и регулируемые отрасли, работающие с чувствительными данными. Шифрование встроено непосредственно в «железо», а задержки составляют до двух раз ниже, чем у TPU 8t, практически без потери производительности.
На одной системе можно одновременно дообучать модели на приватных данных, сжимать крупные модели в компактные и обучать ИИ-агентов методом обучения с подкреплением — и всё это без необходимости переноса данных между отдельными кластерами.
TPU 8i Max решает проблему «стены памяти»: в нем два чипа 8i объединены в один модуль. Это обеспечивает вдвое больше вычислительных мощностей, вдвое больше памяти SRAM и вдвое больше пропускной способности HBM. В ту же стойку помещается вдвое больше кремния — следовательно, больше вычислительной мощности на квадратный метр.
Google также открыла код TorchTPU: теперь фреймворк PyTorch и модели с Hugging Face работают на TPU нативно, без необходимости переписывать код. Цель компании — сделать свои процессоры такими же доступными для разработчиков, как обычное «железо».
Фото: hi-tech.mail.ru