Бюро изучает возможность приобретения систем для обучения и развертывания больших языковых моделей, анализа данных и компьютерного зрения в государственных вычислительных центрах
Искусственный интеллект517 июл 12:53
Федеральное бюро расследований США (FBI) рассматривает возможность приобретения специализированного оборудования для вычислений в области ИИ. В опубликованном запросе ведомство ищет системы, способные поддерживать обучение и развертывание больших языковых моделей (LLM), обработку данных, компьютерное зрение и другие задачи искусственного интеллекта в защищённой государственной вычислительной среде.
Запрос информации (RFI) является предварительным этапом перед возможной покупкой и не указывает на то, что ФБР уже приняло решение о приобретении оборудования. В документации указано, что ведомство может закупить несколько систем различных конфигураций и объёмов поставки.
ФБР разделило требования к будущей инфраструктуре на четыре категории.
Первая включает серверы на базе процессоров Intel Xeon 6767P или аналогичных решений, минимум с 2 ТБ оперативной памяти с возможностью расширения до 4 ТБ, а также с 8-графическим ускорителем Nvidia HGX B300 или сопоставимой системой. Оборудование должно содержать SSD-накопители для операционной системы и данных, а также сетевые интерфейсы с высокой пропускной способностью.
Вторая категория предназначена для интегрированных стоечных систем масштаба дата-центра. ФБР рассматривает решения уровня Nvidia GB300 NVL72 — готовые вычислительные стойки для обучения и работы крупных ИИ-моделей. Такие системы должны обеспечивать высокоскоростную связь между ускорителями, Ethernet-инфраструктуру уровня Nvidia Spectrum-X, встроенное охлаждение и возможность подключения к водяным системам охлаждения государственных объектов.
Третья категория касается архитектур ИИ-кластеров для корпоративных нагрузок. В документах упоминаются системы уровня Google TPU v8, TPU v7L или выше — специализированные процессоры для задач искусственного интеллекта. Требуемая производительность должна быть сопоставима как минимум с 5 стойками Nvidia GB300 NVL72. Оборудование должно поддерживать запуск больших языковых моделей и работу с различными ИИ-фреймворками.
Упоминание TPU стало необычным пунктом запроса, поскольку эти ускорители традиционно предоставлялись через облачную инфраструктуру Google, а не как локальные решения для установки в собственных дата-центрах. В то же время Google постепенно расширяет доступность TPU за пределами своего облака, включая партнёрские вычислительные площадки.
Четвёртая категория относится к ускорителям для запуска готовых ИИ-моделей. ФБР рассматривает решения уровня Nvidia L40S с минимум 48 ГБ видеопамяти для задач генеративного ИИ, работы с эмбеддингами (числовыми представлениями данных для анализа взаимосвязей) и компьютерного зрения. Ускорители должны поддерживать распространённые форматы вычислений FP32, FP16, BF16 и INT8, а также инструменты CUDA, TensorRT, PyTorch и TensorFlow.
Большая часть предполагаемых поставок, согласно документам, предназначена для подразделения ФБР Criminal Justice Information Services (CJIS) в Кларксберге, Западная Вирджиния. Там ведомство планирует размещать оборудование для защищённых вычислительных задач.
Darth SaharaИсточники:datacenterdynamicsИскусственный интеллект5Искусственный интеллектNvidiaGoogleСуперкомпьютерыTPUДата-центрыВычислительная инфраструктура17 июл 12:53
Источник