Компания представляет свою модель как полноценный профессиональный инженерный инструмент.
ML-подразделение Apple анонсировало модель LiTo, которая позволяет восстанавливать трехмерные объекты по одному изображению. В отличие от уже существующих технологий, она сохраняет сложные оптические эффекты: отражения, блики и то, как материал меняет свой вид под различными углами. Это не просто 3D‑сканирование — это перенос физики света в цифровую среду.
Большинство современных нейросетей, преобразующих 2D‑фото в 3D‑модели, прекрасно справляются с геометрией. Однако они практически не понимают оптику. Текстуры получаются «плоскими»: дерево выглядит как раскрашенный картон, стекло — как серая пленка, а металл теряет свой блеск при изменении положения камеры.
Исследователи Apple нашли решение этой проблемы. Их новая модель LiTo (Light Transport) обучается кодировать не только форму объекта, но и его световые характеристики — как поверхность отражает, преломляет и рассеивает свет в зависимости от угла взгляда и освещения.
Нейросеть обрабатывает одновременно два слоя информации:
- Геометрию — точная форма объекта;
- Световое поле поверхности — компактный набор латентных векторов, описывающих, как объект взаимодействует со светом.
Сначала модель обучают создавать трехмерные объекты с полным учетом физики материалов. Затем, путем сжатия случайных выборок светового поля, она учится восстанавливать сложные оптические эффекты на основе одного единственного снимка.
В результате LiTo способна «додумать» то, что не видно на исходном изображении: как будут играть блики на хромированной поверхности при изменении положения объекта или как трансформируется прозрачность стекла при изменении угла.
В своей работе исследователи провели сравнение LiTo с нейросетью TRELLIS. Результаты говорят о многом:
- LiTo создает объекты с более высокой точностью по сравнению с исходным изображением;
- Визуальные эффекты (блики, отражения, анизотропия материалов) сохраняются при любом угле обзора, а не «приклеиваются» к текстуре;
- Модель эффективнее работает с объектами, обладающими сложной оптической природой — стеклянными, металлическими, полированными поверхностями.
Практическое применение LiTo значительно выходит за рамки красивых изображений. Разработчики игр и визуальных эффектов смогут создавать реалистичные 3D‑ассеты в разы быстрее — достаточно одной фотографии реального объекта. Системы дополненной и виртуальной реальности смогут переносить физические предметы в цифровую среду с учетом их оптических свойств. А сфера электронной коммерции сможет демонстрировать товары в 3D с реалистичными отражениями и бликами, что будет способствовать повышению доверия покупателей.
Apple рассматривает LiTo как средство для «быстрого преобразования реальных объектов в цифровые 3D‑модели». Судя по качеству результатов, это один из тех случаев, когда машинное обучение перестает быть просто «угадайкой» и становится настоящим инженерным инструментом.
На данный момент неясно, когда модель будет доступна для разработчиков, но само появление LiTo говорит о стратегическом направлении Apple: нейросети должны понимать физику мира, а не только формы.
Фото: hi-tech.mail.ru