3D Gaussian fields — представление трёхмерной сцены посредством набора ориентированных гауссианов, каждый из которых моделирует локальную плотность, цвет и прозрачность.
Определение
3D Gaussian fields — это формат 3D-представления, где сцена моделируется набором 3D-гауссианов. Каждый гауссиан задаётся позицией, ковариацией (форма и ориентация), цветом и коэффициентом альфа-прозрачности. Такое представление используется как альтернатива NeRF, обеспечивая быстрый дифференцируемый рендеринг и эффективное обучение из изображений.
Как работает
В основе метода лежит идея заменить непрерывную плотностную функцию NeRF дискретным набором гауссианов, которые можно быстро рендерить и оптимизировать.
1. Представление сцены
- Каждый гауссиан — это распределение плотности в 3D-пространстве.
- Параметры:
- центр (x, y, z);
- ковариационная матрица (положение, масштаб, ориентация);
- цвет (RGB) и альфа;
- sh-feature для отражательной способности.
2. Дифференцируемый рендеринг
Рендеринг выполняется как интеграция вклада гауссианов вдоль луча камеры:
- каждый гауссиан растушёвывается как эллипс в 2D;
- цвет пикселя — взвешенная сумма вкладов всех гауссианов по лучу;
- используется splatting (rasterization-like) рендеринг.
Это даёт сильный прирост скорости по сравнению с NeRF, где для рендера применяется многосэмпловый MLP.
3. Обучение
Параметры гауссианов оптимизируются градиентным спуском с использованием фотометрической ошибки между рендером и реальными изображениями. Во время обучения могут добавляться новые гауссианы (densification), если модель обнаруживает плохо покрытые участки сцены.
Где применяется
- Быстрая реконструкция сцен по изображениям.
- 3D-визуализация для AR/VR.
- Motion capture и сценография.
- Интерактивные 3D-приложения.
- Генеративные модели с 3D-контролем.
Практические примеры использования
Технология получила широкую известность после работ “3D Gaussian Splatting” и “Gaussian Splatting for Real-Time Rendering”. Эти системы позволяют получать высококачественные реконструкции сцен за минуты, а рендерить — в реальном времени.
Гауссиановые поля применяются в гибридных генеративных моделях: они могут служить геометрическим слоем для text-to-3D, video generation и NeRF-подобных систем. В интерактивных движках 3D Gaussian Fields уже используются для быстрых превью и симуляций.
Ключевые свойства
- Реальное время рендеринга.
- Градиентность и обучаемость.
- Простое и компактное представление сцены.
- Densification во время обучения.
- Высокое качество реконструкции при правильной параметризации.
Проблемы и ограничения
- Трудности с прозрачными и бликующими поверхностями.
- Чувствительность к шуму позы камеры.
- Стремительный рост числа гауссианов при сложных сценах.
- Менее точное представление геометрии по сравнению с implicit моделями.
Преимущества и ограничения
- Плюс: быстрота и реалистичность рендеринга, простота оптимизации.
- Минус: ограниченная геометрическая точность и возможное разрастание количества гауссианов.
Связанные термины
- NeRF
- Implicit surfaces
- 3D reconstruction
- Gaussian splatting
- Differentiable rendering