Полигональные модели. Точечные модели Алексей Игнатенко Лекция 7 23 ноября 2006

На прошлой лекции Методы на основе изображений с неявной геометрией позволяют понизить требования к количеству исходных изображений Но требуются сложные алгоритмы машинного зрения для поиска соответствий Сужение области применения Методы на основе дискретной геометрии Обычно используется для работы с данными трехмерных сканеров или результатов работы алгоритмов машинного зрения Нужно еще меньше фотографий Сложности с получением (карты глубины) Ограничения на модель тонирования 23 ноября 2006 Основы синтеза изображений 2

На лекции Полигональные модели Видозависимые текстуры BRDF на основе изображений Отображение световых полей Неструктурированные световые поля Точечные модели Проблема реконструкции и сплаттинг QSplat 23 ноября 2006 Основы синтеза изображений 3

ПОЛИГОНАЛЬНЫЕ МОДЕЛИ Часть 1 23 ноября 2006 Основы синтеза изображений 4

Проблемы подходов с частичной или неявной геометрией Дырки! Большие сложности с реконструкцией финального изображения Сложность обработки и редактирования Ограничения на модели освещения 23 ноября Основы синтеза изображений

9 ноября 2006 Основы синтеза изображений 6 Спектр моделей Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия

Спектр моделей: геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия 23 ноября Основы синтеза изображений

Модели с полной геометрией и изменяемой текстурой Полигональная геометрия Полная геометрия, непрерывное представление Вместо модели материалов используются фотографии 23 ноября Основы синтеза изображений

Видозависимое текстурирование (View dependent texture mapping) 1998г На входе Грубая полигональная модель Зарегистрированные фотографии Идея: фотографии проецируются на модель и используются в качестве текстур 23 ноября Основы синтеза изображений

Видозависимое текстурирование: алгоритм построения 1. Вычисление видимости Для каждого полигона вычисляются изображения, на которых он виден 2. Заполнение дырок Для всех невидимых полигоном вычисляется их цвет на основе информации о ближайших видимых 3. Построение карт видимости Для каждого полигона и для каждого исходящего направления сохраняется ближайшее изображение 23 ноября Основы синтеза изображений

Видозависимое текстурирование: алгоритм синтеза 1. Рисуются все полигоны, которые были не были видимы на исходных фотографиях 2. Рисуются все полигоны, которые были видимы только на одной фотографии 3. Для каждого полигона, который был виден более, чем на одной фотографии: вычисляется направление на текущую камеру в карте видимости выбираются три ближайших фотографии и текстуры смешиваются с весами 23 ноября 2006 Основы синтеза изображений 11

Алгоритм синтеза: пример 23 ноября 2006 Основы синтеза изображений 12

Видозависимое текстурирование: свойства 23 ноября Основы синтеза изображений Используются фотографии реальных моделей при реальном освещении Высокая скорость Фотографий слишком мало для передачи сложных эффектов Если увеличивать число – нужно сжатие Нужна достаточно детализированная модель

Визуализация BRDF с помощью интерполяции Reflection space image-based rendering 1999г. Для получения информации о BRDF используются фотографии образца-шара Карта окружения (environment map) Каждому положению камеры соответствует своя карта окружения Для получения карты окружения, которой нет в исходном наборе, используется интерполяция между тремя соседними фотографиями 23 ноября 2006 Основы синтеза изображений 14

Визуализация BRDF с помощью интерполяции: карты окружения 23 ноября 2006 Основы синтеза изображений 15 Немного из истории… Gene Miller, 1980

Визуализация BRDF с помощью интерполяции: алгоритм синтеза Выбираются три соседних фотографии Каждая фотография деформируется для заданного направления Это можно сделать, предполагая некие свойства материала Результирующая карта окружения – результат смешения трех деформированных карт в разных пропорциях Чем ближе текущее направление к данной карте, тем больше вес 23 ноября 2006 Основы синтеза изображений 16

Визуализация BRDF с помощью интерполяции: свойства Используются фотографии реальных моделей при реальном освещении Высокая скорость Cерьезные априорные предположения о структуре BRDF Только бесконечно-удаленные источники света Нет переотражений (локальная модель) 23 ноября 2006 Основы синтеза изображений 17

Визуализация BRDF на основе изображений: алгоритм синтеза 2004г. На входе табличная BRDF Трехмерная (изотропный материал) Построение модели полусферы с бликами Расчет плотности сетки в местах бликов Расчет цвета в вершинах сетки Рисование OpenGL, сохранение как текстуры Рисование модели с полученной сферической текстурой 23 ноября Основы синтеза изображений

Визуализация BRDF на основе изображений: результат 23 ноября 2006 Основы синтеза изображений 19

Визуализация BRDF на основе изображений: сравнение 23 ноября 2006 Основы синтеза изображений 20 Интерактивный синтезТрассировка

Визуализация BRDF на основе изображений: свойства Поддержка произвольных изотропных BRDF Можно расширить и на анизотропные Высокая скорость Оптимизация точек расчета цвета Использование аппаратной поддержки Только бесконечно-удаленные источники света Нет переотражений (локальная модель) 23 ноября Основы синтеза изображений

Отображение световых полей (Light field mapping) 2002г Аналогично световым полям, но параметризация использует заданную геометрическую модель Значительное снижение требуемых объемов данных Более качественная визуализация 23 ноября Основы синтеза изображений s t(phi, theta)

Отображение световых полей: получение и хранение 23 ноября 2006 Основы синтеза изображений 23 Факторизация

Отображение световых полей: синтез Световые поля хранятся в виде текстур Синтез сводится к поиску текстурных координат и смешиванию текстур 23 ноября 2006 Основы синтеза изображений 24

Отображение световых полей: свойства Поддержка произвольных BRDF и условия освещения Но количество слагаемых ряда ограничено Высокая скорость Высокая степень сжатия Нужна достаточно точная модель Большое количество исходных фотографий Фиксированные условия освещения 23 ноября Основы синтеза изображений

Неструктурированные световые поля (Unstructured light fields) 2001г Попытка создания гибкой системы, «покрывающей» почти весь спектр моделей Основная идея: можно варьировать соотношение изображения геометрия На одном конце: видозависимое текстурирование На другом: световые поля Чем больше изображений, тем менее точная геометрия нужна, и наоборот 23 ноября Основы синтеза изображений

Неструктурированные световые поля: структура данных Геометрический заместитель (прокси- объект) + набор зарегистрированных фотографий 23 ноября Основы синтеза изображений

Неструктурированные световые поля: алгоритм синтеза 23 ноября 2006 Основы синтеза изображений 28

Неструктурированные световые поля: результаты 23 ноября 2006 Основы синтеза изображений 29

Неструктурированные световые поля: свойства Действительно универсальный алгоритм Высокая скорость Работает хуже специализированных Основной упор на метод синтеза, а не на модель данных 23 ноября Основы синтеза изображений

ТОЧЕЧНЫЕ МОДЕЛИ Часть 2 23 ноября 2006 Основы синтеза изображений 31

Что такое точечные модели? Набор точек в пространстве Каждая точка обладает положением (x,y,z) и набором атрибутов Не хранится информация о поверхности! 23 ноября 2006 Основы синтеза изображений 32

Зачем нужны точечные модели? Быстрая визуализация очень сложных данных При визуализации в один пиксель экрана могут попадать десятки треугольников! Нет смысла хранить информацию о связанности 23 ноября 2006 Основы синтеза изображений 33 > 1000 треугольников!

Проблема реконструкции и сплаттинг В модели нет информации о «промежутках» между точками => необходима реконструкция 23 ноября 2006 Основы синтеза изображений 34 Один из методов реконструкции - сплаттинг

Сплаттинг 23 ноября 2006 Основы синтеза изображений 35 Точки после проекции на экран Как восстановить поверхность? Сплаттинг – замена точки «облаком», «кляксой» (splat), размер и форма которого вычисляется из информации об исходной модели Сплат

QSplat 2001г. Система многомасштабного синтеза изображений точечных моделей Упрощенный аналог нужно реализовать во втором задании практикума! 23 ноября 2006 Основы синтеза изображений 36

QSplat: пример модели из точек

QSplat: Структура данных Основная идея: иерархия сфер может быть использована для Иерархического удаления невидимых поверхностей и отсечения по видимой области Управлению уровнем детализации Сплаттинга

QSplat: создание структуры данных На входе – полигональная сетка

QSplat: создание структуры данных 2 В каждом узле размещается сфера Касается соседних

QSplat: создание структуры данных 3

QSplat: структура узла дерева Положение и радиус Структура Нормаль Ширина конуса нормалей Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит 6 байт

QSplat: структура узла дерева 2 Положение и радиус кодируются относительно родительского узлаСмещение Отношение радиуса Положение и радиус Структура Нормаль Ширина конуса нормалей Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит

QSplat: структура узла дерева 3 Число «детей» (0, 2, 3, or 4) – 2 бита Наличие «внуков» – 1 бит Положение и радиус Структура Нормаль Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит Ширина конуса нормалей

QSplat: структура узла дерева 4 Нормаль квантована по граням куба Положение и радиус Структура Нормаль Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит Ширина конуса нормалей

QSplat: структура узла дерева 5 Каждый узел содержит ширину конуса нормалей производных узлов Положение и радиус Структура Нормаль Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит Ширина конуса нормалей

QSplat: структура узла дерева 6 Удаляется Не удаляется Viewer Положение и радиус Структура Нормаль Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит Ширина конуса нормалей

QSplat: структура узла дерева 7 Цвет квантуется до (R-G-B) Положение и радиус Структура Нормаль Цвет (опционально) 13 бит3 бита14 бит2 бита16 бит Ширина конуса нормалей

QSplat: алгоритм синтеза Рекурсивный обход иерархии if (node not visible) Skip this branch else if (leaf node) Draw a splat else if (size on screen < threshold) Draw a splat else Traverse children

QSplat: управление скоростью визуализации Анализ скорости уже выведенных кадров Во время навигации: изменение глубины обхода дерева на основе времени вывода предыдущего кадра При отпускании мыши: полная перерисовка дерева

QSplat: загрузка модели с диска Одинаковая структура в памяти и на диске (memory-mapped files)

QSplat: свойства Высокая скорость визуализации, работа с очень сложными моделями Низкое качество сплаттинга 23 ноября 2006 Основы синтеза изображений 52

ПолигоныТочки Точки vs. полигоны Для сложных моделей: Хорошо описываются модели с большими плоскими поверхностями (или поверхности малой кривизны) Хорошо описываются модели с большим количеством деталей повсюду Доступна графическая аппаратура Хорошо работают при софтверной визуализации Сложные алгоритмы многомасштабной визуализации Простые алгоритмы многомашстабной визуализации, быстрый препроцессинг

Итоги Полигональные модели Текстура используется как средство передачи освещения и параметров материала Проективные текстуры Световые поля как текстуры Точечные модели Подходят для сложных моделей Проще в обработке, быстрее в визуализации Проблема реконструкции поверхности при приближении 23 ноября 2006 Основы синтеза изображений 54