Классификация геометрических моделей. Модели на основе интерполяции изображений Алексей Игнатенко Лекция 5 9 ноября 2006

Основы синтеза изображений 2 На прошлой лекции Тонирование: процесс вычисления исходящего излучения для точки поверхности Точность, выразительность, скорость Физически обоснованные и эмпирические модели Модели: Ламберт Фонг и Блинн-Фонг Лафортюн Торранс-Спарроу Табличная BRDF

9 ноября 2006 Основы синтеза изображений 3 На лекции Пленоптик-функция и геометрические модели Спектр моделей на основе представления пленоптик-функции Модели на основе интерполяции изображений

9 ноября 2006 Основы синтеза изображений 4 Задача геометрического моделирования Знаем Принципы распространения света Принципы взаимодействия света с объектами Принципы перевода энергии в цвет Как объединить это вместе? Условие: быстрое вычисление излучения в данном направлении

9 ноября 2006 Основы синтеза изображений 5 Воображаемые лучи Чтобы полностью описать любую сцену, достаточно сохранить излучение со всех направлений, попадающих в данную точку Пространство заполнено всевозможными лучами разной интенсивности Можно описать математически с помощью функции

9 ноября 2006 Основы синтеза изображений 6 Пленоптик-функция: определение Угол Длина волныВремя Точка наблюдения Для получения изображения нужно сохранить лучи, проходящие через матрицу камеры или сетчатку глаза

9 ноября 2006 Основы синтеза изображений 7 Пленоптик-функция: упрощение Статичные изображения Рассматриваем для фиксированной длины волны

9 ноября 2006 Основы синтеза изображений 8 Пленоптик-функция: набор изображений Изображение (фотография) является выборкой из непрерывной пленоптик-функции! Каждый пиксель = луч в пространстве, проходящий через заданный телесный угол При условии, что известны параметры камеры для этого изображения калибровка

9 ноября 2006 Основы синтеза изображений 9 Пленоптик-функция: набор изображений (2) Увеличивая число изображений, можно добиться точной передачи любой сцены «Табличное» задание пленоптик-функции Недостающие части можно достроить с помощью интерполяции или экспраполяции

9 ноября 2006 Основы синтеза изображений 10 Набор изображений: проблема Проблема – огромный объем данных! Что если перейти от табличного к параметрическому заданию пленоптик- функции? Вместо лучей хранится информация о том, как рассчитать излучение в нужном направлении Тут пригодятся модели материалов

9 ноября 2006 Основы синтеза изображений 11 Пленоптик-функция: от изображений к поверхностям и объемам В пространство добавляются геометрические объекты ДискретизацияГеометрия + материалы фотографии

9 ноября 2006 Основы синтеза изображений 12 Пленоптик-функция: изображения vs. геометрия Моделирование на основе изображений Любые материалы, эффекты Скорость экранизации не зависит от сложности геометрии и материалов Высокие требования к объемам памяти Статичность Геометрическое моделирование Эффективное по памяти представление Поддержка динамичных сцен Медленно для сложных материалов или моделей освещения Ограниченная сложность материалов и сред

9 ноября 2006 Основы синтеза изображений 13 Спектр моделей Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия

9 ноября 2006 Основы синтеза изображений 14 Спектр моделей: только изображения Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия Интерполяция в плотном (dense) наборе исходных изображений Часто с помощью поиска соответствий Высокие требования к количеству исходных фотографий (изображений) Нет возможности изменения освещения и анимации

9 ноября 2006 Основы синтеза изображений 15 Спектр моделей: изображения + частичная геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия Либо грубая геометрия Упрощенная форма объекта Обычно дискретная геометрия Карты глубины

9 ноября 2006 Основы синтеза изображений 16 Спектр моделей: геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро- зависимая геометрия, камеро- зависимая текстура Камеро- зависимая геометрия, фиксир. текстура Фиксир. геометрия, камеро- зависимая текстура Только изображения Изображения + частичная геометрия Полная геометрия ИзображенияГеометрия Синтез (трассировка, растеризация) изображений геометрических моделей Текстурирование в разных формах

9 ноября 2006 Основы синтеза изображений 17 Моделирование на основе изображений Основа: набор изображений задают пленоптик-функцию на заданной области определения Задача: максимально уменьшить объем входных данных

9 ноября 2006 Основы синтеза изображений 18 Как можно уменьшить размер данных? Уменьшение размерности функции Ограничение области Vx,Vy,Vz Ограничение угла обзора Уменьшение степени дискретизации Меньше изображений, «умная» интерполяция

9 ноября 2006 Основы синтеза изображений 19 Изображение Да, это тоже модель Легко создавать Не можем двигаться Не можем вращаться

9 ноября 2006 Основы синтеза изображений 20 Movie Maps Один из первых подходов на основе изображений 1978г. Данные представляют собой набор фотографий через каждые 10-15м, совмещенных с планом города Четыре кадра в разные стороны для каждой точки Революционный подход! Для нужд армии Ознакомление солдат с территорией противника

9 ноября 2006 Основы синтеза изображений 21 Movie Maps: свойства Легко создавать Высокая скорость экранизации Просто выбор нужного изображения Дискретное движение Вместо поворота – четыре кадра из одной точки

9 ноября 2006 Основы синтеза изображений 22 Панорамные изображения Простейший метод Экранизация – репроекция части панорамы на планарную плоскость камеры

9 ноября 2006 Основы синтеза изображений 23 Типы панорам Цилиндрические панорамы Сферические панорамы Кубические панорамы Цилиндрическая панорама Сферическая панорамаКубическая панорама

9 ноября 2006 Основы синтеза изображений 24 Панорамы: свойства Легко создавать Высокая скорость экранизации Популярность Невозможно двигаться

9 ноября 2006 Основы синтеза изображений 25 Панорамы: QuickTime VR Первый и наиболее популярный подход к созданию и демонстрации панорам 1994г, Apple

9 ноября 2006 Основы синтеза изображений 26 Панорамы: демонстрация

9 ноября 2006 Основы синтеза изображений 27 Концентрические мозаики (concentric mosaics) Развитие панорам в сторону возможности перемещения пользователя Ограничение перемещения наблюдателя На одной высоте Внутри окружности небольшого радиуса Несколько метров Получение с помощью специальной аппаратуры Камера, закрепленная на вращающейся штанге

9 ноября 2006 Основы синтеза изображений 28 Концентрические мозаики: получение

9 ноября 2006 Основы синтеза изображений 29 Концентрические мозаики: экранизация Каждый столбец изображения выбирается из соответствующего изображения мозаики

9 ноября 2006 Основы синтеза изображений 30 Концентрические мозаики: свойства Нет вертикального параллакса Все объекты бесконечно далеко

9 ноября 2006 Основы синтеза изображений 31 Концентрические мозаики: демонстрация

9 ноября 2006 Основы синтеза изображений 32 Четырехмерные параметризации Трехмерные параметризации сильно ограничивают возможность перемещения наблюдателя Для большей свободы требуется ввести еще один параметр Увеличение объема данных

9 ноября 2006 Основы синтеза изображений 33 Световые поля (light fields) База данных изображений объекта Равномерная ортогональная сетка, в узлах – камеры Задают плоскость с координатами (u,v) В каждом узле делается фотография объекта Поворот камеры задается координатами (s,t) на плоскости за объектом

9 ноября 2006 Основы синтеза изображений 34 Световые поля: экранизация 1. Построение луча из камеры 2. Пересечение с первой плоскостью (u,v) Найдено исходное изображение 3. Пересечение со второй плоскостью Найдена точка в исходном изображении

9 ноября 2006 Основы синтеза изображений 35 Световые поля: свойства Возможность свободного перемещения Почти любые объекты и материалы В том числе пух, шерсть – нет геометрии! Большой объем данных Только небольшие отдельные объекты Довольно сложная технология получения

9 ноября 2006 Основы синтеза изображений 36 Световые поля: демонстрация

9 ноября 2006 Основы синтеза изображений 37 Пленоптик-склейки (plenoptic stitching) Другой вариант четырехмерной параметризации Ориентирован на навигацию внутри помещений Нужна всенаправленная камера Получает сферические изображения Для получения всенаправленную камеру перемещают по сетке Положение камеры сохраняется вместе с видеопоследовательностью

9 ноября 2006 Основы синтеза изображений 38 Пленоптик-склейки: экранизация Новые виды создаются с помощью комбинации столбцов пикселей из исходных изображений

9 ноября 2006 Основы синтеза изображений 39 Пленоптик-склейки: свойства Возможность свободного перемещения на большом пространстве Почти любые объекты и материалы Большой объем данных Перемещение только по горизонтали Нет вертикального параллакса

9 ноября 2006 Основы синтеза изображений 40 «Море изображений» (Sea of images) Развитие пленоптик-склеек в сторону поддержки любых окружений Подход «грубой силы и сжатия» Вместо сложных алгоритмов поиска соответствий и интерполяции используется простейший подход Но со сложными алгоритмами сжатия, предвыборки и т.п.

9 ноября 2006 Основы синтеза изображений 41 Море изображений: свойства Возможность свободного перемещения на произвольном пространстве Почти любые объекты и материалы Очень большой объем данных

9 ноября 2006 Основы синтеза изображений 42 Итоги Пленоптик-функция задает излучение во всех возможных направлениях Задача моделирования – эффективно представить пленоптик-функцию Спектр методов: от набора изображений до полной геометрии Методы на основе интерполяции изображений: Панорамы Мозаики Световые поля Склейки «Море изображений»