Сравнение и подгонка поверхностей при решении прикладных задач анализа 3d портретов человеческих лиц Дышкант Наталья Федоровна natalia.dyshkant@gmail.com. - презентация

1 Сравнение и подгонка поверхностей при решении прикладных задач анализа 3d портретов человеческих лиц Дышкант Наталья Федоровна МГУ имени М.В. Ломоносова Факультет Вычислительной математики и кибернетики

2 Современные трехмерные сканеры

3 Исходные данные Дискретная модель поверхности – нерегулярное облако точек; Поверхности, однозначно проецируемые на плоскость: Поверхность как функция, заданные на дискретном множестве точек на плоскости (в узлах сетки).

4 Общая постановка задачи Даны две однозначные поверхности; Требуется: –Ввести меры для сравнения поверхностей; –Разработать эффективный метод вычисления мер; –Адаптировать метод для специализированных задач анализа 3d моделей лиц.

5 Моделирование однозначных поверхностей Примеры сеток, имеющих регулярную (слева) и нерегулярную (справа) структуры Недостатки регулярных сеток: Проблема выбора оптимального шага сетки; Плохая адаптация к точности описания, избыточность описания; Вычислительная неэффективность.

6 Известные подходы к решению Подгонка поверхностей на основании расстояний между точками в 3d пространстве (алгоритм ближайших точек ICP, его модификации): –Высокая вычислительная сложность; Пересчет исходных данных в 2d регулярные сетки: –Проблема избыточности описания, повышение вычислительной сложности.

7 Основные идеи предлагаемого подхода Сохранение исходных нерегулярных сеток без пересчета в общую регулярную; Аппроксимация каждой поверхности кусочно- линейной функцией вида z=f(x,y) на основе построения триангуляций Делоне; Вычисление («взвешенного») объема разности между триангулированными поверхностями; Восполнение каждой из функций в другой сетке на основе локализации триангуляций Делоне.

8 Математическая постановка задачи

9 Алгоритм сопоставления поверхностей

10 Подгонка поверхностей

11 Меры для сравнения поверхностей

12 Мера для сравнения в случае сеток разной плотности Мера вычисляется по треугольникам, объединяющим узлы разных сеток – «интерфейсным» треугольникам

13 Модификация алгоритма сопоставления поверхностей

14 3d модели лица Получены сканером Broadway компании Artec Group ( group.ru) group.ru Координаты точек в масштабе 1:1 с объектом; Расположение (приближенное) в системе координат:

15 Количественная оценка асимметрии лица по 3d модели (1 из 2) Сравнение исходной модели лица и модели, отраженной относительно плоскости симметрии; Нахождение оптимальной плоскости симметрии модели – плоскости симметрии, при которой мера различия между двумя моделями минимальна. Исходная (красный цвет) и отраженная (зеленый цвет) маски лица Дышкант Н.Ф., Местецкий Л.М. «Оценка асимметрии лица по трехмерному портрету» // Тезисы докладов Интеллектуализация обработки информации , 2008 год, С

16 Количественная оценка асимметрии лица по 3d модели (2 из 2) Проведенные вычислительные эксперименты на базе из 191 модели 8 людей показали устойчивость предложенной оценки

17 Сегментация 3d модели лица на статические и динамические области по трехмерной видеопоследовательности (1 из 3) Дышкант Н.Ф., Гордеев Д.В. «Сегментация модели лица на статические и динамические области по трехмерной видеопоследовательности» // сборник докладов конференции «МММРО-14», 2009 год, С

18 Сегментация 3d модели лица на статические и динамические области по трехмерной видеопоследовательности (2 из 3)

19 Сегментация 3d модели лица на статические и динамические области по трехмерной видеопоследовательности (3 из 3) Сравнение сопоставления верхних частей по всей модели (слева) и по статической части (справа) Сопоставление моделей по нижней челюсти по всей модели (слева) и по сегментированной из динамической части области

20 Приложение в области ортодонтии Позиционирование модели челюсти в 3d модели головы

21 Результаты Предложены меры для сравнения поверхностей, представленных облаками точек на разных дискретных сетках; Предложен подход для вычисления мер, сохраняющий исходную нерегулярность данных и обладающий высокой вычислительной эффективностью; Рассмотрены несколько задач анализа 3d моделей лица человека, для них обоснованы возможности применения предложенного подхода.