Детализированное восстановление фигуры и позы человека по изображениям Detailed Human Shape and Pose from Images 1

Обзор метода(надо ли такой слайд?) 2 1.Обучаем модель на тестовых примерах 2.Выделяем силуэт из снимков 3.Сопоставляем модель и силуэт 4.Получаем 3D модель тела.

Модель SCAPE (Shape Completion and Animation of People) Используется в компьютерной графике для построения изображений людей разных фигур и находящихся в разных позах Включает в себя моделирование нежестких деформаций мускулов, что придаёт большую реалистичность полученным моделям 3

Обучение модели(1) Для обучения модели используются снимки 10 разных людей в базовой позе, и одного человека в 70 разных позах. По этим данным строится преобразование, благодаря которому можно предсказать как будет выглядеть модель человека, обладающего другой фигурой и находящегося в другой позе. 4

Обучение модели(2) Базовая поза используется как шаблон, преобразуя который можно получить все остальные позы. Деформация одной модели к другой задаётся и помощью преобразования каждого треугольника: 5 R, D, Q – матрицы линейных преобразований R – преобразование твёрдого тела, матрица вращения, зависящая только от части тела в которой находится данный треугольник D – отражает особенности фигуры человека Q – отражает нежесткие деформации, зависящие от позы (например, напряжение мускулов)

Обучение модели(3) Т.к. на этапе обучения поверхности известны, то преобразование R легко вычисляется в явном виде На основе 70 тестовых примеров вычисляем коэффициенты α, характеризующие зависимость нежестких деформаций Q от параметра R: 6 Оставшийся параметр D находим как решение задачи минимизации:

Фаза сопоставления(1) 7 Необходимо найти оптимальное значение вектора состояния s = (D, R, T) для максимизации «вероятности» соответствия между моделью и картинкой, где Т – глобальное местоположение тела человека В связи с тем, что вектор состояния может принимать множество значений, применяется стокастическая оптимизация этого процесса Инициализировать процесс оптимизации можно к примеру результатом работы метода с более простой моделью

Фаза сопоставления(2) Для проверки соответствия между гипотетической моделью и фотографией, извлекаем из картинки силуэт Строим оценку того, насколько хорошо модель объясняет извлечённый силуэт человека 8 ЗДЕСЬ БЛЯДЬ КАРТИНКА КАК МЫ ЭТО ДЕЛАЕМ

Полученная трёхмерная модель отличается высокой детализацией. Данные значительно точнее, чем у цилиндрической модели. Антропометрические данные, полученные по снимку обладает достаточной точностью. Преимущества алгоритма 9

Большая сложность не позволяет работать в реальном времени. Может быть зависим от особенностей тестовых образцов. Недостатки алгоритма 10