Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения Фаворская М. Н., Пьянков Д. И., Горошкин А. Н. ГОУ ВПО «Сибирский государственный аэрокосмический университет им.академика М.Ф.Решетнева» Красноярск 2011

2 Классификация методов преобразования частоты кадров DLab SibSAU Методы преобразования частоты кадров Без оценки движенияС оценкой движения Повторение кадров (Frame Repetition) Линейная интерполяция (Linear Interpolation) Слежение за особенными точками (Feature Tracking) Методы оптического потока (Optical Flow) Методы сопоставления блоков (Block-matching Algorithm) Нелинейная интерполяция (Non-Linear Interpolation)

3 Классификация методов совмещения изображений DLab SibSAU Методы совмещения изображений Методы корреляции Фазовая корреляция (Phase Correlation) Отображение точек с обратной связью (Point Mapping with Feedback) Перекрестная спектральная функция (Cross power spectrum) Управляющие точки (Control points) Общий многочлен (Global Polynomial) Методы на основе преобразований Методы на основе отображения точек Степенной кепстр (Power cepstrum)

4 Обзор существующих программных средств НазваниеДата выпускаПредназначен для FrameDoubleиюнь, 2003Avisynth Motionиюнь, 2003Avisynth Twixtorиюнь, 2003Adobe AfterEffects RealViz Retimerлето, 2007Adobe AfterEffects MSU FRCсентябрь, 2007Avisynth MVToolsноябрь, 2008Avisynth MVTools2ноябрь, 2009Avisynth НазваниеВерсияДата выпуска DynaPel MotionPerfect июнь, 2003 Dynapel SlowMotion июнь, 2003 Smootz71.6 betaиюнь, 2003 ПрограммыПлагины Системы преобразования частоты кадров на основе интерполяции Системы ручной коррекции стереопар НазваниеСтранаГод выпуска StereoFoto MakerUSA2010 Zerene StackerUSA2009 Anaglyph Maker Japan2004 DLab SibSAU

5 Обобщенная схема пространственно-временной коррекции Левая видеопоследовательность Преобразование в YUV- пространство Построение интерполированных кадров Текущий кадр Последовательное совмещение интерполированных кадров с текущим кадром Выбор оптимального интерполированного кадра Правая видеопоследовательность Построение стереовидеопоследовательности

6 где n – параметр, определяющий, во сколько раз увеличить число кадров; z – общее число кадров. DLab SibSAU Построение интерполированных кадров

7 DLab SibSAU Обобщенная схема построения интерполированных кадров Текущий кадр L(t) Оценка движения по межкадровой разнице Построение поля векторов движения Следующий кадр L(t+1) Интерполяция в найденных областях движения Построение интерполированных кадров

8 shift B(x,y) B(x-shift,y- shift) B(x+shift,y- shift) B(x,y- shift) B(x-shift,y+ shift) B(x,y+ shift) y x B(x+shift,y+ shift) B(x+shift,y) B(x-shift,y) shift B(x,y) B(x+shift,y- shift) y x move y x Область поиска движенияВектор движения Поле векторов движения DLab SibSAU Оценки движения при построении интерполированных кадров

9 DLab SibSAU Схема оценки движения при построении интерполированных кадров Текущий кадр L(t) Разбиение на блоки B(x,y) заданного размера Выбор текущего блока B(x,y) Следующий кадр L(t+1) Вычисление суммы s яркости пикселей для B(x,y) Сравнение суммы s с пороговым значением err s < err, движения нетs > err, движение есть Вычисление суммы s с пороговым значением err Минимизация функции ошибки Вычисление соседних блоков со смещением Построение векторов движения

10 L(t) L(t+1) n = move B(x,y) DLab SibSAU Интерполяция кадров

11 C n - значение цветовой компоненты Y пикселя (x,y) блока B(x,y) на интерполированном кадре n; где t – параметр, задающий линейное смещение пикселей на каждом интерполированном кадре. DLab SibSAU Схема построения интерполированных кадров Текущий кадр L(t) Текущий блок B(x,y) с вектором движения move Линейное смещение каждого пикселя C1 к C2 Следующий кадр L(t+1) Построение интерполированного кадра

12 L(t) L(z) R(t) n DLab SibSAU Совмещение кадров

13 DLab SibSAU Схема совмещения кадров Левая видеопоследовательность Текущий кадр L(t) Построение интерполированных кадров Текущий кадр R(t) Вычисление попиксельной межкадровой разницы по метрике PSNR Правая видеопоследовательность Построение стереокадра

14 DLab SibSAU Реализация программного продукта Левая видеопоследовательность Плагин интерполяции MyPlugin.dll Правая видеопоследовательность Фреймсервер Avisynth Скрипт avs Плагин интерполяции MyCompare.dll Видеоредактор (VirtualDub, Windows Media player) Откорректированная левая видеопоследовательность Стереовидеопоследовательность

15 DLab SibSAU Реализация метода. Построение векторов движения

16 DLab SibSAU Реализация метода. Преобразование частоты кадров

17 DLab SibSAU Реализация метода. Совмещение кадров

18 DLab SibSAU Результаты экспериментов. PSNR (быстрая видеопоследовательность)

19 DLab SibSAU Результаты экспериментов. PSNR (медленная видеопоследовательность)

20 DLab SibSAU Результаты экспериментов. Время выполнения алгоритма

21 Приведена классификация методов преобразования частоты кадров и методов совмещения изображений. Представлен обзор существующих программных средств для построения стереовидеопоследовательности. Разработаны схемы пространственно-временной коррекции, построения интерполированных кадров, оценки движения, совмещения кадров. Рассмотрена реализация программного продукта, приведены примеры построения векторов движения, преобразования частоты кадров, совмещения кадров. Построены экспериментальные зависимости отношения сигнал/шум для «быстрой» и «медленной» видеопоследовательностей, а также время выполнения алгоритмов. DLab SibSAU Заключение

Спасибо за внимание DLab SibSAU Фаворская Маргарита Николаевна Пьянков Дмитрий Игоревич Горошкин Антон Николаевич