Основы визуального восприятия Лектор:Лукин Алексей Сергеевич

План лекции Свет и цвет Свет и цвет Восприятие цвета Восприятие цвета Цветовые системы Цветовые системы Меры близости изображений Меры близости изображений PSNR, MSE PSNR, MSE Основы восприятия: фильтрация, CSF, маскировка Основы восприятия: фильтрация, CSF, маскировка Меры, учитывающие восприятие Меры, учитывающие восприятие

Свет и цвет Свет и его спектр Свет и его спектр 380–470 нм – фиолетовый, синий 500–560 нм – зеленый 560–590 нм – желтый, оранжевый 590–760 нм – красный Аналогия с «цветами» звуковых шумов Аналогия с «цветами» звуковых шумов

Свет и цвет Восприятие цвета Восприятие цвета λ, нм (длина волны) P B G R (чувствительность колбочек глаза) λ I (интенсивность) I (λ) Какой это цвет?

Свет и цвет Цветовые системы Цветовые системы RGB и дисплеи, гамма-коррекция RGB и дисплеи, гамма-коррекция Закон Вебера: чувство = log(стимул) Закон Вебера: чувство = log(стимул) Аддитивные (RGB) и субтрактивные (CMYK) системы Аддитивные (RGB) и субтрактивные (CMYK) системы RGBCMY

Свет и цвет Цветовые системы Цветовые системы HSV (Hue/Saturation/Value) HSV (Hue/Saturation/Value) Система YUV и прореживание хроматических компонент Система YUV и прореживание хроматических компонент

Свет и цвет Система YUV: разделение яркости и хроматических компонент Система YUV: разделение яркости и хроматических компонент Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия

Метрики близости Как измерить похожесть двух изображений? Как измерить похожесть двух изображений? исходное изображение искаженное изображение

Метрики близости Среднеквадратичная ошибка (MSE) Среднеквадратичная ошибка (MSE) Пиковое отношение сигнал/шум (PSNR) Пиковое отношение сигнал/шум (PSNR) N – число пикселей M – максимальное значение пикселя

Метрики близости PSNR и MSE не учитывают особенности человеческого восприятия! PSNR и MSE не учитывают особенности человеческого восприятия! Оригинал Далее будут использованы рисунки из статьи Wang, Bovik, Lu WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?

Метрики близости У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) Повышена контрастностьДобавлен белый гауссов шум

Метрики близости И у этих – тоже примерно 25 dB! И у этих – тоже примерно 25 dB! Добавлен импульсный шумРазмытие

Метрики близости И у этого – тоже! И у этого – тоже! Артефакт блочности после JPEG

Метрики близости Вывод: PSNR не всегда отражает реальный видимый уровень искажений Вывод: PSNR не всегда отражает реальный видимый уровень искажений Как улучшить? Как улучшить? Использовать функцию чувствительности глаза к различным частотам (CSF) Использовать функцию чувствительности глаза к различным частотам (CSF) Использовать свойство маскировки Использовать свойство маскировки Использовать равномерные к восприятию цветовые пространства (CIE Lab, CIEDE2000) Использовать равномерные к восприятию цветовые пространства (CIE Lab, CIEDE2000) HVS models (human visual system)

Метрики качества Contrast sensitivity function (CSF) Contrast sensitivity function (CSF) Показывает чувствительность глаза к различным частотам Показывает чувствительность глаза к различным частотам Абсцисса – пространственная частота (колебаний / градус угла обзора)

Маскировка

Cortex Transform Разбиение плоскости частот Разбиение плоскости частот Watson The Cortex Transform: Rapid Computation of Simulated Neural Images (Computer Vision, Graphics, and Image Processing, 1987) ωxωx ωyωy Частотные характеристики нескольких кортекс-фильтров ρ θ gain = 1 gain = 0

Cortex Transform Разбиение плоскости частот Разбиение плоскости частот ωyωy Частотные характеристики складываются ωxωx ρ θ gain = 1 gain = 0

Cortex Transform Разбиение плоскости частот Разбиение плоскости частот ωyωy Частотные характеристики складываются ωxωx ρ θ gain = 1 gain = 0

Cortex Transform Пример кортекс-фильтра Пример кортекс-фильтра y Импульсный отклик x

Cortex Transform Примеры кортекс-фильтров Примеры кортекс-фильтров ωyωy АЧХ ωxωx y Исходное изображение x

Cortex Transform Примеры кортекс-фильтров Примеры кортекс-фильтров ωyωy АЧХ ωxωx y Отфильтрованное изображение x

Cortex Transform Примеры кортекс-фильтров Примеры кортекс-фильтров ωyωy АЧХ ωxωx y Отфильтрованное изображение x

Cortex Transform Вычисление Вычисление Φ и Φ -1 – вещественнозначные двумерные DFT, их можно вычислить через FFT Φ и Φ -1 – вещественнозначные двумерные DFT, их можно вычислить через FFT Кортекс-фильтры обладают линейной фазой и пологими склонами АЧХ Кортекс-фильтры обладают линейной фазой и пологими склонами АЧХ

VDP Visual Differences Predictor * Visual Differences Predictor * 1.Перевести оба изображения в однородное пространство яркостей 2.Вычислить их кортекс-преобразования 3.Вычислить повышение порога восприятия в результате маскировки 4.Вычислить вероятность обнаружения артефактов * Daly The visible differences predictor: An algorithm for the assessment of image fidelity (Digital Image and Human Vision, 1993) Mantiuk, Daly, Muszkowsky, Seidel Predicting visible differences in high dynamic range images – model and its calibration (Human Vision and Electronic Imaging, 2005) Mask contrast Threshold elevation