Лекция 4 Цвет, квантование, фильтрация, шумоподавление Алексей Лукин

План лекции Свет и цвет Свет и цвет –Восприятие цвета –Цветовые системы Палитры и квантование цветов Палитры и квантование цветов –Кластеризация K-средних Псевдотонирование Псевдотонирование –Метод диффузии ошибки Фильтрация Фильтрация –Свертка –Простейшие фильтры Шумоподавление Шумоподавление –Метод K nearest neighbors –Метод Non-local means Меры качества изображений Меры качества изображений

Свет и цвет Свет и его спектр Свет и его спектр 380 – 470 нм – фиолетовый, синий 500 – 560 нм – зеленый 560 – 590 нм – желтый, оранжевый 590 – 760 нм – красный

Свет и цвет Восприятие цвета Восприятие цвета λ, нм (длина волны) P B G R (чувствительность колбочек глаза) λ I (интенсивность) I (λ) Какой это цвет?

Свет и цвет Цветовые системы Цветовые системы –RGB и дисплеи, гамма-коррекция –Аддитивные (RGB) и субтрактивные (CMYK) системы RGBCMY

Свет и цвет Цветовые системы Цветовые системы –HSV (Hue/Saturation/Value) –Система YUV и прореживание хроматических компонент

Свет и цвет Система YUV: разделение яркости и хроматических компонент Система YUV: разделение яркости и хроматических компонент Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия

Квантование цвета Квантование Квантование –Раньше: ограничение видеопамяти ограничение числа цветов программируемые палитры –Теперь: уменьшение размера графических файлов, другие нужды (для спецэффектов, повышение резкости границ) Палитры в видеоадаптерах и BMP-файлах Палитры в видеоадаптерах и BMP-файлах RGB64 цвета16 цветов

Квантование цвета Палитризация Палитризация –Равномерное квантование –По популярности –Медианное сечение цветового куба Гистограмма

Квантование цвета Метод кластеризации K-средних Метод кластеризации K-средних 1.Выбрать начальное приближение палитры из N различных цветов 2.Классифицировать все пиксели на N кластеров по цвету 3.Найти средний цвет (центроиду) каждого кластера и назначить их новыми цветами палитры 4.Пока цвета обновляются – goto 2

Псевдотонирование Цель: уменьшить видимые артефакты палитризации Цель: уменьшить видимые артефакты палитризации RGB 16 цветов Округление Псевдотонирование

Псевдотонирование 1-й шаг – сведение к градациям серого 1-й шаг – сведение к градациям серого

Псевдотонирование

Псевдотонирование Методы Методы –Округление

Псевдотонирование Методы Методы –Dithering (добавление шума) Белый шум – случайные числа с нулевым мат. ожиданием

Псевдотонирование Методы Методы –Упорядоченное псевдотонирование 1.Изображение разбивается на блоки 2.В каждом блоке вычисляется средняя интенсивность 3.В зависимости от интенсивности выбирается нужный шаблон 4.Шаблон записывается в блок Примеры шаблонов с разными степенями заполнения:

Псевдотонирование Методы Методы –Диффузия ошибки Идея алгоритма: ошибка, внесенная при квантовании текущего пикселя, распределяется между соседними (еще не квантованными) пикселями. Примеры видов распределения ошибки: ee e7e/16 5e/16e/163e/16 Floyd-Steinberg for (i=0; i

Фильтры Как работают фильтры Как работают фильтры Коэффициенты фильтра, ядро свертки 3x3, «функция размытия точки» -1 k 1, -1 p 1

Фильтры Свертка Свертка // Обнулить изображение Dest[i][j]... // Выполнить свертку for (i=0; i

Фильтры Свойства фильтров Свойства фильтров 1.Результат фильтрации однотонного (константного) изображения – константное изображение. Его цвет равен 2.Следствие: чтобы фильтр сохранял цвет однотонных областей, нужно чтобы 3.Следствие: если сумма коэффициентов фильтра равна нулю, то он переводит однотонные области в нулевые.

Примеры фильтров Размытие (blur) Размытие (blur)

Примеры фильтров Повышение четкости (sharpen) Повышение четкости (sharpen)

Примеры фильтров Нахождение границ (edges) Нахождение границ (edges)

Примеры фильтров Тиснение (embossing) Тиснение (embossing)

Примеры фильтров Простейшее размытие Простейшее размытие Константное размытие Константное размытие box-фильтр (любой размер фильтра) Гауссово размытие Гауссово размытие (любой размер фильтра)

Примеры фильтров Повышение резкости Повышение резкости Нахождение границ Нахождение границ Тиснение Тиснение + модуль, нормировка, применение порога… + сдвиг яркости, нормировка…

Фильтры Некоторые свойства свертки Некоторые свойства свертки 1.Линейность 2.Инвариантность к сдвигу Пусть X и Y – изображения, H – ядро свертки

Фильтры Сепарабельные (разделимые) фильтры Сепарабельные (разделимые) фильтры Гауссиан – сепарабельный фильтр, т.к. Если фильтр сепарабельный, то фильтрацию можно производить быстрее: 1.Отфильтровать все столбцы одномерным фильтром F(k) 2.Отфильтровать все строки одномерным фильтром G(p) Еще один сепарабельный фильтр – box-фильтр

Фильтры Unsharp Mask Unsharp Mask –Параметры: радиус, сила эффекта, порог срабатывания –Идея: вычесть из изображения его размытую копию, скомпенсировав уменьшение яркости –Переменная сила эффекта α помогает избежать усиления шума. Обычно α уменьшают при малых значениях разности X – GX (меньше порога срабатывания) α контролирует силу эффекта, GX – размытая копия изображения (обычно фильтр Гаусса)

Фильтры Медианный фильтр Медианный фильтр –Каждый пиксель принимает значение, являющееся медианой значений пикселей в окрестности –Медиана – средний элемент в отсортированном массиве –Позволяет подавить шум (особенно, единичные «выпадающие» пиксели), не размывая границ –Медианный фильтр нелинейный (как доказать?) –Векторная медиана – такой элемент массива, для которого сумма L1-расстояний до остальных элементов минимальна (для одномерного случая – совпадает с предыдущим определением)

Фильтры Понятие о частотах в изображении и звуке Понятие о частотах в изображении и звуке –Частоты и гармонические колебания (звук) –Частоты и детали (изображение) –Постоянная составляющая –Действие фильтров Фильтр размытия – НЧ-фильтр Фильтр размытия – НЧ-фильтр Фильтр повышения четкости – ВЧ-фильтр Фильтр повышения четкости – ВЧ-фильтр Фильтр нахождения границ – ВЧ-фильтр Фильтр нахождения границ – ВЧ-фильтр Фильтры и обработка звука Фильтры и обработка звука

Шумоподавление Простейшие методы Простейшие методы –Размытие изображения – вместе с шумом размывает детали –Размытие в гладких областях – остается шум вблизи границ –Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие детали

Шумоподавление Адаптивные алгоритмы Адаптивные алгоритмы –K nearest neighbors (K-NN) усреднение окружающих пикселей с весами фотометрическая близостьпространственная близость

Шумоподавление Адаптивные алгоритмы Адаптивные алгоритмы –Non-local means (NL-means) – веса зависят от близости целых блоков, а не отдельных пикселей ν(x i,j ) – блок вокруг пикселя x i,j

Метрики качества Как измерить похожесть двух изображений? Как измерить похожесть двух изображений? исходное изображение искаженное изображение

Метрики качества Среднеквадратичная ошибка (MSE) Среднеквадратичная ошибка (MSE) Пиковое отношение сигнал/шум (PSNR) Пиковое отношение сигнал/шум (PSNR) N – число пикселей M – максимальное значение пикселя

Метрики качества PSNR и MSE не учитывают особенности человеческого восприятия! PSNR и MSE не учитывают особенности человеческого восприятия! Оригинал Далее будут использованы рисунки из статьи Wang, Bovik, Lu WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?

Метрики качества У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) Повышена контрастностьДобавлен белый гауссов шум

Метрики качества И у этих – тоже примерно 25 dB! И у этих – тоже примерно 25 dB! Добавлен импульсный шумРазмытие

Метрики качества И у этого – тоже! И у этого – тоже! Артефакт блочности после JPEG

Метрики качества Вывод: PSNR не всегда отражает реальный видимый уровень искажений. Вывод: PSNR не всегда отражает реальный видимый уровень искажений. Как улучшить? Как улучшить? –Использовать функцию чувствительности глаза к различным частотам (CSF) –Использовать свойство маскировки –Использовать равномерные к восприятию цветовые пространства (CIE Lab, CIEDE2000) HVS models (human visual system)

Метрики качества Contrast sensitivity function (CSF) Contrast sensitivity function (CSF) –Показывает чувствительность глаза к различным частотам Абсцисса – пространственная частота (колебаний / градус угла обзора)