Шумоподавление для изображений Лектор:Лукин Алексей Сергеевич

Виды и примеры шумов Шумы СтационарныеИмпульсныеСмешанные Salt and pepper Помехи в видео Аддитивный белый Зерно пленки Белый шум – пиксели случайны, не коррелированны друг с другом. Гауссов/равномерный/треугольный шум – закон распределения амплитуд пикселей. Аддитивный шум – прибавляется к «чистому» изображению и не зависит от него. Шум + помехи в видео Salt and pepper AWGN

Методы шумоподавления Шумы СтационарныеИмпульсныеСмешанные Медианный фильтр Взвешенная медиана Ранговые фильтры Bilateral filter Non-Local Means Wavelet thresholding DCT, PCA, ICA Анизотропная диффузия Алгоритм BM3D Ранговые фильтры Комбинированные методы Salt and pepper AWGN

Импульсные шумы Медианная фильтрация Медианная фильтрация Центральный элемент отсортированного массива яркостей Центральный элемент отсортированного массива яркостей Как быть с цветными изображениями? Как быть с цветными изображениями? медиана 3х3

Импульсные шумы Медианная фильтрация Медианная фильтрация Центральный элемент отсортированного массива яркостей Центральный элемент отсортированного массива яркостей Как быть с цветными изображениями? Как быть с цветными изображениями? медиана 7х7

Импульсные шумы Медианная фильтрация Медианная фильтрация Центральный элемент отсортированного массива яркостей Центральный элемент отсортированного массива яркостей Как быть с цветными изображениями? Как быть с цветными изображениями? медиана 15х15

Импульсные шумы Т.к. искажена лишь малая часть пикселей, то не надо фильтровать все изображение! Т.к. искажена лишь малая часть пикселей, то не надо фильтровать все изображение! 1.Детектирование искаженных пикселей (простейший способ – анализ разности изображения с его медианной фильтрацией) Фильтрация только искаженных пикселей Фильтрация только искаженных пикселей медиана 3х3адаптивная медиана

Стационарные шумы Простейшие методы Простейшие методы Размытие изображения – вместе с шумом размывает детали Размытие изображения – вместе с шумом размывает детали Размытие в гладких областях – остается шум вблизи границ Размытие в гладких областях – остается шум вблизи границ Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие детали Медианная фильтрация – хорошо подавляет импульсный шум, но удаляет мелкие детали

Bilateral filter Адаптивные алгоритмы Адаптивные алгоритмы Bilateral filter Bilateral filter усреднение окружающих пикселей с весами фотометрическая близостьпространственная близость

Bilateral filter Bilateral filter: художественное применение Bilateral filter: художественное применение (при слишком сильном действии)

Non-Local Means Адаптивные алгоритмы Адаптивные алгоритмы Non-local means (NL-means) – веса зависят от близости целых блоков, а не отдельных пикселей Non-local means (NL-means) – веса зависят от близости целых блоков, а не отдельных пикселей ν(x i,j ) – блок вокруг пикселя x i,j

Non-Local Means Вычисление весов Вычисление весов Способен сохранять текстуру изображения лучше, чем bilateral filter Способен сохранять текстуру изображения лучше, чем bilateral filter Иллюстрация из Buades et al 2005 Веса высоки для q1 и q2, но не для q3 +

Non-Local Means Достоинства и недостатки: Достоинства и недостатки: Высокое качество результирующего изображения Высокое качество результирующего изображения В исходном варианте – очень высокая вычислительная сложность В исходном варианте – очень высокая вычислительная сложность Ускоряющие расчет оптимизации: Ускоряющие расчет оптимизации: Использование команд MMX/SSE для сравнения блоков Использование команд MMX/SSE для сравнения блоков Разбиение изображения на блоки и усреднение целых блоков, а не отдельных пикселей Разбиение изображения на блоки и усреднение целых блоков, а не отдельных пикселей Промежуточный вариант между усреднением блоков и усреднением пикселей: усреднение маленьких блоков Промежуточный вариант между усреднением блоков и усреднением пикселей: усреднение маленьких блоков + –

Non-Local Means Применение к видео Применение к видео Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-временной) Область поиска блоков можно расширить на соседние кадры (сделать ее пространственно-временной) Для ускорения просчета можно применять сравнение блоков только по Y-каналу в цветовой модели YCrCb (YUV) Для ускорения просчета можно применять сравнение блоков только по Y-каналу в цветовой модели YCrCb (YUV)

Вейвлетный метод Вейвлетное шумоподавление для изображений Вейвлетное шумоподавление для изображений 1.DWT 2.Оценка уровня и спектра шума 3.Подавление вейвлет-коэффициентов (thresholding, shrinkage) 4.Обратное DWT + Подавление шума различного масштаба – Отсутствие инвариантности к сдвигу Плохая локализация энергии для наклонных границ

Метод главных компонент Идея: так выбрать базисные вектора, чтобы минимальным числом базисных векторов можно было наилучшим образом приблизить данные из некоторого набора. Идея: так выбрать базисные вектора, чтобы минимальным числом базисных векторов можно было наилучшим образом приблизить данные из некоторого набора. PCA – ортогональное линейное преобразование базиса, при котором первый вектор нового базиса соответствует направлению максимальной дисперсии данных, второй вектор – следующему направлению максимальной дисперсии и т.д. PCA – ортогональное линейное преобразование базиса, при котором первый вектор нового базиса соответствует направлению максимальной дисперсии данных, второй вектор – следующему направлению максимальной дисперсии и т.д. Principal Component Analysis (PCA, KLT) размерность данных = 2

Метод главных компонент Решение: базисные вектора – собственные вектора e i матрицы ковариации C x исходных данных x: Решение: базисные вектора – собственные вектора e i матрицы ковариации C x исходных данных x: Альтернативное решение – с помощью сингулярного разложения матрицы исходных данных Альтернативное решение – с помощью сингулярного разложения матрицы исходных данных Principal Component Analysis (PCA, KLT) на рисунке размерность n = 2

Шумоподавление Применение к блокам изображения 8x8: Применение к блокам изображения 8x8: Метод главных компонент … … 64 базисных вектора

Шумоподавление PCA-денойзинг изображений PCA-денойзинг изображений 1.Блочное преобразование PCA 2.Подавление коэффициентов в новом базисе 3.Обратное преобразование и наложение блоков с перекрытием Существующие подходы (Muresan/Parks, 2003) + Адаптация к деталям изображения (в т.ч. – к линиям любого наклона) – При больших блоках – эффект Гиббса, при маленьких – не подавляется крупный шум

Шумоподавление Результаты Зашумленное изображениеВейвлетное шумоподавление

Шумоподавление Результаты Шумоподавление с помощью PCAРазработанный нами метод