Компьютерная графика. Лекция 3 Цифровая обработка изображений как сигналов. - презентация

1 Компьютерная графика. Лекция 3 Цифровая обработка изображений как сигналов

2 Компьютерная графика. Лекция 3 Цифровая обработка сигналов

3 Компьютерная графика. Лекция 3 Цифровая обработка сигналов Сигнал - это информационная функция, несущая сообщение о физических свойствах, состоянии или поведении какой-либо физической системы, объекта или среды Цели обработки сигналов : –извлечение определенных информационных сведений, которые отображены в этих сигналах –преобразование этих сведений в форму, удобную для восприятия и дальнейшего использования.

4 Компьютерная графика. Лекция 3 Цифровая обработка сигналов Одномерный сигнал – это сигнал, значения которого зависят от одной независимой переменной –Звуковой сигнал – зависимость амплитуды колебаний воздуха в данной точке от времени В общем случае сигналы являются многомерными функциями пространственных, временных и прочих независимых переменных Изображение – двухмерный сигнал – функция цвета от координат методы обработки сигналов применимы к изображениям так же, как и другим видам сигналов

5 Компьютерная графика. Лекция 3 Математическое описание позволяет абстрагироваться от физической природы сигнала и материальной формы его носителя: –классификации сигналов, сравнение, моделирование систем обработки сигналов –Мат. описание сигнала - функциональной зависимость определенного информационного параметра сигнала от независимой переменной: s(x), y(t) и т.п. Математическое описание сигналов

6 Компьютерная графика. Лекция 3 Аналоговые сигналы Являются непрерывной функцией непрерывного аргумента, (определены для любого значения аргументов) Источники аналоговых сигналов - физические процессы, непрерывные в динамике своего развития во времени или по другой независимой величине Аналоговые сигналы при этом подобны (« аналогичны ») порождающим их процессам

7 Компьютерная графика. Лекция 3 Аналоговые сигналы

8 Компьютерная графика. Лекция 3 Дискретные сигналы Дискретный сигнал по своим значениям – тоже непрерывная функция, но определенная по дискретным значениям аргумента –Множество значений является счетным и описывается дискретной последовательностью отсчетов (samples) y(n*Δt) Δt – интервал дискретизации (sampling time) n = 0, 1, 2, …N величина f=1/Δt – частота дискретизации (sampling frequency, sampling rate)

9 Компьютерная графика. Лекция 3 Дискретные сигналы

10 Компьютерная графика. Лекция 3 Пример дискретизации изображения Оригинал Дискретизирование Изображение (128*128) Дискретизированное изображение (32*32)

11 Компьютерная графика. Лекция 3 Цифровые сигналы Цифровой сигнал квантован по своим значениям и дискретен по аргументу. Он описывается решетчатой функцией y n = Q k [y(n* Δt)] –Q k - функция квантования с числом уровней квантования k –Интервалы квантования могут иметь как равномерное, так и неравномерное распределение (напр. логарифмическое)

12 Компьютерная графика. Лекция 3 Квантование (quantization) Квантование по уровню - процесс преобразования бесконечных по принимаемым значениям аналоговых отсчетов в конечное число цифровых значений Возникающие при этом ошибки округления отсчетов называются ошибками квантования.

13 Компьютерная графика. Лекция 3 Пример цифрового сигнала Оригинал 256 цветов 64 цвета 16 цветов 4 цвета

14 Как получается цифровое изображение Свет, падая на светочувствительный элемент матрицы ПЗС (прибор с зарядовой связью, CCD- Charge-Coupled Device ), преобразуется в электрические сигналы, зависящие от интенсивности света проблема воссоздания цвета! Сигналы оцифровываются, превращаются в массив чисел x – характеристика яркости света y – яркость пиксела изображения x Компьютерная графика. Лекция 3

15 Причины потери качества изображения Ограниченный диапазона чувствительности ПЗС-матрицы Плохая функция передачи ПЗС-матрицы Плохая освещенность Компьютерная графика. Лекция 3

16 Гистограмма График распределения интенсивности в изображении. На горизонтальной оси - шкала яркостей тонов от белого до черного, на вертикальной оси - число пикселей заданной яркости

17 Компьютерная графика. Лекция 3 Коррекция изображений

18 Компьютерная графика. Лекция 3 Коррекция изображений Что может не устраивать в полученном изображении: Узкий или смещенный диапазон яркостей (узкий диапазон - тусклое изображение, «пересвеченное» изображение) Концентрация яркостей вокруг определенных значений, неравномерное заполнение диапазона яркостей Коррекция - к изображению применяется преобразование яркостей, компенсирующее нежелательный эффект: y – яркость пиксела на исходном изображении, x – яркость пиксела после коррекции.

19 Компьютерная графика. Лекция 3 Линейная коррекция Компенсация узкого диапазона яркостей – линейное растяжение: График функции f -1 (y)

20 Компьютерная графика. Лекция 3 Линейная коррекция. Результат Компенсация узкого диапазона яркостей – линейное растяжение:

21 Компьютерная графика. Лекция 3 Линейная коррекция. Пример Линейное растяжение – «как AutoContrast в Photoshop»

22 Компьютерная графика. Лекция 3 Линейная коррекция не всегда успешна Линейная коррекция не помогает, если в изображении уже представлены все интенсивности

23 Компьютерная графика. Лекция 3 Графики функции f -1 (y) >1

24 Компьютерная графика. Лекция 3 График функции f -1 (y) Растянуты низкие и сжаты высокие интенсивности Нелинейная коррекция. Пример

25 Компьютерная графика. Лекция 3 Нелинейная компенсация недостаточной контрастности Часто применяемые функции: Гамма-коррекция Изначальная цель – коррекция для правильного отображения на мониторе. Логарифмическая Цель – сжатие динамического диапазона при визуализации данных (связано с отображением HDR на обычные диапазон)

26 Компьютерная графика. Лекция 3 Компенсация разности освещения

27 Компьютерная графика. Лекция 3 Компенсация разности освещения Идея: Формирование изображения: Плавные изменения яркости относятся к освещению, резкие - к объектам. объектосвещение Изображение освещенного объекта

28 Компьютерная графика. Лекция 3 Выравнивание освещения. Алгоритм Алгоритм –Получить компонент освещения путем низкочастотной фильтрации G изображения –Восстановить изображение по формуле / =

29 Компьютерная графика. Лекция 3 Выравнивание освещения. Пример

30 Компьютерная графика. Лекция 3 Компенсация разности освещения /= Gauss 14.7 пикселей

31 Компьютерная графика. Лекция 3 Цветовая коррекция изображений 1.Серый мир 2.Идеальный отражатель 3.Коррекция "autolevels" 4.Коррекция с опорным цветом 5.Статистическая цветокоррекция Изменение цветового баланса –Компенсация : Неверного цветовосприятия камеры Цветного освещения

32 Компьютерная графика. Лекция 3 Гипотеза «Серый мир» Предположение: Сумма всех цветов на изображении естественной сцены дает серый цвет Метод: Посчитать средние яркости по всем каналам: Масштабировать яркости пикселей по следующим коэффициентам:

33 Компьютерная графика. Лекция 3 Гипотеза «Серый мир». Примеры

34 Компьютерная графика. Лекция 3 Гипотеза «Идеальный отражатель» Предположение: Наиболее яркие области изображения относятся к бликам на поверхностях, модель отражения которых такова, что цвет блика = цвету освещения; (дихроматическая модель) Метод: обнаружить максимумы по каждому из каналов: Масштабировать яркости пикселов:

35 Компьютерная графика. Лекция 3 Растяжение контрастности (autolevels) Идея: растянуть интенсивности по каждому из каналов на весь диапазон; –Метод: найти минимум, максимум по каждому из каналов: –Преобразовать интенсивности:

36 Компьютерная графика. Лекция 3 Растяжение контрастности (autolevels) АвтоПо белому

37 Компьютерная графика. Лекция 3 Коррекция с опорным цветом –Идея: пользователь указывает целевой цвет (например: белый, серый, черный) вручную; Источники для указания целевого цвета: –Знание реального цвета –Хорошая фотография этой же сцены Метод –Преобразовать по каждому из каналов цвета по формуле:

38 Компьютерная графика. Лекция 3 Коррекция с опорным цветом. Примеры Коррекция по серому Коррекция по черному Получили засветление окна

39 Б ОРЬБА С ШУМОМ ИЗОБРАЖЕНИЙ Компьютерная графика. Лекция 3

40 Шум в бинарных изображениях Бинарное изображение – изображение, пиксели которого принимают всего два значения (0 и 1). Пример бинарного изображения с сильным шумом: Компьютерная графика. Лекция 3

41 Устранение шума в бинарных изображениях Компьютерная графика. Лекция 3 Широко известный способ - устранение шума с помощью операций математической морфологии: erosion (эрозия); dilatation (расширение); opening (открытие); closing (закрытие); morphological gradient (градиент); top hat (цилиндр); black hat (эффект черной шляпы).

42 Операции матморфологии. Расширение Расширение (dilation) A (+) B = {t R 2 : t = a + b, a A, b B} B A (+) B Множество A обычно является объектом обработки, а множество B (называемое структурным элементом) – инструментом. Компьютерная графика. Лекция 3

43 Операции матморфологии. Сужение Сужение (erosion) A (-) B = (A C (+) B) С, где A C – дополнение A B (-) A = (B C (+) A) С A(-)B A ACAC B BСBС Компьютерная графика. Лекция 3

44 Результат морфологических операций во многом определяется применяемым структурным элементом (множеством B). Выбирая различный структурный элемент можно решать разные задачи обработки изображений: шумоподавление; выделение границ объекта; выделение скелета объекта; выделение сломанных зубьев на изображении шестерни. Компьютерная графика. Лекция 3

45 Применения сужения к бинарному изображению с сильным шумом Компьютерная графика. Лекция 3

46 Применения открытия (A(-)B)(+)B к бинарному изображению с сильным шумом Компьютерная графика. Лекция 3

47 Шум в бинарных изображениях с дефектами объектов. Пример Пример бинарного изображению с дефектами распознаваемых объектов Компьютерная графика. Лекция 3

48 Применения закрытия (A(+)B)(-)B к бинарному изображению с дефектами объектов Компьютерная графика. Лекция 3

49 Не лучший пример для морфологии Не во всех случаях математическая морфология так легко убирает дефекты, как хотелось бы… Компьютерная графика. Лекция 3

50 Результат применения операции открытия Компьютерная графика. Лекция 3

51 Устранение шума в полутоновых и цветных изображениях Усреднение (box filter) Медианный фильтр Фильтр Гаусса (gaussian blurring) Адаптивные фильтры Компьютерная графика. Лекция 3

52 Причины и примеры шума цветного изображения Причины возникновения шума: Несовершенство регистрирующих приборов Хранение и передача изображений с потерей данных Шум фотоаппарата Сильное сжатие JPEG Компьютерная графика. Лекция 3

53 Операция «свертка» (convolution) Свертка – это функция, показывающая "схожесть" одной функции и отражённой и сдвинутой копией другой Свертка двумерной функции f по функции g в непрерывном и дискретном случае. Часто, свертка изображения по какой-либо функции называется применением фильтра к изображению.

54 Усреднение (box filter) Операция усреднения значения каждого пикселя – cвертка по константной функции: Результат применения: Компьютерная графика. Лекция 3

55 Подавление и устранение шума. Медианный фильтр Устранение шума в полутоновых, цветных и бинарных изображениях с помощью медианного фильтра - выбор медианы среди значений яркости пикселей в некоторой окрестности. Определение медианы: Медианный фильтр радиусом r – выбор медианы среди пикселей в окрестности [-r,r]. Компьютерная графика. Лекция 3

56 Пример очистки изображения с помощью медианного фильтра Фильтр с окрестностью 3x3 Компьютерная графика. Лекция 3

57 Фильтр Гаусса (gaussian blurring) Свертка по функции: Параметр σ задает степень размытия. На графике функция с σ = 5. Компьютерная графика. Лекция 3

58 Результаты свертки по функции Гаусса и по константной функции (усреднения). Исходное изображение Фильтр Гаусса с Sigma = 4 Усреднение по 49 пикселям (7x7) Важное свойство фильтра Гаусса – он по сути является низкочастотным фильтром! Компьютерная графика. Лекция 3 Фильтр Гаусса (gaussian blurring)

59 Адаптивные фильтры Что нужно Размывать шум, резкие границы – сохранять. Как этого добиться Предположение: перепады яркости из-за шума относительно перепадов на резких границах невелики Алгоритм: При расчете новой яркости усреднять только по тем пикселям из окрестности, которые не сильно отличаются по яркости от обрабатываемого Компьютерная графика. Лекция 3

60 В чем отличие разных фильтров Box filer (простое размытие) – помимо подавления шума портит резкие границы и размывает мелкие детали изображения Gaussian filter – меньше размывает мелкие детали, лучше убирает шум Median filter – резких границ не портит, убирает мелкие детали, изображение становится менее естественным Адаптивные фильтры – меньше портят детали, зависят от большего числа параметров. Иногда изображение становится менее естественным. «Продвинутые» фильтры – лучшее сохранение деталей, меньше размытие. Часто сложны в реализации и очень медленные.

61 Компьютерная графика. Лекция 3 Фильтр размытия, основанный на применении свертки Оригинальное изображение Ядро свертки Результат

62 Компьютерная графика. Лекция 3 Применение свертки в компьютерной графике Примеры фильтров: –размытие изображений (blur); –повышение резкости (sharpen); –выделение контуров (edge detection); –размытие движения (Motion blur); –тиснение (emboss).

63 Компьютерная графика. Лекция 3 Размытие Гаусса (Gaussian Blur)

64 Компьютерная графика. Лекция 3 Повышение резкости (sharpen)

65 Компьютерная графика. Лекция 3 Тиснение (emboss) либо

66 Компьютерная графика. Лекция 3 Выделение границ (Edge detection)

67 Компьютерная графика. Лекция 3 Медианный фильтр (подавление шумов)

68 Компьютерная графика. Лекция 3 Смазывание движения (Motion Blur)