Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Автоматизация обработки многоканальных данных дистанционного зондирования Национальный аэрокосмический университет им. Н.Е. Жуковского «ХАИ», Харьков, Украина Кафедра приема, передачи и обработки сигналов, Тел

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Структура доклада 1)Многоканальные средства формирования изображений и их особенности 2)Источники и типы помех в многоканальных изображениях, их модели 3)Задачи обработки изображений, решаемые с учетом помех 4)Критерии качества 5)Возможные подходы к фильтрации и типы фильтров 6)Фильтрация изображений на основе ДКП 7)Когда фильтрация необходима? Автоматизация принятия решения 8)Сжатие в окрестности оптимальной рабочей точки. Предсказание существования ОРТ. 9)Предсказание степени сжатия. 10) Достигаемые результаты и примеры, практические рекомендации 11) Выводы

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Многоканальные средства формирования изображений и их особенности Многоканальные изображения (МКИ) формируются: -мульти- и гиперспектральными системами оптического и инфракрасного диапазонов; -многочастотными и много поляризационными радиолокационными системами; -при неоднократном зондировании участка местности в различные моменты времени. Цель: получить данные с высокими степенями информативности и избыточности для решения широкого класса конечных задач с надежностью более высокой, чем при использовании одноканальных систем или систем с малым количеством каналов. Проблемы: резкое увеличение объема данных, сложность их хранения, визуализации, передачи, обработки, извлечения полезной информации, обеспечения приемлемого быстродействия и оперативности, автоматизация обработки.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Многоканальные средства формирования изображений и их особенности Количество каналов – до нескольких сотен, представление данных 16-битными целыми числами, спектральное разрешение – единицы нанометров.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Свойства многоканальных изображений и присутствующих на них помех Характерные особенности для гиперспектральных изображений: -высокая межканальная корреляция, -существенно различные отношения сигнал-шум и динамический диапазон ПОСШ для каналов (данные AVIRIS) Зависимости коэффициента межканальной корреляции

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Задачи обработки изображений, решаемые с учетом помех 1)Фильтрация изображений с целью повышения качества или эффективности решения конечных задач: -обнаружения объектов и их распознавания; -классификации; -сегментации и т.д. 2) Восстановление (устранение смаза и дефокусировки) 3) Обнаружение границ и малоразмерных объектов (при выборе детекторов и установке порогов) 4) Сжатие с потерями (при выборе кодеров и установке их параметров).

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Типы помех и их модели 1)Аддитивные (пространственно-некоррелированные и коррелированные, ( ) – оценивать необходимо дисперсию и пространственный спектр (для коррелированных); 2)Мультипликативные (пространственно-некоррелированные и коррелированные, ) – оценивать необходимо относительную дисперсию, иногда ПРВ и пространственный спектр (для коррелированных); 3)Сигнально-зависимые простого вида ( ) – оценивать необходимо параметр k ; 4)Смешанные вида - оценивать необходимо параметры k и ; 5)Сигнально-зависимые сложного вида ( – необходимо определиться с аппроксимацией функции и оценить параметры аппроксимирующей функции (например полинома какой-либо степени)

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Требования к методам определения характеристик помех вслепую Обеспечение приемлемой точности для изображений с различной степенью сложности (текстур насти), степень сложности можно характеризовать вероятностью р принадлежности скользящего окна (блока) однородному участку; Обеспечение несмещенности (приемлемой смещенности) оценок при различных уровнях помех; Применимость для изображений, искаженных как пространственно-некоррелированными, так и коррелированными помехами; Приемлемое для практики быстродействие (обработка одного изображения с размером до миллиона пикселей в течение долей или единиц секунд).

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Возможные подходы к оцениванию, основные группы методов Большинство известных методов получения оценок можно отнести к одной из трех групп: 1) работающие в пространственной области; 2) выполняющие оценивание в спектральной области; 3) использующие метод максимального правдоподобия (МП) для одновременного оценивания характеристик изображений и помех. Фактически для всех групп разработчики методов стремятся так или иначе разделить истинное изображение и помеху, но разными способами. Метод МП позволяет рассчитать потенциальную точность оценивания дисперсии помех для данного изображения. При оценивании дисперсии аддитивного шума по изображениям различного содержания где N – общее количество пикселей. Нижний предел достигается для более простых изображений.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Автоматизация обработки гиперспектральных данных ДЗ Для примерно 15-20% компонентных изображений гиперспектральных данных наблюдается малый динамический диапазон данных и малое отношение сигнал- шум; поэтому эти изображения часто не используют при анализе, хотя после обработки эти данные могут быть полезны. Зависимости оценок параметров компонент сигнально-зависимых помех от номера канала для сенсора Гиперион

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/2006 Вклад компонент сигнально- зависимого шума для данных сенсора Hyperion Hyperion EO1H KP В большинстве зон видимого и ближнего ИК диапазонов сигнально-зависимая компонента является превалирующей. В ИК диапазоне вклады сравнимы. Такие свойства шума желательно учитывать при обработке. 11

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Требования к методам фильтрации МКИ 1)Эффективное подавление известного или установленного типа; 2)Сохранение полезной информации, которая может содержаться в: -положении границ объектов, их форме; -текстурных признаках; -цветовых, поляризационных или спектральных признаках; 3) Обеспечение приемлемой простоты и быстродействия программно- алгоритмической реализации; 4) Автоматизация обработки, облегчение интерактивной обработки МКИ (автоматизация может предусматривать принятие решения о необходимости фильтрации и выбор параметров фильтра); 5) Устойчивость (робастность) фильтрации, в том числе способность успешно функционировать при ограниченных априорных сведениях о характеристиках помех или их неточном оценивании

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Критерии (метрики) качества и группы фильтров Основные группы критериев качества (эффективности) фильтрации: -традиционные глобальные критерии (СКОш или ПОСШ); -учитывающие визуальное качество (PSNR-HVS-M, MSSIM и др.) -учитывающие эффективность решения конечных задач (вероятность правильной классификации или обнаружения объектов) Основные группы фильтров: 1) Пространственные (в скользящем окне), неадаптивные и адаптивные; 2) На основе ортогональных преобразований; 3) Нелокальные; 4) Гибридные

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Фильтрация изображений на основе ДКП Этапы фильтрации изображения на основе ДКП Разбиваем изображение на перекрывающиеся блоки размером M x M; s – параметр взаимного сдвига блоков в одном направлении (по горизонтали или вертикали) между двумя перекрывающимися блоками. Для каждого блока с левым верхним углом в ij-м пикселе i.Рассчитываем ДКП-коэффициенты как гле

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Фильтрация изображений на основе ДКП Выполняем пороговую операцию с ДКП-коэффициентами в соответствии с принятым типом порогов (жесткий, мягкий и т.д. ) и получаем Получаем оценки отфильтрованного изображения для каждого блока, применяя обратное ДКП в блоке к ДКП-коэффициентам после пороговой обработки Получаем отфильтрованные значения в блоке изображения Получаем итоговую оценку для ij-го пикселя путем усреднения всех оценок для перекрывающихся блоков, захватывающих данный пиксель. В отличие от фильтрации в скользящем окне, значения получают для всех отсчетов в блоке одновременно.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Адаптация к характеристикам помех Адаптация к аддитивным коррелированным помехам: Пороги устанавливаются частотно-зависимыми Адаптация к мультипликативным помехам: Пороги устанавливаются частотно-зависимыми и пропорциональными среднему или медианному значению в каждом nm-м блоке Обобщенный случай сигнально-зависимого шума: Пороги частотно-зависимые и учитывают заранее известную или установленную зависимость локального СКО от локального среднего, для каждого nm-го блока пороги индивидуальны Может быть реализована трехмерная фильтрация при условии применения предварительных вариационно-стабилизирующих преобразований Vladimir Lukin

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Фильтрация с учетом сигнальной зависимости помех Пример для гиперспектральных МКИ Исходное компонентное изображение (221-й канал, Cuprite Mine, слева), скаттерограма локальных оценок дисперсии, подтверждающая сигнально- зависимый характер помех, и результат фильтрации локально-адаптивным фильтром на основе ДКП, сигма-фильтра и квазиразмаха (справа)

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Прогнозирование эффективности фильтрации Разработаны процедуры быстрого прогнозирования эффективности фильтрации для метрик PSNR и PSNR- HVS-M в зависимости от параметров, характеризующих ДКП-коэффициенты в блоках (средней вероятности, что амплитуды ДКП-коэффициентов не превышают определенный порог). Это позволяет автоматически принимать решение о целесообразности или нецелесообразности применении фильтрации для конкретного изображения (или группы каналов, фильтруемых совместно) – при IPSNR1 дБ применение фильтрации не имеет смысла Разработаны процедуры прогнозирования для случаев аддитивного, пространственно- коррелированного и сигнально-зависимого шума, которые являются достаточно универсальными

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Пример сжатия с потерями Фрагмент исходного (слева) и сжатого (справа) изображения в 145-м канале гиперспектральных данных Предложенные методы сжатия в окрестности оптимальной рабочей точки (ОРТ) приводят либо к частичному подавлению помех, либо к визуальной незаметности внесенных искажений

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Пример сжатия с потерями Рассмотрен метод сжатия на основе ДКП (AGU), для которого параметром, управляющим сжатием, является шаг квантования (ШК) На графиках приведены зависимости ПОСШ (PSNR) lот ШК для двух изображений, искаженных аддитивным шумом с дисперсией 100, которые показывают, что ОРТ может существовать (максимум ПОСШ), в этом случае параметр δPSNR является положительным. Значение этого параметра можно предсказывать и, соответственно, делать вывод о наличии ОРТ.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Прогнозирование эффективности фильтрации и сжатия Разработаны процедуры быстрого прогнозирования эффективности сжатия зашумленных изображений в окрестности оптимальной рабочей точки (ОРТ) для метрик PSNR и PSNR-HVS-M. Основой предсказания служит тот же статистический параметр, что и при предсказании эффективности фильтрации. Возможность предсказания позволяет автоматически принимать решение о выборе желательных параметров сжатия Разработаны процедуры прогнозирования значений коэффициента сжатия для кодеров, управляемых шагом квантования, который устанавливается пропорциональным СКО помех. Это позволяет существенно ускорить процедуру сжатия.

Национальный Аэрокосмический Университет «ХАИ» Отчет о выполнении НИР Г 504-9/ Выводы и направления дальнейших исследований 1. Рассмотрены несколько подходов к автоматизации обработки МКИ. 2. Учтен тот факт, что различные метрики взаимосвязаны, традиционные метрики (СКОш) коррелированны с вероятностью правильной классификации площадных объектов, визуальные – с вероятностью правильной классификации текстур и малоразмерных объектов. 3. Разработаны автоматические методы оценивания параметров различных типов помех, применение которых для гиперспектральных данных показало превалирующее влияние сигнально-зависимой компоненты. 4.Показано, что фильтрацию проводить целесообразно не всегда, определены условия, когда это делать не имеет особого смысла. 5. Предложены методы прогнозирования эффективности фильтрации, позволяющие быстро принять решение.. 6. Предложены методы прогнозирования наличия ОРТ при сжатии с потерями и принятия решения о параметрах сжатия. 7. Для кодеров на основе ДКП разработан метод прогнозирования значения КС. Планируется усовершенствовать этот метод для автоматического выбора шага квантования.