Поиск изображений по признаку самоподобия локальных дескрипторов САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Математико-механический факультет Кафедра системного программирования Гладышева Юлия Сергеевна Научный руководитель: к.ф.-м. н. Н. С. Васильева Рецензент: асп.каф.сист.прогр. А. В. Бондарев

Поиск изображений по содержанию Поиск в сети Интернет Медицина Промышленность Защита авторских прав и др. Запрос Результат поиска xA1xA1 …xA2xA2 xANxAN xB1xB1 …xB2xB2 xBNxBN Области применения: Вектор признаков (дескриптор)

Свойство повторяемости (самоподобия) фрагментов ________________________________________________________________ Irani M., E. Shechtman, Matchilg Local Self-Similarities across Images and Videos // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Minneapolis, June 2007

Постановка задачи Проверка применимости признака самоподобия локальных дескрипторов к решению задачи поиска изображений по содержанию o Реализация алгоритма вычисления самоподобных локальных дескрипторов o Адаптация метода поиска фрагментов изображений к задаче поиска изображений по содержанию o Экспериментальное сравнение метода с методами поиска по глобальным дескрипторам

Адаптация метода Запрос – одна группа дескрипторов Запрос – набор групп дескрипторов Метод поиска фрагмента на изображениях Метод поиска по общему подобию

Архитектура Модуль вычисления самоподобных локальных дескрипторов Самоподобные локальные дескрипторы изображений Информация о подобии изображений База данных База изображений Файловая система Модуль сравнения изображений Главный модуль Модуль взаимодействия с базой данных Компонента поиска по самоподобным локальным дескрипторам

Постановка эксперимента 100 изображений, разбитых на 16 групп 900 произвольных изображений Сравнение с методами: Color Moments, HistSP, ICA - фильтры

Результаты экспериментов

Анализ результатов Возможные причины таких результатов Предложения Недостаточное кол-во информативных дескрипторов Скопление дескрипторов Склеивание групп Проверка метода на другой коллекции Считать дескрипторы с некоторым шагом Приоритетный выбор групп

Результаты Предложен и реализован адаптированный метод поиска изображения по признаку самоподобия локальных дескрипторов, интегрирован в прототип системы PhotoFinder Проведено экспериментальное сравнение с методами поиска по глобальным дескрипторам, показывающее превосходство методов поиска по глобальным дескрипторам Предложены идеи улучшения реализованного метода