Классификация, кластеризация и поиск изображений на основе низкоуровневых характеристик Наталья Васильева Руководитель: Новиков Б. А.

Поиск изображений Запрос Картинка- образец Картинка Эскиз Текст Текстовый запрос Поиск по ключевым словам (Description Based Image Retrieval - DBIR) Поиск по содержанию (Content Based Image Retrieval - CBIR)

индексация поиск вычисление сигнатур база данных вычисление сигнатур сравнение результат изображение запрос уточнение запроса CBIR : традиционный подход

Сигнатуры Цветовые характеристики гистограммы статистические модели Текстура фильтры Габора Формы и объекты Пространственное распределение

Основные проблемы Семантический разрыв Запрос-образец Сложность процесса визуального восприятия Точность моделей – время обработки запроса Комбинирование различных моделей и метрик

Семантический разрыв – описание проблемы Объекты (машина, дерево) Текстура Цвет, яркость семантика изображения низкоуровневые характеристики семантический разрыв уровни содержания изображения

Семантический разрыв – вариант решения (1) Построение базисных цветовых характеристик Построение базисных лексических характеристик Сопоставление низкоуровневых(цветовых) и лексических характеристик Кластер 1 Кластер 2 Кластер 3 Кластер N … Лексическая хар-ка 1 … Цветовая хар-ка 1 …

Семантический разрыв – вариант решения (2) Выбор обучающего набора Построение цветовой характеристики для каждого изображения из набора Вычисление степени схожести для каждой пары изображений Кластеризация обучающего набора Построение базисных цветовых характеристик как среднее характеристик каждого кластера I. Построение базисных цветовых характеристик

Семантический разрыв – вариант решения (3) Слова русского языка, которым соответствует определенный зрительный образ (лес, небо). Абстрактные понятия (воля, разум). город, ночь, река, шоссе снег, зима, небо, гора II. Построение базисных лексических характеристик

I. Индексация вычисление цветовой характеристики база данных изображение определение кластера Использование того же алгоритма, что и при вычислении характеристик изображений из обучающего набора Вычисление расстояний между индексируемым изображением и центральными характеристиками кластера Семантический разрыв – применение решения (1)

текстовый запрос Определение кластера n изображений из кластера Оценка результата оценка результата, запрос-образец результат уточненный запрос … Уточнение кластеров, поиск по содержанию Система Оценка результата Пользователь II. Поиск Семантический разрыв – применение решения (2)

Процесс визуального восприятия – направления Построение разбиения цветового пространства в соответсвии с визуальным восприятием человека Нелинейное восприятие цвета Нелинейная зависимость от яркости Ориентация и расположение объектов Использование механизма обратной связи (relevance feedback) для корректировки запроса с учетом оценки пользователя

Направления дальнейших исследований: Поиск оптимальных параметров для кластеризации с помощью экспериментального сравнения кластеров: полученных при использовании различных цветовых пространств и цветовых разбиений; полученных при использовании совместной оценки цвета и яркости (сейчас только цвет); построенных по сегментам изображений. Использование политики реорганизации кластеров в зависимости от оценок пользователя при поиске изображений. Использование информации о кластерах для ускорения поиска. Комбинирование метрик на основе цвета и текстуры - использование механизма обратной связи.