334 Организация мультимедийной информации Возможные способы: а) Автономное решение: Раздельное хранение, свои структуры данных, алгоритмы и индексирование для каждого типа медиа Для объединения различных структур данных необходимы специальные методы Взаимодействие может быть весьма сложным Потенциально очень быстрое Проще подключаются действующие базы данных, для которых уже существуют структуры данных и алгоритмы

335 Организация мультимедийной информации б) Однородное решение: Одна абстрактная структура; общие структуры данных и алгоритмы для метаданных различных типов медиа Общие свойства должны быть отделены от не общих Популярно в мультимедийной индустрии; метаданные представляются с помощью общего «метаязыка» и соответствующим образом индексируются Достоинство: более легкая реализация; можно использовать стандартные реляционные или объектно-ориентированные структуры данных; запросы могут формулироваться на языках, являющихся несложными расширениями SQL Недостаток: процесс создания метаданных может быть крайне времязатратным Язык описания должен быть достаточно сложным и мощным (т.к. должен описывать все медиа-типы)

336 Организация мультимедийной информации в) Гибридное решение: Взять лучшее из а) и б) Примерная ситуация: действующие системы подключены и используются как есть (с существующими индексами, алгоритмами и т.д.), в то время как новые медиа-данные представляются с помощью однородного решения

337 Абстрактные представления Формальная структура для описания медийного содержимого Общие характеристики для различных медиа-типов Компоненты абстракции: –Множество структур (states) (наименьшие рассматриваемые блоки медиаданных) –Множество элементов (features) (любой объект в структуре) –Множество атрибутов (attribute) (характеристики объектов) –Извлечение элементов из структур дает карту извлеченных элементов (feature extraction map) (какие элементы в каких структурах) –Межструктурные отношения (interstate relations) (например, порядок структур относительно друг друга) –Отношения между структурами, элементами и атрибутами (структурозависимые свойства объектов, пространственные отношения объектов и т.д.)

338 Абстрактные представления Пример: абстрактное представление данных об изображениях Структуры = изображения Элементы = люди на изображениях Атрибуты = свойства людей на изображениях Карта извлеченных элементов = какие люди встречаются на каких изображениях Межструктурные отношения = временной порядок изображений Структурозависимое отношение: x «слева от» y Структуронезависимое отношение: возраст людей на изображениях Простая мультимедийная база данных Конечное множество медиа-абстракций Структурированная (structured) мультимедийная база данных Конечное множество медиа-абстракций Отношения эквивалентности для элементов (синонимы) Частичное упорядочивание элементов (наследование)

339 Языки запросов для мультимедийных данных Основная функциональность (при однородном представлении мультимедийной информации): Найти типы объектов Найти объекты с заданными элементами Найти объекты с определенными элементами и атрибутными значениями Найти элементы, имеющие место в определенных медиа- объектах Расширение SELECT-оператора из обычного SQL: SELECT –M, если M не является непрерывным медиа-объектом –M:[i,j], если M - непрерывный, i и j – целые числа (номера фреймов) –M.a, где a – атрибут медиа-сущности FROM WHERE IN

340 Языки запросов для мультимедийных данных Расширение в случае гибридной мультимедийной архитектуры: WHERE IN : Смягчение запросов: Замена элементов на основе их альтернативных названий (aliases) или на основе их более общих/частных аналогов (например, «небоскреб» - частный случай «здания») Используется таблицы синонимов и общие/частные иерархии элементов Пример: Найти все изображения на которых Билл слева от Моники SELECTM FROM smds source1 M WHEREFindType(M) = Image ANDM IN FindObjWithFeature(Билл) ANDM IN FindObjWithFeature(Моника) ANDleft(Билл, Моника, M)

341 Языки запросов для мультимедийных данных Пример: Найти все изображения на которых присутствуют Владимир и человек в голубой куртке, который также есть на видео вместе с Людмилой SELECTM1, Person FROM smds source1 M1, smds source2 M2 WHEREFindType(M1) = Image ANDFindType(M2) = Video ANDM1 IN FindObjWithFeature(Владимир) ANDM2 IN FindObjWithFeature(Людмила) ANDPerson IN FindFeaturesInObj(M1) ANDM1 IN FindObjWithFeatureAndAttr(Person, куртка, голубая) ANDPerson IN FindFeaturesInObj(M2) ANDPerson Владимир ANDPerson Людмила

342 Индексирование в структурированных мультимедийных базах данных Автономные части бд индексируются с помощью специальных методов для соответствующих медиа-типов Описание однородных частей основывается на метаданных Пример реализации на основе инвертированного индекса: –Хеш-таблица для элементов; блоки значений (в хеше) содержат узлы элементов –Каждый узел элемента содержит: Название элемента Список указателей на узлы структур, содержащих объект Список узлов-потомков (описывающие более частные аналоги элемента) Список указателей на соответствующие замены для данного элемента –Хеш-таблица для структур; блоки значений содержат узлы структур –Каждый узел структуры содержит: Указатель на файл, содержащий медиа-объект Список указателей на узлы элементов, содержащихся в данной структуре

343 Стандартизация: MPEG-7 Мультимедиа-интерфейс для описания содержимого (Multimedia Content Description Interface) Стандарт ISO/IEC Задача: эффективный поиск, просмотр и фильтрация аудиовизуальной информации Средства MPEG-7 позволят формировать описания материала, который может содержать: –Информацию, описывающую процессы создания и производства материала (директор, заголовок, короткометражный игровой фильм) –Информацию, относящуюся к использованию материала (указатели авторского права, история использования, расписание вещания) –Информация о характеристиках записи материала (формат записи, кодирование) –Структурная информация о пространственных, временных или пространственно- временных компонентах материала (разрезы сцены, сегментация областей, отслеживание перемещения областей) –Информация о характеристиках материала нижнего уровня (цвета, текстуры, тембры звука, описание мелодии) –Концептуальная информация о реальном содержании материала (объекты и события, взаимодействие объектов) –Информация о том, как эффективно просматривать материал (конспекты, вариации, пространственные и частотные субдиапазоны,...) –Информация о собрании объектов. –Информация о взаимодействии пользователя с материалом (предпочтения пользователя, история использования)

344 Стандартизация: MPEG-7 Рисунок из Абстрактное представление возможных приложений на основе MPEG-7: Подробное описание MPEG-7 можно найти здесь: (раздел из книги Семенова «Протоколы Интернет: Энциклопедия»)