Использование технологий XML и COM для решения задач статистической радиофизики Выпускная работа студента магистратурыТруса Александра Александровича Руководитель : Хейдоров Игорь Эдуардович, доцент, кандидат физ.- мат. наук. Белорусский государственный университет факультет Радиофизики и Электроники Минск, Беларусь, 2009

Содержание Цель работы Цель работы Задача индексации Задача индексации Вектора признаков Вектора признаков Кепстр Формирования вектора признаков на основе вейвлет - преобразования Формирования вектора признаков на основе вейвлет - преобразования Скрытые Марковские модели Скрытые Марковские модели Метод опорных векторов Метод опорных векторов Структура ядра системы индексации Структура ядра системы индексации Структура ядра системы индексации Структура ядра системы индексации Процессоры Компоненты чтения Компоненты чтения Пользовательский интерфейс Пользовательский интерфейс Эксперимент Результаты эксперимента Результаты эксперимента Заключение

Цель работы Целью данной работы является разработка системы индексации аудиопоследовательностей на основе СММ и МОВ. Для достижения поставленной цели необходимо решить следующие задачи : Изучить общую проблему индексации аудиодокументов и существующие подходы. Разработать структуру системы индексации аудиопоследовательностей на основе Скрытой Марковской Модели и Метода Опорных Векторов. структуру системы Скрытой Марковской Модели Метода Опорных Векторов Разработать алгоритм извлечения вектора признаков из аудиосигналов на основе вейвлет преобразования. алгоритм извлечения вектора признаков из аудиосигналов на основе вейвлет преобразования Разработать структуру и реализовать систему индексации аудиопоследовательностей на языке С ++. Разработать структуру и реализовать систему индексации аудиопоследовательностей на языке С ++. Разработать структуру компонентов системы и реализовать графический интерфейс системы. компонентов системы реализовать графический интерфейс Реализовать базовые компоненты обработки аудиосигналов. базовые компоненты обработки аудиосигналов

Задача индексации

Вектора признаков В данной работе использовалось 2 вида векторов признаков : Вектор признаков кепстральных коэффициентов Вектор признаков кепстральных коэффициентов Вектор признаков на основе вейвлет преобразования Вектор признаков на основе вейвлет преобразования

Кепстр FrameWindowDFT Mel filter bank LogDCT MFCC Signal Delta Coefficients Delta-Delta Coefficients Energy

Формирование вектора признаков на основе вейвлет-преобразования

Скрытые марковские модели Скрытая марковская модель – это дважды стохастический случайный процесс в котором наблюдения являются вероятностной функцией состояния. СММ характеризуются следующими параметрами: набор состояний вариационная матрица переходов набор событий матрица вероятностей наблюдения начальное и конечное состояния матрица начальных вероятностей Приближения СММ 1) 2)

Три фундаментальных проблеммы СММ Проблема Оценки – при данных модели Ф и последовательности наблюдений, какой будет вероятность появления модели, сгенерировавшей наблюдение ? Прямой алгоритм : Проблема Декодирования - при данных модели Ф и последовательности наблюдений, какой будет наиболее вероятная последовательность состояний S в модели, сгенерировавшей наблюдения ? Алгоритм Витерби : Проблема Обучения - при данных модели Ф и последовательности наблюдений, как можно настоит параметры модели так, чтобы максимизировать совместную вероятность ? Прямой - обратный алгоритм

Метод опорных векторов

Структура системы индексации аудио

Структура ядра системы индексации

Процессоры с lass Processor : public Idispatch { public: virtual HRESULT STDMETHODCALLTYPE loadSettings(const char*settings) = 0; virtual HRESULT STDMETHODCALLTYPE work(DataStruct** data) = 0; virtual HRESULT STDMETHODCALLTYPE getProcessorId(char** id) = 0; virtual HRESULT STDMETHODCALLTYPE getSize(int* val) = 0; virtual HRESULT STDMETHODCALLTYPE getStep(int* val) = 0; virtual HRESULT STDMETHODCALLTYPE getSettings(char**) = 0; };

Компоненты чтения class ReaderInterface : public IDispatch { public: virtual HRESULT STDMETHODCALLTYPE open(const char*, ResultStruct*) = 0; virtual HRESULT STDMETHODCALLTYPE read(DataStruct**, ResultStruct*) = 0; };

Пользовательский интерфейс

Базовые процессоры Бартлетта Блекмана Блекмана - Хариса Хемминга Хаара Кайзера БПФ Вейвлет ДКП МОВ СММ Кепстр На вейвлете

Эксперимент В рамках данного проекта, на основе созданной системы были проведены 3 эксперимента по индексации аудиопоследовательностей : сегментация речь / музыка / тишина распознавание эмоций на основе МОВ определение жанров музыки на основе СММ

Сценарий эксперимента

Сегментация речь / музыка / тишина речь тишина музыка

Сегментация речь / музыка / тишина КорректноКритические ошибкиНекритические ошибки Музыка(музыкальная база) 89.2%3.7%7.1% Речь (языковая база)92.3%2.9%4.8% Музыка (языковая база)87.4%4.2%8.4%

Распознавание эмоций на основе МОВ Речь Отвращение/Печаль/СкукаНейтральность/Радость/Гнев/Страх ОтвращениеПечаль/СкукаНейтральность/РадостьГнев/Страх МОВ1 МОВ2 МОВ 4 ПечальСкукаНейтральностьРадостьСтрахГнев МОВ3МОВ5МОВ6

Результаты распознавания эмоций на основе МОВ

Результаты определения жанров музыки на основе СММ

Заключение В рамках данного проекта была выполнена следующая работа: разработаны структуры системы индексации аудиопоследовательностей и ее компонент, позволяющие легко модифицировать параметры системы для конкретной задачи индексации. разработан интерфейс компонент системы, позволяющий легко подключать к системе компоненты сторонних разработчиков с целью расширения возможностей системы. реализована система индексации аудиопоследовательностей на языке С ++, графический пользовательский интерфейс системы и базовые компоненты индексации аудиопоследовательностей. На основе разработанной системы проведены эксперименты по разделению аудиопоследовательности на речь / музыку / тишину, распознаванию эмоций в речи, определению жанров музыки.

Спасибо за внимание