EM-алгоритм Альперин Борис 8204. Содержание Вероятностная постановка задачи классификации Параметрический подход к оценке плотности расределения Принцип.

Презентация:



Advertisements
Похожие презентации
Количественные характеристики случайных переменных Математическое ожидание (среднее значение) Математическое ожидание (среднее значение) Дисперсия и среднее.
Advertisements

Обучение без учителя Владимир Вежневец, Антон Конушин Александр Вежневец Компьютерное зрение МГУ ВМК, Осень 2006.
Прогнозирование ARMA- МОДЕЛЕЙ ВРЕМЕННЫХ РЯДОВ С «ПРОПУСКАМИ» БГУ, ФПМИ, МАГИСТРАНТ Лобач Сергей Викторович.
МНОГОМЕРНЫЕ ЗАКОНЫ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ. Совместное распределение термин, относящийся к распределению нескольких случайных величин, заданных на.
Лекция 5 Метод максимального правдоподобия. ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения.
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА Визуализация данных Визуализация данных Точечные оценки Точечные оценки Групповые характеристики Групповые характеристики Метод.
Метод максимального правдоподобия ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения, которые.
В. Дихтяр ОСНОВЫ МАРКЕТИНГОВЫХ ИССЛЕДОВАНИЙ С ИСПОЛЬЗОВАНИЕМ EXCEL (для бакалавров) Раздел 2.Количественные и вероятностные методы исследования Тема 2-1.
1.Основные понятия случайной величины 1.1 Классификация случайных процессов.
Разработка алгоритмов на базе FRiS-функции Лекция 6.
Лекция 12 РАЗЛИЧЕНИЕ СИГНАЛОВ МНОГОАЛЬТЕРНАТИВНЫЕ ЗАДАЧИ ВЫБОРА РЕШЕНИЯ.
Анализ данных Кластеризация. План лекции Модельные алгоритмы (пример: EM) Концептуальные алгоритмы (пример: COBWEB) Цель: Знакомство с основными алгоритмами.
Задача построения решающего правила Лекция 4,5. Статистический подход к задаче распознавания. Генеральная совокупность изучаемых объектов Г. Генеральная.
Критерии принятия решений Максимум правдоподобия Максимум апостериорной вероятности Идеального наблюдателя Минимум средней ошибки Минимум байесовского.
Вероятностная НС (Probability neural network) X 1 X n... Y 1 Y m Входной слой Скрытый слой (Радиальный) Выходной слой...
Уравнение множественной регрессии y t = a 0 +a 1 x 1t +a 2 x 2t +a 3 x 3t +…+a k x kt +U t (8.1) Наилучшая линейная процедура получения оценок параметров.
Лекция 2 Часть I: Многомерное нормальное распределение, его свойства; условные распределения Часть II: Парная линейная регрессия, основные положения.
Некогерентный приём сигналов Презентация лекции по курсу «Общая теория связи» © Д.т.н., проф. Васюков В.Н., Новосибирский государственный.
Задача таксономии и частичного обучения Лекция 6.
Точность оценок случайных величин. Определение термина Случайная величина: в теории вероятностей, величина, принимающая в зависимости от случая те или.
Транксрипт:

EM-алгоритм Альперин Борис 8204

Содержание Вероятностная постановка задачи классификации Параметрический подход к оценке плотности распределения Принцип максимума правдоподобия EM-алгоритм EM-алгоритм с последовательным добавлением компонент Алгоритм классификации (на основе EM-алгоритма) RBF - сеть Пример (на модельных данных)

Вероятностная постановка задачи классификации

Решение задачи 1. Величина потери.

Решение задачи 1. Оптимальное Байесовское решающее правило

Оценка плотности распределения

Принцип максимума правдоподобия

Смеси распределений

Задача разделения смеси

EM-алгоритм

Схема EM-алгоритма

Схема ЕM-алгоритма

E-шаг

M-шаг

EM-алгоритм с последовательным добавлением компонент

Многомерное нормальное распределение

Гаусовские смеси

Плюсы: Позволяют приближать любые непрерывные плотности вероятностей Минусы: Трудоемкость (необходимость обращать ковариационные матрицы) Ковариационные матрицы часто оказываются вырожденными или плохо обусловленными => неустойчивость оценок плотности и алгоритма классификации

Гауссовские смеси

Радиальные функции

Сеть радиальных базисных функций

Алгоритм классификации

Агоритм классификации

RBF - сеть

Пример (модельные данные) 4 класса (красный, зеленый, синий, бирюзовый) Объем выборки – 820 объектов Красный класс - смесь двух гауссовских распределений с диагональной и недиагональной матрицами ковариации. Остальные классы – одно гауссовское распределение. Дисперсия зеленого класса меньше дисперсий остальных, поэтому его элементы находятся ближе к центру. Дисперсия бирюзовых по одной координате больше, чем по другой, в результате чего класс визуально вытянулся. Центры классов располагаются близко, некоторые классы линейно неразделимы.

Пример (модельные данные) Истинное распределение классов – на левом рисунке Результат классификации – на правом Алгоритм допустил 16 ошибок, что на выборке из 820 элементов составляет менее 2%.