1. И снова о регрессионном анализе. 2. Классификация и кластерный анализ.

Регрессионный анализ

Предпосылки использования МНК (условия Гаусса – Маркова) 0 0. Регрессионная модель корректно специфицирована (нет лишних регрессоров) Случайное отклонение имеет нулевое математическое ожидание Дисперсия случайного члена постоянна Ошибки в разных наблюдениях независимы (некоррелированы) друг относительно друга Ошибки независимы (некоррелированы) с регрессорами Ошибки представляют собой слабый белый (гауссовский) шум.

Y = AX + 1.E( i ) = 0 во всех наблюдениях Естественное требование, означающее несмещенность в среднем «наблюдаемых» значений зависимой переменной относительно «теоретических» Условия Гаусса-Маркова

Дисперсия ошибки i одинакова во всех наблюдениях Нарушение – дисперсия ошибки i неодинакова в разных наблюдениях i Условия Гаусса-Маркова

Отсутствие автокорреляции - ошибки в разных наблюдениях не связаны между собой

Y = А Х + А – детерминированная переменная (известна абсолютно точно) Требование детерминированности регрессоров упрощает анализ, но зачастую не выполняется Условия Гаусса-Маркова

Y = АX + Нормальность ошибок: Ошибки имеют совместное многомерное нормальное распределение Условия Гаусса-Маркова

Оценки максимального правдоподобия Z(A 1,..., A N ; Y 1,..., Y N ; X) = k – плотность вероятности k-го измерения k (A k ; Y k ; Х) =

Функция правдоподобия L(A 1,..., A N ; Y 1,..., Y N ; X) = Z(A 1,..., A N ; Y 1,..., Y N ; X) = const* МНК!

Свойство 1. Несмещенность Свойство 2. Эффективность: оценка с минимальной дисперсией по сравнению с другими оценками Свойство 3. Состоятельность

К проблеме мультиколлинеарности

A

X = (A T A) -1 A T Y =

Интервальное оценивание параметров

X1X1 X2X2 X3X3 X4X4

Cor(X)

Проверка адекватности регрессионной модели

Классификация Сравнитель- ные размеры жука- носорога, взрослой мыши и мышонка

Классификация с обучением Принадлежит ли образец к данному классу или нет? КЛАССЫ ИЗВЕСТНЫ! Цели классификации: 1) уменьшить число ошибочно ОТКЛОНЕННЫХ образцов (ошибка первого рода), т.е. таких, которые ошибочно отнесены к не членам определенного класса; 2) уменьшить число образцов, ошибочно ОПРЕДЕЛЕННЫХ как принадлежащие определенному классу (ошибка второго рода).

Порог принадлежности к классу Чем выше порог, тем метод более требователен к отбору, и тем меньше образцов будут приписаны данному классу и наоборот. Порог снижается

Дискриминатный анализ

Как построить дискриминирующую функцию? Самый простой способ: найти опорные векторы (к сожалению, удается редко)