Лекция 7 Уравнение множественной регрессии Теорема Гаусса-Маркова Автор: Костюнин Владимир Ильич, доцент кафедры: «Математическое моделирование экономических процессов»

(7.1) Наилучшая линейная процедура получения оценок параметров уравнения (7.1) и условия, при которых эта процедура дает несмещенные и эффективные оценки, сформулирована в теореме Гаусса - Маркова

Карл Фридрих Гаусс Время жизни Научная сфера – математика, физика, астрономия Андрей Андреевич Марков Время жизни Научная сфера - математика

Постановка задачи : Имеем случайную выборку наблюдений за поведением экономического объекта объемом n Выборка наблюдений за переменными модели (7.1) Первый индекс – номер регрессора Второй индекс – номер наблюдения (7.2) - Система уравнений наблюдений, связывающая наблюдения в выборке (7.2)

Сформируем вектора и матрицу коэффициентов на основе системы (7.2) Y – вектор выборочных значений эндогенной переменной U – вектор выборочных значений случайного возмущения A - вектор неизвестных параметров модели х – вектор регрессоров X – матрица коэффициентов при неизвестных параметрах

По данным выборки найти : Ã, Cov(ÃÃ), σ u, σ ( (z)) Теорема ( Гаусса – Маркова ) Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям: Математическое ожидание всех случайных возмущений равно нулю Дисперсия случайных возмущений постоянна во всех наблюдениях (условие ГОМОСКЕДАСТИЧНОСТИ) Случайные возмущения в разных наблюдениях не зависимы Случайные возмущения и регрессоры не зависимы

Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является: (7.3) которая удовлетворяет методу наименьших квадратов При этом:

Доказательство Воспользуемся методом наименьших квадратов где (7.4) (7.5) Подставив (7.5) в (7.4) получим (7.6)

Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров Откуда система нормальных уравнений для определения искомых параметров получает вид (7.7) Решение системы (7.7) в матричном виде есть Выражение (7.3) доказано

Докажем несмещенность оценок (7.3) Несмещенность оценки (7.3) доказана Вычислим ковариационную матрицу оценок (7.3) В результате получено выражение (7.4)

Пример 1. Пусть имеем выборку из n наблюдений за случайной величиной Y Найти наилучшие оценки среднего значения и дисперсии этой переменной В терминах теоремы Гаусса –Маркова задача формулируется так: необходимо построить модель типа Y = a 0 +u, при этом имеем:

Решение 1. Вычисляем (X T X) Вычисляем (X T Y) 3. Вычисляем оценку параметра а 0 4. Находим дисперсию среднего

Пример 2. Уравнение парной регрессии Построить модель типа Y=a 0 +a 1 x +u, по данным вы- борки наблюдений за переменными Y и x объемом n В схеме Гаусса-Маркова имеем: 1. Вычисляем матрицы (X T X) и (X T X) -1

2. Вычисляем X T Y 3. Вычисляем оценку вектора параметров а

Вычислим дисперсии (ковариационную матрицу) параметров модели Следовательно:

Расчет дисперсии прогнозирования Прогноз осуществляется в точке Z={1,z} Т

Процедура «ЛИНЕЙН» в приложении EXCEL Алгоритм использования процедуры: 1.Подготовка таблицы исходных данных 2. Вызов процедуры «ЛИНЕЙН» 3. Ввод исходных данных в процедуру 4. Анализ результата Рассмотрим алгоритм на примере

Выводы: 1. Теорема Гаусса-Маркова формулирует наилучшую линейную процедуру расчета оценок параметров линейной модели множественной регрессии 2. Линейная процедура соответствует методу наименьших квадратов 3. Предпосылки теоремы обеспечивают получение оценок, обладающих свойствами несмещенности и эффективности 4. При выполнении предпосылок свойства эффективности и несмещенности достигаются при любом законе распределения случайного возмущения