Метод наименьших квадратов УиА 15/2 Айтуар А.. В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей. - презентация

1 Метод наименьших квадратов УиА 15/2 Айтуар А.

2 В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили название регрессионного анализа Основными задачами регрессионного анализа являются установление зависимости между переменными и оценка (прогноз) значений зависимой переменной В экономических исследованиях часто заданному значению одной переменной может соответствовать множество значений другой переменной Другими словами, каждому значению одной переменной соответствует условное распределение другой переменной

3 Графическая иллюстрация сказанного: Y = X Y X3X3 X5X5 X4X4 X1X1 X2X2 Зависимость, при которой каждому значению одной переменной соответствует условное математическое ожидание другой называется регрессионной:

4 Начнем с построения модели в виде линейного уравнения парной регрессии (6.1) Постановка задачи Дано: Выборка наблюдений за поведением переменных y t и x t Найти: 1. Оценки значений параметров a 0 и a 1 2. Оценки точности σ(a 0 ) и σ(a 1 ). 3. Оценка рассеяния случайного возмущения σ u 4. Оценку точности прогнозирования σ(y(x 0 ))

5 Введем следующие обозначения и определения 1. Выборка 2. Система уравнений наблюдений (6.2) 3. В е к т о р а 4. Матрица коэффициентов при параметрах

6 Идея метода. Пусть имеем выборку из 4-х точек (n=4): P 1 =(x 1, y 1 ) P 2 =(x 2, y 2 ) P 3 =(x 3, y 3 ) P 4 =(x 4, y 4 ) P1P1 P2P2 P3P3 P4P4 Предполагаем, что существует теоретическая прямая, которая наилучшим образом проходит через них Задача: оценить с некоторой точностью, как может проходить эта прямая На практике мы имеем возможность наблюдать только исходные точки u4u4

7 Итак, оценки параметров модели парной регрессии согласно МНК будем искать из условия: (6.2) Условиями минимума функции являются равенство нулю первых производных и положительность вторых производных по ã 0 и ã 1 (6.3) Система (6.3) называется системой нормальных уравнений для вычисления оценок параметров уравнения парной регрессии (6.1)

8 Упростим систему нормальных уравнений (6.3) (6.4) Убеждаемся, что решение системы уравнений (6.4) будет соответствовать минимуму функции (6.1) Для этого вычисляем значения вторых частных производных функции (6.1) Вторые производные больше нуля – функция (6.1) принимает минимальное значение в точке ã 0, ã 1

9 (6.4) Для решения системы (6.4) выразим из первого уравнения ã 0, подставим его во второе уравнение (6.5) Решив второе уравнение системы (6.5) получим: (6.6)

10 Проанализируем выражение (6.6) Для этого вычислим COV(x,y) и σ 2 (x) (6.7)

11 Проверим выполнение условия несмещенности для оценки (6.7) Для этого вычислим числитель выражения (6.7) Подставив в (6.7) полученное выражение получим: (6.8) Математическое ожидание выражения (6.7) имеет вид: (6.9)

12 Вычислим дисперсии параметров уравнения регрессии и дисперсию прогнозирования эндогенной переменной 1. Дисперсия параметра ã 1 (6.10)

13 2. Дисперсия параметра ã 0 σ 2 (y) Определяется с помощью (6.10) В результате получаем:

14 Исходные предположения 1. Уравнение имеет вид: y t =a 0 + a 1 x t + u t 2. Случайное возмущение имеет нормальное распределение с параметрами 0 и σ u 3. Для получения ММП-оценок имеем выборку из n наблюдений Тогда: Закон распределения для случайного возмущения принимает вид:

15 1. Функция правдоподобия получит вид: 2. Логарифм функции правдоподобия

16 3. Составляем уравнения для вычисления оценок a 0 и a 1 Получили систему уравнений совпадающую с (6.3) Следовательно, и решения совпадут

17 Вывод С помощью метода наименьших квадратов получили 1. Оценки параметров уравнения регрессии, по крайней мере, состоятельными 2. Если случайное возмущение подчиняется нормальному закону распределения, то оценки параметров модели несмещенные и эффективные 3. Нет необходимости в знании закона распределения случайных возмущений

18 X-стаж работы сотрудника Y- часовая оплата труда Модель: Y=a 0 +aX t +U t Σ x i =210; Σ y i =146.42; Σ x i 2 =2870; Σ x i y i = XYUU2U2 σ(y) 1,01,912,17-0,260,071,20 2,02,762,720,040,001,19 3,02,673,26-0,590,351,17 4,04,033,800,230,051,16 5,04,124,34-0,220,051,15 6,02,814,88-2,074,301,15 7,06,535,421,111,221,14 8,06,245,970,270,071,14 9,09,036,512,526,361,13 10,06,877,05-0,180,031,13 11,09,097,591,502,241,13 12,07,088,13-1,051,111,13 13,07,798,68-0,890,781,14 14,08,759,22-0,470,221,14 15,011,199,761,432,051,15 16,010,1510,30-0,150,021,15 17,010,5210,84-0,320,101,16 18,010,8911,38-0,490,241,17 19,010,5911,93-1,341,781,19 20,013,4012,470,930,871,20 ΣU2ΣU2 21,93

19 Y= X Y+σ(Y) Y-σ(Y) Графическое отображение результатов

20 Заключение 1. Метод наименьших квадратов имеет следующие преимущества: - не требуется знания закона распределения случайного возмущения - дает оценки по крайней мере состоятельные - в случае нормального распределения случайного возмущения оценки параметров линейной модели несмещенные и эффективные 2. Для получения несмещенных и эффективных оценок параметров в случае, если случайное возмущение имеет закон распределения отличный от нормального, необходимо наложить на него дополнительные требования