Регрессионный анализ

Основная особенность регрессионного анализа: при его помощи можно получить конкретные сведения о том, какую форму и характер имеет зависимость между исследуемыми переменными. Последовательность этапов регрессионного анализа Рассмотрим кратко этапы регрессионного анализа. Формулировка задачи. На этом этапе формируются предварительные гипотезы о зависимости исследуемых явлений. Определение зависимых и независимых (объясняющих) переменных. Сбор статистических данных. Данные должны быть собраны для каждой из переменных, включенных в регрессионную модель. Формулировка гипотезы о форме связи (простая или множественная, линейная или нелинейная). Определение функции регрессии (заключается в расчете численных значений параметров уравнения регрессии) Оценка точности регрессионного анализа. Интерпретация полученных результатов. Полученные результаты регрессионного анализа сравниваются с предварительными гипотезами. Оценивается корректность и правдоподобие полученных результатов. Предсказание неизвестных значений зависимой переменной.

При помощи регрессионного анализа возможно решение задачи прогнозирования и классификации. Прогнозные значения вычисляются путем подстановки в уравнение регрессии параметров значений объясняющих переменных. Решение задачи классификации осуществляется таким образом: линия регрессии делит все множество объектов на два класса, и та часть множества, где значение функции больше нуля, принадлежит к одному классу, а та, где оно меньше нуля, - к другому классу.

Задачи регрессионного анализа Рассмотрим основные задачи регрессионного анализа: установление формы зависимости, определение функции регрессии, оценка неизвестных значений зависимой переменной. Установление формы зависимости. Характер и форма зависимости между переменными могут образовывать следующие разновидности регрессии: положительная линейная регрессия (выражается в равномерном росте функции); положительная равноускоренно возрастающая регрессия; положительная равнозамедленноееее возрастающая регрессия; отрицательная линейная регрессия (выражается в равномерном падении функции); отрицательная равноускоренно убывающая регрессия; отрицательная равнозамедленноееее убывающая регрессия. Однако описанные разновидности обычно встречаются не в чистом виде, а в сочетании друг с другом. В таком случае говорят о комбинированных формах регрессии.

а) положительная линейная регрессия б) положительная равноускоренно возрастающая регрессия; в) положительная равнозамедленноееее возрастающая регрессия; г) отрицательная линейная регрессия д) отрицательная равноускоренно убывающая регрессия; e) отрицательная равнозамедленноееее убывающая регрессия.

Комбинированная регрессия

Определение функции регрессии. Вторая задача сводится к выяснению действия на зависимую переменную главных факторов или причин, при неизменных прочих равных условиях, и при условии исключения воздействия на зависимую переменную случайных элементов. Функция регрессии определяется в виде математического уравнения того или иного типа. Оценка неизвестных значений зависимой переменной. Решение этой задачи сводится к решению задачи одного из типов: Оценка значений зависимой переменной внутри рассматриваемого интервала исходных данных, т.е. пропущенных значений; при этом решается задача интерполяции. Оценка будущих значений зависимой переменной, т.е. нахождение значений вне заданного интервала исходных данных; при этом решается задача экстраполяции. Обе задачи решаются путем подстановки в уравнение регрессии найденных оценок параметров значений независимых переменных. Результат решения уравнения представляет собой оценку значения целевой (зависимой) переменной.

Рассмотрим некоторые предположения, на которые опирается регрессионный анализ. Предположение линейности, т.е. предполагается, что связь между рассматриваемыми переменными является линейной. Так, в рассматриваемом примере мы построили диаграмму рассеивания и смогли увидеть явную линейную связь. Если же на диаграмме рассеивания переменных мы видим явное отсутствие линейной связи, т.е. присутствует нелинейная связь, следует использовать нелинейные методы анализа. Предположение о нормальности остатков. Оно допускает, что распределение разницы предсказанных и наблюдаемых значений является нормальным. Для визуального определения характера распределения можно воспользоваться гистограммами остатков. При использовании регрессионного анализа следует учитывать его основное ограничение. Оно состоит в том, что регрессионный анализ позволяет обнаружить лишь зависимости, а не связи, лежащие в основе этих зависимостей. Регрессионный анализ дает возможность оценить степень связи между переменными путем вычисления предполагаемого значения переменной на основании нескольких известных значений.

Парная регрессия (уравнение связи двух переменных)

X4,83,85,44,23,44,63,44,85,03,85,24,03,84,64,4 Y Пример. Исследование зависимости между среднемесячными доходами X на семью (в тыс. у.е.) и расходами Y на покупку кондитерских изделий (в у.е.) представлено в таблице: Построить корреляционное поле и сделать предварительный вывод о форме зависимости случайных величин.

Анализ позволяет сделать вывод о наличии сильной линейной статистической связи между среднемесячными доходами семьи и затратами на приобретение ею кондитерских изделий. При этом связь имеет положительную тенденцию, т.е. с ростом переменной X наблюдается увеличение отклика Y.

Линейная регрессия

В реальных экспериментах, связанных со статической обработкой опытных данных, условный закон распределения случайной величины Y при условии обычно заранее неизвестен. В таком случае, речь может идти лишь о каком либо приближении к теоретической кривой регрессии, построенном на основе выборочных данных. Другими словами, задача заключается в подборе подходящей функциональной зависимости, наилучшим образом (в некотором статистическом смысле) приближающей функциональную зависимость

Метод наименьших квадратов (МНК) Построение уравнения регрессии сводится к оценке её параметров. Для оценки параметров регрессии, линейной по параметрам, будем использовать МНК. Рассмотрим сначала случай линейной функции одного аргумента

(8) (9)(9)

Из данных уравнений находятся коэффициенты прямой a и b по экспериментальным значениям x и y. Прямая, определяемая уравнениями, называется прямой, полученной по методу наименьших квадратов (этим название подчеркивается то, что сумма квадратов S имеет минимум)

Пример На опыте получены значения x и y, сведенные в таблицу Найти прямую по МНК.

Оценка точности метода наименьших квадратов

Нелинейная регрессия Существуют случаи, когда исходная зависимость нелинейная и применение МНК приводит к существенной погрешности описания. Во многих практических случаях моделирование зависимостей линейными уравнениями дает вполне удовлетворительный результат и может использоваться для анализа и прогнозирования. Однако многие зависимости не являются линейными по своей сути, и поэтому их моделирование линейными уравнениями регрессии не даст положительного результата.