1 Использование эконометрических методов в оценивании программ (на примере анализа заработных плат в бюджетном секторе) А.Л. Лукьянова (ЦеТИ ГУ ВШЭ), М. Дмитриев (3 курс, МИЭФ) Коллоквиум «Оценивание программ и политик: методология и применение», 17 мая 2007 года

2 План презентации 1. Постановка проблемы 2. Сравнительный анализ неэкспериментальных методов оценивания: Сравнение средних МНК-регрессия (OLS) Непараметрические методы: Подбор контрольной группы (matching) Подбор контрольной группы по индексу соответствия (propensity score matching) Использование инструментальных переменных (switching regression) 3. Эмпирические оценки: Гимпельсон В., Лукьянова А. «О бедном бюджетнике замолвите слово...»: межсекторные различия в заработной плате, Препринт ГУ-ВШЭ WP3/2006/05, 2006.

3 О каких ситуациях идет речь? Задача – Оценка эффекта от участия в программе на микроуровне Типы программ – Программы, непосредственными бенефициарами в которых являются домохозяйства или индивиды Примеры: активные программы на рынке труда, программы обучения, налоговые кредиты и др. Пример: программы борьбы с бедностью Требования к данным – Минимум - наличие репрезентативного опроса населения, в котором задается вопрос об участии в программе Желательно – наличие панельного обследования населения, включающее опросы в период до участия в программе, во время участия и по завершении программы

4 Какие проблемы возникают? Missing data problem!!! В каждый момент времени человек может находится только в одном из двух состояний – участвовать или не участвовать в программе. Если он участвует в программе, то мы не можем наблюдать, что было бы, если бы он не участвовал в программе. Но именно эту разницу мы и хотим знать! Примеры: рождаемость, обучение, бедность ЗАДАЧА – оценить, что было бы, если бы человек не участвовал в программе, т.е. «рассчитать» ненаблюдаемое условное значение ( COUNTERFACTUAL ) интересующего нас параметра в отсутствие программы

5 Неэкспериментальные методы оценивания Для данных за один период (cross- section): Сравнение средних МНК-регрессия (OLS) Методы подбора контрольной группы (matching) Использование инструментальных переменных (IV)

6 Сравнение средних Контрольная группа = все не участвующие в программе Главная проблема - неслучайный отбор в программу Требования к участникам (отбор по наблюдаемым характеристикам): программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров. ЛИБО программа открыта для всех, но фактически характеристики участников и неучастников существенно различаются Самоотбор (влияние ненаблюдаемых характеристик): Часть индивидов, подходящих по условиям программы, может выбрать не участвовать в программе. СРАВНИВАЮТСЯ НЕСОПОСТАВИМЫЕ ИНДИВИДЫ D i =0 – индивид i не участвует D i =1 – индивид i участвует

7 МНК-регрессия Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х) Проблемы - Не учитывает формальный отбор в программу смещение в оценке коэффициента s (selection bias due to observables) Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе смещение в оценке коэффициента s (selection bias due to unobservables) Риски, того что области наблюдаемых характеристик для участников и неучастников сильно разнятся (lack of common support) смещение в оценке коэффициента s Задает жесткую функциональную форму зависимости риски неправильной спецификации Эффект предполагается одинаковым для всех подгрупп Средний эффект от программы Дамми-переменная для участия в программе: D i =0 – индивид i не участвует D i =1 – индивид i участвует

8 Методы подбора контрольной группы (Matching) Контрольная группа = индивиды, не участвующие в программе, но фактически сопоставимые по наблюдаемым характеристикам (Х) Решает проблемы: Формального отбора в программу Не фиксирует форму функциональной зависимости от Y от Х Остаются проблемы: Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables) Отбор контрольной группы по множеству критериев (увеличиваются требования к данным) Имитирует естественный эксперимент:

9 PSM (Propensity Score Matching) Подбор контрольной группы по индексу соответствия Propensity Score - вероятность его участия в программе в зависимости от множества его наблюдаемых характеристик PS [0; 1], рассчитывается для каждого индивида на основе пробит- или логит- модели, Индивиды со схожими характеристиками – независимо от того, подверглись они воздействию или нет - имеют близкие значения индексов Решает проблемы: Формального отбора в программу Не фиксирует форму функциональной зависимости от Y от Х Сокращает число критериев по которым идет отбор контрольной группы Остаются проблемы: Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables) Фиксирует форму функциональной зависимости вероятности участия Р от Х

10 Регрессия с переключением режимов (switching regression) Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х) с учетом корректировки на ненаблюдаемые характеристики, которые влияют на решение об участии в программе Решает проблемы: Формального отбора в программу Влияния ненаблюдаемых переменных Остаются проблемы: Фиксирует форму функциональной зависимости вероятности участия Р от Х, Y от Х Проблема выбора адекватных инструментов

11 Сравнение методов оценивания Учитывает наблюдаемые индивидуальные различия? Учитывает ненаблюдаемые индивидуальные различия? Накладывает ограничения на форму зависимости? СредниеНЕТ МНКДАНЕТДА MatchingДАНЕТ PSMДАНЕТДА-НЕТ SR-регрессияДА Идеальный метод ДА НЕТ

12 Эмпирические оценки

13 Данные НОБУС (Национальное обследование благосостояния домохозяйств и участия в социальных программах) – апрель-май 2003 г., 44,5 тыс. д/х, 110 тыс.чел. Выборка ( чел.): Возраст – от 15 до 72 лет, Работающие по найму Зарплата только по основному месту работы Определение бюджетного сектора: Респонденты, работающие в образовании, здравоохранении либо государственном управлении в организациях государственной или муниципальной формы собственности.

14 Методы оценки межсекторного разрыва Подходы: сравнение рабочих мест (но, как правило, нет данных) сравнение работников Альтернативы: Сравнение средних МНК-регрессия Matching - непараметрические методы, основанные на подборе контрольной группы PSM (Propensity Score Matching) SR-регрессия (Switching regression - регрессия с переключением режимов)

15 Сравнение средних ЗП Недостатки: 1. Не учитывает различий в составе занятых по секторам 2. Не учитывают неслучайность выбора сектора. 1. Эффекты воздействия могут сильно различаться по подгруппам населения. 2. Программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров.

16 Средние бюджетник и небюджетник очень сильно отличаются по своим характеристикам Среди бюджетников БОЛЬШЕ: Женщин Жителей сел и малых городов Имеющих высшее образование Долго работающих в своей организации МЕНЬШЕ: Начинающих свою трудовую карьеру Продолжительность рабочего времени

17 МНК-регрессия D i =1 для бюджетников, D i =0 для небюджетников Индивидуальные характеристики (х i ): пол, образование, профессиональный статус, общий трудовой стаж, стаж работы на предприятии, территория проживания (региональные дамми), размер населенного пункта (места проживания), средняя продолжительность рабочей недели

18 МНК-регрессия

19 Методы подбора контрольной группы (Matching) 2 варианта: 1. Без учета региональных различий (вся выборка) Точное совпадение: пол, образование (8 группы), профессиональная группа (9), тип поселения (4) Неточное совпадение: стаж, продолжительность рабочего времени возраст 2. С учетом региональных различий (46 регионов) Точное совпадение: то же + регион Неточное совпадение: то же Принадлежность к бюджетному сектору рассматривается как воздействие на группу индивидов, в результате которого их зарплаты отклоняются от тех, которыми могли бы быть в небюджетном секторе.

20 Propensity Score Matching – PSM Методы поиска контрольной группы: Метод «ближайшего соседа» (минус метода - зависит от порядка сортировки данных) Для расчета стандартных ошибок – бутстреппинг Характеристики (те же что в МНК): пол, образование, профессиональный статус, общий трудовой стаж, стаж работы на предприятии, территория проживания (региональные дамми), размер населенного пункта (места проживания), средняя продолжительность рабочей недели

21 Методы подбора контрольной группы (Matching)

22 SR-регрессия Спецификация Уравнения ЗП – те же переменные, что в МНК-регрессии Уравнение отбора - то же + дамми для наличия в д/х детей в возрасте 0-7 лет + дамми для наличия детей в возрасте 8-15 лет + дамми для сокращенной рабочей недели (< 36 ч.)

23 Результаты