1 Использование эконометрических методов в оценивании программ (на примере анализа заработных плат в бюджетном секторе) А.Л. Лукьянова (ЦеТИ ГУ ВШЭ), М. - презентация

1 1 Использование эконометрических методов в оценивании программ (на примере анализа заработных плат в бюджетном секторе) А.Л. Лукьянова (ЦеТИ ГУ ВШЭ), М. Дмитриев (3 курс, МИЭФ) Коллоквиум «Оценивание программ и политик: методология и применение», 17 мая 2007 года

2 2 План презентации 1. Постановка проблемы 2. Сравнительный анализ неэкспериментальных методов оценивания: Сравнение средних МНК-регрессия (OLS) Непараметрические методы: Подбор контрольной группы (matching) Подбор контрольной группы по индексу соответствия (propensity score matching) Использование инструментальных переменных (switching regression) 3. Эмпирические оценки: Гимпельсон В., Лукьянова А. «О бедном бюджетнике замолвите слово...»: межсекторные различия в заработной плате, Препринт ГУ-ВШЭ WP3/2006/05, 2006.

3 3 О каких ситуациях идет речь? Задача – Оценка эффекта от участия в программе на микроуровне Типы программ – Программы, непосредственными бенефициарами в которых являются домохозяйства или индивиды Примеры: активные программы на рынке труда, программы обучения, налоговые кредиты и др. Пример: программы борьбы с бедностью Требования к данным – Минимум - наличие репрезентативного опроса населения, в котором задается вопрос об участии в программе Желательно – наличие панельного обследования населения, включающее опросы в период до участия в программе, во время участия и по завершении программы

4 4 Какие проблемы возникают? Missing data problem!!! В каждый момент времени человек может находится только в одном из двух состояний – участвовать или не участвовать в программе. Если он участвует в программе, то мы не можем наблюдать, что было бы, если бы он не участвовал в программе. Но именно эту разницу мы и хотим знать! Примеры: рождаемость, обучение, бедность ЗАДАЧА – оценить, что было бы, если бы человек не участвовал в программе, т.е. «рассчитать» ненаблюдаемое условное значение ( COUNTERFACTUAL ) интересующего нас параметра в отсутствие программы

5 5 Неэкспериментальные методы оценивания Для данных за один период (cross- section): Сравнение средних МНК-регрессия (OLS) Методы подбора контрольной группы (matching) Использование инструментальных переменных (IV)

6 6 Сравнение средних Контрольная группа = все не участвующие в программе Главная проблема - неслучайный отбор в программу Требования к участникам (отбор по наблюдаемым характеристикам): программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров. ЛИБО программа открыта для всех, но фактически характеристики участников и неучастников существенно различаются Самоотбор (влияние ненаблюдаемых характеристик): Часть индивидов, подходящих по условиям программы, может выбрать не участвовать в программе. СРАВНИВАЮТСЯ НЕСОПОСТАВИМЫЕ ИНДИВИДЫ D i =0 – индивид i не участвует D i =1 – индивид i участвует

7 7 МНК-регрессия Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х) Проблемы - Не учитывает формальный отбор в программу смещение в оценке коэффициента s (selection bias due to observables) Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе смещение в оценке коэффициента s (selection bias due to unobservables) Риски, того что области наблюдаемых характеристик для участников и неучастников сильно разнятся (lack of common support) смещение в оценке коэффициента s Задает жесткую функциональную форму зависимости риски неправильной спецификации Эффект предполагается одинаковым для всех подгрупп Средний эффект от программы Дамми-переменная для участия в программе: D i =0 – индивид i не участвует D i =1 – индивид i участвует

8 8 Методы подбора контрольной группы (Matching) Контрольная группа = индивиды, не участвующие в программе, но фактически сопоставимые по наблюдаемым характеристикам (Х) Решает проблемы: Формального отбора в программу Не фиксирует форму функциональной зависимости от Y от Х Остаются проблемы: Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables) Отбор контрольной группы по множеству критериев (увеличиваются требования к данным) Имитирует естественный эксперимент:

9 9 PSM (Propensity Score Matching) Подбор контрольной группы по индексу соответствия Propensity Score - вероятность его участия в программе в зависимости от множества его наблюдаемых характеристик PS [0; 1], рассчитывается для каждого индивида на основе пробит- или логит- модели, Индивиды со схожими характеристиками – независимо от того, подверглись они воздействию или нет - имеют близкие значения индексов Решает проблемы: Формального отбора в программу Не фиксирует форму функциональной зависимости от Y от Х Сокращает число критериев по которым идет отбор контрольной группы Остаются проблемы: Не учитывает ненаблюдаемые характеристики, влияющие на участие в программе (selection bias due to unobservables) Фиксирует форму функциональной зависимости вероятности участия Р от Х

10 10 Регрессия с переключением режимов (switching regression) Контрольная группа = индивиды, не участвующие в программе, но формально сопоставимые по наблюдаемым характеристикам (Х) с учетом корректировки на ненаблюдаемые характеристики, которые влияют на решение об участии в программе Решает проблемы: Формального отбора в программу Влияния ненаблюдаемых переменных Остаются проблемы: Фиксирует форму функциональной зависимости вероятности участия Р от Х, Y от Х Проблема выбора адекватных инструментов

11 11 Сравнение методов оценивания Учитывает наблюдаемые индивидуальные различия? Учитывает ненаблюдаемые индивидуальные различия? Накладывает ограничения на форму зависимости? СредниеНЕТ МНКДАНЕТДА MatchingДАНЕТ PSMДАНЕТДА-НЕТ SR-регрессияДА Идеальный метод ДА НЕТ

12 12 Эмпирические оценки

13 13 Данные НОБУС (Национальное обследование благосостояния домохозяйств и участия в социальных программах) – апрель-май 2003 г., 44,5 тыс. д/х, 110 тыс.чел. Выборка ( чел.): Возраст – от 15 до 72 лет, Работающие по найму Зарплата только по основному месту работы Определение бюджетного сектора: Респонденты, работающие в образовании, здравоохранении либо государственном управлении в организациях государственной или муниципальной формы собственности.

14 14 Методы оценки межсекторного разрыва Подходы: сравнение рабочих мест (но, как правило, нет данных) сравнение работников Альтернативы: Сравнение средних МНК-регрессия Matching - непараметрические методы, основанные на подборе контрольной группы PSM (Propensity Score Matching) SR-регрессия (Switching regression - регрессия с переключением режимов)

15 15 Сравнение средних ЗП Недостатки: 1. Не учитывает различий в составе занятых по секторам 2. Не учитывают неслучайность выбора сектора. 1. Эффекты воздействия могут сильно различаться по подгруппам населения. 2. Программа может иметь жесткие условия и распространяться на ограниченный круг потенциальных бенефициаров.

16 16 Средние бюджетник и небюджетник очень сильно отличаются по своим характеристикам Среди бюджетников БОЛЬШЕ: Женщин Жителей сел и малых городов Имеющих высшее образование Долго работающих в своей организации МЕНЬШЕ: Начинающих свою трудовую карьеру Продолжительность рабочего времени

17 17 МНК-регрессия D i =1 для бюджетников, D i =0 для небюджетников Индивидуальные характеристики (х i ): пол, образование, профессиональный статус, общий трудовой стаж, стаж работы на предприятии, территория проживания (региональные дамми), размер населенного пункта (места проживания), средняя продолжительность рабочей недели

18 18 МНК-регрессия

19 19 Методы подбора контрольной группы (Matching) 2 варианта: 1. Без учета региональных различий (вся выборка) Точное совпадение: пол, образование (8 группы), профессиональная группа (9), тип поселения (4) Неточное совпадение: стаж, продолжительность рабочего времени возраст 2. С учетом региональных различий (46 регионов) Точное совпадение: то же + регион Неточное совпадение: то же Принадлежность к бюджетному сектору рассматривается как воздействие на группу индивидов, в результате которого их зарплаты отклоняются от тех, которыми могли бы быть в небюджетном секторе.

20 20 Propensity Score Matching – PSM Методы поиска контрольной группы: Метод «ближайшего соседа» (минус метода - зависит от порядка сортировки данных) Для расчета стандартных ошибок – бутстреппинг Характеристики (те же что в МНК): пол, образование, профессиональный статус, общий трудовой стаж, стаж работы на предприятии, территория проживания (региональные дамми), размер населенного пункта (места проживания), средняя продолжительность рабочей недели

21 21 Методы подбора контрольной группы (Matching)

22 22 SR-регрессия Спецификация Уравнения ЗП – те же переменные, что в МНК-регрессии Уравнение отбора - то же + дамми для наличия в д/х детей в возрасте 0-7 лет + дамми для наличия детей в возрасте 8-15 лет + дамми для сокращенной рабочей недели (< 36 ч.)

23 23 Результаты