Что такое оценка? I. Оценка и оценочные исследования Основные подходы, методы и стандарты Серия презентаций ИОПП Москва, 2008 г. - презентация

1 Что такое оценка? I. Оценка и оценочные исследования Основные подходы, методы и стандарты Серия презентаций ИОПП Москва, 2008 г.

2 Определения Оценка (оценивание, англ. - evaluation) - аналитический инструмент или процедура, предназначенная для измерения прямых эффектов, результативности и долгосрочных последствий реализации государственных программ, отраслевых политик, оценки регулирующего воздействия, а также программ развития, проектов некоммерческого сектора. Оценочное исследование – междисциплинарное исследование, использующее экономические, социологические, политологические методы в соответствии с признанными открытыми стандартами («руководящими принципами») национальных и международных обществ по оценке.

3 Основные задачи оценивания Спрогнозировать возможные последствия, результаты реализации государственной программы, воздействия законопроекта (на этапе разработки); Обеспечить обратную связь (т.н. «сопровождающие исследования»); Оценить степень достижения намеченных целей; Оценить, как и в какой мере наблюдаемые изменения связаны с проведенными мероприятиями программы / политики; Предоставить в распоряжения заказчика доказательную информацию для усиления «политической поддержки» данной программы/политики.

4 Типологии оценивания 1 ) Логически-функциональная oПредварительное (прогнозное) оценивание; oОпределение «оцениваемости» программы; oСопровождающее оценивание (мониторинг); oИтоговое (суммирующее) оценивание; oМета-оценивание (оценка проведенных оценочных исследований в данном секторе). 2) Инициатива оценки oВнутреннее оценивания / само-оценивание; oВнешнее оценивание. 3) Исполнитель работ oАкадемические (научные) оценочные исследования; oКонтрактные (коммерческие) оценочные исследования.

5 Волны внедрения оценивания за рубежом «Первая волна» (1960-ые гг.) – фокус на итоговое оценивание масштабных национальных приоритетных программ; «Вторая волна» (с середины 1970-ых) - в результате бюджетного кризиса больший упор делается на сокращение государственных расходов; «Третья волна» (с 1990-ых) - волна административных реформ, оценка закрепляется законодательно; В настоящее время за рубежом оценка - сложившаяся индустрия на растущем рынке, с начавшейся специализацией компаний, с профильными кафедрами, магистерскими программами, аспирантурами, профессиональными журналами, издательствами, национальными и международными ассоциациями, создавшими стандарты оценки.

6 Стандарты и принципы оценивания Program Evaluation Standards Объединенного комитета по оцениванию в образовании, США (2007 г.); Guiding Principles for Evaluators Американской ассоциации по оцениванию (2004 г.); Evaluations-Standards Германского Общества по оцениванию (2004 г.); Evaluations-Standards Швейцарского Общества по оцениванию (2000 г.); Good Practice Guidelines Общества по оцениванию Великобритании (2003 г.); La Charte de l'Evaluation Общества по оцениванию Великобритании (2006 г.); Принципы оценки Международной Сети «Оценка программ» (2000 г.).

7 Практические этапы оценки 1.Договориться с сопричастными лицами о целях и выгодах от проведения оценивания; 2.Прояснить объект оценки, условия проведения и постановку вопроса; 3.Составить план и методический дизайн исследования; 4.Осуществить сбор, ввод и измерения релевантных данных; 5.Сделать выводы и интерпретировать их 6.Направить заказчику предварительный вариант отчета для комментариев 7.Подготовить финальный вариант отчета с предложениями о применении результатов оценки.

8 Основные методы оценочного исследования 1.Анализ документации, в том числе финансовой; 2.Анализ издержек/выгод, эконометрика; 3.Проведение опросов; 4.Проведение экспертных и глубинных интервью; 5.Статистические исследования.

9 Методологические сложности оценивания Трудности в определении целей, особенно вследствие того, что мероприятия реформ проводятся, как правило, не по отдельности; Трудности в переводе целей в измеримые показатели; Сложности в получении достоверных эмпирических данных для описания показателей, чем более значим показатель, тем сложнее получить данные; Чем более отдалена цель, тем сложнее придать показателям конкретную форму; Сложность прогнозирования побочных эффектов и непреднамеренных последствий.

10 Разрешение сложностей в современной оценке Оценка с опорой на факты / сопровождающий мониторинг; Использование смешанных методов (количественные, качественные, статистические, peer review, анализ издержек-выгод и т.д.); Формирование исследовательской команды из представителей различных секторов (экономисты, социологи, политологи, отраслевые эксперты). Адаптация лучшего иностранного опыта к местным реалиям / бенчмаркинг;

11 Контактная информация Адрес в России: , г. Москва, ул. Смольная, 10 Телефон: 7 (499) Веб-сайт: Европейское бюро (Париж) – Мария Смирнова