Понятия и методики Новосибирск, май 2010

«Программная оценка – это процесс аккуратного сбора информации о программе или отдельных аспектах программы с целью принятия необходимых управленческих решений» Картер МакНамара

Продолжить или прекратить программу или проект? Каким образом можно улучшить программу или проект? Какие новые методы или способы предоставления услуг могут быть добавлены в программу? Какие методы или способы предоставления услуг необходимо исключить из программы? Каким образом можно создать подобную программу или проект в другом месте ( в другой организации или регионе? Каким образом лучше распределить ресурсы между двумя конкурирующими программами или проектами? Нужно ли принять или отклонить подходы и стратегию, используемую в данной программе или проекте?

Проект/Программа Этап 1Этап 2Этап 3 Формирующая оценка Суммирующая оценка

Формирующая оценка Оценка потребностей (needs assessment) определяет несоответствие между желаемым и реальным положением дел относительно какой-либо ситуации, выявляет существующие потребности и располагает их в порядке приоритетности. Оценка процесса ставит своей целью описание того, как в действительности функционирует та или иная программа, каким образом реализация программы приводит к достижению определенных результатов, и каковы сильные и слабые стороны программы. Оценка целей и задач (goals-based или objectives- based evaluation) помогает определить, достигает ли и в какой степени достигает та или иная программа запланированных целей и задач.

Суммирующая оценка Оценка результатов (outcome evaluation) – помогает определить, какие программы и виды деятельности организации действительно приводят к достижению результатов, необходимых получателям услуг, и позволяет избежать видов деятельности, которые кажутся важными на определенном этапе работы, но не приносят желаемых результатов. Оценка влияния (воздействия) (impact evaluation) позволяет определить изменения в благосостоянии людей/благополучателей, которые могут быть отнесены на счет определенного проекта/программы. Оценка экономической эффективности программы (cost- effectiveness или cost-benefit evaluations) использует экономические методы для оценки соотношения затрат и результатов программы или проекта, выраженных в денежном отношении (cost-benefit), и соотношения затрат и результатов проекта, выраженных в затратах на единицу полученного результата (cost-effectiveness).

МОНИТОРИНГОЦЕНКААУДИТ Проводится непрерывно Модель принимается в существующем виде без изменений Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для улучшения работы по проекту Решение о проведении принимается исполнителем или финансирующей стороной Проводят внутренние и/или внешние эксперты Проводится на ключевых этапах реализации проекта Модель подвергается анализу с целью оптимизации/улучшения Анализируются причины достижения/не достижения запланированных результатов Полученная информация может использоваться для улучшения работы по данному проекту, для уточнения планов на будущее Решение о проведении принимается исполнителем или финансирующей стороной Проводят внутренние и/или внешние эксперты Проводится периодически – в соответствии с законодательством или процедурами донора Модель принимается в существующем виде без изменений Запланированные деятельность и результаты сравниваются с фактическими Полученная информация используется для принятия решения о целесообразности продолжения работы по проекту Решение о проведении принимается финансирующей стороной Проводят внешние эксперты

8 Гипотеза развития/методы достижения результатов Структура результатов Система индикаторов с описанием их характеристик Таблица исходных данных и целевых значений индикаторов Календарный план мониторинга и оценки

9 Воздействие (Цель): Промежуточные Результаты(задача): Непосредственные результаты («Выход») На входе: действия и ресурсы

10

11 Что-то еще? Контекст? Предположения? Риски? Как? Зачем?

Оценка воздействия это установление и изучение причинно-следственных связей между деятельностью проекта и полученным результатом Оценка воздействия позволяет также анализировать побочные последствия, положительные и отрицательные эффекты

будет наиболее целесообразным в: инновационных, тиражируемых и ресурсоемких проектах, проектах с четко поставленными задачами.

Как проект повлиял на благополучателей? Были ли наблюдаемые улучшения прямым результатом проекта или они произошли бы в любом случае? Можно ли повысить эффективность программы, путем внесения в нее каких-либо изменений? Обоснованы ли затраты? На эти вопросы нельзя ответить простым измерением итогов проекта: могут присутствовать другие факторы или события, коррелирующие с результатом, но не вызванные проектом

Реконструировать "гипотетическую альтернативную ситуацию или сценарий", "предположение от обратного», т.е. "то, что было бы в отсутствие проекта". Например: недавний выпускник программы трудового обучения нашел работу. Является ли это результатом программы, или он трудоустроился бы в любом случае?

1. Необходимо отделить эффект воздействия от других факторов - использовать контрольные группы, т. е. группы тех, кто не участвует в программе и не получает помощи. 2. Контрольная группа сравнивается с экспериментальной группой (т.е. группой, на которую оказывается воздействие). 3. Контрольная группа выделяется случайным образом из той же совокупности, что и группа участников программы. 4. Контрольная группа должна соответствовать экспериментальной группе по всем параметрам; единственным отличием является само участие в программе

Получить представление о гипотетической альтернативной ситуации можно несколькими методами: экспериментальными (рандомизированными) и квазиэкспериментальными (не рандомизированными)

Рандомизация, когда производится случайная выборка участников экспериментальной и контрольной групп из четко определенной совокупности. В этом случае группы должны различаться только тем, что одна из них принимает участие в программе, а другая нет. (Могут быть различия из-за ошибки выборки; но чем больше экспериментальная и контрольная группы, тем меньше ошибка).

«+» наиболее надежная и обоснованная методика оценки простота интерпретации данных, так как воздействие программы измеряется разницей между средними показателями в экспериментальной и контрольной группах «-» может быть неэтичным получают помощь все, и контрольной группы просто не может быть (помощь переселенцам)

Методы отбора по подобию, или конструируемые средства контроля, в которых делается попытка подобрать идеальные сравнения, соответствующие экспериментальной группе Методы двойных различий, или учета различий между различиями, когда сравниваются экспериментальная и контрольная группы до (первая разность) и после (вторая разность) программы. Рефлексивные сравнения, в которых производится "базисное" (исходное) обследование участников до проведения программы, а также обследование после ее проведения. Исходные данные служат для формирования контрольной группы, а воздействие измеряется с помощью изменений показателей результата до и после программы.

«+» позволяет использовать существующие данные, и поэтому требует меньше времени и средств «-» надежность результатов часто невысока, т.к. методология менее строга в статистическом плане метод может быть статистически сложным

Качественный метод помогает формулировать ключевые вопросы, составлять анкеты, стратифицировать количественные выборки, анализировать социальный, политический или экономический контекст проекта. Количественные же методы помогают определять стратегии сбора качественных данных, разрабатывать структуру выборки таким образом, чтобы результаты качественного анализа могли быть экстраполированы на всю совокупность через использование статистически значимой выборки.

Во время подготовки проекта 1. Определение необходимости проведения оценки 2. Четкая формулировка целей оценки 3. Проверка наличия данных 4. Составление плана оценки 5. Подбор специалистов для проведения оценки 6. Если предполагается вести сбор данных: i. Структура и формирование выборки ii. Разработка инструментария исследования iii. Подбор и обучение участников оценки iv. Проведение тестирования инструментов v. Сбор данных vi. Обработка данных и обеспечение доступа к ним

На стадии реализации проекта 7. Продолжение сбора данных 8. Анализ данных 9. Подробное обсуждение результатов с разработчиками стратегии и другими заинтересованными сторонами 10. Внедрение результатов

26 1) оценить исходную ситуацию, на изменение которой проект и будет направлен; 2) определить, какие изменения исполнители проекта хотели бы получить «на выходе» - то есть после завершения проекта; 3) разработать комплекс мероприятий, которые могли бы, по замыслу авторов, обеспечить такие изменения; 4) сформировать систему отслеживания и оценки таких изменений.