ОЦЕНКА ПРОГРАММ
Что такое оценка программ? «Оценка есть определение достоинства или ценности» Michael Scriven, The Logic of Evaluation, Inverness «Цель оценки - измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить» Carol Weiss, Evaluation Research: Methods for Assessing Program Effectiveness «Оценка - это системный путь к улучшению программ и предоставления информации о результатах публике, который предполагает использование процедур, следующих стандартам полезности, выполнимости, этичности и точности»
Что такое оценка программ? Оценка программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее.
Для чего нужна оценка программ? Продолжить или прекратить программу? Каким образом можно улучшить программу? Какие новые методы или способы предоставления услуг могут быть добавлены в программу? Каким образом можно тиражировать подобную программу в другом регионе или другой организации? Каким образом лучше распределить ресурсы между конкурирующими программами? Нужно ли принять или отклонить подходы и стратегию, используемую в данной программе?
Кому нужна оценка программ? Финансирующие агентства и фонды Организации-исполнители Непосредственные исполнители программ, которые работают с клиентами Академические институты, финансирующие исследования Непосредственные получатели услуг Широкая общественность
Виды оценки «Формирующая оценка» (formative evaluation) - призвана помочь менеджерам программы в принятии решений о том, какие изменения необходимо внести в программу на стадии ее реализации для повышения ее эффективности. Оценку, в задачи которой входит исследование конечных результатов и эффективности программы, называют общим термином «суммирующая оценка» (summative evaluation).
Формирующая оценка Оценка потребностей (needs assessment) выявляет существующие потребности и располагает их в порядке приоритетности. Оценка процесса ставит своей целью описание того, как в действительности функционирует та или иная программа. Оценка целей и задач (goals-based или objectives-based evaluation) помогает определить, достигает ли программа запланированных целей и задач.
Формирующая оценка 4 вопроса на старте: Кому это нужно и зачем и за какие деньги? Что для этого сделать и сколько может это стоить? Сможем ли мы с этим справиться? Оно того стоит?
Суммирующая оценка Оценка результатов (outcome evaluation) помогает определить, какие программы действительно приводят к достижению результатов, необходимых получателям услуг. Оценка воздействия (impact evaluation) позволяет определить изменения в благосостоянии клиентов, которые могут быть отнесены на счет определенной программы. Оценка экономической эффективности (cost- effectiveness или cost-benefit evaluations) использует экономические методы для оценки соотношения затрат и результатов программы.
Отличия оценки от мониторинга Мониторинг Проводится непрерывно. Запланированные результаты и деятельность сравниваются с фактическими. Полученная информация используется для улучшения работы по программе. Оценка Проводится на ключевых этапах реализации программы. Анализируются причины достижения или не достижения запланированных результатов. Полученная информация используется и для уточнения планов на будущее.
Достижения программы, подлежащие оценке Вклад программы (Input) Оценка здесь может выяснять, действительно ли были проведены мероприятия, соблюдены ли сроки и др. Продукт (Output) Оценка вклада фокусируется на внутренней «кухне» исполнителя проекта, оценка продукта - на его внешнем выходе.
Достижения программы, подлежащие оценке Результат (Outcome) Оценка результата проекта имеет целью выяснить, изменилось ли поведение, уровень благосостояние или жизнь целевой группы. Эффект/ влияние (Impact) Оценка эффекта имеет целью установить, что изменилось в структуре проблемы. Это изменения в сообществе или обществе, а не только на уровне целевой группы.