Что такое оценка программ? «Оценка есть определение достоинства или ценности» Michael Scriven, The Logic of Evaluation, Inverness «Цель оценки - измерение результатов программы и сопоставление их с задачами, которые эта программа должна решить» Carol Weiss, Evaluation Research: Methods for Assessing Program Effectiveness «Оценка - это системный путь к улучшению программ и предоставления информации о результатах публике, который предполагает использование процедур, следующих стандартам полезности, выполнимости, этичности и точности»
Для чего нужна оценка программ? Продолжить или прекратить программу? Каким образом можно улучшить программу? Какие новые методы или способы предоставления услуг могут быть добавлены в программу? Каким образом можно тиражировать подобную программу в другом регионе или другой организации? Каким образом лучше распределить ресурсы между конкурирующими программами? Нужно ли принять или отклонить подходы и стратегию, используемую в данной программе?
Кому нужна оценка программ? Финансирующие агентства и фонды Организации-исполнители Непосредственные исполнители программ, которые работают с клиентами Академические институты, финансирующие исследования Непосредственные получатели услуг Широкая общественность
Виды оценки «Формирующая оценка» (formative evaluation) - призвана помочь менеджерам программы в принятии решений о том, какие изменения необходимо внести в программу на стадии ее реализации для повышения ее эффективности. Оценку, в задачи которой входит исследование конечных результатов и эффективности программы, называют общим термином «суммирующая оценка» (summative evaluation).
Формирующая оценка Оценка потребностей (needs assessment) выявляет существующие потребности и располагает их в порядке приоритетности. Оценка процесса ставит своей целью описание того, как в действительности функционирует та или иная программа. Оценка целей и задач (goals-based или objectives-based evaluation) помогает определить, достигает ли программа запланированных целей и задач.
Суммирующая оценка Оценка результатов (outcome evaluation) помогает определить, какие программы действительно приводят к достижению результатов, необходимых получателям услуг. Оценка воздействия (impact evaluation) позволяет определить изменения в благосостоянии клиентов, которые могут быть отнесены на счет определенной программы. Оценка экономической эффективности (cost- effectiveness или cost-benefit evaluations) использует экономические методы для оценки соотношения затрат и результатов программы.
Достижения программы, подлежащие оценке Вклад программы (Input) Оценка здесь может выяснять, действительно ли были проведены мероприятия, соблюдены ли сроки и др. Продукт (Output) Оценка вклада фокусируется на внутренней «кухне» исполнителя проекта, оценка продукта - на его внешнем выходе.
Отличия оценки грантовых программ от оценки проекта Оценка проекта: успешность выполнения запланированной деятельности и достижения результатов воздействия проектов Оценка грантовой программы: Эффективность – адекватность ресурсов и способов достижения результатов (успешность выполнения и определить пути для совершенствования программы)
Достижения программы, подлежащие оценке Результат (Outcome) Оценка результата проекта имеет целью выяснить, изменилось ли поведение, уровень благосостояние или жизнь целевой группы. Эффект/ влияние (Impact) Оценка эффекта имеет целью установить, что изменилось в структуре проблемы. Это изменения в сообществе или обществе, а не только на уровне целевой группы.