Развитие системы оценки качества образования: международный опыт и ближайшие перспективы в Российской Федерации И.А. Вальдман зав. лабораторией мониторинга в образовании Института управления образованием РАО, директор Российского тренингового центра ИУО РАО, кандидат пед. наук Коллегия «Департамента образования ЯНАО в годах» 22 мая 2012 года

КУЛЬТУРНАЯ РАМКА СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ

ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ Эффективные системы оценки качества образования - это системы, которые предоставляют информацию надлежащего качества и в необходимом количестве для того, чтобы удовлетворить информационные потребности всех заинтересованных групп и тех, кто принимает решения с целью повышения качества обучения учащихся.

ЦЕЛИ СИСТЕМЫ ОКО 1) Определение прогресса в обучении конкретного школьника. 2) Сертификация/селекция (подтверждение завершения обучения, отбор для продолжения обучения или получения рабочего места). 3)«Оценка» учителя. 4) Оценка результатов деятельности образовательных учреждений и образовательных систем. 5) Оценка деятельности национальной образовательной системы.

КАРТА ПРОЦЕДУР ОКО Оценка качества обучения Государственные экзаменыКрупномасштабное оценивание (мониторинги)Внутриклассное оценивание Управление качеством Оценка ОУ: аккредитация, аудит, самооценка Оценка образов. систем «Оценка» работы учителя: аттестация, самооценка Оценка образовательных программ и учебников

ВИДЫ ПРОГРАММ ОЦЕНКИ Виды программ оценивания Государственные экзамены Оценка на уровне класса Крупномасштабные исследования Национальная оценка ВступительныеВыпускные Формирующее оценивание Суммирующее (итоговое) оценивание вопросытесты наблюдения Международные сравнительные исследования

ПИРАМИДА ОБРАЗОВАТЕЛЬНОГО ОЦЕНИВАНИЯ Как обеспечить максимальное влияние… Углублённые исследования Крупномасштабное оценивание (мониторинги) Государственные экзамены Внутриклассное оценивание (оценка на уровне класса)

ФАКТОРЫ/ПАРАМЕТРЫ КАЧЕСТВА Три основных фактора, которые обуславливают качество системы оценивания: благоприятная внешняя среда; координация и согласованность с элементами образовательной системы; технология. (AERA, APA, & NCME, 1999; Darling-Hammond & Wentworth, 2010)

БЛАГОПРИЯТНАЯ СРЕДА Политика Финансовые ресурсы Организационные ресурсы Кадры Благоприятная внешняя среда связана с более широким контекстом, в котором происходит оценивание, и с тем, насколько такой контекст способствует и помогает проведению оценивания.

КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ Учебный план Учебники Проф. развитие учителя Координация и согласованность с образовательной системой показывает, насколько система оценивания взаимоувязана с остальными компонентами системы образования. цели обучения, стандарты и учебный план, учебники и методические материалы, профессиональное развитие учителя

ТЕХНОЛОГИЯ Технология важна, т.к. если оценивание ненадежное в части дизайна, проведения, анализа, использования, то его результаты повлекут некорректные решения в отношении обучения учащихся и системы образования. Дизайн Администрирование Анализ результатовИспользование Технология относится к психометрическому качеству инструментария, процессов и процедур, применяемых при оценочной работе.

РАМКА ДЛЯ СИСТЕМЫ ОКО Ключевые параметры эффективной системы оценивания Виды программ оценки Внутриклассное оценивание Экзамены Крупномасшт. оценивание (мониторинги) Факторы/ параметры качества Благоприятная среда Согласованность с системой Технология Политика Финансовые ресурсы Организационные структуры Человеческие ресурсы Дизайн Администрирование Анализ Применение Учебный план Учебники и методические материалы Подготовка и повышение квалификации учителей

МЕЖДУНАРОДНЫЙ ОПЫТ ВАЖНЫЕ УРОКИ

МЕЖДУНАРОДНЫЙ ОПЫТ Эффективная система оценки строится на сочетании разнообразных методов оценки. Стандартизированное тестирование – всего лишь один из используемых подходов для определения качества обучения. Процедуры оценки ориентированы на более широкие образовательные результаты, нежели знания в рамках учебных дисциплин.

ОБРАЗОВТАЕЛЬНЫЕ РЕЗУЛЬТАТЫ компетентности, способность к критическому мышлению, здоровье ученика, безопасность, мотивация к обучению, гражданская позиция, умение позитивно взаимодействовать с другими самоуважение, уважение к семье и обществу, забота о других и забота об окружающей среде…

МЕЖДУНАРОДНЫЙ ОПЫТ В основе оценивания результатов образования лежит не только определённая норма, но и положительная динамика изменений достижений (индивидуальный прогресс, добавленная стоимость). Анализ результатов оценки учебных достижений проводится с учётом факторов, оказывающих влияние на эти результаты. Комбинация внутренней и внешней оценки– базовый подход для оценки деятельности школы.

Учёт внешних факторов: Шотландия

ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ВАЖНЫЕ СЮЖЕТЫ

Модель использования данных: линейный рейтинг Линейный рейтинг «Простые» решения Поощрения Санкции «Простые» решения Поощрения Санкции Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ …….. Ш N _______ …….. Ш N+1 ________ Ш N+2 ________ …….. Ш N+k ________ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______

Модель использования данных: кластерный анализ Кластерный анализ Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Ш1.1________ Ш1.2________ Ш1.3________ …….. Ш1.14_______ Ш1.15_______ К1 Ш2.1________ Ш2.2________ Ш2.3________ …….. Ш2.21_______ К2 К3 «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. Ш3.1________ Ш3.2________ Ш3.3________ …….. Ш3.11_______ Ш3.12_______

МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ Кластер. анализ «Слабые» школы Анализ факторов Меры поддержки Оценка От линейного рейтинга к кластерному сравнению и анализу факторов

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Крайне важно, чтобы при принятии решений «с высокими ставками», такими как государственные экзамены, аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества образования.

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения Итоговая государственная аттестация по предмету Как учителю и школе организовать работу «над ошибками» Более «сложные» решения Выбор профиля обучения в старшей школе «Сложные» решения Оценка качества работы учителя Оценка эффективности работы школы

УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Ориентация на информационные потребности основных групп пользователей результатов оценки. Соответствующая информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты). Информацию следует представлять в форме, понятной потенциальным пользователям (интерпретация результатов).

ПЕРСПЕКТИВЫ РАЗВИТИЯ ОСОКО На основании проекта государственной программы «Развитие образования» на годы. Подпрограмма 3. Развитие системы оценки качества образования и информационной прозрачности системы образования.

ЗАДАЧИ ГОСПРОГРАММЫ формирование гибкой, подотчетной обществу системы непрерывного профессионального образования, развивающей человеческий потенциал, обеспечивающей текущие и перспективные потребности социально-экономического развития Российской Федерации; развитие инфраструктуры и организационно-экономических механизмов, обеспечивающих максимально равную доступность услуг дошкольного, общего, дополнительного образования детей; модернизация образовательных программ в системах дошкольного, общего и дополнительного образования детей, направленная на достижение современного качества учебных результатов и результатов социализации; создание современной системы оценки качества образования на основе принципов открытости, объективности, прозрачности, общественно-профессионального участия.

ПОДПРОГРАММА 3

МЕРОПРИЯТИЕ 3.2. СОДЕРЖАНИЕ «Формирование и развитие общероссийской системы оценки качества образования, в том числе поддержка и развитие инструментов оценки результатов обучения в системе общего образования…». Совершенствование ЕГЭ и ГИА-9 (процедуры, банки КИМ, междун. аудит). Введение форм оценки образовательных достижений учащихся на уровне ОУ (оценка инд. прогресса учащихся, внеучебных достижений, портфолио). Внедрение комплексной динамической оценки деятельности образовательных организаций (включая процедуру самооценки школы). Подготовка специалистов в области педагогических измерений. Федеральная система мониторинга инд. обр. достижений (эл. портфолио). Поддержка развития РСОКО (кадры, КИМы). Создание региональных центров сертификации проф. квалификаций.

МЕРОПРИЯТИЕ 3.2. РЕЗУЛЬТАТЫ На 6 уровнях образования будут действовать механизмы внешней оценки качества образования; будет создано 50 центров сертификации профессиональных квалификаций с участием работодателей; будет проведена подготовка специалистов по педагогическим измерениям в объеме специалистов в год; в 50 регионах Российской Федерации будет обеспечена разработка контрольно-измерительных материалов в соответствии с требованиями ФГОС не менее чем по 4 учебным предметам.

МЕРОПРИЯТИЕ 3.3. СОДЕРЖАНИЕ «Развитие механизмов обратной связи и поддержки потребителя в образовании как части национальной системы оценки качества образования». Изучение мнений потребителей образовательных услуг, организация дискуссионных площадок. Единые стандарты прозрачности для всех образовательных организаций, для муниципальных, региональных и федеральных органов управления образованием (методическое и нормативное обеспечение). В каждом субъекте Российской Федерации будет сформирована система навигаторов образовательных услуг и обеспечен свободный доступ населения к получению интересующей потребителей образовательных услуг информации.

МЕРОПРИЯТИЕ 3.3. РЕЗУЛЬТАТЫ Всеми образовательными организациями будет обеспечиваться доступность информации о своей деятельности на официальных сайтах. Система социальных навигаторов в области образовательных услуг будет внедрена в каждом из 8 федеральных округов на 5 уровнях образования.

МЕРОПРИЯТИЕ 3.4. СОДЕРЖАНИЕ «Участие Российской Федерации в международных исследованиях качества образования (в том числе PISA, PIAAC, AHELO, TIMSS, PIRLS, ICILS, ICCS)». Проведение международных исследований качества образования. Будет оказана поддержка проведению международных исследований на представительных региональных выборках за счет использования механизмов конкурсного софинансирования регионов. Проведение углубленного анализа результатов международных сопоставительных исследований для принятия управленческих решений и совершенствования преподавания.

МЕРОПРИЯТИЕ 3.4. РЕЗУЛЬТАТЫ Российская Федерация будет на регулярной основе участвовать не менее чем в 7 международных сопоставительных исследованиях качества образования; улучшатся результаты российских школьников по итогам международных сопоставительных исследований качества общего образования (PIRLS, TIMSS, PISA); будет сформирована научно-методическая инфраструктура для анализа и оценки результатов международных сопоставительных исследований качества образования и разработки предложений по повышению качества образования.

МЕРОПРИЯТИЕ 3.5. СОДЕРЖАНИЕ «Создание системы мониторингов в области образования и социализации, развитие единой унифицированной системы статистики образования». Развитие системы образовательной статистики. Будет создана система мониторингов в области образования и социализации, которые начнут проводиться на систематической основе. МИ учебных достижений учащихся (включая М готовности к освоению программ конкретного уровня образования общего и профссионального); М готовности учащихся основной школы (8 класс) к выбору образовательной и профессиональной траектории; М информационной открытости образовательных организаций. М трудоустройства, карьеры и доходов выпускников организаций проф. образования. Использование результатов МИ для повышения качества обучения и эффективного управления ОС (кластерный анализ, контекстная информация, соц. методы).

МЕРОПРИЯТИЕ 3.5. РЕЗУЛЬТАТЫ Будет сформирована единая унифицированная система статистического наблюдения за деятельностью образовательных организаций. Не менее 3-х уровней профессионального образования будут охвачены централизованными мониторингами трудоустройства и доходов выпускников образовательных организаций профессионального образования. Будет организовано проведение не менее 5 регулярных мониторинговых исследований качества образования и социализации.

МЕРОПРИЯТИЕ 3.6. СОДЕРЖАНИЕ «Развитие институтов общественного участия в управлении образованием и повышении качества образования». Развитие институтов ГОУ на уровне школы (управляющие советы и др.), организаций проф. образования (попечительские советы с полномочиями по участию в разработке образовательных программ). Введение в практику механизмов общественно-профессиональной аккредитации образовательных программ высшего проф. образования Обеспечение информационной открытости деятельности учреждений образования на всех уровнях (сайты, публичные доклады). Разработка и распространение новых моделей привлечения общественных институтов и объединений педагогов к оценке качества общего образования. Подготовка общественных управляющих и общественных экспертов в сфере образования.

МЕРОПРИЯТИЕ 3.6. РЕЗУЛЬТАТЫ Во всех образовательных организациях будут действовать коллегиальные органы управления с участием общественности (родители, работодатели); во всех субъектах Российской Федерации на регулярной основе будет организована подготовка общественных управляющих и экспертов.

РАЗВИТИЕ РСОКО ПЕРСПЕКТИВНЫЕ ЗАДАЧИ

КЛЮЧЕВЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ РСОКО ИНСТРУМЕНТЫ КАДРЫ АНАЛИТИКА

ИНСТРУМЕНТЫ Составление карты оценочных процедур с учётом федеральных действующих и перспективных процедур, а также потребностей региона. Введение мониторинговых исследований. Участие в апробации инструментария федеральных мониторинговых исследований (например, оценка качества начального образования). Самооценка школы – инструмент поддержки и саморазвития школы. Особое внимание к методикам внутриклассного и внутришкольного оценивания. Измерители – сами или аутсорсинг.

КАДРЫ Специалисты по пед. измерениям (небольшая региональная группа). Региональные консультанты по ОКО (в ИРО, муниципалитетах и крупных школах). Обучение под задачу (для реализации конкретных проектов – региональных, муниципальных, школьных). Формирование оценочной компетентности педагогов и администраторов школ в рамках системы повышения квалификации. Подготовка специалистов по интерпретации результатов и аналитике.

АНАЛИТИКА Введение корректных методик анализа и интерпретации результатов (динамическая оценка, инд. Прогресс, кластерный анализ результатов, учёт разных данных, работа с контекстной информацией). Разработка аналитических материалов и информационных продуктов по итогам проведения ОКО. Разные продукты для разных целевых групп. Разработка управленческих решений (рекомендации, учёт рисков). Рейтинги – какие и для чего.

ЧТО ЕЩЁ? Нормативное и методическое обеспечение ОКО. Организации, координирующие ОКО (РЦОКО, ИРО, метод. службы и центры, негос. структуры?) и их взаимодействие. Привлечение институтов гражданского общества.

ЧТО МОЖЕТ ПРЕДЛОЖИТЬ РАО? Экспериментальная площадка РАО «Формирование модели РСОКО». Экспертиза и консультации по РСОКО (включая подготовку управленческих решений). Проведение некоторых мониторинговых исследований. Подготовка аналитики по итогам оценочных процедур. Создание различных информационных продуктов для разных целевых групп на основе результатов ОКО. Разработка и внедрение процедуры самооценки школы. Обучение специалистов в краткосрочных формах. Зарубежный опыт (стажировки, приглашение заруб. экспертов).

СПАСИБО ЗА ВНИМАНИЕ!