Региональная система оценки качества образования: важные вопросы Семинар «Ключевые вопросы развития системы оценки качества образования в Ямало-ненецком автономном округе» 30 ноября – 1 декабря 2012 года, г. Салехард Семинар « Ключевые аспекты формирования региональной системы оценки качества образования » 13– 14 июня 2013 года, г. Барнаул И.А. Вальдман зав. лабораторией мониторинга в образовании ИУО РАО, директор Российского Тренингового центра ИУО РАО, к.п.н.

Схема компонентов РСОКО

ФУНКЦИОНАЛЬНАЯ СХЕМА РСОКО 1. Проектирование и проведение измерений (оценочных процедур). 2. Интерпретация результатов. 3. Подготовка и распространение информационных продуктов. 4. Оценка эффективности управленческих решений. 5. Подготовка кадров. 6. Экспертиза и сертификация измерителей, процедур, специалистов. 7. Сервисы для потребителей (консультации по запросу, проведение оценки по запросу, рейтинги, информационные системы и базы данных).

КЛЮЧЕВЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ РСОКО ИНСТРУМЕНТЫ КАДРЫ АНАЛИТИКА

ИНСТРУМЕНТЫ Составление карты оценочных процедур с учётом федеральных действующих и перспективных процедур, а также потребностей региона. Введение мониторинговых исследований. Участие в апробации инструментария федеральных мониторинговых исследований (например, оценка качества начального образования). Самооценка школы – инструмент поддержки и саморазвития школы. Особое внимание к методикам внутриклассного и внутришкольного оценивания. Измерители – сами или аутсорсинг.

КАДРЫ Специалисты по пед. измерениям (небольшая региональная группа). Региональные консультанты по ОКО (в ИРО, муниципалитетах и крупных школах). Обучение под задачу (для реализации конкретных проектов – региональных, муниципальных, школьных). Формирование оценочной компетентности педагогов и администраторов школ в рамках системы повышения квалификации. Подготовка специалистов по интерпретации результатов и аналитике.

АНАЛИТИКА Введение корректных методик анализа и интерпретации результатов (динамическая оценка, инд. Прогресс, кластерный анализ результатов, учёт разных данных, работа с контекстной информацией). Разработка аналитических материалов и информационных продуктов по итогам проведения ОКО. Разные продукты для разных целевых групп. Разработка управленческих решений (рекомендации, учёт рисков). Рейтинги – какие и для чего.

Рамка для описания оценочной процедуры ХарактеристикиОписание А. ЦелиДля достижения каких целей будет использоваться мониторинг В. Ключевые вопросы На какие вопросы вы планируете получить ответы с использованием результатов мониторинга. С. Участники Характеристика выборки (популяции) мониторинга. D. Что оценивается Какие образовательные результаты подлежат оценке. E. ИнструментарийСостав инструментария (тесты, анкеты и т.п.) и его характеристика. F. Кто проводит (организации) Организации отвечающие за подготовку, проведение, анализ и представление результатов. G. Представление результатов В каком виде будут представляться результаты целевым группам (перечень информационных продуктов). H. Виды решений Какие виды решения на разных уровнях (школа, муниципалитете, регион) могут приниматься I. Кто принимает решения Субъекты принятие решений. J. Кто использует результаты Кто может использовать результаты и для каких целей. K. Доп. информация (риски, проблемы,…) Какие риски и проблемы при проведении мониторинга и использования результатов можно прогнозировать (имеют место).

Формат «Дорожной карты» МЕРОПРИТИЯ Ответственные и участники РЕЗУЛЬТАТЫ Нормативное обеспечение Инструментарий Аналитика Кадры

Муниципальная система ОКО Муниципалитеты бывают разные. Пример – г. Муравленко Изучаем читательскую грамотность учеников Формирование математической грамотности в образовательном процессе школ ступеней Муниципальные контрольные работы на компетентностной основе Муниципальные диагностические работы по решению проблем Муниципальные диагностические работы по осознанному чтению …

Муниципальная система ОКО При формировании МСОКО следует начать с ответа на вопрос: Каких процедур и инструментов оценки, имеющихся на федеральном и региональном уровнях, не хватает муниципалитету для оценки образовательных достижений учащихся? Зона действия муниципалитета Виды деятельности при проведении ОКОРоль муниципалитета Создание измерителей- Разработка процедуры- Проведение процедуры оценки+ Обработка результатов и первичный анализ+ (внешние сервисы по внешним процедурам) Интерпретация результатов+ (может требоваться внешняя экспертиза) Использование результатов+

Как возможно использовать результаты ЕГЭ Можно ли на основании ЕГЭ оценивать качество работы школы? Если в школе много учеников с высокими баллами, то это заслуга школы? Если в школе много учеников с низкими баллами, то это недоработка школы? НельзяМожно Почему?Как?

Как возможно использовать результаты ЕГЭ 1.Собственно результаты ЕГЭ без привлечения других данных могут использоваться лишь для двух целей – завершения обучения в школе и отбор кандидатов для продолжения обучения в вузе. 2.При оценке деятельности учителя, школы и образовательных систем результаты ЕГЭ могут использоваться лишь в сочетании с другими данными, характеризующими различные результаты деятельности.

Школа А не обеспечивает качества подготовки по востребованным предметам (биология, химия). Школа Б обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. Школа В кроме физике обеспечивает высокий уровень практически по всем предметам. Школа Г многопрофильная и обеспечивает высокий уровень подготовки по всем предметам. Пример интерпретации результатов ЕГЭ для ШКОЛЫ. Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ (Боченков С.А.)

Боченков СА © С.А. Боченков Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2012) 70 баллов

Оценка результатов учителя и школы на основе ЕГЭ (Боченков С.А) Для оценки результатов учителя: Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Уровень освоения образовательного стандарта: Доля выпускников, успешно сдавших экзамен в форме ЕГЭ по предмету из числа выпускников, допущенных к итоговой аттестации. Качество профильной подготовки: Доля выпускников, выбравших экзамен по предмету в форме ЕГЭ от общего числа изучавших данный предмет на профильном уровне. Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Корреляция между результатами ЕГЭ и текущей отметкой учащихся. Для оценки результатов школы: Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2). Уровень освоения образовательного стандарта: Доля выпускников школы успешно сдавших два обязательных экзамена в форме ЕГЭ из числа выпускников, допущенных к итоговой аттестации. Доля выпускников, успешно сдавших все экзамены (обязательные и по выбору) в форме ЕГЭ. Качество профильной подготовки: Доля выпускников, выбравших все экзамены (учитываются только экзамены по выбору) для сдачи в форме ЕГЭ из числа предметов изучавшихся на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2).

Портфолио и его место. МОСКВА, 10 июня РИА Новости. Ливанов: правила поступления в вузы могут быть пересмотрены "Мы начали обсуждение изменений в правилах приема. Первый вопрос это учитывать средний балл аттестата, прибавляя его к баллам ЕГЭ, а второй учет внеучебных достижений абитуриентов, например, творческих, в спорте и так далее, что в совокупности называется портфолио школьника, по которому также будет рассчитываться средний балл. Дмитрий Ливанов.

Портфолио и его место. Портфолио для педагогического сопровождения на уровне класса и школы Портфолио для учёта образовательных достижений выпускника школы. Риски: будет возникать вопрос о достоверности, представленных в нём материалов (фальсификация со стороны школы и семьи); вузы могут делать акцент на признание таких результатов из портфолио, которые они сами и формируют (протекционизм со стороны вузов).

Портфолио. Что снижает риски? Формирования национального реестра олимпиад, конференций, конкурсов, соревнований, в рамках которых демонстрируются значимые образовательные достижения Признание референтными организациями и профессиональными сообществами (вузы и их ассоциации, союзы ректоров, работодателей, учителей и т.п.); Прознрачность и информационная открытость процедуры и результатов для широкой общественности; Доступность для всех категорий учащихся.

Независима система ОКО 1.Независимая как синоним внешняя. 2.Трактовка Федерального закона «Об образовании в РФ». 3.Кто, от кого и чём независим? 4.В чём проявляется независимость?

Кадры РСОКО

Кто стоит за понятием «кадры» в области ОКО? «Кадры» для РСОКО – это те, кто заказывает введение конкретной процедуры организует и проводит оценочные процедуры анализирует и интерпретирует результаты оценки использует результаты оценки (впрямую или косвенно) Для создание полноценной и эффективной нужно работать со всеми группами специалистов и представителей общественности, вовлечённых в систему ОКО

Типология кадров РСОКО ЗАКАЗЧИКИОРГАНИЗАТОРЫАНАЛИТИКИПОЛЬЗОВАТЕЛИ ГУ образования и МП Алт. краяРЦОКО ГУ ОМП АК МОУО РИРОМОУО Школа ?ШколаМуниципальные метод. службы РИРО ………Муниципальные метод. службы Администрация школы Учителя Родители Ученики СМИ Политики

Чему учить? Несколько примеров. Разработка измерителей Психометрика и стат. анализ Организация процедур оценки Методы информирования о результатах Организаторы и Аналитики Что означают те или иные данные Какие решения не следует принимать Какие действия можно совершить на основании результатов Как определять динамику изменений Корректное сопоставление результатов Управленцы Что означают результаты оценки по конкретному ребёнку Какие меры педагогической поддержки следует предпринимать Учитель и родитель

Как учить? Родители СМИ Политики Просвещать Управленцы Методисты Представители системы ПК Учителя Администраторы Консультировать, учить в гибких формах Организаторы Аналитики Учить систематически

Где учить? НИУ ВШЭ «Измерения в психологии и образовании» НИУ ВШЭ «Управление образованием» МВШСЭН «Менеджмент в сфере образования», «Управление обр. системами на основе данных» Томский политех «Пед. измерения» РАО, краткосрочные мероприятия Российского тренингового центра Что может предложить регион?

Матрица формирования кадрового потенциала Кадры РСОКО Кого учить? Содержание обучения Чему учить? Формы обучения Как учить? Организаторы обучения Где учить?

ВАШИ ВОПРОСЫ