Рейтинги в образовании Семинар « Актуальные вопросы развития региональной системы оценки качества образования » 5-6 декабря 2013 года, г. Казань В.А. Болотов Научный руководитель РТЦ ИУО РАО, академик РАО, д.п.н. И.А. Вальдман зав. лабораторией мониторинга в образовании ИУО РАО, директор Российского Тренингового центра ИУО РАО, к.п.н.

ОПРЕДЕЛЕНИЕ РЕЙТИНГА Рейтинг (англ. rating) – классификация или ранжирование кого-либо или чего-либо, основывающееся на сравнительной оценке его качества, соответствия стандарту или достижений. Оксфордский словарь Рейтинг – классификация или упорядочивание объектов посредством присвоения им некоторого числового значения на основе оценки их свойств.

Подходы к упорядочиванию объектов Подмножества, кластеры КЛАСТЕРИЗАЦИЯ. Строится на основе совокупности характеристик или признаков РЕЙТИНГОВАНИЕ. Строится на основе линейного упорядочивания по числовому значению

КЛАСТЕРИЗАЦИЯ. Пример 1. Доступность качественного общего образования Кластеризация проводилась на основе двух групп параметров. Группы ОУ по процессу Школы не имеющие ни статуса, ни специализации Школы имеющие статус или специализацию, с низкой долей учителей с вышей категорией (УВК) Школы имеющие или статус или специализацию, с высокой долей УВК Школы имеющие и статус и специализацию, в подавляющем большинстве имеющие высокую долю УВК Группы ОУ по результату Доля учащихся, имеющих более 70 баллов по ЕГЭ Доля учащихся поступивших в вуз Проект НФПК по оценке доступности качественного общего образования

КЛАСТЕРИЗАЦИЯ. Пример 2. Анализ результатов ЕГЭ в Чувашской Республике Кластер 1 Городские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных Кластер 2 Городские общеобразовательные школы (более 50 выпускников 11 классов) Кластер 3 Городские общеобразовательные школы (менее 50 выпускников 11 классов) Кластер 4 Сельские инновационные ОУ: лицеи, гимназии, школы с углубленным изучением отдельных предметов, ресурсные центры Кластер 5 Сельская общеобразовательная школа (25 и более выпускников 11 классов) Кластер 6 Сельская общеобразовательная школа (от 15 до 25 выпускников 11 классов) Кластер 7 Малочисленные сельские общеобразовательные школы (менее 15 выпускников 11 классов) Боченков С.А. Анализ и интерпретация результатов ЕГЭ. Параметры кластеризации Тип образовательного учреждения Вид образовательного учреждения Тип местности, размер населённого пункта Размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки)

КЛАСТЕРИЗАЦИЯ. Пример 3. Национальный мониторинг учебных достижений школьников NAPLAN, Австралия В целях представления результатов национального мониторинга по группам школ со статистически сходным контингентом учащихся специально разработан Индекс местных социально-образовательных условий (Index of Community Socio-Educational Advantage) – ICSEA. ICSEA учитывает следующие параметры: количество учащихся в школе; данные по занятости и образованию родителей учеников; социо-экономические характеристики места проживания ученика; местонахождение школы (столица, регион либо удаленная территория); доля учеников из семей, где английский язык не является родным; доля учеников из коренного населения страны.

Модели рейтингования Интегральный рейтинг. Строится на основе сводного индекса, агрегирующего базовые индикаторы. Каждый из базовых индикаторов должен иметь свой весовой коэффициент (веса устанавливаются в зависимости от приоритетов). Используется для выработки или реализации политики. Частный рейтинг. Строится на основе отдельных индикаторов. Ориентирован на конкретную группу пользователей информации.

ИНТЕГРАЛЬНЫЙ РЕЙТИНГ. Пример 1. РИА Новости, «Социальный навигатор»

Пример 2. Рейтинг 300 московских школ по результатам образовательной деятельности

Пример 2. Рейтинг 300 московских школ по результатам образовательной деятельности Рейтинг школ составляется на основании двух объективных показателей: результаты ЕГЭ и результаты участия школьников в олимпиадах. 1 балл – за каждого обучающегося, набравшего в сумме за три ЕГЭ не менее 220 баллов; 1 балл – за каждого призера регионального этапа Всероссийской олимпиады школьников и Московской городской олимпиады школьников; 3 балла – за каждого победителя регионального этапа данных олимпиад; 5 баллов – за каждого призера заключительного этапа Всероссийской олимпиады школьников; 10 баллов – за каждого победителя заключительного этапа Всероссийской олимпиады школьников. При одинаковом количестве баллов в рейтинге учитываются результаты ГИА-9: 1 балл – за каждого обучающегося, получившего по двум обязательным предметам (русский язык и математика) не менее 9 баллов в сумме по 5-балльной шкале.

ЧАСТНЫЙ РЕЙТИНГ. Пример 3. РИА Новости, рейтинг школ повышенного уровня

Пример 4. Единый портал пермского образования

Пример 4. Единый портал пермского образования Качество образования учащихся

Пример 5. Рейтинг средних школ графства Корнуолл на 2011 (league tables, сайт BBC News) Название школы % сдавших English Baccalaureate % успешно сдавших 5 GCSE или аналогичных экзаменов % успешно сдавших 5 GCSE Прогресс учеников % получивших 3 оценки «А» или аналог Среднее число пунктов при сдаче экз. A/AS уровня

МНЕНИЯ ПРОФЕССОНАЛОВ

Рейтингов может быть много и они могут быть различные, так как ориентированы на разные целевые группы (одного информационного продукта, ориентированного на разные целевые группы быть не может) преследуют разные цели (один и тот же информационный продукт, не может работать и на развитие системы, и на инспекцию по выполнению поставленных задач) строятся как внутри системы, так и на внешних площадках © РИА Новости

РЕЙТИНГ (одно из возможных определений): - это одна из форм представления результатов сравнительной оценки каких-либо объектов по значимым для потребителей рейтинга характеристикам. © ИВ Селивёрстова, МАМСО

МОДЕЛИРОВАНИЕ РЕЙТИНГА Расчет Корректировка модели УНИВЕРСАЛЬНОЙ МОДЕЛИ РЕЙТИНГА НЕТ! Выбор модели зависит от: Цели рейтинга Специфики запроса адресата Наличия исходных данных Особенностей расчета и т.д. © ИВ Селивёрстова, МАМСО

ИНТЕРПРЕТАЦИЯ и ПРЕДСТАВЛЕНИЕ РЕЙТИНГА Составление рейтинга – это только первый шаг! Анализ и интерпретация Форма визуализации Методы представления Программа представления Описание рисков и предотвращение негативных последствий © ИВ Селивёрстова, МАМСО

Что осталось «за кадром»? Разработка индикаторов и их весов. Требования предъявляемые к первичным показателям и расчетным индикаторам Специфика сбора, проверки и обработки данных Обеспечение корректности сравнения Манипуляции при расчетах Способы учета контекста И т.д. © ИВ Селивёрстова, МАМСО

Использование результатов рейтингования Работа с «верхней» частью рейтинга. Определение «лидеров» для: поощрения пропаганды успешного опыта информирования родителей (выбор школы) создания позитивного имиджа ОУ Работа с «нижней» частью рейтинга. Определение «неуспешных» для: оказания целевой помощи наложения санкций стимулирования улучшения работы ОУ информирования родителей (выбор школы) Работа со всеми объектами рейтинга требует использования кластеризации.

Использование результатов: возможные решения Родители Выбор или смена школы (с учётом и других источников информации) Учителя Корректировка собственной работы и методического объединения по предмету Администрация школы и Управляющий совет ОУ Планирование мероприятий по улучшению качества работы школы и/или поддержка сильных сторон деятельности. Учёт при проведении самооценки. Органы управления образованием Выработка образовательной политики Пропаганда позитивного опыта Формирование целевых программ поддержки конкретных ОУ.

Для каких целей целесообразно использовать рейтинги 1.Для обеспечения подотчётности перед обществом (информирование потребителей образовательных услуг для осознанного выбора ОУ). 2.Для задания приоритетов деятельности ОУ и образовательных систем (ОС). 3.Для повышения мотивации в достижении значимых результатов. 4.Для определения лидеров (с целью распространения их опыта, поощрений). 5.Для определения наиболее «слабых» ОУ и ОС (с целью оказания поддержки и преодоления имеющихся проблем). 6.…?

Рейтинг ОУ г. Красноярска.

Пороговый критерий: Необходимым условием включения в списки «Топ 500» и «Топ 25» является наличие хотя бы в одном из трех прошедших учебных годов ( , , учебные года), хотя бы одного победителя или призера заключительного этапа Всероссийской олимпиады школьников Критерий ЕГЭ: За каждого выпускника 2013 года, набравшего по каким-либо трём общеобразовательным предметам ЕГЭ 2013 года: не менее 220 баллов, начисляется 1 балл, от 190 до 219 баллов начисляется 0,5 балла. Критерий «Всероссийская олимпиада школьников в 2013 году»: За каждого учащегося, ставшего победителем или призером регионального или заключительного этапа Всероссийской олимпиады школьников в 2013 году начисляются баллы: призёр регионального этапа всероссийской олимпиады школьников – 1 балл; победитель регионального этапа всероссийской олимпиады школьников - 3 балла; призёр заключительного этапа всероссийской олимпиады школьников - 5 баллов; победитель заключительного этапа всероссийской олимпиады школьников - 10 баллов. Каждый учащийся по каждому предмету учитывается один раз в соответствии с максимальным достигнутым результатом. Пример. ТОП500: Лучшие школы России

ВАШИ ВОПРОСЫ