Система внешней оценки качества образования в общеобразовательных учреждениях г. Москвы

Система внешней оценки качества образования в Москве включает проведение: – государственной итоговой аттестации выпускников основной и старшей школы (ГИА и ЕГЭ); – плановых проверок качества образования в соответствии с постановлением Правительства Российской Федерации от 11 марта 2011 года 164 «Об осуществлении государственного контроля (надзора) в сфере образования»; – аккредитации образовательных учреждений согласно постановлению Правительства Российской Федерации от 21 марта 2011 г. N 184 «Об утверждении положения о государственной аккредитации образовательных учреждений и научных организаций»; – диагностики учебных достижений обучающихся в соответствии с ежегодными Распоряжениями Департамента образования города Москвы.

Добровольное участие в диагностике позволяет школам: определить, насколько успешно обучающиеся разных классов (не только выпускных) овладевают программным материалом по основным предметам; сравнить достижения обучающихся своей школы со средним результатом диагностики в Москве; выявить направления совершенствования образовательного процесса в школе Решение о включении в городскую информационно – аналитическую систему (МРКО) результатов диагностики может принять только школа. Сохраненные в московском регистре качества образования (МРКО) результаты учитываются при проведении плановых проверок и аккредитации образовательных учреждений Общеобразовательным учреждениям, участвующим в пилотном проекте по развитию общего образования в городе Москве, проведение диагностики необходимо для установления целевых индикаторов: доля учащихся 4-х и 7-х классов, участвующих в независимой оценке качества образования Положительные результаты диагностики учащихся 4-х и 7-х классов позволяют школам поднять свой рейтинг среди образовательных учреждений

Этапы подготовки к проведению диагностики 1.Формирование плана проведения диагностики на предстоящий учебный год; 2.п одготовка и утверждение распорядительных документов для проведения диагностики; 3.р азработка диагностических материалов; 4.п одготовка инструктивно-методических материалов и публикация их на сайте МЦКО; 5.а нализ заявок школ, подготовки организаторов и наблюдателей тестирований; 6.с оздание оригинал-макетов тестов, тиражирование и подготовка пакетов для школ.

1. Формирование плана проведения диагностики на предстоящий учебный год Специалисты Отдела оценки качества образования МЦКО анализируют результаты тестирований за несколько лет и готовят предложения по графику проведения диагностик; Проект графика диагностик обсуждается специалистами Окружных методических центров и готовится проект для Департамента образования города Москвы Проект плана проведения диагностик согласовывается с Департаментом и готовится проект Распоряжения Департамента; Утверждение Распоряжения о диагностике учебных достижений обучающихся руководителем Департамента образования города Москвы.

Разъяснения по вопросу участия школ в диагностике 1) В соответствии с пунктом 1.1 Распоряжения Департамента диагностика проводится только в тех образовательных учреждениях, которые подали заявку на участие, то есть добровольно; 2) Для ОУ это внешняя (независимая) диагностика, поскольку: Диагностические материалы разрабатываются на основе единого банка стандартизированных заданий МЦКО и проходят не менее трех внешних экспертиз (включая содержательные и тестологическую); Тестирование осуществляется в присутствии независимого наблюдателя (представителя МЦКО); Процедуры проведения диагностики стандартизированы (при выявлении недостоверности результатов они аннулируются). 3) Полученные результаты ОУ скачивает с сайта Московского регистра качества образования из своего личного кабинета (вход под паролем); 4) В формах с результатами тестирований: ученики представлены номерами (деперсонификация) и есть возможность сравнивать данные со средними результатами по классу и городу. 5) Для занесения результатов ОУ в Московский регистр качества образования необходимо разрешение ОУ (то есть школа сама определяет целесообразность включения данных в общий реестр);

Приложение к Распоряжению

3. Разработка диагностических материалов Банк тестовых заданий МЦКО Ввод заданий (.doc) Экспертиза заданий Редактирование заданий Банк тестов МЦКО Формирование тестов Экспертиза тестов Оригинал-макеты вариантов (.doc) Апробация Обработка результатов Целевой заказКонкурсКоррекция Разработка заданий

Производственный цикл разработки диагностических материалов 1) Анализ банка стандартизованных заданий и разработка плана(ов) проверочной работы; 2) Подготовка спецификации и демонстрационного варианта (образцов демонстрационных заданий) проверочной работы; 3) Формирование и сборка комплекта вариантов проверочной работы и сопроводительной документации к ним (сопроводительные листы с характеристиками каждого задания, таблицы правильных ответов и критериев оценивания, содержательная структура комплекта); 4) Авторская доработка сформированного комплекта проверочных материалов; 5) Подготовка комплекта к проведению внешней содержательной экспертизы вариантов и проведение её (два эксперта); 6) Доработка комплекта по результатам внешней содержательной экспертизы и корректировка вариантов проверочной работы; 7) Подготовка комплекта к проведению тестологической экспертизы вариантов и проведение её; 8) Доработка комплекта по результатам тестологической экспертизы и корректировка вариантов проверочной работы; 9) Редактирование и форматирование вариантов, сверка ответов, формирование оригинал макетов и сопроводительной документации; 10) Окончательная сверка оригинал-макетов проверочных материалов.

Пример задания из Базы МЦКО по Географии

4. Подготовка инструктивно-методических материалов и публикация их на сайте МЦКО

Продолжение Порядка подготовки

Продолжение Инструкции для учащихся

Продолжение Инструкции по заполнению бланка

Подача Заявки на диагностические тестирования

Подача заявки

Подача заявки в разделе Заявки на учебный год

5. Анализ заявок школ, подготовки организаторов и наблюдателей тестирований

6. Создание оригинал-макетов тестов, тиражирование и подготовка пакетов для школ. Диагностическая работа по математике для учащихся V классов

Продолжение диагностической работы

Проведение диагностики и обработка данных Проверка и сканирование бланков, верификация данных; Первичная обработка данных и выявление недостоверных результатов; Окончательная обработка и подготовка отчетных форм; Предоставление результатов образовательным учреждениям.

Независимые наблюдатели Списки наблюдателей формируются для каждого мероприятия из состава студентов московских педагогических вузов, педагогических работников и методистов; В день, предшествующий тестированию, наблюдатель получает комплект материалов для школы, в которую он едет; В день тестирования наблюдатель приезжает за 30 минут до начала тестирования, представляется руководству школы и передает материалы организатору тестирования; Организатор и наблюдатель входят в аудиторию, где находятся учащиеся, и выполняют свои задачи в соответствии с инструкциями. В день тестирования наблюдатель привозит опечатанные конверты в МЦКО и передает их на обработку; Если в школе проводится компьютерное тестирование, то работа проводится по специальной инструкции,

Лист наблюдений

Продолжение листа наблюдений

Компьютерное тестирование

Первичная обработка данных направлена на выявление возможных технических сбоев, которые могут отразиться на результатах тестирования. Данные о выполнении заданий всеми учащимися, участвовавшими в тестировании анализируются специалистами-предметниками и тестологами. На основании статистических характеристик каждого задания устанавливается спектр возможных правильных ответов. Так, для заданий с кратким ответом анализируются все ответы и эксперт указывает в специальной форме те из них, которые можно считать правильными (в частности, грамматические ошибки существенны только для русского и иностранного языков). Недостоверные результаты выявляются при анализе бланков тестирования, статистических данных и листов наблюдения. Первичная обработка данных и выявление недостоверных результатов

Проверка и сканирование бланков, верификация данных В случае, если в диагностических работах используются задания с развернутым ответом, то проводится проверка ответов учащихся специалистами-предметниками, которые записывают в бланки тестирования баллы за проверявшиеся ими задания; Данные с бланков тестирования и листов наблюдения вводятся в электронную базу данных с помощью высокоскоростных сканеров; Данные компьютерного тестирования поступают в электронную базу автоматически; Для бланкового тестирования введенные данные проверяются верификаторами на предмет правильности распознавания символов; Окончательная сверка правильности записи номера школы и класса проводиться в базе сводных результатов.

Окончательная обработка и подготовка отчетных форм На основе проведенного анализа корректируется спектр правильных ответов и удаляются из базы данные, которые были признаны недостоверными (в эти учреждения представляется информация с записью «Недостоверные данные»). Проводиться переобработка уточненной базы данных и формируются результаты по каждому образовательному учреждению и по всему городу. Файлы с результатами обработки по каждому классу поступают в папку образовательного учреждения для каждого предмета, по которому проводилось тестирования: форма с результатами тестирования по учениками класса и диаграмма выполнения заданий диагностической работы классом.

Продолжение пояснения к формам

Предоставление результатов образовательным учреждениям (через личный кабинет школы в Московском регистре качества образования)

Продолжение рекомендаций для школ