Условия эффективного использования результатов оценки учебных достижений И.А. Вальдман директор Российского Тренингового центра ИУО РАО СЕССИЯ 2 Учебный. - презентация

1 Условия эффективного использования результатов оценки учебных достижений И.А. Вальдман директор Российского Тренингового центра ИУО РАО СЕССИЯ 2 Учебный курс «Актуальные вопросы использования результатов оценки учебных достижений школьников на разных уровнях системы образования» сентября 2013 года, г. Ереван, Республика Армения

2 ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ УСЛОВИЯ, КОТРЫЕ НЕОБХОДИМО УЧИТЫВАТЬ

3 НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 1.Принятий решений о поддержке конкретных учащихся. для корректировки образовательного процесса (определение проблем в обучении и мер по их преодолению для отдельных школьников); для выявления уровня достигнутой квалификации (освоил образовательную программу или нет).

4 НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 2.Принятий решений на разных уровнях системы образования. для информирования политики и разработки программ, (установления существа и масштаба проблем, определение направлений воздействий, способных улучшить ситуацию); для наблюдения за индикаторами ключевых результатов и определением каких-либо непредвиденных отклонений от установленных тенденций или взаимосвязей; для оценки влияний определённой политики и/или программ предпринятых действий.

5 НАПРАВЛЕНИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Данные о достижениях учащихся могут быть использованы для принятия решений, обеспечивающих выработку разнообразных образовательных стратегий, направленных на обеспечение равных возможностей обучения всем учащимся. К таким стратегиям могут быть, например, отнесены: - разработка программ повышения эффективности обучения; - выявление наименее подготовленных учащихся в целях предоставления им необходимой помощи; - оказание соответствующей ресурсной, организационной и методической поддержки «неэффективно» работающим учителям и школам, и др.

6 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ Эффективное использование результатов оценки зависит от ряда условий, которые следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.

7 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 1.Политический контекст: Контроль или Поддержка. Контроль Для наложения санкций и раздачи поощрений Нет права на ошибку ОУ не заинтересовано в обнаружении проблем Поддержка Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем Есть право на ошибку. Неудача – сигнал для оказания помощи. ОУ заинтересовано в обнаружении проблем

8 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 2.Поддержка заинтересованных сторон. Крайне важно, чтобы все заинтересованные стороны пришли к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.

9 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 3.Наличие надёжного инструментария. Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам, является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества.

10 ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА 1.Определение цели тестирования и разработка спецификации теста. 2.Разработка заданий для теста. 3.Экспертиза и доработка заданий. 4.Апробация и доработка заданий. 5.Составление теста. 6.Проведение апробации теста и обработка полученных результатов. 7.Доработка теста и подготовка окончательного варианта.

11 РЕСУРСЫ: ПРИЗНАННЫЕ ПУБЛИКАЦИИ Серия Всемирного банка «Национальная оценка учебных достижений» Книга 1. Оценка образовательных достижений на национальном уровне Книга 2. Разработка тестов и анкет для национальной оценки учебных достижений. Книга 3. Проведение национальной оценки учебных достижений. Книга 4. Анализ данных национальной оценки учебных достижений. Книга 5. Сообщение и использование результатов национальной оценки учебных достижений. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник. – М.: Логос, 2010.

12 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 4.Наличие надёжной стандартизированной процедуры проведения оценки. Стандартизированная процедура должна обеспечивать информационную безопасность проведения оценки, предотвращать возможные нарушения и фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.

13 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 5.Ориентация на информационные потребности основных групп пользователей результатов оценки. Соответствующая информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты). Информацию следует представлять в форме, понятной потенциальным пользователям (интерпретация результатов).

14 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 6. Подготовка ясного итогового отчёта. Итоговый отчёт (на уровне федерации, региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и наиболее полезным из всех информационных материалов, которые могут быть подготовлены на основе данных процедуры оценки.

15 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 7.Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Крайне важно, чтобы при принятии решений «с высокими ставками», такими как государственные экзамены, аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества образования.

16 УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ 7.Учёт дополнительных данных при принятии управленческих решений по итогам оценки. Невозможно принимать «сложные» решения на основании данных одного вида «Простые» решения Итоговая государственная аттестация по предмету. Как учителю и школе организовать работу «над ошибками» Более «сложные» решения Выбор профиля обучения в старшей школе «Сложные» решения Оценка качества работы учителя Оценка эффективности работы школы

17 Модель использования данных: линейный рейтинг Линейный рейтинг «Простые» решения Поощрения Санкции «Простые» решения Поощрения Санкции Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ …….. Ш N _______ Ш N+1 ________ Ш N+2 ________ …….. Ш N+k ________ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______ «Сильные» школы Ш 1________ Ш 2________ Ш 3________ ……… Ш М _______ «Слабые» школы Ш N+1 _______ Ш N+2 _______ …….. Ш N+k _______

18 Модель использования данных: кластерный анализ Кластерный анализ Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Анализ факторов Самооценка школы Опросы потребителей услуг Внешний аудит Данные исследований Статистика … Ш1.1________ Ш1.2________ Ш1.3________ …….. Ш1.14_______ Ш1.15_______ К1 Ш2.1________ Ш2.2________ Ш2.3________ …….. Ш2.21_______ К2 К3 «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. «Слабые» школы Ш1.14, Ш1.15, Ш2.21, Ш3.11, Ш3.12 ……….. Ш3.1________ Ш3.2________ Ш3.3________ …….. Ш3.11_______ Ш3.12_______

19 МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ Кластер. анализ «Слабые» школы Анализ факторов Меры поддержки Оценка От линейного рейтинга к кластерному сравнению и анализу факторов

20 Анализ данных с учётом факторов: Канада Расхождение в успеваемости по чтению по провинциям NF NB NS ON QU AB BC MB SK AB BC QU SK ON MB NS NF PE Скорректировано для ОИВ и Семейного Окружения (СО) NB Скорректировано для ОИВ, СО и Школьного Контекста (ШК) Скорректировано для ОИВ, СО, ШК, и Процесса Обучения (ПО) Скорректировано для Ошибки Измерения и Выборки (ОИВ)

21 Учёт внешних факторов: Шотландия

22 PISA-2009: Грамотность чтения. Учёт внешних факторов Вариативность успеваемости между школ Вариативность результатов объясняется социально- экономическим статусом учащихся и школ

23 МАТРИЦА ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ A. Программы оценкиB. Виды решений C. Кто принимает решения? D. Кто использует результаты? На ком сказываются решения? Экзамены Выпускные экзамены Вступительные экзамены Крупно-масштабные исследования Международные исследования Национальные/региональные мониторинги Оценка на уровне школы Внутриклассное оценивание Внутришкольные мониторинги Другие программы Самооценка школы …

24 Обсуждение опыта стран 1.Политический контекст: Контроль или Поддержка. 2.Поддержка заинтересованных сторон. 3.Наличие надёжного инструментария. 4.Наличие надёжной стандартизированной процедуры проведения оценки. 5.Ориентация на информационные потребности основных групп пользователей результатов оценки. 6.Подготовка ясного итогового отчёта. 7.Учёт дополнительных данных при принятии управленческих решений по итогам оценки. 8.Другие условия…

25 СПАСИБО ЗА ВНИМАНИЕ!