Разработка информационных продуктов при проведении программ оценки образовательных достижений школьников Вебинар «Разработка информационных продуктов при проведении программ оценки образовательных достижений школьников» 13 ноября 2013 года И.А. Вальдман зав. лабораторией мониторинга в образовании ИУО РАО, директор Российского Тренингового центра ИУО РАО, к.п.н.

Сайты региональных министерств. Много информации, но не видно её потребителей Республика Карелия

Актуальность темы Передовой международный и российский опыт говорит о том, что умение интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений.

Три составляющих информирования о результатах оценки Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых составляющих, которыми должна обладать квалифицированная команда, отвечающая за организацию программы оценки. 1. Знание пользователей результатов программ оценки и их информационных потребностей. 2. Наличие информационных продуктов и услуг, способных удовлетворить существующие информационные потребности. 3.Понимание, какими способами следует доводить информацию до пользователей.

Информирование потребителей ПотребительИП 1 Способ распространения 1.1Способ распространения 1.2 ИП 2 Способ распространения 2.1Способ распространения 2.2Способ распространения 2.3 ИП 3 Способ распространения 3.1

Интерпретация и представление результатов определяется Потребителями информации (их запросами, вариантами использования результатов и технической квалификацией пользователей в понимании результатов) Целями и особенностями оценочной процедуры (например, оценка проводится на выборке или ген. совокупности) …

Техническая квалификация групп пользователей информации опытные пользователи высокой квалификации, которые способны проводить начальный многоуровневый и много вариативный статистический анализ; пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный анализ; пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов; обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников; неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников. А С В

Пользователи и их техническая компетентность Граждане Ученики Родители Учителя Администраторы и управленцы Государственные деятели Профессиональные союзы Общественные лидеры Представители системы подготовки и ПК учителей СМИ А В С С С С С С С В В Исследователи

Основные пользователи результатов ЭКЗАМЕНОВМОНИТОРИНГОВ Ученики Родители Учителя Администрация школ … Администраторы и управленцы Государственные деятели Представители системы подготовки и ПК учителей СМИ … Учителя

ИНФОРМАЦИОННЫЕ ПОТРЕБНОСТИ ОСНОВНЫХ ГРУПП ПОЛЬЗОВАТЕЛЕЙ Учащиеся нуждаются в информации, отражающей их личный прогресс, учебные достижения и неудачи. Учителя нуждаются в информации, чтобы судить о прогрессе конкретных учащихся и корректировать процесс обучения. Родители нуждаются в информации, чтобы следить за прогрессом собственных детей, решать, необходимо ли вмешиваться в деятельность школы или в процесс обучения своего ребёнка.

ИНФОРМАЦИОННЫЕ ПОТРЕБНОСТИ ОСНОВНЫХ ГРУПП ПОЛЬЗОВАТЕЛЕЙ Администраторы и управленцы нуждаются в информации о достижениях учащихся для корректировки учебного плана, для определения целей подготовки учителей, разработки программ изменений в образовательных учреждениях или их объединениях, демонстрации достижений родителям, вышестоящему начальству и аргументирования необходимости выделения дополнительных ресурсов.

ИНФОРМАЦИОННЫЕ ПРОДУКТЫ

Информационные ресурсы спецификация теста; банк заданий; результаты оценки умений школьников; характеристика выборки исследования (на основе вопросников); данные о взаимосвязи умений школьников и фоновых характеристик; образцы (примеры) ошибок для отдельных заданий; стандарт интерпретации результатов; набор фактических данных оценки.

ПРИЕМЕР: продукты и услуги Спецификация теста. Спецификация представляет собой научное основание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др. Соответствующие информационные продукты и услуги 1.Отчёт, который делается публично доступным до выпуска результатов оценки. Ранняя публикация отчёта направлена на предотвращение критики, связанной с прозрачностью программы оценки. 2.Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки оценки и её научной полноты. 3.Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.

ПРИЕМЕР: продукты и услуги Банк заданий. Банк - собрание заданий, разбитых на категории в соответствии с их характеристиками (например, тип задания, тема, оцениваемый навык, уровень сложности и т.д.). Где только это возможно, национальные/региональные исследовательские команды должны привлекать учителей для разработки заданий теста. В результате среди заинтересованных субъектов появятся группы хорошо осведомлённых и поддерживающих оценку людей, что будет способствовать её успеху. Соответствующие информационные продукты и услуги 1. Образцы заданий. Образцы заданий должны быть отобраны и сделаны доступными вместе со спецификацией всем заинтересованным не техническим пользователям, чтобы они поняли истинную суть задач оценки. 2.Задания, которые не имеют прямой связи с замыслом оценки, должны быть предоставлены исследователям для изучения или для использования в их собственных научно-исследовательских работах при условии, что они будут держать эту информацию в секрете. Такие меры увеличат число исследователей, которые примут участие в программе оценке и, скорее всего, смогут её публично поддержать.

PISA: примеры информационных продуктов

ПРИМЕР: NAEP (США)

NAPLAN, Австралия. Индивидуальный отчёт по ученику. Информация для ученика и родителей Результат ученика Средний результат по школе Средний результат по стране Диапазон средних результатов 60% учащихся 3 класса Австралии Индивидуальный отчёт включает: Графическое представление результатов ученика в сравнение со школой и страной Краткую характеристику заданий по каждой области оценки Описание навыков, оцениваемых на каждом уровне и по каждой области оценки Чтение Доказательное письмо

ПРИМЕР: NAPLAN (Австралия)

Сайт Моя Школа (Австралия) Представление результатов NAPLAN в числовом выражении

Процент выполнения заданий теста по указанным темам (данные по образовательному учреждению на фоне данных по городу) Мониторинг в начальной школе, Россия. Структура освоения планируемых результатов обучения. Информация для учителя и школы Данная диаграмма дополняется перечнем проверяемых учебных тем

NAEP, США Результаты по уровням достижений. Информация для управленцев Лос Анжелес, математика, 4 класс

Распределение учащихся 4 класса по уровням достижения по математике в соответствии с ФГОС начальной школы Мониторинг в начальной школе, Россия. Распределение результатов по уровням достижений по регионам. Информация для управленцев

NAEP, США Результаты по уровням достижений. Информация для управленцев Этнические группы Лос Анжелес, математика, 4 класс Уровень дохода

Сравнение результатов по чтению учащихся 3 класса по штатам и территориям страны NAPLAN 2012, Австралия. Сравнение регионов страны. Информация для управленцев

SIMCE. Информационные продукты 1. Руководство по проведению оценки (с 1988) 2. Школьный отчёт (с 1988) 3. Национальный отчёт (с 2006) 4. Приложение к газете (с 1995) 5.Отчёт для родителей (с 2005) 6.Он-лайн банк заданий (с 2007) 7. Комплект материалов для прессы (с 2006) 8. Файлы данных (с 2005) 9. Инструментарий анализа данных (с 2007) 10. Геоинформационная система (с 2010) 11. Вебсайт (since 2001)

ПРИМЕР: SIMCE (Чили). Гео-информ. система

ПРИМЕР: ЕНТ (Казахстан)

Примеры информационных продуктов 1.Национальный/Региональный отчёт по итогам оценки. 2. Специализированный отчёт (по предмету, группе учащихся). 3. Аналитическая записка для министра. 4. Информационный буклет для родителей. 5.Пресс-релиз.

РЕГИОНАЛЬНЫЙ ОТЧЁТ Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов, которые могут быть подготовлены на основе данных оценки. Он служит основой для подготовки других информационных материалов. Должен быть написан доступным для широкой аудитории языком. Объём – 20 страниц (без учёта приложений) Основные разделы Цели и назначение программы оценки Методология оценки и характеристика инструментария Основные результаты Рекомендации для повышения качества образования Приложения

РЕЗЮМЕ РЕГИОНАЛЬНОГО ОТЧЁТА В Резюме (краткой версии) отчёта излагается краткая характеристика оценочной процедуры и основные результаты и выводы. Кроме того, может быть анонсирована структура полной версии отчёта Именно резюме в первую очередь прочитают управленцы и руководители. Резюме даст возможность потенциальным читателям принять решение, читать ли полную версию отчёта. Объём – 2-5 страниц. Основные разделы Цели программы оценки, её краткая характеристика (0,5 стр.) Основные результаты (включая графики) Ключевые выводы и рекомендации Контактная информация (где можно прочесть полную версию доклада)

СПЕЦИАЛИЗИРОВАННЫЙ ОТЧЁТ Специализированный отчёт фокусируется на результатах в конкретных областях, например: Результаты по конкретному учебному предмету; Определённый вид обр. достижений (например, метапредметные результаты); Особые группы учащихся (мальчики и девочки, сельские школьники, языковые меньшинства, мигранты, со спец. потребностями и т.п.) Объём – 10 страниц (без учёта приложений) Основные разделы Введение (цели и назначение программы оценки ) Характеристика инструментария по области специализации отчёта Представление результатов (включая ошибки и наиболее трудные задания) Рекомендации для повышения качества образования Приложения

ОТЧЁТ ПО ШКОЛЕ Россия. Мониторинг уч. достижений в нач. школе Отчёт по школе готовиться для обсуждения успехов и проблем, выявленных в ходе оценки качества образования. Служит информационной основой для совершенствования учебно- методической работы и оказания помощи школьникам, нуждающимся в поддержке. Готовится школьной командой, используется для нужд школы и не представляется вышестоящим органам. Данные отчёта могут быть представлены в публичном докладе школы и использованы при проведении самооценки собственной деятельности. Объём – 5-7 страниц (без учёта приложений)

ИНФОРМАЦИОННЫЙ БУКЛЕТ ДЛЯ РОДИТЕЛЕЙ Россия. Мониторинг уч. достижений в нач. школе Информационный бюллетень – короткий информационный продукт, представляющий общую информацию о программе оценки и ориентированный на целевую группу – родители учащихся начальной школы. Даёт ответы на наиболее важные для родителей вопросы: Что оценивается? С какой целью? Что даст ребёнку участие в данном тестировании? Требуется ли специальная подготовка к тесту? Участие добровольное или обязательное? Могут ли быть негативные последствия для ребёнка и школы? Кто готовит? Региональные специалисты, ответственные за проведение программы оценки. Желательно привлечь журналистов для работы над текстом. Объём – 1-2 страницы

Буклет для родителей. NAPLAN (Австралия) Информация для родителей Календарь проведения Национального мониторинга NAPLAN Области оценки

Буклет для родителей. NAPLAN (Австралия)

ПРЕСС-РЕЛИЗ Россия. Мониторинг уч. достижений в нач. школе Пресс-релиз – сообщение для прессы, подготовленное для журналистов и редакторов СМИ и рассказывающее о значимом событии, мероприятии или ином информационном поводе. Выпускается под информационный повод (появились результаты оценки). Объём не более двух страниц. Ответственные за подготовку – Пресс-служба ОУО и РЦОКО. Рекомендации и примеры : Главная задача пресс-релиза - сообщить новость таким образом, чтобы она была опубликована в СМИ и/или Internet и заинтересовала журналиста и побудила его обратиться за комментариями и дополнительной информацией.

Информационные продукты и программы оценки. Региональный мониторинг качества предметных компетенций Хабаровский край РЕГИОНАЛЬНЫЙ ОТЧЁТБУКЛЕТ ДЛЯ РОДИТЕЛЕЙ СПЕЦИАЛИЗИРОВАННЫЙ ОТЧЁТ ПРЕСС-РЕЛИЗ ДЛЯ СМИ ?

Информационные продукты и программы оценки. Перечень мониторингов (2013 г.)ИНФОРМАЦИОННЫЕ ПРОДУКТЫ СРОКИ Региональный мониторинг качества предметных компетенций обучающихся 1 – 4, 5 – 8, 10, 11 классов Региональный отчёт Буклет для родителей Специализирован. отчёт Пресс-релиз для СМИ Через 1 месяц За 2 месяца до Через 2 месяца Через 1 месяц Мониторинг по оценке качества системы начального образования … Мониторинг по оценке уровня готовности первоклассников к обучению в школе … Мониторинг по оценке уровня готовности к обучению в основной школе выпускников начальной школы …

ЗАДАНИЕ для подготовки к семинару Подготовка проекта информационного продукта по конкретной оценочной процедуре. 1. Выберите оценочную процедуру и определитесь с конкретным информационным продуктом. 2. Разработайте вариант информационного продукта. Проведите его внутреннее обсуждение. 3. Подготовьте макет информационного продукта в соответствии с предложенной структурой макета.

ЗАДАНИЕ для подготовки к семинару Для начала лучше начать с небольших ИП (пресс-релиз, буклет, записка для министра). В качестве основного ИП выберите Пресс-релиз по итогам проведения оценочной процедуры. Подготовленные пресс-релизы будут обсуждаться на семинаре 9-11 декабря 2013 г.

SIMCE. Распространение информации: Механизмы, Цели, Целевые группы, Содержание 4. Приложение к газете Цели: Обеспечение подотчётности школ Целевая группа: родители, широкая общественность Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы. Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

Структура макета ИП Название продукта Краткое описание продукта Объём - несколько предложений. Содержание – цели подготовки, на кого ориентирован, основное содержание. Целевые группы Потенциальные пользователи Детальное описание продукта (аннотированная структура) Аннотированное содержание - структура с кратким содержанием каждого пункта. Ключевые действия при создании, ответственность и «острые углы» Порядок подготовки (отбор данных, подготовка первой версии, экспертиза и т.п.). Кто отвечает за подготовку, кто участвует в подготовке. Вопросы и проблемы, которые нужно иметь ввиду. Механизмы распространения Какие каналы распространения будут задействованы. Затраты на создание Какие ресурсы и в каком объёме необходимы. Дата создания Когда должен быть создан ИП Связь с другими продуктами Производным от каких ИП является или для каких ИП будет использоваться. Очерёдность выпуска.

О чём следует помнить при подготовке ИП, ориентированных на широкую аудиторию. 1. ИП не следует перегружать текстом. 2. Текст должен быть написан простым языком. Его не следует перегружать специальной терминологией. 3. Используйте заголовки. Они помогают структурировать текст и облегчают поиск информации. 4. Важные выводы и утверждения следует выделять. 5. Нужны визуальные объекты – графики, схемы, диаграммы. Их необходимо сопровождать пояснениями. 6. Не следует злоупотреблять статистическим таблицами.

ЯНАО Информация для родителей. Новосибирская область Информация для родителей и школы.

О читательской грамотности для родителей. Об апробации инструментария мониторинга для учителей. КРАСНОЯРСКИЙ КРАЙ

Пример оформления текста

Пример оформления текста

Анализ результатов ЕГЭ и ГИА по региону, муниципалитету, образовательному учреждению (Боченков С.А.).

ВАШИ ВОПРОСЫ