Использование результатов программ оценки: информирование различных целевых групп И.А. Вальдман директор Российского Тренингового центра ИУО РАО Учебный курс «Система оценки качества и образовательная политика: ключевые проблемы и направления развития» июня 2012 года, Кыргызская Республика СЕССИЯ 8

КЛЮЧЕВОЙ ВОПРОС Каким образом обеспечить максимальное использование результатов оценки учебных достижений всеми заинтересованными сторонами?

ПРИЗНАНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ Умение проводить взвешенную информационную политику, интерпретировать результаты оценки качества образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений. От этого зависит её успех или неудача.

Техническая квалификация групп пользователей информации опытные пользователи высокой квалификации, которые способны проводить начальный многоуровневый и многовариативный статистический анализ; пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный анализ; пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов; обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников; неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников. А С В

Пользователи и их техническая компетентность Граждане Ученики Родители Учителя Администраторы и управленцы Государственные деятели Профессиональные союзы Общественные лидеры Представители системы подготовки и ПК учителей СМИ А В С С С С С С С В В Исследователи

СТОРОННИКИ И ОППОНЕНТЫ Категории пользователей по предпочениям: являются сторонниками (твёрдо уверены в пользе данных оценки или верят в полезность данных оценки); держат нейтралитет или пока сомневаются относительно пользы данных оценки; находятся в активной оппозиции и не верят в пользу данных оценки.

В ЧЁМ СТРАТЕГИЯ? Исследовательская команда, проводящая оценку, должна преследовать следующие цели: сохранять доверие тех пользователей, кто изначально поддерживает проведение программы оценки; завоёвывать поддержку дополнительных пользователей, кто может занимать нейтральную позицию или быть в умеренной оппозиции; обращаться к интересам явных оппонентов, используя сбалансированные и нейтральные способы во всех публикациях и анализах, связанных с оценкой.

ИНФОРМАЦИОННЫЕ ПРОДУКТЫ

Информационные активы характеристика теста (кодификатор, спецификация и др.); банк заданий; базы данных с результатами оценки; характеристика выборки участников тестирования; данные о взаимосвязи достижений школьников и контекстных характеристик; примеры заданий и описание основных ошибок для отдельных заданий; техническая документация и фактические материалы (руководства, протоколы проведения и т.п.).

Информационные продукты, которые могут готовиться на основе характеристики теста Характеристика теста. Представляет собой научное основание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др. Соответствующие информационные продукты 1.Печатное/электронное издание с описанием характеристики теста, которое делается публично доступным до выпуска результатов оценки. Ранняя публикация отчёта направлена на предотвращение критики, связанной с прозрачностью программы оценки. 2.Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки оценки и её научной полноты. 3.Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.

ПРИМЕР: информационные продукты Банк заданий. Банк - собрание заданий, разбитых на категории в соответствии с их характеристиками (например, тип задания, тема, оцениваемый навык, уровень сложности и т.д.). Где только это возможно, национальные/региональные исследовательские команды должны привлекать учителей для разработки заданий теста. В результате среди заинтересованных субъектов появятся группы хорошо осведомлённых и поддерживающих оценку людей, что будет способствовать её успеху. Соответствующие информационные продукты 1.Образцы заданий. Образцы заданий должны быть отобраны и сделаны доступными вместе со спецификацией всем заинтересованным не техническим пользователям, чтобы они поняли истинную суть задач оценки. 2.Задания, которые не входят в состав теста, должны быть предоставлены исследователям для изучения или для использования в их собственных научно-исследовательских работах при условии, что они будут держать эту информацию в секрете. Такие меры увеличат число исследователей, которые примут участие в программе оценки и, скорее всего, смогут её публично поддержать.

ПРИМЕР: NAEP (США) Результаты NAEP публикуются в национальном докладе (The Nation's Report Card), представляющем широкой общественности информацию об академических достижениях американских школьников – NAEP – национальная оценка прогресса образования

ПРИМЕР: NAEP (США)

ПРИМЕР: NAPLAN (Австралия) National Assessment Program – Literacy and Numeracy (NAPLAN) – национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов. Проводится ежегодно и отслеживает прогресс каждого учащегося. NAPLAN проверяет знание и навыки по 4 областям – чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки.

ПРИМЕР: NAPLAN (Австралия) Как интерпретировать результаты

ПРИМЕР: NAPLAN (Австралия) Индивидуальный отчёт Видео – представление результатов

ПРИМЕР: NAPLAN (Австралия)

ПРИМЕР: ЕНТ (Казахстан)

Основные информационные продукты 1.Национальный/Региональный отчёт по итогам оценки. 2.Специализированный отчёт (по предмету, группе учащихся). 3.Аналитическая записка для министра. 4.Информационный буклет для родителей. 5.Пресс-релиз.

ОТЧЁТ ПО ШКОЛЕ Россия. Мониторинг уч. достижений в нач. школе Отчёт по школе готовиться для обсуждения успехов и проблем, выявленных в ходе оценки качества образования. Служит информационной основой для совершенствования учебно- методической работы и оказания помощи школьникам, нуждающимся в поддержке. Готовится школьной командой, используется для нужд школы и не представляется вышестоящим органам. Данные отчёта могут быть представлены в публичном докладе школы и использованы при проведении самооценки собственной деятельности. Объём – 5-7 страниц (без учёта приложений)

ИНФОРМАЦИОННЫЙ БУКЛЕТ ДЛЯ РОДИТЕЛЕЙ Россия. Мониторинг уч. достижений в нач. школе Информационный бюллетень – короткий информационный продукт, представляющий общую информацию о программе оценки и ориентированный на целевую группу – родители учащихся начальной школы. Даёт ответы на наиболее важные для родителей вопросы: Что оценивается? С какой целью? Что даст ребёнку участие в данном тестировании? Требуется ли специальная подготовка к тесту? Участие добровольное или обязательное? Могут ли быть негативные последствия для ребёнка и школы? Кто готовит? Региональные специалисты, ответственные за проведение программы оценки. Желательно привлечь журналистов для работы над текстом. Объём – 1-2 страницы

ПРЕСС-РЕЛИЗ Россия. Мониторинг уч. достижений в нач. школе Пресс-релиз – сообщение для прессы, подготовленное для журналистов и редакторов СМИ и рассказывающее о значимом событии, мероприятии или ином информационном поводе. Выпускается под информационный повод (появились результаты оценки). Объём не более двух страниц. Ответственные за подготовку – Пресс-служба ОУО и РЦОКО. Рекомендации и примеры : Главная задача пресс-релиза - сообщить новость таким образом, чтобы она была опубликована в СМИ и/или Internet и заинтересовала журналиста и побудила его обратиться за комментариями и дополнительной информацией.

СТРАТЕГИЯ РАСПРОСТРАНЕНИЯ ИНФОРМАЦИИ Телевидение. Телевидение из всех СМИ имеет самый большой охват и самое сильное влияние на массовую аудиторию. Но используемые при телевизионном вещании информационные сообщения, как правило, гораздо короче, чем в продуктах на печатной основе. Информация может быть наглядно запечатлена в телевизионных продуктах, но большинство сообщений должны быть тщательно сокращены до небольшого размера. Множество важных нюансов зачастую оказываются потерянными при этом. Первичные каналы распространения информации: печатные отчёты электронные отчёты (в Интернет, на CD или картах памяти); радио; телевидение; мультимедийные продукты.

СТРАТЕГИЯ РАСПРОСТРАНЕИЯ ИНФОРМАЦИИ Каналы вторичного распространения информации: Реклама; Внутренние и внешние брифинги; Пресс-релизы; Интервью с журналистами; Пресс-конференции, брифинги, конференции и семинары; Публицистические статьи; Новостные письма; Статьи в информационные бюллетени.

ПРИМЕР: Национальная программа оценки качества образования SIMCE Программа действует с 1988 года Используются стандартизированные тесты по математике, испанскому языку и естественным наукам. Базируется на национальном учебном плане. Целевые группы: учащиеся 4, 8 и 10 классов. Участвуют все учащиеся и школы. Закреплена в законе об образовании. Управляется Министерством образования.

ПРИМЕР: SIMCE (Чили). Информационные продукты 1.Руководство по проведению оценки (с 1988) 2.Школьный отчёт (с 1988) 3.Национальный отчёт (с 2006) 4.Приложение к газете (с 1995) 5.Отчёт для родителей (с 2005) 6.Он-лайн банк заданий (с 2007) 7.Комплект материалов для прессы (с 2006) 8.Файлы данных (с 2005) 9.Инструментарий анализа данных (с 2007) 10.Гео-информационная система (с 2010) 11.Вебсайт (since 2001)

ПРИМЕР: SIMCE (Чили). Гео-информ. система

ПРИМЕР: SIMCE (Чили). Диссеминационная стратегия: Механизмы, Цели, Целевые группы, Содержание 4. Приложение к газете Цели: Обеспечение подотчётности школ Целевая группа: родители, широкая общественность Содержание: (а) Средние баллы школ и средние балы по предметам и классам. (b) Разница между средним баллом школ и 1) средними баллами предыдущей оценки, 2) средним по стране, 3) средними баллами школ из той же социально-эконмической группы. Механизмы: Публикуется в национальных и региональных газетах. Обычно эта информация распространяется вместе с рейтингами школ.

КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ Цель коммуникационной стратегии состоит в тщательном управлении первым впечатлением пользователей относительно того, что особенного конкретный информационный продукт может им предложить.

КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ Любая коммуникационная стратегия должна учитывать следующие аспекты: 1. Достижение соглашения по количеству и содержанию ключевых сообщений о результатах оценки; 2. Предвидение вопросов, которые будут задаваться представителями СМИ и заинтересованных сторон, а также подготовка стандартных ответов для них; 3. Предвидение того, как журналисты и интересующиеся группы будут пытаться искажать ключевые сообщения; 4. Разработка механизмов наблюдения за реакцией заинтересованных субъектов о результатах исследования и реагирования на случаи неправильного использования данных в реальном времени.

КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ Если процесс обмена информацией спроектирован и управляется неумело, то тем самым вы предоставляете пользователям свободу выносить свои собственные суждения по поводу качества и полезности для них продуктов и услуг. А это крах вашей стратегии!

Резюме Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх ключевых составляющих «джентльменского набора», которым должна обладать квалифицированная исследовательская команда. 1.Знание пользователей результатов программ оценки и их информационных потребностей. 2.Наличие информационных продуктов и услуг, способных удовлетворить существующие информационные потребности. 3.Понимание, какими способами следует доводить информацию до пользователей.

СПАСИБО ЗА ВНИМАНИЕ!