Учебный курс «Информирование различных целевых групп о результатах оценки учебных достижений школьников» сентября 2011 года, г. Москва Руководство по разработке Национальной оценки Скотт Мюррей, DataAngel Policy Research Inc. Telephone: (613) address:

Основополагающие цели оценки: С помощью анализа – показать, какова текущая ситуация С помощью сравнения – выявить, какой ситуация могла быть С помощью обсуждения – решить, какой ситуация должна быть

Магический рецепт: Наличие достоверных, надежных, сопоставимых и поддающихся интерпретации данных Анализ с учетом исходных различий Инклюзивные процессы, проводящие заинтересованных участников по континууму «данные/знания/мудрость/действие» Деньги и навыки для выполнения хорошей работы Уважение и объективность

Что: Характеристика идеальной системы данных для навыков и обучения Широта Глубина Индивидуальность Иерархическая структура Лонгитюдность Повторяемость Прочная основа Целенаправленность действий Доступность Возможность интеграции

1 %100 %2 %10 % Насколько точно проводится измерение? Характеристик и шкал: Свойства шкалы: Примеры из области рисования Что (не) поддается измерению? Непрерывная Категориальная Сколько информации мы теряем, представляя сложную картину в черно-белом цвете?

Простая модель представления о системах образования: Модель школьной эффективности на основе схемы Затраты – Процесс - Результат Характеристики семьи и учащегося Процессы на уровне школы и класса Результаты обучения учащихся

Реальность намного сложнее: школа Социально- экономический статус семьи Стиль и практика воспитания Структура семьи Характеристики учащегося Макро-уровневый контекст Класс Ровесники Средства информации Академические результаты Эмоциональные результаты Модель эффективности школы, используемая в Tell Them From Me

Различия в распределении: Распределение успеваемости по Математике в 8 классе в избранных странах, TIMSS 2007

Измерение результатов в экзаменационных системах включает отбор областей содержания вокруг точки отсечки: Тестовые задания охватывают весь диапазон способности, но они кластеризованы Распределение успеваемости по Математике в 8 классе в избранных странах, TIMSS 2007

Измерение результатов в рамках системе оценивания включает полный отбор областей содержания: Тестовые задания охватывают весь диапазон способности, нет влияния верхней и нижней границы Распределение успеваемости по Математике в 8 классе в избранных странах, TIMSS 2007

Важно знать, какие факторы имеют значение: Количество и качество навыков: Каков уровень умений и навыков у канадцев? Эфыективность: Насколько эффективны системы образования с точки зрения обеспечения необходимых навыков? Рентабельность: Каковы наиболее экономически эффективные способы развития обучения и развития навыков? Равенство: Все ли сегменты общества имеют равные возможности? Что можно сделать для тех, кто оказался в неблагополучном положении?

Варианты политики для усовершенствования: универсальные вмешательства Балл по чтению Универсальные вмешательства Социально-экономический статус

Варианты политики для усовершенствования: СЭС целевые вмешательства

Варианты политики для усовершенствования: компенсаторные вмешательства

Варианты политики для усовершенствования : вмешательства, ориентированные на достижения

Варианты политики для усовершенствования : инклюзивные воздействия

Значение неравенства :

Определение грамотности Упорядочение области знаний Характеристика заданий Определение и операционализаци переменных Валидация переменных Построение схемы интерпретации Движение к измерению результатов

Важность иерархии обучения:

Навыки накапливаются с возрастом, но различия в навыках растут драматически:

Модель на основе структурных уравнений, описывающая взаимосвязь между компетенциями в возрасте 14 лет Лонгитюдное исследование компетенций у детей в Новой Зеландии коммуникабельность любопытсво Решение логических задач математика грамотность чтение письмо упорство

Если ребенок отстает в обучении чтению, вероятность выхода минимальна : Продольный срез компетенций детей Новой Зеландии Стандартизованные численные показатели навыков чтения среди детей в возрасте от 8 до 14 лет: низшая квартиль для группы 14 лет

уязвимые % 56.2% 71.9% 28.9% 28.1% 14.9% 15.7% 13.2% Уязвимость не является постоянным состоянием для большинства детей Вновь уязвимые Положительное развитие Жизнеспособные Давно уязвимые не уязвимые

Теория тестовых заданий (IRT) как многофункциональный инструмент:

… средство для определения стабильности оценки в разных группах

Семейство IRT-кривых определяют результативность оценивания: