А.Б. Воронцов В.А. Львовский П.Г. Нежнов Мониторинг учебно-предметных компетенций школьников SAM( School Achievements Monitoring) : потенциал и возможности инструментария

Образовательные модели и мониторинговые исследования Модель «обучение» ГИА, ЕГЭ TIMSS, PIRLS, PISA Модель «компетентностный подход» SAM Модель «культурное развитие» Предметное тестирование Модель «обучение и развитие» Психологическая диагностика

SAM - это тестовый инструмент оценки учебно-предметных компетенций, отражающих меру присвоения учащимися содержания школьных дисциплин – таких, как математика, русский язык, естествознание. Особенность SAM – сочетание: а) интегральной характеристики предметной компетенции на основе определения ее места на единой метрической шкале ; б) структурного представления компетенции на основе различения сформированности трех основных аспектов ее ориентировочной основы. Особенности SAM (School Achievements Monitoring)

Основание для разработки инструментария: представление об этапах присвоения предметных содержаний, опирающееся на модель «культурного развития» Л.С. Выготского Наш подход Предмет педагогической диагностики: присвоение обобщенных способов действия, кристаллизованных в знаковых структурах Единицы содержания - относительно целостные разделы предметных дисциплин Главная точка отсчета - абсолютная культурная норма

Уровни качества компетенций в мониторинговых исследований TIMSS PIRLSSAM знание фактов и процедур; применение понятий; решение стандартных задач; рассуждения нахождение и удержание информации; формулирование выводов интерпретация и интеграция информации анализ и оценка содержания, языка ориентация на форму способа действия ориентация на существенное отношение в основе способа действия ориентация на границы способа действия

Волна (профиль) присвоения культурных образцов действия Содержательный Формальный Функциональный Пройденная часть учебной программы

Предполагает освоение образцов и алгоритмов, ученик опирается на внешние характеристики действия и не обязательно понимает те существенные отношения, которые лежат за этими образцами и алгоритмами. Первый уровень – формальный

Предполагает понимание оснований действий, осознание существенной связи, лежащей в основе способа действия. Второй уровень – предметный

Предполагает удержание соответствующего смыслового поля, свободное владение способом действия и применение его в самых разнообразных контекстах Третий уровень – функциональный

Виды грамотности и их оценка Предметная линия Способы действия Средства действия Математическая грамотность Измерение величин прямое измерение косвенное измерение отношение между числом, величиной и единицей отношение «часть и целое» формула площади прямоугольника Естественнонаучная грамотность Процессы и их условия установление временных отношений между событиями схема процесса схема эксперимента Языковая грамотность Слово и его значение Построение рядов слов и словоформ с чередующими звуками Отношение «звук-буква» Звуковая модель слова

Структура теста Задача 1Задача 2Задача N … Задание 1.1 Задание 1.2 Задание 1.3 Задание 2.1 Задание 2.2 Задание 2.3 Задание n.1 Задание n.2 Задание n.3 Предмет тестирования – мера присвоения культурных средств и соответствующих им способов действия Содержательная основа теста – технологическая матрица (система средств/способов ориентировки действия в данной предметной области)

Выделение субтестов

1. Какое получится число, если разделить на 34? 2. Рассеянный Петя переписал из учебника пример на умножение двух чисел. Первый множитель – число 7 - он записал правильно, а во втором множителе по ошибке переставил местами цифры. В результате умножения у него получилось число 147. Какой ответ должен был получить Петя, если бы он правильно переписал пример? 3. Какой самый большой результат может получиться, если в выражении AB5 + BС2 буквы заменить цифрами? Примечание: разные буквы заменяются разными цифрами. Пример по математике

При более высокой температуре вода испаряется быстрее. В четыре одинаковых стакана налили поровну воды разной температуры (температуру поддерживали постоянной).На рисунке показано, сколько воды осталось в двух стаканах через час Отметь примерный уровень воды в остальных стаканах. Пример по естествознанию (1-ый уровень) уровень воды

Три ученика выясняли, зависит ли скорость испарения воды от наличия или отсутствия ветра. Для опыта они взяли одинаковые блюдца и доверху наполнили водой при комнатной температуре. Одно блюдце оставили для сравнения. o Боря - около своего блюдца включил вентилятор. o Вера - включила фен и направила на свое блюдце поток горячего воздуха. o Галя - поставила свое блюдце на сквозняке. Отметь ДВУХ учеников, которые поставили опыт ПРАВИЛЬНО Пример по естествознанию (2-ой уровень)

Ученики написали отчет о своем исследовании испарения воды. Отметь ДВА утверждения, которые НЕЛЬЗЯ сделать на основании этого отчета? o При нагревании вода испаряется быстрее o При увеличении площади поверхности вода испаряется быстрее o Вода не испаряется при 20 градусах o При 50 градусах вода будет испаряться быстрее, чем при 30 Пример по естествознанию (3-ий уровень) Утром мы налили поровну воды в три одинаковых сосуда. Температуру в каждом сосуде поддерживали постоянной. Вечером воды оказалось не поровну: ОТЧЕТ

Структурное представление результатов тестирования расширяет возможности их содержательной интерпретации и качественной оценки. Возможные опции использования результатов SAM

Оценка образовательной стратегии % 60% 40% 20% 0% 100%

Оценка образовательной ситуации Профили двух классов одной школы, получивших разные интегральные баллы по математике 1 уровень 2 уровень 3 уровень Решаемость (%) 4 а 4 б

Оценка образовательной ситуации Профили двух классов одной школы, получивших одинаковые интегральные баллы по математике 1 уровень 2 уровень 3 уровень Решаемость (%) Класс 4 в Класс 4 г

Оценка трудности предметного содержания Тематизм Средний первичный балл Уровень I, % Уровень II, % Уровень III, % Измерение величин Элементы геометрии

Оценка прогресса в обучении Школы Прямое измерение Определение направлений на карте

Результаты выполнения теста по математике 1 уровень 2 уровень 3 уровень Решаемость (%) 10 классы 8 классы 6 классы 4 классы

Нулевая ступень: не освоен даже первый уровень. Учащиеся, находящиеся на этой ступени, выполняют менее 50% заданий 1-го уровня и практически не выполняют задания более высоких уровней. Первая ступень: освоен только первый уровень. Учащиеся, находящиеся на этой ступени, выполняют не менее 50% заданий 1-го уровня, небольшое количество заданий 2-го уровня и практически не справляются с 3-им. Вторая ступень: освоен второй уровень. Учащиеся, находящиеся на этой ступени, выполняют не менее 50% заданий 2-го уровня. При этом они легко справляются с 80% заданий 1-го уровня и делают некоторые задания 3-го уровня. Третья ступень: освоен третий уровень. Учащиеся, находящиеся на этом уровне, выполняют не менее 50% заданий 3-го уровня, легко справляются практически со всеми заданиями первого уровня и делают не менее 80 % заданий 2-го уровня. Ступени достижений: качественно- количественная характеристика

Сравнение классов по ступеням

Сравнение школ по ступеням достижений

Масштаб апробации инструментария Количество участников апробации субъектов Российской Федерации, Казахстан образовательных учреждений учащихся (чел.)

Опросники для сбора контекстной информации Инструментарий SAM включает комплект анкет для основных субъектов образовательного процесса: учащихся и педагогов. Анкеты позволяют решить две задачи. Первая – традиционная для тестовых обследований - это сбор социологических, организационных и социально-культурных данных, характеризующих фоновый контекст жизнедеятельности учащихся и конкретной школы, так или иначе влияющий на показатели академической успешности.

Вторая задача – это выявление характеристик собственно образовательной среды, которые могут оказывать разнонаправленное (как позитивное, так и негативное) влияние на процесс и результаты обучения Анкета для учеников включает 22 вопроса, которые можно разделить на три группы: а) об учебном процессе, б) о внеучебной жизни в школе и в) о внешкольной жизни.

Анкета для педагогов включает 30 вопросов. Они тематически делятся на 4 группы: а) уроки (организация учебного процесса и общения с детьми), б) организация внеурочной жизни школы, в) профессиональные и личностные установки, а также общение с коллегами г) общение с родителями.

Сопоставление данных анкетирования основных групп респондентов с результатами оценки учащихся тестами SAM позволяет: формулировать гипотезы, подводящие к пониманию различий результатов тестирования разных классов и школ; намечать программы мероприятий по совершенствованию образовательных сред с целью повышения учебных достижений учащихся.

Заключение Основная цель мониторинга - это слежение за процессом освоения учащимися предметных понятий (математических, языковых, естественнонаучных). Уровень их освоения является основой для определения индивидуального прогресса для дальнейшего обучения.