ВЕБИНАР РТЦ ИнОбра НИУ ВШЭ 17 апреля 2014 года Cтартовая диагностика детей на входе в начальную школу и оценка их прогресса в течение первого года обучения: международное исследование iPIPS Карданова Елена Юрьевна директор Центра мониторинга качества образования НИУ ВШЭ, к. ф.- м. н.

Цель проекта iPIPS Cтартовая диагностика на входе в систему образования (оценивание готовности ребенка к обучению в школе и выявление его индивидуальных особенностей) и оценивание индивидуального прогресса ребенка в течение первого года обучения

Что такое iPIPS? The International Performance Indicators in Primary Schools project Инструмент мониторинга готовности ребенка к обучению в школе и его индивидуального прогресса в течение 1-го года обучения Разрабатывается с 1994 г. Центром оценивания и мониторинга Университета Дарема Объект изучения – весь спектр навыков ребенка, как когнитивных, так и некогнитивных Более 1 млн опрошенных детей за 19 лет Сопутствующие исследования: высокая надежность, в том числе прогностическая Использование – Англия, Австралия, Шотландия, Гонконг, Новая Зелландия, ОАЭ. Пилоты – ЮАР, Германия, Нидерланды, США, Словения, Россия

Ключевые вопросы 1.Какова эффективность различных программ раннего обучения? 2.Сколько знаний дети получают в свой первый школьный год и насколько эффективно преподавание? 3.Как различные факторы влияют на обучение детей? 4.Как можно улучшить работу учителей и школ?

Международные и российские исследования детей TIMSS, PIRLS, PISA другой возраст - нет индивидуального оценивания - не позволяют оценить индивидуальный прогресс Early Development Instrument (EDI) Цель: Оценивание готовности детей к школе по пяти областям развития - заполняют учителя - нет индивидуального оценивания - не оценивает индивидуальный прогресс Россия: ФГОС начального общего образования (2011) и ФГОС дошкольного образования (2013) Дмитрий Ливанов: «Меня спрашивают, а что должен уметь ребенок. Ребенок никому ничего не должен, это мы должны сделать так, чтобы личность и талант каждого ребенка получили развитие…» Мы должны знать в какой стартовой точке находится ребенок на входе в начальную школу его прогресс по истечении определенного этапа обучения

Методики стартовой диагностики, используемые в РФ Психофизиологическая зрелостьМетоды исследования Уровень произвольности и концентрации внимания Уровень готовности следовать инструкции Методика «Образец и правило» Методика «Графический диктант» Проективная методика «Рисунок человека» Интеллектуальная зрелостьМетоды исследования Развитие интеллектуальных способностей Развитие речи Объем кратковременной памяти Уровень обучаемости Методика экспресс диагностики интеллектуальных способностей дошкольников (МЭДИС) Проективная методика «Рисунок человека» Методика «Рассказ по картинке» Методика «10 слов» Методика обучаемости А.Я. Ивановой Личностная зрелость Методы исследования Уровень психологической зрелости Уровень мотивации учения Особенности эмоциональной сферы Проективная методика «Рисунок человека» Методика определения школьной мотивации Н.Г. Лускановой Методика «Домики» Социальная зрелостьМетоды исследования Готовность осуществлять сотрудничество Уверенность в себе, самооценка Наблюдение Беседа Проективная методика «Рисунок человека» Колчанова С.С. Стартовая диагностика первоклассников как основа планирования индивидуальных образовательных траекторий // Региональное образование XXI века: проблемы и перспективы С

Исследование готовности детей к школе (РАО) г. 5 регионов РФ Для оценки развития познавательной сферы первоклассников использовались методики: «Рисунок человека» (чем детальнее и подробнее рисунок, тем выше общее развитие ребенка) «Графический диктант» (следование инструкции, умение самому продолжить узор, например, счет от 1 до нужного числа и т.д.). «Образец и правило» (умение самостоятельно работать по предложенному образцу в рамках дополнительно заданного правила, например, соединить фигуру по точкам) «Первая буква» (выбрать картинку с заданной буквой; для проверки фонематического слуха и правильного восприятия первоклассниками речи учителя, выявляет готовность к овладению грамотой). Также оценивается мотивация к учебе, личностная, социальная и эмоциональная зрелость Г.С. Ковалева, О.В. Даниленко, И.В. Ермакова, Н.В. Нурминская, Н.В. Гапонова, Е.И. Давыдова. (2011). О первоклассниках (по результатам исследований готовности первоклассников к обучению в школе). URL:

Российские исследования готовности к школе: ограничения Затруднено массовое использование Не позволяют измерить индивидуальный прогресс по окончании этапа обучения Мало исследований по обоснованию качества и валидности

Почему iPIPS? Инструмент индивидуального оценивания Разработан в соответствии с последними достижениями мировой тестологической науки Стандартизированный инструмент с доказанными психометрическими свойствами и валидностью (на английской выборке), признанный в мире Создан в формате компьютерного адаптивного тестирования Позволяет максимально мягко и с большой точностью оценить каждого конкретного ребенка Уникальный инструмент, не имеющий аналогов в российской образовательной системе

Подходы к интерпретации результатов Нормативно-ориентированный Результат отдельного участника интерпретируется в зависимости от достижений всей совокупности участников тестирования Индивидуально–ориентированный Оценивается степень прогресса конкретного учащегося за определенный промежуток времени Критериально-ориентированный На основании положения участника на шкале и пороговых значений делается вывод о качественном уровне, на котором находится участник

Развитие навыков чтения: прогресс за год (иллюстративные данные – не являются полностью репрезентативными)

Адаптация iPIPS в России Разработка русскоязычной версии инструмента iPIPS Разработка процедур и проведение двух циклов измерения (опроса детей и сбора контекстных данных): в начале учебного года (стартовая диагностика) и в конце (прогресс в течение первого учебного года) Проведение исследований по адаптации инструмента в России, включая проведение психометрического анализа характеристик заданий в сравнении с международной базой iPIPS Валидизация русскоязычной версии инструмента iPIPS Разработка методики оценивания детей и построения единой шкалы для двух циклов, совместимой с международной шкалой Проведение первичного анализа данных По договору с университетом Дарема Центр мониторинга качества образования Института образования НИУ ВШЭ проводит весь цикл работ по адаптации и валидизации инструмента iPIPS в РФ.

Структура iPIPS Буклет с заданиями для детей (вербальная часть, математика, отношения) Анкета для родителей Опросники для учителя: Анкета социального и эмоционального развития ребенка Анкета учителя

Структура буклета Словарный запас Идеи о чтении: Структура текста Повторение слов Рифмование слов Буквы Слова Чтение коротких историй и предложений Понимание текста Простой счет Простое сложение и вычитание Цифры Задачи Письмо Отношения

Письмо 27% детей могут полностью верно написать своё имя, с учётом регистра

Узнавание слов и объектов

Фонологический блок Повторение слов стоп метла панец фриглияга нышление сопоставлять предприимчивый обсерватория

Слова

Чтение: короткая история Все слова прочитаны правильно: 31% Ни одного слова не прочитано: 17%

Примеры задач по математике 1) Саша хочет купить апельсин, который стоит 12 рублей, какие монеты ему нужно взять? 2) Какое число на 3 меньше, чем 7? 3) Половина от 6 - это сколько?

Выборка Стратифицированный рандомизированный отбор: случайный отбор населенного пункта по заданным параметрам, случайный отбор школы, случайный отбор класса, случайный отбор учеников в классе Регион: г. Великий Новгород и Новгородская область Объем выборки: 311 учеников первого класса (5% генеральной совокупности)

Подготовка интервьюеров Конкурс интервьюеров из числа студентов МП НИУ ВШЭ «Измерения в психологии и образовании» Тренинг интервьюеров: Знакомство с материалами iPIPS Просмотр видеозаписи процедуры оценки на примере диагностики в Великобритании Разбор «сложных» ситуаций оценивания

Процедура диагностики индивидуальная работа с каждым ребенком

Процедура диагностики Время: минут Оценивание в игровой форме Красочный буклет для ребенка Планшет с ПО для интервьюера

Процедура диагностики Опрос родителей заполнение анкеты, 10 минут Опрос учителей Анкета социального и эмоционального развития ребенка (30 минут) Анкета учителя (10 минут)

Первичный анализ: связь результатов с возрастом Возраст МатематикаЧтениеЧисло учеников меньше 748, 749, ,550,849,9167 больше 7,551,149,743 Статистически значимых различий в средних нет

Результаты первичного анализа Пол ребенка: По математике результаты мальчиков и девочек не различаются, по чтению и фонологической грамотности результаты девочек несколько выше Место проживания: По математике разницы в результатах у учеников из различных населенных пунктов нет, по чтению – есть

Образовательный уровень родителей Дети, у которых мать имеет высшее образование, читают лучше и больше понимают в математике, чем дети, у которых мама без высшего образования t-testРазница в баллах математика 4.51* чтение 7.35* 41% матерей и 50% отцов имеют среднее профессиональное образование

87% детей ходили в детский сад более 3лет 89% детей ходили в детский сад в год ПЕРЕД школой 63% детей посещали кружки и секции 55% посещали специальные подготовительные занятия перед школой 28. Ходил ли ребенок в детский сад В ГОД ПЕРЕД ШКОЛОЙ? NMeanStd. Dev. математика да нет чтение да нет Ходил ли ребенок в детский сад В ГОД ПЕРЕД ШКОЛОЙ? нет да

Анкета социального и эмоционального развития ребенка Между социальным и эмоциональным развитием ребенка и его навыками по чтению и математике существует положительная значимая связь. Наиболее яркая связь наблюдается между умением ребенка сосредоточиться и его навыками по чтению и математике. Шкалы Привыкание Независимость Уверенность Сосредоточенность в занятиях, которыми руководит учитель Сосредоточенность в самостоятельных занятиях Поведение Взаимоотношения со сверстниками Взаимоотношения со взрослыми Правила Культурное развитие Коммуникация

Профили социального и эмоционального развития ребенка Средний балл класса Ученик А Ученик Б

Два способа использования инструмента Анализ функционирования системыИндивидуальная диагностика ВыборкаРепрезентативная выборка на уровне муниципалитета/региона Все дети школы/муниципалитета/региона Кто проводитВнешние интервьюерыУчителя, школьные психологи Потребители результатов Органы управления образованиемУчителя, родители Использование результатов Выявление трендов, факторов, влияющих на прогресс детей; сравнение УМК, проверка гипотез, повышение квалификации учителей Построение индивидуальной образовательной траектории ребенка, измерение индивидуального прогресса, корректировка образовательного процесса

Планы на гг.: Второй этап апробации весна 2014 г., та же выборка Построение единой шкалы Разработка методики оценивания индивидуального прогресса Проведение 1-го этапа исследования в 2-3 регионах РФ сентябрь-октябрь 2014 г., выборка 3000 человек Валидизация инструмента Проведение международного сравнительного исследования готовности к школе Проведение 2-го этапа исследования апрель-май 2014 г., та же выборка 3000 человек Оценивание индивидуального прогресса Проведение международного сравнительного исследования прогресса детей в течение первого года обучения

СПАСИБО ЗА ВНИМАНИЕ! Карданова Елена Юрьевна Центр мониторинга качества образования Институт образования НИУ Высшая школа экономики