Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Обработка результатов тестирования Тестирование компетентности в области использования информационно-коммуникационных (ИК) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

Автоматическая обработка результатов тестирования: сети Байеса 2

Процедура установки тестовых стандартов ДОСТУП УПРАВЛЕН ИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕ НИЕ ИНТЕГРАЦ ИЯ ОЦЕНКА ПРОДВИНУТЫЙВВ В ВВВВ ВЫШЕ БАЗОВОГОВВВВВ С С БАЗОВЫЙ ССССССС НИЖЕ БАЗОВОГО ССССС НН РАЗВИВАЮЩИЙСЯННННННН 3

Результаты тестирования школьников 4

О результатах психометрических исследований 5

Психометрические исследования Исследование валидности (конвергентной, дивергентной, текущей, очевидной) Корреляционный анализ Факторный анализ Анализ внутренней согласованности Анализ параметров заданий Анализ DIF (различного функционирования заданий) Анализ функционирования сети Байеса (model criticism)

Конвергентная, дивергентная и текущая валидность Измерение Коэффициент корреляции Спирмана Собственная оценка своих навыков Уверенность в собственных ИК-способностях 0.22 – 0.3 Частота обращения к навыкам ИКТ – 0.12 Техническая грамотность 0.04 – 0.12 Самодостаточность Просил помощи (обратное кодирование) 0.05 – 0.22 Самостоятельно решал проблемы 0.06 – 0.25 Успеваемость Средняя оценка успеваемости в школе 0.32 – 0.48

Факторный анализ Эксплораторный и конфирматорный факторный анализ : ФА на уровне наблюдаемых переменных ФА на уровне заданий Факторная структура отражает контекст заданий Превалирует решение с одним фактором ИКТ-компетентность – сложный конструкт, части которого связаны между собой; Использование единого показателя ИКТ- компетентности оправдано.

Надежность (внутренняя согласованность) наблюдаемых переменных: Альфа Кронбаха Метод расщепления с коррекцией заданий: Альфа Кронбаха Метод расщепления с коррекцией

Дополнительные измерения, Белоруссия Измерение Количество вопросовСреднееСтандартное отклонение Альфа Кронбаха Собственная оценка своих навыков Уверенность в собственных ИК- способностях Частота обращения к навыкам ИКТ Техническая грамотность Самодостаточность Просил помощи (обратное кодирование) NA Самостоятельно решал проблемы NA Успеваемость Средняя оценка по предметам в школе

Model criticism Weavers surprise index Logarithmic and quadratic loss Spherical payoff Error rate Confusion matrix Calibration table Test sensitivity

Дальнейшее развитие инструмента Переход к адаптивному тестированию Администрирование с параллельным обучением сети

Процедура установки тестовых стандартов ДОСТУП УПРАВЛЕН ИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕ НИЕ ИНТЕГРАЦ ИЯ ОЦЕНКА ПРОДВИНУТЫЙВВ В ВВВВ ВЫШЕ БАЗОВОГОВВВВВ С С БАЗОВЫЙ ССССССС НИЖЕ БАЗОВОГО ССССС НН РАЗВИВАЮЩИЙСЯННННННН 17

Что думают школьники о тестировании ИК- компетентности 18 Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Спасибо за внимание !