Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов. - презентация

1 Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Обработка результатов тестирования Тестирование компетентности в области использования информационно-коммуникационных (ИК) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка

2 Автоматическая обработка результатов тестирования: сети Байеса 2

3 Процедура установки тестовых стандартов ДОСТУП УПРАВЛЕН ИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕ НИЕ ИНТЕГРАЦ ИЯ ОЦЕНКА ПРОДВИНУТЫЙВВ В ВВВВ ВЫШЕ БАЗОВОГОВВВВВ С С БАЗОВЫЙ ССССССС НИЖЕ БАЗОВОГО ССССС НН РАЗВИВАЮЩИЙСЯННННННН 3

4 Результаты тестирования школьников 4

5 О результатах психометрических исследований 5

6 Психометрические исследования Исследование валидности (конвергентной, дивергентной, текущей, очевидной) Корреляционный анализ Факторный анализ Анализ внутренней согласованности Анализ параметров заданий Анализ DIF (различного функционирования заданий) Анализ функционирования сети Байеса (model criticism)

7 Конвергентная, дивергентная и текущая валидность Измерение Коэффициент корреляции Спирмана Собственная оценка своих навыков Уверенность в собственных ИК-способностях 0.22 – 0.3 Частота обращения к навыкам ИКТ – 0.12 Техническая грамотность 0.04 – 0.12 Самодостаточность Просил помощи (обратное кодирование) 0.05 – 0.22 Самостоятельно решал проблемы 0.06 – 0.25 Успеваемость Средняя оценка успеваемости в школе 0.32 – 0.48

8 Факторный анализ Эксплораторный и конфирматорный факторный анализ : ФА на уровне наблюдаемых переменных ФА на уровне заданий Факторная структура отражает контекст заданий Превалирует решение с одним фактором ИКТ-компетентность – сложный конструкт, части которого связаны между собой; Использование единого показателя ИКТ- компетентности оправдано.

9 Надежность (внутренняя согласованность) наблюдаемых переменных: Альфа Кронбаха Метод расщепления с коррекцией заданий: Альфа Кронбаха Метод расщепления с коррекцией

10 Дополнительные измерения, Белоруссия Измерение Количество вопросовСреднееСтандартное отклонение Альфа Кронбаха Собственная оценка своих навыков Уверенность в собственных ИК- способностях Частота обращения к навыкам ИКТ Техническая грамотность Самодостаточность Просил помощи (обратное кодирование) NA Самостоятельно решал проблемы NA Успеваемость Средняя оценка по предметам в школе

11 Model criticism Weavers surprise index Logarithmic and quadratic loss Spherical payoff Error rate Confusion matrix Calibration table Test sensitivity

12

13

14

15

16 Дальнейшее развитие инструмента Переход к адаптивному тестированию Администрирование с параллельным обучением сети

17 Процедура установки тестовых стандартов ДОСТУП УПРАВЛЕН ИЕ ПЕРЕДАЧА СОЗДАНИЕ ОПРЕДЕЛЕ НИЕ ИНТЕГРАЦ ИЯ ОЦЕНКА ПРОДВИНУТЫЙВВ В ВВВВ ВЫШЕ БАЗОВОГОВВВВВ С С БАЗОВЫЙ ССССССС НИЖЕ БАЗОВОГО ССССС НН РАЗВИВАЮЩИЙСЯННННННН 17

18 Что думают школьники о тестировании ИК- компетентности 18 Мнения Согласны с мнением (%) Я никогда прежде не участвовал в такого рода тестировании. 90% Данный тест оказался мне по силам 85% Чтобы успешно выполнить этот тест, нужно хорошо поработать головой. 96% Мне понравился этот тест. Мне было интересно отвечать на вопросы. 92% Тестовые задания имеют самое прямое отношение к тому, чем я занимаюсь в школе или дома. 87%

19 Семинар « Оценка информационно-коммуникационной компетентности выпускников основной школы: инструментарий, организация тестирования и использование результатов » ноября 2013 года, г. Москва Спасибо за внимание !