Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка Учебный курс «Информирование различных целевых групп о результатах оценки учебных достижений школьников» сентября 2011 года, г. Москва Инструмент оценки информационно-коммуникационной компетентности выпускников основной школы Тестирование компетентности в области использования информационно-коммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях С.М.Авдеева

Рост образовательных результатов при инвестициях в образовательные результаты Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (World Bank Policy Research Working Paper 4122, February 2007). Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране Кривые возврата инвестиций в образование при росте его качества на 0.5 стандартного отклонения, которые получены экономистами Всемирного банка реконструкции и развития (World Bank Policy Research Working Paper 4122, February 2007). Десятилетние вложения, приводящие в результате к заметному повышению уровня образовательных результатов школьников, дают надбавку к ВВП сопоставимую по объему с общими затратами на образование в стране 2

Содержание презентации Оценка ИКТ- компетентности: цели, задачи, целевая аудитория Методика тестирования ИКТ- компетентности Спецификация теста Разработка тестовых заданий: пример Система автоматической обработки результатов тестирования Анализ результатов тестирования 3

Образование в ХХI веке – образование в век изменений Информатизация – процесс изменения содержания, методов и организационных форм учебной работы для подготовки будущих жителей информационного общества Изменение педагогических практик – Образовательные стандарты XXI века – Образовательные результаты XXI века – ИКТ насыщенная образовательная среда, проблема 1:1… Опора на новые ресурсы – Контентно насыщенная образовательная среда – Цифровые учебно-методические материалы – Нормативная база работы ОУ в ИКТ насыщенной образовательной среде 4

Критическое мышление78% Информационные технологии77% Здоровье и благополучие76% Умение работать в команде74% Умение решать проблемы74% Самостоятельность58% Почему образовательные результаты XXI века? Какие навыки и характеристики приобретут большую значимость в ближайшие пять лет? 5

Цели тестирования ИКТ-компетентности Цель: обеспечить реалистичную и разностороннюю оценку ИКТ-компетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: – стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКТ-компетентности. – обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. – оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9- классники) 6

Существующие тесты оценки ИКТ- компетентности (грамотности) 7

Большая часть существующих тестов измеряет техническую грамотность и основаны на формате вопрос-ответ (не жизненные ситуации), для оценки результатов используют простые баллы или IRT статистику. QCA Key Stage 3 ICT Test (британская национальная система тестирования ИКТ-грамотности, измеряет знания, навыки и умение решать проблемы при использовании ИКТ, основан на сценарии, формирующее оценивание, закрывается из- за низкой валидности) iCritical Thinking, бывшее iSkills, ETS (измеряет ИКТ грамотность студентов вузов, основана на сценариях, оценка результатов – IRT) Australian National Assessment Program – ICT Literacy (выборочное исследование, основано на сценариях, оценка результатов – IRT) Internet and Computing Core Certification - IC3 (понимание как работает компьютер, знание ключевых программ и работа с Интернетом) Information Literacy Test (когнитивный, в форме вопрос-ответ, т.е.не основан на сценарии, результаты только на групповом уровне) International Computer Drivers License (измеряет технические знания, в формате вопрос-ответ на бумаге Standardized Assessment of information literacy skills – SAILS (измеряет информационную грамотность ВНЕ среды ИКТ, форма вопрос-ответ на бумаге или через web- интерфейс) TRAILS: Tool for Real-time Assessment of Information Literacy Skills (измеряет информационную грамотность, в форме вопрос-ответ, отдельно по 5 категориям навыков) 8

Преимущества данной системы тестирования Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие: соблюдение этических и правовых норм при использовании цифровых технологий и инструментов/средств коммуникации. Это важно для формирования социально- ответственной личности Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса 9

ИКТ- КОМПЕТЕНТНОСТЬ: ОПРЕДЕЛЕНИЕ И СОСТАВЛЯЮЩИЕ 10

Что такое ИКТ-компетентность ИКТ- компетентность – это способность использовать цифровые технологии, инструменты коммуникации и/или сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы функционировать в обществе, основанном на знании/чтобы успешно жить и трудиться в условиях современного информационного общества. 11

Составляющие ИКТ-компетентности На основании определения American Library Association ИКТ- компетентность Определение Доступ Управление Интеграция Оценка Создание Передача 12

Составляющие ИКТ-компетентности Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории 13

Спецификация теста Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социо-культурных и др.), с которыми человек сталкивается в течение всей жизни (7 ИКТ-компетенций) При выполнении заданий от участника тестирования потребуется: – осуществлять поиск – проводить различные действия с данными и передавать их – отбирать и анализировать информацию – создавать или выбирать презентационные материалы для конкретной целевой аудитории – принимать решения о правомерности и этичности использовании полученной информации. 14

Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Простое (оценка 1-й компетентности) Средней сложности (оценка 2-3 компетентностей) Сложное (оценка 4-5 компетентностей) Тест состоит из 16 заданий, разных по степени сложности и продолжительности выполнения. Общая продолжительность тестирования - не более 2-х академических часов 15

ОпределениеДоступУправлениеИнтеграцияОценкаСозданиеПередача Текстовый редактор Электронная почта Электронные таблицы Базы данных Интернет Другие Задание 1 Задание 2 Задание 3 При выполнении теста используются различные ИНСТРУМЕНТЫ 16

ТЕСТ, ПОСТРОЕННЫЙ НА СИСТЕМЕ ДОКАЗАТЕЛЬСТВ Концептуальные подходы к разработке инструмента оценки ИКТ- компетентности 17

Компетенции и как их можно измерить Тест, построенный на системе доказательств Компетенция/Компетентность – это то, что мы хотим измерить Измеряемое доказательство – как обнаружить и интерпретировать то, что позволяет измерить впрямую не измеряемые навыки/как получить измеряемое доказательство впрямую не измеряемых компетентностей 18

Тест, построенный на системе доказательств Концептуальные подходы к разработке инструмента оценки ИКТ- компетентности Что мы измеряем? – Уровень ИКТ- компетентности (7 ИКТ- компетенций) Как мы можем оценить уровень ИКТ-компетентности? Как мы можем обнаружить/судить об… – Через систему измеряемых доказательств Как мы измеряем уровень ИКТ-компетентности? – Через систему тестовых заданий 19

Пример тестового задания Задание «Работа с почтовым ящиком/ электронной почтой» Данное задание измеряет/определяет уровень компетенции «Управление информацией» с помощью реальной жизненной ситуации: – необходимо разобрать/рассортировать электронные письма, накопившиеся в большом количестве в почтовом ящике за время каникул. 20

Шаг 1. Ситуация 21

Шаг 2. Интерфейс приложения 22

Шаг 3. Инструкция по выполнению задания 23

Шаг 4. Выполнение задания 24

Шаг 5. Завершение задания 25

Тестовое задание – обработка результатов «Работа с почтовым ящиком»: автоматическая обработка результатов тестирования Измеряемая компетенция: – УПРАВЛЕНИЕ Наблюдаемые признаки/Измеряемые переменные, по которым можно судить о наличии данной компетенции (Observables): – Точность в управлении информацией – Сохранение информации для того, чтобы ее не потерять – Сохранение информации для того, чтобы в дальнейшем ее легко и быстро можно было найти. Как измерить 1-й наблюдаемый признак/ переменную 1: – Если участник тестирования сохранил все нужные письма и удалил все остальные (ненужные), то он достигает уровня «ВЫСОКИЙ» по 1-ому наблюдаемому признаку; – Если задание выполнено на 80-99%, то участник тестирования достигает уровня «СРЕДНИЙ» по данному признаку. – Если менее 80% писем рассортированы/обработаны правильно, то уровень «НИЗКИЙ». 26

Наблюдаемые признаки/Измеряемые переменные (Observables) Наблюдаемые признаки /Измеряемые переменные (Observables) Уровень Точность в управлении информацией Высокий: удалено 10 ненужных писем (4 письма с пометкой «СПАМ» и 1 письмо с пометкой Nelson, 5 больших по объему писем) и не удалены (оставлены) 3 нужных письма. Средний: Работа выполнена на 80%/Обработано 80% писем Низкий: Работа выполнена менее чем на 80% Сохранение информации для того, чтобы ее не потерять Высокий: сохранены все электронные письма, которые необходимо сохранить. Средний: сохранено 80% электронных писем, которые необходимо сохранить. Низкий: сохранено менее 80% электронных писем, которые необходимо сохранить. Сохранение информации для того, чтобы в дальнейшем ее можно было легко и быстро найти Высокий: сохранены 5 файлов в соответствующие папки Средний: сохранены 4 файла в соответствующие папки Низкий: сохранено менее 4 файлов в соответствующие папки 27

Автоматическая обработка результатов тестирования: сети Байеса 28

Профили, необходимые для классификации компетенций 29

Результаты тестирования школьников Результаты тестирования: ПРОДВИНУТЫЙ: 46% ВЫШЕ БАЗОВОГО: 52% БАЗОВЫЙ: 0,9% НИЖЕ БАЗОВОГО: 1% ФОРМИРУЮЩИЙСЯ: 0,1% 30

Способ проведения тестирования (Test Delivery) Доступ к тестовой системе осуществляется через Интернет или с локального сервера (например, со школьного сервера, или же с любого компьютера, который подключен к локальной сети и в который загружена тестовая система). Технология протокола удаленного рабочего стола (Remote Desktop Protocol technology) Результаты отсылаются на сервер по защищенному каналу (securely) и хранятся там в закрытом доступе/ и доступ к ним ограничен(privately). 31

Общая схема проведения тестирования 32

Анализ результатов тестирования/ Отчет о результатах тестирования Отчеты о результатах тестирования доступны по Интернету/ можно посмотреть в Интернете (на закрытом веб-сайте/на веб-сайте с ограниченным доступом). Отчеты представлены как индивидуальные, т.е. на отдельного участника тестирования, так и групповые, т.е. на группу в целом. Планируется разработать специальный инструмент для анализа результатов тестирования в режиме on-line. С его помощью можно будет, например, сравнивать результаты разных групп школьников, разных школ, регионов и т.д. 33

НЕКОТОРЫЕ РЕЗУЛЬТАТЫ РЕАЛИЗАЦИИ АНАЛОГИЧНОГО ПРОЕКТА В РОССИИ ИКТ-тестирование 9-классников Республики Татарстан 34

Методика формирования выборки учащихся Общее количество учащихся, обучающихся в девятых классах, Требования к проведению тестирования: – Надёжность = 95% – Доверительный интервал = 5% Вариант 1 – Прямая выборка 380 учащихся – Ограничения чрезмерные организационные затраты – учащиеся выбираются из более, чем 250 школ республики. Вариант 2 – Выборка учащихся формируется из отдельных классов в ОУ РТ – Случайный выбор ОУ, из расчёта на то, что в тестировании примет участие лишь один класс К тестированию приглашено 422 учащихся (с резервом при 90% явке ) 35

Выборка учащихся для оценки ИКТ 36 Оценка ИКТ компетентности учащихся 9 классов Республики Татарстан с 22 по 26 ноября 2010 года

Сводные результаты обработки данных 37

Что думают школьники о тестировании ИКТ- компетентности 38

Разработка инструмента осуществляется при поддержке Минфина России и при участии Всемирного Банка Спасибо за внимание! Авдеева С.М. 39