2005-2007 © Рособрнадзор 2005-2007 © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Использование результатов Интернет. - презентация

1 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Использование результатов Интернет – тестирования в вузе Масленников Александр Степанович Москва, ноября 2007 г.

2 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Информационно-аналитические карты вузов с результатами тестирования

3 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне, заданном в ГОС Дидактическая единица (ДЕ) – раздел дисциплины Освоение ДЕ – выполнение не менее половины заданий раздела

4 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка выполнения требований ГОС Объект оценки Показатель освоения требований ГОС Критерий освоения требований ГОС СтудентДоля освоенных дидактических единиц ГОС Освоение всех дидактических единиц ГОС Образова- тельная программа Доля студентов, освоивших все дидактические единицы ГОС 50% студентов, освоивших все дидактические единицы ГОС

5 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Показатели освоения дисциплин для ООП вуза, принимавшего участие в Интернет-экзамене

6 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Специфика оценки выполнения требований ГОС Идентификато р студента Процент выполненных заданий Количество освоенных ДЕ Процент освоенных ДЕ Выполнил требования ГОС 1Att716583%11100%да 2Att715077%11100%да 3Att715177%11100%да 4Att715377%11100%да 5Att715877%11100%да 6Att715977%11100%да 7Att716477%11100%да 8Att716270%1091%нет 9att716366%982%нет 10att715464%1091%нет 11att715564%982%нет 12att715762%1091%нет 13att716162%1091%нет 14att715258%982%нет 15att715650%764%нет Среднее70%47%

7 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов тестирования: рейтинг-лист

8 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов тестирования: гистограмма По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки

9 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Представление результатов: карта коэффициентов решаемости заданий Карта коэффициентов решаемости позволяет оценить уровень подготовки испытуемых по отдельным темам измерительных материалов По данному графику можно выявить темы, оказавшиеся трудными для студентов контролируемой группы (коэффициент решаемости менее 0,4)

10 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Представление результатов: карта коэффициентов освоения ДЕ График позволяет оценить степень освоения тематических разделов дисциплины Наглядно выявляются разделы, освоенные на недостаточном уровне (коэффициент освоения менее 0,7)

11 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Представление результатов: график освоения дисциплины на основе выполнения совокупности ДЕ График позволяет оценить освоение совокупности разделов дисциплины на уровне требований ГОС По графику может быть проведено сравнение долей студентов, освоивших все разделы дисциплины с критерием аттестации (50 % студентов, освоивших все разделы)

12 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Диаграмма упорядочения результатов освоения дисциплин для специальностей вуза Математика Информатика Отечественная история Философия

13 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Формы представления результатов. Диаграмма результатов освоения дисциплины для ООП вуза на фоне других вузов

14 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Рособрнадзор Сравнение показателей освоения требований ГОС с другими вузами Показатели освоения требований ГОС для ООП по профилям подготовки Показатели освоения требований ГОС; Показатели освоения ДЕ дисциплин Показатели освоения ДЕ дисциплин; Коэффициенты решаемости заданий по темам Рейтинговый показатель в группе, специальности, вузе, группе вузов Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования Структурирование информации о результатах Интернет-экзамена для пользователей различного уровня

15 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Методическая поддержка тестирования на сайте Содержание ГОС по дисциплине Тематическая структура АПИМ Перечень контролируемых учебных элементов по темам АПИМ Примеры тестовых заданий (содержание, форма, уровень трудности) Репетиционное тестирование Методика оценки результатов тестирования

16 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Студент Результаты тестирования: Выполнение заданий по каждой теме Освоение разделов Рейтинг в группе по числу выполненных заданий и/или освоенных разделов Рейтинг на курсе по уровню освоения совокупности дисциплин (цикла дисциплин) на уровне требований ГОС

17 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Студент Выполнение заданий по каждой теме

18 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Студент Рейтинг-лист

19 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Преподаватель Результаты Интернет-тестирования: Индивидуальные результаты студентов Карта решаемости заданий в одной и нескольких группах Карта освоения разделов в одной и нескольких группах Показатели освоения дисциплины по образовательным программам

20 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка освоения тем дисциплины студентами разных специальностей Преподаватель

21 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка освоения разделов дисциплины студентами разных специальностей Преподаватель

22 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Карта коэффициентов освоения ДЕ Дисциплина: Физика ООП: x «Лесное хозяйство» Группа: ЛХ-11 Карта коэффициентов освоения ДЕ Дисциплина: Физика ООП: x «Лесное хозяйство» Группа: ЛХ-12

23 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Преподаватель Сравнение с обобщенными результатами по данной структуре

24 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Кафедра Освоение разделов дисциплины для различных образовательных программ Освоение дисциплины в целом для различных образовательных программ

25 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Оценка освоения разделов дисциплины студентами разных специальностей Кафедра

26 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Кафедра Результаты освоения дисциплины в целом для образовательных программ кафедры

27 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Факультет (деканат) Результаты тестирования по циклу ЕН для группы специальностей

28 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Ректор Показатели освоения дисциплин для ООП вуза Сравнение показателей освоения дисциплин с результатами других вузов Мониторинг результатов оценки базового уровня подготовки студентов вуза

29 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Диаграмма упорядочения результатов освоения дисциплин для специальностей вуза Математика Информатика Отечественная история Философия

30 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Сравнение показателей освоения дисциплины с результатами других вузов. Мониторинг результатов освоения базового уровня подготовки по дисциплине Ректор

31 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Две актуальные задачи при проведении самообследования: оценка освоения дисциплин на соответствие требованиям ГОС мониторинг результатов этой оценки для образовательных программ (не менее 3-х лет)

32 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

33 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Особенности контроля знаний студентов для целей аккредитации 1. По объекту оценивания – учебные достижения группы, курса, всех студентов ООП (но не индивидуальные достижения!) 2. По виду контроля – после изучения дисциплины (цикла дисциплин) 3. По содержанию контроля – оценка всех элементов содержания дисциплины (цикла дисциплин) на уровне, заданном в ГОС (базовый уровень) 4. По шкале оценивания – бинарная оценка (усвоил – не усвоил) 5. По характеру процедуры – массовое оценивание в ограниченные сроки (технологический подход)

34 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Основные черты критериально- ориентированного подхода к оценке учебных достижений Детально описанная область содержания Перечень основных знаний и умений Внешний критерий оценки освоения учебного материала

35 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Программа оценки содержания и качества подготовки студентов при самообследовании 1.Все аттестуемые ООП 2.Все циклы дисциплин по каждой ООП 3.Важнейшие дисциплины цикла: не менее 3-х по циклам ГСЭ и ЕН не менее 5-и по циклам ОПД и СД 4.Студенческие группы, завершившие изучение дисциплины не позднее чем за 1 год до самообследования

36 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Приблизительная оценка объема выборки дисциплин Число дисциплин в ООП Число контролируемых дисциплин = 0,90 – 0,95 = 0,8 – 0,9 = 0,7 – 0,

37 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Нормативное обеспечение использования результатов ФЭПО при самообследовании Распоряжение руководителя Федеральной службы по надзору в сфере образования и науки В.А. Болотова N Управлению лицензирования, аттестации и аккредитации Рособрнадзора (В.И. Круглову), Национальному аккредитационному агентству в сфере образования (В.Г. Наводнову) в срок до разработать методику использования технологии Интернет-тестирования по циклам общих гуманитарных и социально-экономических дисциплин, а также общих математических и естественнонаучных дисциплин при проведении аттестации образовательных учреждений по образовательным программам высшего профессионального образования. 2. Рекомендовать вузам (филиалам) использование технологии Интернет- тестирования, разработанной Национальным аккредитационным агентством в сфере образования, по указанным в п.1 циклам дисциплин при проведении самообследования.

38 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Результаты Интернет-тестирования: Позволяют делать разностороннюю диагностику содержания и уровня подготовки студентов Являются основой для сравнения результатов освоения требований ГОС студентами других вузов и ООП Позволяют проводить мониторинговые исследования базового уровня подготовки студентов Могут эффективно использоваться во внутривузовских системах менеджмента качества при внешней оценке базового уровня подготовки Отвечают всем требованиям, предъявляемым к результатам оценки освоения требований ГОС при самообследовании вуза

39 © Рособрнадзор © Росаккредагентство ФЕДЕРАЛЬНЫЙ ИНТЕРНЕТ-ЭКЗАМЕН В СФЕРЕ ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ Спасибо за внимание! Александр Степанович Масленников Тел: 8-(8362) ,