2005-2009 © Рособрнадзор 2005-2009 © Росаккредагентство 2007-2009 © НИИ МКО Аналитический обзор результатов Интернет-экзамена в сфере профессионального. - презентация

1 © Рособрнадзор © Росаккредагентство © НИИ МКО Аналитический обзор результатов Интернет-экзамена в сфере профессионального образования: декабрь 2008 – январь 2009 Аналитический обзор результатов Интернет-экзамена в сфере профессионального образования: декабрь 2008 – январь 2009 Среднее профессиональное образование Наводнов Владимир Григорьевич Масленников Александр Степанович Национальное аккредитационное агентство в сфере образования Москва, февраль

2 © Рособрнадзор © Росаккредагентство © НИИ МКО Потребность в проекте: Помощь сузам в проведении самообследования - тестирование по циклам дисциплин: ЕН ГСЭ ОПД Создание сузами элементов системы обеспечения качества ( в части внешней независимой оценки результатов обученности студентов ) Реальная помощь сузам по предотвращению стрессовых ситуаций при внеочередных проверках Если суз регулярно участвует в ФЭПО (и результаты не вызывают сомнений), то экспертиза ООП (и даже вуза в целом) может проходить без проведения аккредитационного тестирования

3 © Рособрнадзор © Росаккредагентство © НИИ МКО Европейские стандарты и руководящие принципы Болонского процесса Поставщики высшего образования несут основную ответственность за качество и его гарантию Должно поощряться развитие культуры качества в вузах Должны разрабатываться процессы, с помощью которых вузы смогли бы продемонстрировать свою отчетность, … Гарантия качества с целью отчетности полностью равна по значимости гарантии качества с целью совершенствования учебного процесса Учебные заведения должны демонстрировать качество своей деятельности как в стране, так и на международной арене (г. Берген, мая 2005 г.)

4 © Рособрнадзор © Росаккредагентство © НИИ МКО Режимы тестирования:on-line и off-line on-line off-line Пароли студентов Программа тестирования База заданий Локальный сервер вуза INTERNET

5 © Рособрнадзор © Росаккредагентство © НИИ МКО att.nica.ru

6 © Рособрнадзор © Росаккредагентство © НИИ МКО Добровольность Полное доверие сузам в организации тестирования Конфиденциальность информации Присутствие «наблюдателей» Использование выборочных методов (в т.ч. Поли АПИМов) att.nica.ru Тренинг ( самоконтроль, обучение ) Педагогический анализ

7 © Рособрнадзор © Росаккредагентство © НИИ МКО Динамика участия студентов в ФЭПО более 1 миллиона

8 © Рособрнадзор © Росаккредагентство © НИИ МКО Статистика участия в ФЭПО VIII ( декабрь 2008 г.- январь 2009 г. ) 1320 вуза и филиала 81 (из 83) субъект РФ 6 вузов из СНГ (Армения, Беларусь, Кыргызстан, Молдавия, Украина и Казахстан) 569 учреждений СПО

9 © Рособрнадзор © Росаккредагентство © НИИ МКО Статистика участия в ФЭПО VIII Программы Экзамены

10 © Рособрнадзор © Росаккредагентство © НИИ МКО Наличие тестовых материалов

11 © Рособрнадзор © Росаккредагентство © НИИ МКО Дисциплины Интернет-экзамена на апрель – июнь 2009 г. ВПО СПО ГСЭОМЕН ГСЭ ОМЕН Философия Отечественная история Политология Культурология Правоведение Педагогика и психология Русский язык и культура речи Английский язык Экономика Социология Математика Информатика Физика Химия Математика и информатика Концепции современного естествознания Экология Теоретическая механика Биология Основы философии Основы экономики Основы права Основы социологии и политологии Русский язык и культура речи Английский язык Социальная психология Математика Информатика Экологические основы природопользования Разработчики материалов – преподаватели более 150 вузов России Полидисциплинарные АПИМ по циклу ГСЭ Полидисциплинарные АПИМ по циклу ЕН Полидисциплинарные АПИМ по циклу ГСЭ

12 © Рособрнадзор © Росаккредагентство © НИИ МКО Дисциплины Интернет-экзамена на апрель – июнь 2009 г. ОПД ВПО Экономический профиль Макроэкономика Микроэкономика Национальная экономика Мировая экономика Менеджмент Инженерно-технический профиль Юридический профиль Теория государства и права Уголовное право Гражданский процесс Метрология, стандартизация и сертификация Электроника и электротехника Теоретическая механика Начертательная геометрия. Инженерная графика Материаловедение. ТКМ Финансы и кредит Маркетинг Статистика Эконометрика Бухгалтерский учет Конституционное право России Международное право Теплотехника Детали машин Теория механизмов и машин Теоретические основы электротехники, основы теории цепей Сопротивление материалов Гражданское право Криминалистика Административное право Трудовое право Экологическое право Деньги, кредит, банки Экономическая теория Теория автоматического управления Экономика организации (предприятия) Гидравлика

13 © Рособрнадзор © Росаккредагентство © НИИ МКО Дисциплины Интернет-экзамена на апрель – июнь 2009 г. ОПД ВПО Инженерно-строительный профиль Инженерная геология Механика грунтов Инженерная геодезия Педагогический профиль Педагогика Психология Безопасность жизнедеятельности Возрастная анатомия и физиология Основы медицинских знания и здорового образа жизни Основы специальной педагогики и психологии Сельскохозяйственный профиль Ботаника Физиология растений Защита растений Микробиология Физиология и этология животных Морфология животных

14 © Рособрнадзор © Росаккредагентство © НИИ МКО Дисциплины Интернет-экзамена на апрель – июнь 2009 г. ОПД СПО Педагогический профиль Педагогика Психология Безопасность жизнедеятельности Экономический профиль Маркетинг Статистика Технический профиль Материаловедение Юридический профиль Правовое обеспечение профессиональной деятельности Инженерная графика

15 © Рособрнадзор © Росаккредагентство © НИИ МКО Двенадцать основных принципов ФЭПО Добровольность участия вузов (сузов)Добровольность участия вузов (сузов) Полное доверие в организации проведения тестирования Полное доверие в организации проведения тестирования Конфиденциальность получаемой информации Конфиденциальность получаемой информации Компьютерная проверка заданий (и, как следствие, относительно невысокая стоимость)Компьютерная проверка заданий (и, как следствие, относительно невысокая стоимость) Использование Интернет-технологий в процедуре тестирования Использование Интернет-технологий в процедуре тестирования Режим самофинансирования Режим самофинансирования Единое время проведения Единое время проведения Единые измерители для каждой ООПЕдиные измерители для каждой ООП Использование критериально-ориентированных тестов (АПИМ)Использование критериально-ориентированных тестов (АПИМ) Общественный контроль за качеством тестовых материалов Общественный контроль за качеством тестовых материалов Оценивание и анализ, но не инспектирование Оценивание и анализ, но не инспектирование Единые методики обработки и представления информации (педагогический анализ)Единые методики обработки и представления информации (педагогический анализ)

16 © Рособрнадзор © Росаккредагентство © НИИ МКО Основные принципы проведения Интернет-экзамена 1. Добровольность участия

17 © Рособрнадзор © Росаккредагентство © НИИ МКО 39% 46% 72% % 28% 54% 44% 51%

18 © Рособрнадзор © Росаккредагентство © НИИ МКО 2. Полное доверие в организации проведения тестирования За организацию и проведение тестирования ответственность несут сами образовательные учреждения

19 © Рособрнадзор © Росаккредагентство © НИИ МКО 3. Конфиденциальность получаемой информации 7. ДОПОЛНИТЕЛЬНЫЕ УСЛОВИЯ 7.1. Персональная информация о результатах педагогических измерений, полученная в рамках настоящего Договора, не может быть передана Исполнителем третьей стороне без согласия Заказчика.

20 © Рособрнадзор © Росаккредагентство © НИИ МКО Типы заданий и их оценивание 4. Компьютерная проверка заданий

21 © Рособрнадзор © Росаккредагентство © НИИ МКО 5. Использование Интернет-технологий в процедуре тестирования

22 © Рособрнадзор © Росаккредагентство © НИИ МКО 6. Режим самофинансирования Для образовательного учреждения, участвующего в ФЭПО, стоимость услуги не зависит от выбранного перечня дисциплин, количества программ и контингента студентов

23 © Рособрнадзор © Росаккредагентство © НИИ МКО 7. Единое время проведения Интернет-экзамен проводится дважды в год: в период летней экзаменационной сессии- апрель-июнь В период зимней экзаменационной сессии- декабрь-январь

24 © Рособрнадзор © Росаккредагентство © НИИ МКО 8. Единые измерители для каждой ООП

25 © Рособрнадзор © Росаккредагентство © НИИ МКО Нормативно- ориентированное тестирование Критериально-ориентированное тестирование 9. Использование критериально- ориентированных тестов (АПИМ)

26 © Рособрнадзор © Росаккредагентство © НИИ МКО Возможные уровни: «Школа» (базовый уровень, основы ГОСа, азы, минимум миниморум) «Произвольная программа» –Компетентностный подход –Приглашение профессиональных организаций (м.б. УМО, центров общественно-профессиональной аккредитации) для проведения второго тура на повышенном уровне «Олимпиадный уровень» (выявление и поддержка талантливой студенческой молодежи)

27 © Рособрнадзор © Росаккредагентство © НИИ МКО 10. Общественный контроль за качеством тестовых материалов (АПИМ)

28 © Рособрнадзор © Росаккредагентство © НИИ МКО Описатель тематических заданий 1. Предмет: Математика 2. Объем часов: Раздел ГОС: Анализ 4. Дидактическая единица ГОС: Математический анализ 5. Тема задания: Геометр. прилож.опред. интеграла 6. Уровень сложности (по Беспалько) – α = 2 (знать и уметь) 7. Уровень абстракции (по Беспалько) – β = 2 8. Номинация в таксономии Блума – 1 (знание методов и средств обработки конкретных сведений) 9. Экспертное время выполнения – 2 минуты 10. Среднестатистическое время выполнения (медиана) – 1 мин. 17 сек. 11. Коэффициент решаемости – 0, Дифференцирующая способность задания – 0, Перечень контролируемых учебных элементов Студент должен знать: формулу для вычисления площади кривол.фигуры уметь: записать формулу для вычисл. площади с помощью опред.интеграла 14. Ошибки, заложенные в дистракторах: False 2 – ошибка при записи подынтегральной функции False 3 – ошибка при расстановке пред интегрир. в опред. интеграле False 4 –незнание формулы площади фигуры, записанной с помощью опред. интегр. 15. Дата создания – октябрь 2005 г. 16. Количество заданий в данном файле – 30 37% 11% 41%

29 © Рособрнадзор © Росаккредагентство © НИИ МКО

30 © Рособрнадзор © Росаккредагентство © НИИ МКО более 250 разработчиков из 152 образовательных учреждений России взаимодействие с НМС (математика, философия, русский язык, культурология, КСЕ, …) УМО (педагогика, биология, экономика, …)

31 © Рособрнадзор © Росаккредагентство © НИИ МКО Аккредитационные педагогические измерительные материалы 83 дисциплины (66 высшего и 17 среднего профессионального образования) по циклам: общих математических и естественнонаучных дисциплин (цикл ЕН) общих гуманитарных и социально-экономических дисциплин (цикл ГСЭ) общепрофессиональных дисциплин (цикл ОПД) более 1300 различных структур АПИМ более 175 тысяч тестовых заданий (28 тыс. заданий СПО)

32 © Рособрнадзор © Росаккредагентство © НИИ МКО Появляется возможность использования сузами качественных тестовых заданий, прошедших экспертизу независимых профессионалов и большую апробацию (сотни и даже тысячи испытаний каждого задания!) В рамках одного суза создание БД заданий такого качества чрезвычайно дорого и просто не рентабельно. Лишь массовое производство и массовая апробация позволяют их сделать эффективными по соотношению цена/качество.

33 © Рособрнадзор © Росаккредагентство © НИИ МКО 11. Единые методики обработки и представления информации Позволяет руководителям и педагогам с единых позиций проводить анализ результатов тестирования студентов

34 © Рособрнадзор © Росаккредагентство © НИИ МКО Аналитика Соответствие ГОС каждой программы по каждому циклу дисциплин Если не соответствует, то почему Общероссийский «фон»

35 © Рособрнадзор © Росаккредагентство © НИИ МКО Педагогический анализ результатов тестирования

36 © Рособрнадзор © Росаккредагентство © НИИ МКО Оценка освоения тем дисциплины на уровне требований ГОС студентами разных программ Рособрнадзор (Управление образования региона) Сравнение показателей освоения требований ГОС с результатами других сузов Сравнение показателя освоения дисциплины на уровне требований ГОС студентами данной программы с другими программами суза Оценка освоения ДЕ дисциплины на уровне требований ГОС студентами разных программ Рейтинговый показатель в группе (по программе), среди всех студентов аналогичных программ страны Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования Структурирование информации о результатах Интернет-экзамена

37 © Рособрнадзор © Росаккредагентство © НИИ МКО Общие результаты Приняли участие 1320 вузов и 569 сузов из 81 региона Российской Федерации, а также вузы и филиалы вузов из Кыргызской Республики, Республики Беларусь, Украины, Армении, Республики Казахстан, Приднестровской Молдавской Республики. Получено более 1 миллиона 300 тысяч результатов тестирования студентов, обучающихся на образовательных программах. Интернет-тестирование проводилось по 66 дисциплинам для вузов и по 17 дисциплинам для сузов

38 © Рособрнадзор © Росаккредагентство © НИИ МКО Статистика результатов Интернет-экзамена (ФЭПО-VIII) Из 1145 тыс. результатов, свидетельствующих об уровне подготовки студентов вузов, полностью соответствуют требованиям ГОС 709 тыс. (62%) Из 217 тыс. результатов, свидетельствующих об уровне подготовки студентов сузов, полностью соответствуют требованиям ГОС 125 тыс. (58%) Росаккредагентство

39 © Рособрнадзор © Росаккредагентство © НИИ МКО Статистика результатов Интернет-экзамена ФЭПО-V ФЭПО-VI ФЭПО-III ФЭПО-IV ФЭПО-VII ФЭПО-VIII

40 © Рособрнадзор © Росаккредагентство © НИИ МКО Количество результатов по дисциплинам СПО

41 © Рособрнадзор © Росаккредагентство © НИИ МКО Обработка результатов по «старой» модели Обработка результатов по «новой» модели Оценка качества подготовки по уровню освоения ДЕ дисциплины Оценка качества подготовки по доле студентов, освоивших все ДЕ дисциплины

42 © Рособрнадзор © Росаккредагентство © НИИ МКО Процент программ, проходящих критерий (ЕН)

43 © Рособрнадзор © Росаккредагентство © НИИ МКО

44 © Рособрнадзор © Росаккредагентство © НИИ МКО

45 © Рособрнадзор © Росаккредагентство © НИИ МКО

46 © Рособрнадзор © Росаккредагентство © НИИ МКО Материаловедение

47 © Рособрнадзор © Росаккредагентство © НИИ МКО Безопасность жизнедеятельности

48 © Рособрнадзор © Росаккредагентство © НИИ МКО Психология

49 © Рособрнадзор © Росаккредагентство © НИИ МКО Педагогика

50 © Рособрнадзор © Росаккредагентство © НИИ МКО Маркетинг

51 © Рособрнадзор © Росаккредагентство © НИИ МКО Статистика

52 © Рособрнадзор © Росаккредагентство © НИИ МКО Правовое обеспечение

53 © Рособрнадзор © Росаккредагентство © НИИ МКО Социальная психология

54 © Рособрнадзор © Росаккредагентство © НИИ МКО Русский язык

55 © Рособрнадзор © Росаккредагентство © НИИ МКО Социология и политология

56 © Рособрнадзор © Росаккредагентство © НИИ МКО Английский язык

57 © Рособрнадзор © Росаккредагентство © НИИ МКО Философия

58 © Рособрнадзор © Росаккредагентство © НИИ МКО Математика

59 © Рособрнадзор © Росаккредагентство © НИИ МКО Проведение Интернет-экзамена инициирует: Построение измерителей для оценки выполнения требований ГОС на принципе освоения ДЕ Согласованное понимание требований ГОС при контроле освоения ДЕ «Настройку» вузов на внешние требования при оценке качества подготовки для целей государственной аккредитации Совершенствование ГОС на основе инвариантов содержания Развитие современных информационных технологий для оценки качества подготовки студентов Активизацию внимания вузовской общественности к качеству подготовки студентов и методам его оценивания

60 © Рособрнадзор © Росаккредагентство © НИИ МКО Спасибо за внимание! Масленников Александр Степанович Тел: 8-(8362) , Е-mail: Сайт: