Все права защищены. © НИИ МКО. 2009 Программа информационно- аналитического сопровождения тестирования студентов Киселева Валентина Петровна НИИ мониторинга. - презентация

1 Все права защищены. © НИИ МКО Программа информационно- аналитического сопровождения тестирования студентов Киселева Валентина Петровна НИИ мониторинга качества образования

2 Все права защищены. © НИИ МКО Программа «I-EXAM.RU» тестирование с помощью системы «Интернет- тренажеры в сфере образования» в студенческих режимах «Обучение» и «Самоконтроль» внутривузовское тестирование с помощью системы «Интернет-тренажеры в сфере образования» в преподавательских режимах «Входной контроль», «Текущий контроль», «Итоговый контроль» подготовка аналитических/мониторинговых отчетов по каждой дисциплине, образовательной программе, вузу в целом (филиалу вуза)

3 Все права защищены. © НИИ МКО диагностическое тестирование студентов- первокурсников (математика, русский язык, физика, химия) тестирование при поступлении в магистратуру (магистерский экзамен) тестирование при поступлении в аспирантуру (английский язык, философия) организационно-методическое и технологическое сопровождение Открытых студенческих Интернет- олимпиад проведение информационно-консультационных семинаров, в т.ч. методических (внешняя экспертиза и для разработчиков) Программа «I-EXAM.RU» (продолжение)

4 Все права защищены. © НИИ МКО Интернет-тренажеры в сфере профессионального образования

5 Все права защищены. © НИИ МКО Интернет-тренажер- Интернет-тренажер- это программный комплекс, в основу которого положены оригинальная методика оценки знаний, умений, навыков студентов и целенаправленная тренировка студентов в процессе многократного повторного решения тестовых заданий

6 Все права защищены. © НИИ МКО Общая характеристика комплекса Количество дисциплин: 75 Ступени образования: высшее профессиональное образование (59) среднее профессиональное образование (10) среднее (полное) общее образование (4) аспирантура (2) Формат разработки: расширенный (41) сокращенный (34) Уровни сложности: для начинающих, базовый и повышенный

7 Все права защищены. © НИИ МКО Система Интернет-тренажеров позволяет самостоятельно определять уровень подготовки студента и регулярно оценивать его результаты в процессе подготовки к тестированию эффективно использовать при подготовке к экзамену варианты тестов, структура которых соответствует содержанию государственных образовательных стандартов (ГОС) быстро получать необходимые теоретические сведения, практические примеры и разъяснения к каждому тестовому заданию в процессе работы с тренажером устранять пробелы при изучении дисциплины и закреплять полученные знания студентов

8 Все права защищены. © НИИ МКО для самостоятельной подготовки студентов вуза не только к внешним процедурам контроля качества знаний, но и к внутривузовским для использования студентами очно- заочной и заочной форм обучения, а также при применении дистанционных технологий обучения (в любое время и в любой точке доступа в Интернет) Назначение Интернет-тренажеров

9 Все права защищены. © НИИ МКО Высшее профессиональное образование Среднеепрофессиональное образование образование ГСЭЕНГСЭЕН Философия Отечественная история Политология Культурология Правоведение Психология и педагогика Русский язык и культура речи Английский язык Экономика Социология Математика Информатика Физика Химия Математика и информатика Концепции современного естествознания Экология Биология Основы философии Основы экономики Основы права Основы социологии и политологии Русский язык и культура речи Английский язык Математика Информатика Экологические основы природо- пользования Расширенный формат Интернет- тренажеров Социальная психология

10 Все права защищены. © НИИ МКО ОПД ВПО Экономическийпрофиль Макроэкономика Микроэкономика Национальная экономика Мировая экономика Менеджмент Инженерно-техническийпрофиль Педагогическийпрофиль Деньги, кредит, банки Бухгалтерский учет Педагогика Психология Основы специальной педагогики и психологии Основы медицинских знаний и здорового образа жизни Метрология, стандартизация и сертификация Сопротивление материалов Теория маш. и мех. Финансы и кредит Экономика организации Маркетинг Статистика Эконометрика Экономическая теория Расширенный формат Интернет- тренажеров Детали машин Электротехника и электроника Материаловедение. ТКМ Начертат. геометрия и инженерная графика Возрастная анатомия и физиология Безопасность жизнедеятельности Теоретические основы электротехники

11 Все права защищены. © НИИ МКО ОПД ВПО Юридическийпрофиль Теория государства и права Международное право Сельско-хозяйственныйпрофильИнженерно-строительныйпрофиль Инженерная геология Механика грунтов Физиология растений Ботаника Микробиология Защита растений Административное право Расширенный формат Интернет- тренажеров Конституционное право России Аспирантура Философия науки Английский язык Трудовое право Уголовное право Гражданский процесс Гражданское право

12 Все права защищены. © НИИ МКО Расширенный формат Интернет- тренажеров Среднее (полное) общее образование Математика Русский языкХимия Физика

13 Все права защищены. © НИИ МКО Вход в систему Интернет-тренажеров Гостевой: «Математика» цикла ЕН ВПО, «Основы экономики» цикла ГСЭ СПО и «Математика», «Русский язык» среднего общего (полного) образования («Обучение», «Самоконтроль») Пользовательский: доступ к 35 дисциплинам расширенного формата циклов ГСЭ, ЕН и ОПД ВПО и СПО и к 27 дисциплинам сокращенного формата циклов ГСЭ, ЕН и ОПД ВПО («Обучение», «Самоконтроль») Контрольное тестирование: доступ к 59 дисциплинам циклов ГСЭ, ЕН и ОПД ВПО и СПО («Текущий контроль», «Итоговый контроль») и к 4 дисциплинам среднего общего (полного) образования («Входной контроль»)

14 Все права защищены. © НИИ МКО Режимы тестирования Студенческие: «Обучение» и «Самоконтроль» Преподавательские: «Входной контроль», «Текущий контроль» и «Итоговый контроль»

15 Все права защищены. © НИИ МКО Режим «Обучение» предназначен для осмысления и закрепления пройденного материала по дисциплине; формирования знаний, умений и навыков студентов

16 Все права защищены. © НИИ МКО Особенности режима «Обучение» проверка правильности выполнения задания происходит сразу после ответа отсутствие ограничения по времени сеанса тестирования возможность посмотреть правильное решение заданий появление подсказки в случае выбора неправильного варианта ответа, в т.ч. «каскадной» подсказки по завершении тестирования программа выводит для студента результаты (количество заданий в тесте, процент правильно выполненных заданий, количество названия освоенных и неосвоенных разделов дисциплины)

17 Все права защищены. © НИИ МКО В режиме «Самоконтроль» студенту предоставляется возможность проверить себя в условиях, максимально приближенных к реальному контрольному тестированию

18 Все права защищены. © НИИ МКО Особенности режима «Самоконтроль» ограничение по времени сеанса тестирования (условия, максимально приближенные к контрольному тестированию) наличие практического материала для самоконтроля с целью закрепления знаний студентов (отсутствие возможности посмотреть правильное решение заданий и появления подсказки в случае выбора неправильного ответа) по завершении тестирования программа выводит для студента результаты (количество заданий в тесте, процент правильно выполненных заданий, количество освоенных и неосвоенных разделов дисциплины)

19 Все права защищены. © НИИ МКО Для работы в режимах «Входной контроль», «Текущий контроль», «Итоговый контроль» преподаватель должен получить индивидуальные логин и пароль (от контактного лица ОУ) для доступа на именную страницу сайта

20 Все права защищены. © НИИ МКО Входной контроль тестирование студентов-первокурсников по математике, физике, химии и русскому языку результаты входного тестирования (по желанию вуза!) могут быть обработаны статистически и оформлены в виде отдельного документа

21 Все права защищены. © НИИ МКО Особенности преподавательского режима планирование проведения тестирования (для организации текущего контроля) формирование подробного протокола тестирования по каждому студенту с указанием правильных вариантов ответов из предложенных (в случае выбора неправильного варианта ответа приводится правильное решение задания) формирование и анализ сводных рейтинг-листов по результатам тестирования студенческих групп печать отчетной документации в виде протокола тестирования студенческой группы (Ф.И.О. студента, курс, группу, факультет с указанием даты тестирования, процент правильно выполненных заданий, процент освоенных ДЕ дисциплины, а также Ф.И.О., должность лица, ответственного за проведение тестирования в вузе)

22 Все права защищены. © НИИ МКО Разработка измерителей в рамках проекта «Интернет-тренажеры в сфере образования» Разработка измерителей в рамках проекта «Интернет-тренажеры в сфере образования»

23 Все права защищены. © НИИ МКО Принципы конструирования измерительных материалов Содержание Интернет-тренажера по дисциплине – совокупность дидактических единиц содержания дисциплины Дидактическая единица содержания – раздел дисциплины Инвариант содержания для группы ООП – одинаковый перечень дидактических единиц Инвариант глубины изучения – одинаковый объем часов для данного инварианта содержания

24 Все права защищены. © НИИ МКО Основные этапы работы над созданием Интернет- тренажера по дисциплине Анализ содержания ГОС по дисциплине для всей совокупности ООП Формирование обобщенной структуры Интернет- тренажера по дисциплине Формирование метаинформации для каждого тематического набора заданий Экспертиза банков тестовых заданий Локальная апробация банков заданий

25 Все права защищены. © НИИ МКО. 2009

26 Обобщенная структура Интернет- тренажера по дисциплине ДЕ дисциплины Наименование тем Перечень КУЭ Идентификатор задания

27 Все права защищены. © НИИ МКО Фрагмент структуры Интернет-тренажера по дисциплине «Русский язык и культура речи» цикла ГСЭ ВПО ДЕ ДЕ дисциплины Идент. темы Тема Перечень контролируемых учебных элементов 2-1Современный русский литературный язык Фонетика Знать: звуки русского языка, их классификацию; фонетические процессы; словесное ударение; интонацию; основы фонологии. Уметь: различать фонетические явления и процессы. … … … … Грамматика. Морфология Знать: общие сведения о грамматике, грамматические категории основных частей речи (самостоятельных и служебных) и способы их выражения, переходные явления в области частей речи. Уметь: различать части речи.

28 Все права защищены. © НИИ МКО Формы заданий задания с выбором одного правильного ответа из предложенных задания с выбором нескольких правильных ответов из предложенных задания на установление правильной последовательности задания на установление соответствия задания с кратким ответом (в виде целого числа, отдельного слова или нескольких слов)

29 Все права защищены. © НИИ МКО Метаинформация о семантике задания 1.Информационные, технологические, экспертные, статистические параметры заданий 2.Общесистемные характеристики по Беспалько 3.Номинации в (расширенной) таксономии Блума 4.Уровень сложности 5.Контролируемые учебные элементы 6.Текст задания 7.Вариант правильного решения задания 8.Варианты ответов 9.Дистракторный анализ 10.Подсказки на неправильные ответы

30 Все права защищены. © НИИ МКО Информационные параметры заданий 1. Дисциплина 2. Объем часов (кредитов) 3.Дидактическая единица (раздел) ГОС 4.Тема задания 5.Разработчик – ФИО, должность, место работы 6.Рецензент 1 – ФИО, должность, место работы 7.Рецензент 2 – ФИО, должность, место работы 8.Рецензент 3 – ФИО, должность, место работы

31 Все права защищены. © НИИ МКО Технологические параметры заданий 1.Дата создания 2.Дата модернизации 3.Количество заданий в данном файле 4.Форма задания (ВО, МВ, КО, УС, УП) 5.Ориентировочное время выполнения задания

32 Все права защищены. © НИИ МКО Экспертные параметры заданий 1.Перечень контролируемых учебных элементов (знать, уметь, …) 2.Общесистемные характеристики по Беспалько (уровень усвоения знаний, ступень абстракции, степень осознанности усвоения знаний ) 3.Экспертная трудность (легкое, среднее, трудное) 4.Номинации в (расширенной) таксономии Блума (знание, понимание, применение, анализ, синтез, оценка) 5.Ошибки, заложенные в дистракторах, для проведения дальнейшего более глубокого анализа заданий

33 Все права защищены. © НИИ МКО Статистические параметры заданий 1.Коэффициент решаемости задания 2.Дифференцирующая способность задания (коэффициент селективности заданий) 3.Коэффициенты привлекательности дистракторов (частотный профиль выбора вариантов ответов) 4.Коэффициент точечно-бисериальной корреляции

34 Все права защищены. © НИИ МКО Задание ответ Решение метаинформация дистрактор Анализатор часто допускаемых ошибочных ответов «подсказка» дистрактор Анализатор часто допускаемых ошибочных ответов «подсказка» дистрактор Анализатор часто допускаемых ошибочных ответов «подсказка» дистрактор Анализатор часто допускаемых ошибочных ответов «подсказка» Тестовое задание «в целом» - это объект сложной семантической структуры

35 Все права защищены. © НИИ МКО Направления работы внешнего эксперта 1.Экспертная оценка содержания структуры измерительных материалов по дисциплине 2.Экспертная оценка содержания тестовых заданий 3.Подготовка обобщающих выводов и рекомендаций по результатам внешней экспертизы банка заданий по дисциплине

36 Все права защищены. © НИИ МКО Интернет-тренажеры доступны на сайте ( на вкладке «ИНТЕРНЕТ-ТРЕНАЖЕРЫ»

37 Все права защищены. © НИИ МКО. 2009

38 Результаты анкетирования

39 Все права защищены. © НИИ МКО Направления развития проекта

40 Все права защищены. © НИИ МКО Диагностическое тестирование студентов-первокурсников студентов-первокурсников

41 Все права защищены. © НИИ МКО Педагогический анализ результатов диагностического тестирования первокурсников Педагогический анализ результатов диагностического тестирования первокурсников

42 Все права защищены. © НИИ МКО Количественные результаты участия факультетов вуза в диагностическом тестировании

43 Все права защищены. © НИИ МКО Результаты тестирования студентов по вузу Гистограмма плотности распределения результатов тестирования Гистограмма плотности распределения результатов тестирования

44 Все права защищены. © НИИ МКО Диаграмма ранжирования факультетов по проценту студентов, правильно выполнивших от 0% до 40% тестовых заданий Диаграмма ранжирования факультетов по проценту студентов, правильно выполнивших от 80% до 100% тестовых заданий Диаграмма ранжирования факультетов по проценту студентов, правильно выполнивших от 40% до 60% тестовых заданий Диаграмма ранжирования факультетов по проценту студентов, правильно выполнивших от 60% до 80% тестовых заданий Результаты тестирования студентов вуза

45 Все права защищены. © НИИ МКО Результаты тестирования студентов по факультетам Экономический факультет Рекомендуемая шкала перевода баллов для внутривузовской системы

46 Все права защищены. © НИИ МКО Диаграмма ранжирования ООП по проценту студентов, правильно выполнивших от 0% до 40% тестовых заданий Результаты тестирования студентов факультета Диаграмма ранжирования ООП по проценту студентов, правильно выполнивших от 80% до 100% тестовых заданий Диаграмма ранжирования ООП по проценту студентов, правильно выполнивших от 60% до 80% тестовых заданий Диаграмма ранжирования ООП по проценту студентов, правильно выполнивших от 40% до 60% тестовых заданий

47 Все права защищены. © НИИ МКО Результаты диагностического тестирования студентов ООП вуза Рекомендуемая шкала перевода баллов для внутривузовскрой системы

48 Все права защищены. © НИИ МКО Карта коэффициентов решаемости заданий Результаты диагностического тестирования студентов ООП вуза

49 Все права защищены. © НИИ МКО Краткий рейтинг-лист студентов ООП вуза п/п ФИО студента Кол-во выполненных заданий Кол-во правильно выполненных заданий Процент правильно выполненных заданий Рекомендуемые баллы перевода во внутривузовскую систему 1БЕРЕЗИНА ЕКАТЕРИНА СЕРГЕЕВНА 19 из ,68 %4 2ВАСИЛЬЕВА ОЛЬГА АНАТОЛЬЕВНА 19 из ,95 %4 3ВОЛКОВА ЯНИНА ЕВГЕНЬЕВНА 19 из ,21 %5 4ГОЛОВЕНКИНА НАТАЛЬЯ ВЛАДИМИРОВНА 19 из ,37 %3 5ГОРОХОВА АННА МИХАЙЛОВНА 19 из ,16 %4 6ГРИГОРЬЕВА АНАСТАСИЯ ПАВЛОВНА 19 из ,42 %4 7КАНАШИНА МАРИНА ДМИТРИЕВНА 19 из ,95 %4 8КУЖНУРОВ ИЛЬЯ ЮРЬЕВИЧ 19 из ,42 %4 9МОСКВИЧЕВА ИРИНА ВАЛЕРЬЕВНА 19 из ,95 %4 10НОВОСЕЛОВ СЕРГЕЙ ОЛЕГОВИЧ 19 из ,95 %4 11ПИРОГОВ ПАВЕЛ АНДРЕЕВИЧ 19 из ,37 %3 12ПОЛЯКОВА НАТАЛЬЯ МИХАЙЛОВНА 19 из ,42 %4 13ПУРТОВ АНТОН АНДРЕЕВИЧ 19 из ,37 %3 14СИДОРОВА АНАСТАСИЯ ВЛАДИМИРОВНА 19 из ,95 %4 15ТАГАНЦЕВА АНАСТАСИЯ ВИКТОРОВНА 19 из ,68 %4 16ТУБЕРДИНА МАРИНА НИКОЛАЕВНА 19 из ,42 %4

50 Все права защищены. © НИИ МКО Полидисциплинарное тестирование для поступающих в магистратуру для поступающих в магистратуру (магистерский экзамен)

51 Все права защищены. © НИИ МКО Новые условия и новые задачи Переход к двухуровневой подготовке и ФГОС третьего поколения : мобильность выпускников бакалавриата (бакалавры могут продолжить обучение в магистратуре любого профиля любого вуза) появление конкурса при поступлении в магистратуру создание равных условий для поступления в магистратуру для всех выпускников бакалавриата обеспечение прозрачности конкурсного отбора (средний балл диплома бакалавра (специалиста), переведенный в 100-балльную шкалу+результат вступительного испытания в 100-балльной шкале)

52 Все права защищены. © НИИ МКО Модель вступительных испытаний 1 Часть 1 – полидисциплинарный тест по дисциплинам циклов ЕН и ГСЭ ВПО Часть 2 – междисциплинарное задание, разработанное в вузе и предусматривающее использование знаний специальных дисциплин федеральной компоненты ГОС, т.е. проверяющее компетенции Эта модель учитывает основное отличие вузов- наличие научных школ, но кандидаты в магистратуру оказываются в неравных условиях

53 Все права защищены. © НИИ МКО Модель вступительных испытаний 2 Полидисциплинарное компьютерное тестирование в режиме on-line по дисциплинам циклов ЕН, ГСЭ и ОПД ВПО по материалам и технологии НИИ мониторинга качества образования Преимущества: внешняя независимая оценка. проверка знаний федерального компонента ГОС ВПО все поступающие в магистратуру находятся в равных условиях.

54 Все права защищены. © НИИ МКО Дисциплина 1 ДЕ 1 Задание 1 Задание 2 Задание 3 Задание 4 ДЕ 2ДЕ 3 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Дисциплина 4 ДЕ 1 Задание 1 Задание 2 Задание 3 Задание 4 ДЕ 2ДЕ 3 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Модель полидисциплинарного теста: кол-во заданий 4*3*4 = 48

55 Все права защищены. © НИИ МКО Технология подготовки и проведения вступительных испытаний НИИ мониторинга качества образования предоставляет доступ на именную страницу сайта вуз направляет заявку на полидисциплинарное тестирование по каждому направлению НИИ мониторинга качества образования предоставляет логины и пароли для участников испытаний, программное обеспечение, банки заданий тестирование проводится в компьютерном классе в режиме on-line. Время тестирования – от 80 до 100 минут. Количество заданий – от 36 до 48 по завершении тестирования сразу появляются результаты участников испытаний

56 Все права защищены. © НИИ МКО НИИ мониторинга качества образования совместно с вузом в соответствии с предложенной моделью вступительных испытаний осуществляют: выбор модели оценки освоения совокупности дисциплин; выбор дидактических единиц по дисциплинам, определенным вузом; проведение анализа заданий с целью отбора наиболее качественных на основе статистических характеристик заданий; формирование банков заданий.

57 Все права защищены. © НИИ МКО Проведение тестирования

58 Все права защищены. © НИИ МКО. 2009

59 Для вуза: прозрачность конкурсного отбора объективная внешняя оценка уровня подготовленности кандидатов на поступление в магистратуру использование только федерального компонента ГОС ВПО соответствующего направления, что ставит всех кандидатов в равные условия наличие заданий, прошедших экспертизу и апробацию оперативность проведения приемной кампании

60 Все права защищены. © НИИ МКО Для поступающих в магистратуру бакалавры технических направлений могут поступить в магистратуру на направления экономического профиля бакалавры других вузов могут поступить в магистратуру как на направления экономического профиля, так и на направления технического профиля бакалавры, обучавшиеся на договорной основе с полной оплатой обучения могут поступить на места, финансируемые за счет федерального бюджета

61 Все права защищены. © НИИ МКО Интернет-тренажеры для поступающих в аспирантуру

62 Все права защищены. © НИИ МКО Авторские Интернет- тренажеры по английскому языку И философии науки

63 Все права защищены. © НИИ МКО Направления развития проекта совершенствование описателя заданий Интернет- тренажеров в соответствии с новыми требованиями (специальные характеристики - предметные компетенции, индивидуальные для каждой дисциплины) разработка программного обеспечения для конструирования измерителей с выбором индивидуального набора параметров заданий (для организации семестрового и текущего контроля в вузе) разработка программного обеспечения для использования авторских измерительных материалов (возможность вузам самостоятельно формировать тесты для себя)

64 Все права защищены. © НИИ МКО СПАСИБО ЗА ВНИМАНИЕ! СПАСИБО ЗА ВНИМАНИЕ!

65 Все права защищены. © НИИ МКО Контактная информация Телефон: (8362) Факс: (8362) , Отдел информационно-методического сопровождения: (8362) Отдел договорных отношений: (8362) http: