1 Оценка качества подготовки обучающихся и выпускников на соответствие требованиям ГОС Масленников Александр Степанович Начальник отдела педагогических измерений Росаккредагентства Москва, апрель 2010

2 Оценка качества подготовки при государственной аккредитации образовательных учреждений (из Положения о государственной аккредитации образовательных учреждений и научных организаций ( Постановление Правительства РФ от )) П.11 «Государственная аккредитация образовательного учреждения … включает в себя экспертизу соответствия содержания и качества подготовки выпускников образовательных учреждений … федеральным государственным образовательным стандартам…»

3 Масштабы процедуры государственной аккредитации Из Закона РФ «Об образовании» п.18 «Имеющие государственную аккредитацию образовательные учреждения … не реже, чем один раз в пять лет проходят государственную аккредитацию» В России порядка 1400 вузов и около 2100 филиалов вузов Следовательно, ежегодно государственную аккредитацию должны проходить не менее 700 образовательных учреждений Из отчета Росаккредагентства за 2009 г: процедуру ГА прошли 1181 вуз и филиал

4 Нормативные документы 1992 г. Закон РФ «Об образовании»: лицензирование, аттестация, аккредитация 1995 г. ГОС-1: содержание дисциплин, требования общие и дисциплинарные 2000 г. ГОС-2: содержание дисциплин, требования общие 2007 г. Закон РФ «Об образовании»: лицензирование, аккредитация Технологии оценки качества подготовки: Экспертные методы Экспертные методы. Локальное использование тестовых материалов Экспертные методы. Формирование единой тестовой базы, с 2004 г. – результаты компьютерного тестирования в аналитических материалах АК. Экспертные методы. Компьютерное тестирование с использованием единого банка АПИМ Развитие тестовой технологии при экспертизе качества подготовки

5 Условия реализации тестовой технологии оценки качества подготовки Оценка обязательного содержания дисциплин по ГОС только на базовом (минимальном) уровне освоения Обработка результатов для формирования заключения о качества освоения студентами ООП программного материала в соответствии с требованиями ГОС Тестирование студентов ООП любых курсов обучения, завершивших изучение дисциплины не позднее 1 года до процедуры экспертизы, используя выборочный метод Опора на компьютерное тестирование и Интернет- технологии передачи информации Формирование банков тестовых материалов на основе унификации содержания дисциплин для групп ООП

6 УТВЕРЖДЕНО Заместителем руководителя Федеральной службы по надзору в сфере образования и науки 16 октября 2007 г. Методика проведения в образовательных учреждениях высшего профессионального образования оценки качества освоения студентами программного материала в соответствии с требованиями государственного образовательного стандарта высшего профессионального образования Общие положения Настоящая методика разработана в целях регламентации организации и проведения в рамках экспертизы соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного образовательного стандарта оценки качества усвоения студентами вузов и филиалов (далее - вузы) программного материала. … Организационно-технологическое сопровождение тестирования осуществляется Росаккредагентством в рамках информационно-методического сопровождения процедуры государственной аккредитации вузов. … При тестировании используется банк контрольных тестовых материалов, являющийся частью Центрального банка данных по вузам России, который формируется и сопровождается Росаккредагентством.

7 Информационно-методическое обеспечение: сайт att.nica.ru

8 Принципы формирования банков АПИМ Дисциплинарный подход Принципы структурирования содержания АПИМ по дисциплине: – Уровень «Дидактическая единица» Инварианты содержания (перечень ДЕ по ГОС для групп ООП) Инварианты объема часов по ГОС для инварианта содержания (установление уровня сложности заданий) – Уровень «Тема» Группа тем, раскрывающих содержание ДЕ Перечень контролируемых учебных элементов по теме (знать (понятия, законы и т.п.), уметь (выделять, соотносить, вычислять…) ) Наборы заданий тестовой формы по каждой теме (педагогически эквивалентные задания)

9 Состав банков АПИМ Всего 87 ВПО 70 СПО 17 ГСЭ 10 ЕН 9 ОПД 51 ГСЭ 7 ЕН 3 ОПД 7 6 аграрный 6 педагогический 4 строительный 12 технический 13 экономический 10 юридический 4 медицинский 3 педагогический 1 технический 2 экономический 1 юридический

10 Оценка выполнения требований ГОС Объект оценки Показатель освоения дисциплины Критерий освоения дисциплины СтудентДоля освоенных дидактических единиц ГОС Освоение всех дидактических единиц ГОС ООПДоля студентов, освоивших все дидактические единицы ГОС 50 % студентов, освоивших все дидактические единицы ГОС

11 Показатели освоения дисциплин по результатам тестирования для ООП вуза

12 Структура аттестационного педагогического измерительного материала по дисциплине Критерий освоения дидактической единицы: 50 % правильно выполненных заданий Дисциплина Дидактическая единица 1 Дидактическая единица 2... Дидактическая единица k Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Задание 1 Задание 2 Задание 3 Задание 4 Название дисциплины Контролируемыев АПИМ дидактические единицыдисциплины ЗаданияАПИМ

13 Полный рейтинг-лист результатов тестирования Выполнение заданий по каждой теме

14 Рейтинг-лист группы студентов Самый сложный раздел

15 Результаты тестирования при государственной аккредитации в 2009 г. Проведено тестирование в 258 вузах и 355 филиалах вузов (всего в 613 образовательных учреждениях ВПО)

16 Федеральный Интернет-экзамен в сфере профессионального образования

17 Основные цели Интернет-экзамена диагностика состояния базовой подготовки студентов на соответствие требованиям ГОС помощь образовательным учреждениям в создании систем управления качеством подготовки на основе внешней независимой оценки апробация банков АПИМ для тестирования при государственной аккредитации

18 Основные принципы ФЭПО вузов Добровольность участия вузов Полное в организации проведения тестирования Полное доверие в организации проведения тестирования получаемой информации Конфиденциальность получаемой информации проведения Единое время проведения для группы образовательных программ Единые измерители для группы образовательных программ обработки и представления информации Единые методики обработки и представления информации

19 Европейские стандарты и руководящие принципы Болонского процесса Поставщики высшего образования несут основную ответственность за качество и его гарантию Должно поощряться развитие культуры качества в вузах Должны разрабатываться процессы, с помощью которых вузы смогли бы продемонстрировать свою отчетность, … Гарантия качества с целью отчетности полностью равна по значимости гарантии качества с целью совершенствования учебного процесса Учебные заведения должны демонстрировать качество своей деятельности как в стране, так и на международной арене (г. Берген, мая 2005 г.)

20 Динамика участия в ФЭПО образовательных учреждений

21 Динамика количества результатов

22 Процент студентов, освоивших все дидактические единицы дисциплины

23 Учет результатов ФЭПО при государственной аккредитации Условия учета по ООП: – Участие 3-4 раза за 2 года до экспертизы – Участие не менее 50% студентов, обучающихся на курсе – Не менее половины положительных результатов Статистика 2009 г.: – Результаты ФЭПО учтены для 794 ООП из 3160, выходивших на государственную аккредитацию (25%), т.е. в 139 образовательных учреждениях ВПО из 613.

24 Совершенствование модели оценки освоения дисциплины

25 Модели оценки освоения дисциплины Существующая модель освоения Предлагаемая модель освоения Показатель освоения дисциплины Доля студентов, освоивших все ДЕ Уровни освоения ДЕ Критерий освоения дисциплины 50% студентов, освоивших все ДЕ Уровень освоения всех ДЕ не ниже критерия (50% верно выполненных заданий по ДЕ)

26 Методы расчета коэффициента освоения ДЕ Существующий метод: – Шаг 1: Для каждого студента сравнение числа верно выполненных заданий по ДЕ с критерием (не менее 2-х заданий из 4-х) – Шаг 2: вычисление доли студентов, освоивших ДЕ N осв К осв = N студ Предлагаемый метод: – Доля верно выполненных заданий от числа предъявленных группе студентов заданий по ДЕ М выполн. К осв = М предъявл. M предъявл.=(N студ *M зад.ДЕ )

27 Представление результатов тестирования по модели освоения ДЕ Заключение: Освоено 4 ДЕ из 5

28 Выбор критерия освоения ДЕ Модель согласования с прежними решениями: – различные критерии по дисциплинам – единый критерий по всем дисциплинам (50%) Модель критерия на основе требований к уровню подготовки Принятие решений (все дисциплины; критерий 50%) Новая модель Выше кр.Ниже кр. Преж- няя мо- дель Выше кр.85,3 %1,2% Ниже кр4,9%8,6% В таблице приведен расчет по группам тестируемых

29 Перспективы развития банков тестовых материалов

30 Направления совершенствования имеющихся банков АПИМ – Модификация структур АПИМ, кодификаторов и заданий на основе результатов экспертизы УМО (НМС) – Модификация структур АПИМ, кодификаторов и заданий с учетом профиля подготовки – Разработка АПИМ по новым дисциплинам (рекомендации УМО)

31 Тестовые материалы для нового поколения стандартов Цель тестирования по ФГОС – оценка степени сформированности компетенций (ОК и ПК) на пороговом и продвинутом уровнях Основа для разработки оценочных материалов: – Результаты обучения по дисциплине – Результаты обучения по модулю одной дисциплины группы дисциплин

32 Изменение предмета оценки: ГОС-2: – результативность учебного процесса в соответствии с требованиями к содержанию и базовому уровню подготовки ФГОС-3: – выявление степени сформированности компетенций (уровней освоения материала)

33 Изменение подходов к конструированию заданий в АПИМ «Дифференциация» предмета контроля (для ГОС-2) Цикл дисциплин Дисциплина Раздел (ДЕ) Тема Учебное элемент – адекватное тестовое задание «Интеграция» предмета контроля (для ФГОС) Полидисциплинарное задание Задание по нескольким разделам (ДЕ) в дисциплине Задание по группе тем в разделе (ДЕ) Задание по нескольким учебным элементам в теме

34 Направления модернизации банка АПИМ для оценки освоения требований ФГОС Введение обобщенных видов деятельности (результатов обучения) по дисциплинам Разработка и апробация полидисциплинарных (комплексных) групп заданий для цикла ОПД на основе объекта профессиональной деятельности

35 Инженерная графика РЕДУКТОР ЦУ-160 Пример комплексного задания Теоретическая механика Сопротивление материалов Взаимозаменяемость и стандартизация Теория механизмов и машин Детали машин

36 Проведение тестирования при государственной аккредитации и развитие ФЭПО инициировало: На федеральном уровне: Построение измерителей для оценки выполнения требований ГОС на основе инвариантов содержания дисциплин для групп образовательных программ Согласование образовательным сообществом уровня требований ГОС для оценки базовой подготовки студентов Выработку рекомендаций для совершенствования ГОС на основе инвариантов содержания дисциплин Развитие современных информационных технологий для оценки подготовки студентов Возможность учета результатов многократного участия вуза в ФЭПО в рамках процедуры государственной аккредитации

37 На вузовском уровне: «Настройку» вузов на внешние требования при оценке качества подготовки для целей государственной аккредитации Использование внешней оценки результатов обучения как элемента системы обеспечения качества в вузах Использование оценки базового уровня подготовки студентов для рейтинговых систем оценки подготовки студентов Развитие современных информационных технологий для оценки подготовки студентов Активизацию внимания вузовской общественности к качеству подготовки студентов и методам ее оценивания Проведение тестирования при государственной аккредитации и развитие ФЭПО инициировало:

38 Спасибо за внимание! Контактная информация: Тел. (8362) , ,