Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Ростовский государственный университет путей сообщения» (ФГБОУ ВПО РГУПС) АНАЛИЗ СОДЕРЖАНИЯ ФОНДОВ ОЦЕНОЧНЫХ СРЕДСТВ ЦМКО И ЭФФЕКТИВНОСТИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ Председатель комиссии проф. В.А. Явна Докладчик Директор ЦМКО М.С. Тимофеева

Цель и задачи работы комиссии Задачи: -провести анализ комплектности фондов оценочных средств (ФОС); -рассмотреть факторы, влияющие на надежность, достоверность и объективность системы оценки качества образования; -определить условия формирования сбалансированного по трудности теста; -провести критериальный анализ содержательности фондов оценочных средств по результатам промежуточной аттестации; -определить эффективность системы «Тестирование» как инструмента, позволяющего контролировать уровень сформированности приобретаемых компетенций студентов. Цель – провести проверку соответствия результатов промежуточной аттестации студентов в форме компьютерного тестирования по разработанным фондам оценочных средств минимальному уровню знаний студентов.

Количество разработанных АПИМ/ФОС дисциплин Объем компьютерного тестирования студентов по разработанным фондам оценочных средств (ФОС) С 2014 года преподаватели кафедр под руководством ЦМКО приступили к системной разработке фондов оценочных средств, в соответствии с требованиями предъявляемыми ФГОС. ЦМКО с 2006 года организовало более сеансов (человеко-дисциплин). По результатам компьютерного тестирования были разработаны рекомендации для разработчиков ФОС. Общее количество сеансов тестирования в РГУПС

Определение оптимального количества разделов в односеместровой дисциплине для аттестации студентов Зависимость аттестации студентов от количества разделов дисциплины, включенных в тест За 10 лет работы ЦМКО было разработано около тестовых заданий. В процессе тестирования участвуют более тестовых заданий по дисциплинам семестра. По результатам апробации при пороге 30 % оптимальное количество разделов дисциплины должно быть не менее 4 - не более 7 на 1 семестр изучения. При изменении количества разделов дисциплины в сторону уменьшения аттестация студентов приближается к 90 %, в сторону увеличения - количество не аттестованных студентов увеличится на одну треть. Динамика внедрения тестовых заданий в процесс мониторинга качества образования

Расчет рационального количества тестовых заданий на раздел С целью выявления зависимости совпадения заданий у рядом сидящих студентов от количества заданий на раздел было проведено компьютерное моделирование 1300 сеансов тестирования для 25 студентов из 4-7 разделов дисциплины. В результате анализа представленных студенту номеров заданий из списка (от 4 до 7 заданий из каждого раздела) была выявилась линейная зависимость количества совпадающих заданий от количества тестовых заданий включенных в раздел дисциплины. Зависимость количества пар студентов с совпадающими заданиями от количества заданий на раздел выражается степенной функцией. При увеличении количества заданий на раздел от 30 до 50 количество пар студентов с совпадающими заданиями уменьшается на 60%.

Определение уровня порога промежуточной аттестации студентов Распределение количества студентов по уровню освоения пройденного материала Распределение правильных ответов студентов по двум попыткам С целью обеспечения качества подготовки студентов и исключения вероятностного характера аттестации студента (вероятности угадывания правильного ответа при пороге 30 % составляет 22%) рекомендуется повышение уровня порога до 40%. Это позволит повысить степень объективности процедуры оценки уровня сформированности компетенций студентов.

Варианты настройки теста в системе «Тестирование» на примере дисциплины «Физика»

Экспертная проверка минимального уровня знаний студентов и содержательной валидности теста Результаты компьютерного тестирования студентов и экспертной проверки минимального уровня знаний студентов (опрос), а также качество тестовых заданий в целом подтвердили, что степень достоверности содержательной валидности теста соответствует поставленным целям и задачам обучения студентов. Экспертная оценка уровня знаний студентов по результатам опроса

Критериальный анализ содержательной валидности тестовых заданий на примере дисциплины «Финансовый менеджмент» ФОС дисциплины «Финансовый менеджмент» позволяет качественно оценить уровень формирования приобретаемых компетенции студентами на минимальном, базовом и высоком уровне.

Анализ валидности фондов оценочных средств на примере дисциплин ФОС дисциплины «Финансовый менеджмент» отвечающий установленным критериям оценки ФОС дисциплины «Подвижной состав» не отвечающий установленным критериям оценки

Содержательная валидность ФОС

Анализ соответствия результатов компьютерного тестирования уровню формируемых компетенций От общего объема участвующих студентов в тестировании около 5 % не аттестованы. Около 75% студентов подтвердили соответствие базовому/высокому уровню сформированности оцениваемых компетенций. Не подтвердили уровень формирования компетенций минимального уровня 25 человек (7,4%), 297 студентов (92,6 %) подтвердили результаты тестирования экспертам групп компетенций.

1. Признать итоги работы комиссии по анализу содержания фондов оценочных средств ЦМКО и эффективности результатов тестирования удовлетворительными. 2. Организовать на базе ЦМКО экспертную проверку соответствия результатов компьютерного тестирования уровню формируемых компетенций 1 раз в семестр (отв. - директор ЦМКО, председатель комиссии). 3. Организовать содержательный анализ качества фондов оценочных средств по дисциплинам, участвующим в промежуточной аттестации студентов раз в семестр (до 15 октября,15 февраля) (отв. – зав. кафедрами, УМС). 4. Рекомендовать уровень порогового значения аттестации студентов 40 %. Предложения в проект решения Ученого совета ФГБОУ ВПО РГУПС:

Спасибо за внимание