МАСТЕР-КЛАСС Критериально-ориентированное педагогическое тестирование Модуль 2. Внутренняя экспертиза тестов © РЭА им. Г.В. Плеханова © Управление качеством учебного процесса

2 Инструкция по внутренней экспертизе качества теста Каждому эксперту выдаются следующие материалы: Спецификация и план теста Инструкция по экспертизе Формы для заключения и записи решений В процессе экспертизы проводится следующая работа: Выполняется каждое задание теста (указывается правильный ответ, приводится решение задания, там где необходимо) Анализируются формулировки задания (проверяется предметная корректность формулировок) Анализируется содержание заданий на их тематическую принадлежность и уровень сложности (базовый, повышенный или высокий) Формулируются замечания каждому из заданий, конструктивной форме с предложениями, что и как необходимо изменить. Формулируется заключение о пригодности теста для использования

3 Спецификация теста включает: Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применению. Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста. Описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке. Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте. Вес каждого задания, рекомендуемый автором теста. Рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы.

4 Гипотетическая спецификация теста п/п Планируемые к проверке знания и умения Разделы дисциплины (ДЕ) Суммарное число заданий по каждому пункту 1 (20%)2 (10%)3 (30%)4 (40%) 1 А (10%) В (20%) С (30%) D (30%) Е (10%)1-236 Итого: А – знание понятий, определений, терминов В – знание законов и формул С – умение применять законы и формулы для решения задач D – умение интерпретировать результаты и формулы на графиках и схемах; Е – умение проводить оценочные суждения

5 Конкретизированные цели обучения Обобщенные учебные цели, планируемые преподавателем Примеры конкретизированных учебных целей, достигнутых испытуемым Знания на уровне запоминания и воспроизведения Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы Знания на уровне понимания Понимает и интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках Умения по применению знаний в известной ситуации Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации Умения по применению знаний в незнакомой ситуации Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, выделяет скрытые предположения, проводит анализ между фактами и следствиями

6 Пример формы экспертного заключения о качестве теста Номер задания 1234… 1Номер правильного ответа32……1 2 Номер требования (одного или нескольких) к уровню подготовки испытуемых 11……3 3 Уровень сложности – базовый, повышенный, сложный ББ……П 4Значимость содержания задания (0,1,2,3)02……2 5 Ожидаемый процент выполнения испытуемыми 10075……50 6Ожидаемое время выполнения задания, мин.23……4 7Неудачные задания*……

7 Оценка качества содержания теста проводится независимыми экспертами, не участвовавшими в разработке теста. Число экспертов составляет не менее 3-х человек - наиболее опытные преподаватели, с большим стажем работы. В комплект материалов для экспертизы должен входить перечень требований к уровню подготовки испытуемых. Эксперту при работе потребуются часы для фиксации времени работы над каждым заданием и бланк с номерами экспертного заключения с номерами заданий. Если задание теста проверяет степень достижения требований на минимальном уровне - это базовое задание, на уровне «хорошей» оценки – задание повышенного уровня, «отличной» оценки – сложное задание. Значимость содержания – 0 – неоправданное включение задания в тест, 1 – незначимое задание, 2 – значимое, 3 – наиболее важный опорный элемент. Требования к экспертной комиссии и процедуре экспертизы качества теста

8 Выбор критериального балла на основе экспертных оценок по методу В. Ангоффа Эксперт априорно приписывает каждому тестовому заданию вероятность того, что минимальный компетентный испытуемый ответит на это задание правильно (эксперт мысленно представляет большую группу минимально компетентных испытуемых и определяет долю испытуемых, которые правильно ответят на задание). Фактически эксперт должен разбить все множество заданий на 9 групп и присвоить им соответствующие вероятности – 0,9; 0,8; 0,7; … 0,1 Критериальный балл устанавливается суммированием значений этих вероятностей. Данный критерий соответствует отметке «удовлетворительно» или «зачет». Если нужно выставить оценки, повторяем процедуру для гипотетической группы минимально подготовленных «отличников». Для нахождения разделяющего балла между оценками «3» и «4» находится полусумма критериальных баллов для «3» и «5». Критерий оценивания находится как отношение критериального балла к количеству заданий в тесте. В результате определяем, сколько заданий из теста должен выполнить студент для получения той или иной оценки.