Щаницина Светлана Валерьевна, старший преподаватель кафедры вычислительной и прикладной математики Ивановского государственного университета Анализ влияния дискриминирующих факторов на качество результатов единого государственного экзамена

Общественную дискуссию идеологи ЕГЭ рассматривают «в качестве своего рода коллективного мысленного эксперимента, направленного на выявление уязвимых мест в идее единого экзамена», что позволяет обозначить некоторые «серьезные риски, которые не просто исключат положительный эффект от введения единого экзамена, но и создадут реальную угрозу превращения его в свою противоположность, в своего рода сеть с разновеликими ячейками, позволяющую манипулировать результатами оценки знаний выпускников общеобразовательных учреждений и приемом в вузы. Аргументы, приводимые оппонентами единого экзамена, оказали стимулирующее влияние на разработку такой технологии его проведения, которая максимально полно отвечает требованиям достоверности, объективности и надежности полученных результатов» Единый государственный экзамен. Научные основы, методология и практика организации эксперимента: Сборник статей / Под ред. В. А. Болотова. – М.: Логос, – 208 с.

Показатели качества тестовых заданий, используемых для оценки уровня подготовки выпускников общеобразовательных учреждений: оценка параметров трудности, оценка параметров дифференцирующей способности, оценка параметров валидности, результаты дистракторного анализа для заданий с выбором ответа. В спецификациях контрольно-измерительных материалов, используемых в ЕГЭ априорные качественные оценки уровня трудности (базовый, повышенный, высокий).

Различия в результатах выполнения одного и того же задания в разных группах являются следствием различия в уровне подготовки испытуемых – оценка справедлива. Если в задании фигурируют знания, умения, навыки, которые в силу культурных, национальных и других различий не могут быть сформированы у испытуемых, такое задание будет заведомо несправедливо к ним.

Оценка за задание является смещенной, если не равны вероятности правильного ответа на задание в различных группах для индивидуумов с одинаковым уровнем подготовленности. Методы для идентификации и удаления из тестов заданий, которые заведомо имеют меньшую вероятность выполнения для отдельных групп испытуемых с одинаковым уровнем подготовки, были разработаны за рубежом и получили название анализ дифференцированного функционирования задания (ДФЗ). Рассматриваемую группу испытуемых называют центральной группой, а группу, с которой сравнивается результат выполнения задания, референтной группой.

Примеры характеристических кривых с различной степенью выраженности эффекта дифференцированного функционирования задания

Два случая взаимного расположения характеристических кривых задания: кривые не пересекаются в случае a F = a R и пересекаются в случае a F a R, создавая эффект «взаимоуничтожения влияний»

Характеристические кривые задания при разной вероятности угадывания правильного ответа испытуемым на задание теста при полном отсутствии знаний у тестируемых

Количество параметров модели Абсолютное значение группового эффекта ДФЗ 1 2, a F = a R = a 2, a F a R 3, a F = a R = a 3, a F a R

Если F R, то знак эффекта определяется знаком разности R – F, в противном случае – знаком разности a F – a R

Величина взвешенного эффекта ДФЗ для заданий ЕГЭ по математике 2007 года на выборке испытуемых Ивановской области, разделенных на группы по признаку пола