Качество теста Константин Титов, Центр оценки в образовании и методов обучения Бишкек, Кыргызстан 6 ноября 2009 года

Критерии качества теста Объективность Результат теста не должен зависеть от внешних факторов (кто проводит тест, кто интерпретирует результаты, условия тестирования). Достоверность Согласованность (устойчивость, повторяемость) результатов теста для схожих групп испытуемых. Валидность (достижение цели теста) Пригодность тестовых результатов для той цели, ради чего проводилось тестирование.

надежный и валидный надежный, но невалидный ненадежный и невалидный

Анализ заданий теста Необходим анализ каждого задания для того, чтобы узнать, как оно работает. Перед тестом обязательна апробация тестовых заданий. Параметры работы каждого задания выражены в цифрах и графиках. Типы анализа: 1. Анализ трудности задания. 2. Анализ распределяющей способности (дискриминации) задания. Насколько хорошо задание определяет сильных и слабых учащихся. 3. Как задание подходит всему тесту (Item-total correlation). 4. Анализ работы каждого дистрактора. 5. DIF анализ, имеет ли преимущество в этом задании какая-либо группа учащихся. и др.

Пример 1 Сколько корней имеет уравнение (А) 7 (Б) 4 (В) 5 (Г) 6 (Д) 3

Пример 2 Определите, какие отношения существуют между словами в этой паре, а затем выберите в вариантах ответа пару слов с такими же отношениями. Порядок слов в выбранном Вами ответе должен быть таким же, как и в образце. полотно : ножницы (А)дерево : пила (Б)земля : лопата (В)стекло : алмаз (Г)листья : грабли

выс. балл. низк. балл. p r выс. балл. низк. балл. p r таблица сложности и распределительной способности заданий претеста

примеры графического анализа тестовых заданий

Point biserial корреляция и коэффициент дискриминации Коэффициент дискриминации задания показывает, как задание может дискриминировать (различать) учащихся (0,3-0,7). (Pearson Product-Moment Correlation Coefficient) Point biserial – частный случай коэффициента дискриминации задания (значение д.б. положительно (>0,3) для правильных категорий ответов и отрицательна для неправильных категорий ответов)

Анализ с помощью r b и r pbis

Достоверность ре-теста Достоверность параллельного теста Внутреннее соответствие … Наиболее часто используется внутреннее соответствие Коэффициент Альфа Кронбаха На достоверность теста влияют: гомогенность заданий; длина теста; однородность условий тестирования и др. Для тестов высокой значимости желательная достоверность выше 0,85. Достоверность ниже, чем 0,7 неудовлетворительна. Достоверность теста