Представление результатов педагогических измерений 1.Матрица результатов тестирования 2.Подготовка матрицы ответов к математико-статистическому анализу. - презентация

1 Представление результатов педагогических измерений 1.Матрица результатов тестирования 2.Подготовка матрицы ответов к математико-статистическому анализу

2 Матрица результатов тестирования ФИО тестирующегося Номер задания Правильный ответ СDACCBDCDB 1 Иванов В.А. CDACCBAA C D 2Петров П.П. CDCD A DCD C C 3Дроздов П.У. ACB AAA AA A D 4Вахненко М.К. ACD A D A C CA A 5Елизарова М.М. CDD CCB D CDB 6Лысенко Т.О. CBA CCB D CDB 7Голуб А.В. CDADDD AC CC 8Файзулин М.Р. CDACA BA DCA 9Игнатович Р.Т. CDA CCBD CDD 10Роднина М.В. CDA CC D D ACC 11Правдина М.Л. CDA CC B D CDB

3 Матрица результатов тестирования – матрица ответов n – общее количество испытуемых (объектов исследования); р – общее количество заданий теста; j-е задание; i-й испытуемый; xij – результат выполнения j-го задания i-м испытуемым. Номер испытуемого i Номер задания j

4 Номер испытуемого i Номер задания j Подготовка матрицы ответов к статистическому анализу Правильный и неправильный профиль ответов испытуемого

5 Номер испытуемого i Номер задания j Подготовка матрицы ответов к статистическому анализу Удаление строк и столбцов, состоящих только из нулей и единиц.

6 Подготовка матрицы ответов к статистическому анализу Номер испытуемого i Номер задания j YiYi RjRj Подсчет индивидуальных баллов испытуемых и количества правильных ответов испытуемых на каждое задание теста.

7 Упорядочение матрицы результатов тестирования. R j в порядке убывания Y i в порядке возрастания Номер испытуемого i Номер задания j Yi Rj Подготовка матрицы ответов к статистическому анализу

8 Основные статистические характеристики 1.Тестовые задания 2.Тест 3.Распределение результатов тестирования

9 Статистические характеристики тестовых заданий Известная мера трудности является обязательным требованием к тестовым заданиям. Если неизвестна эмпирическая мера трудности задания, то это задание не тестовое. Трудность задания определяется после апробации теста. В качестве показателя трудности используется статистика – доля неправильных ответов q j. Вариация баллов является вторым обязательным требованием к тестовым заданиям. Если на какое-то задание отвечают все тестируемые, или наоборот, не отвечают, то никакой вариации нет, а, следовательно, задание не дифференцирует знающих испытуемых от незнающих. Дисперсия (вариация ответов) определяется по формуле:, где p j и q j – доля правильных и неправильных ответов в каждом задании.

10 Статистические характеристики тестовых заданий Номер испытуемого i Номер задания j YiYi RjRj WjWj pjpj qjqj p j q j

11

12 Статистические характеристики тестовых заданий Дифференцирующая способность (discriminatory power) задания, способность задания разделять обучающихся на «знающих» и «незнающих». – доля правильных ответов на задание в лучшей группе испытуемых (27-30% испытуемых, имеющих высокие тестовые баллы), – доля правильных ответов на то же задание в худшей группе (27-30% испытуемых, имеющих низкие тестовые баллы). Достижение дифференцирующего эффекта – главная цель создания нормативно-ориентированных тестов. DjDj Оценка / Рекомендации 1 0,4 < D j 1 Отличное задание 2 0,3 < D j 0,4 Хорошее задание 3 0,2 < D j 0,3 Желательна дальнейшая доработка. Если трудность задания выше 80%, то задание можно оставить без доработки 4 0,1 < D j 0,2 Критическое значение. Необходим тщательный анализ содержания D j 0,1 Задание нельзя использовать. Отрицательное значение ДСЗ указывает на ошибки в задании, например, указан неверный ответ.

13 Статистические характеристики тестовых заданий Номер испытуемого i Номер задания j YiYi RjRj WjWj pjpj qjqj p j q j p j_слаб 0,67 0,330,00 0,670,00 p j_хор 1,000,67 1,00 0,67 ДСЗ 0,330,000,331,00 0,331,00 0,67

14

15 Оценка системности (валидности) тестового задания Расчет корреляционной матрицы позволяет оценить тестовые свойства задания. В корреляционной матрице представлены корреляции между двумя заданиями, а также корреляция тестового задания с суммой баллов. Желательно, чтобы между заданиями были низкие корреляции (значения меньше 0,3). Чем выше значение корреляции задания с суммой баллов, тем выше шансы задания называться тестовым и попасть в тест (говорят о системности (валидности) задания). Квадрат корреляции задания с суммой баллов, представленный в процентах (коэффициент детерминации), указывает на вклад задания в общую дисперсию тестовых баллов. Задания с значением корреляции ниже 0,2 из теста удаляются, как не выдержавшие эмпирической проверки.

16 Корреляционная матрица Yi 11 20,561 30,360,651 40,300,680,881 50,240,660,850,971 60,220,670,860,970,961 70,040,590,810,880,930,951 80,180,650,840,950,980,960,971 90,150,650,830,930,960,980, ,140,640,820,930,960,970,98 0,991 Yi 0,580,130,420,830,840,760,290,820,830,631 34%2%17%69%71%58%8%67%69%40%

17

18 Коэффициент надежности теста Коэффициент надежности теста показывает насколько можно доверять полученным результатам. Говорят «данные получены с высокой надежностью», если коэффициент выше 0,8. Чем больше данное значение, тем уже доверительный интервал для истинного балла. Коэффициент надежности позволяет судить о качестве теста в целом. где pj и qj – доля правильных и неправильных ответов в каждом задании; n – количество тестируемых; p – количество заданий; – дисперсия тестового балла.

19 Ошибка измерения Может быть здесь?Истинный балл здесь? А может быть здесь? Y i – 1,96S E T i X i T i T i Y i + 1,96S E Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения (standard error of measurement). Стандартная ошибка измерения является стандартной погрешностью оценки истинных баллов на основании наблюдаемых результатов тестовых измерений. При использовании в своей работе «готовых» тестов, стремитесь узнать (определить) коэффициент надежности теста, с целью вычисления ошибки измерения.

20 Описательные характеристики распределения тестовых результатов 1.Меры среднего положения (меры центральной тенденции). Мода, медиана, среднее 2.Меры вариации (рассеяния, изменчивости данных). Размах, дисперсия, стандартное отклонение, коэффициент вариации 3.Меры формы (меры симметрии и островершинности кривой распределения). Коэффициенты асимметрии, эксцесса 4.Квантили. Квартили, процентили

21 Это обобщающие показатели, характеризующие типичное значение, присущее большинству единиц совокупности, позволяющие выявлять закономерности. Мода, М – это наиболее часто встречающееся значение признака в исследуемой совокупности. –Унимодальное распределение, –Бимодальное распределение, –Мультимодальное распределение. Медиана, Мd – это значение, которое делит упорядоченную совокупность данных пополам, так что одна половина значений больше медианы, а другая – меньше. Меры среднего положения В данной совокупности имеются две относительно самостоятельные группы.

22 Среднее,, – это значение, которое отражает типичное значение для исследуемой совокупности в данных условиях: где n – объем совокупности, x i – i-е значение совокупности. –Чтобы средняя величина была действительно обобщающей характеристикой, улавливающей закономерность, она должна применяться к достаточно однородной совокупности. –Средняя величина рассчитывается только для количественных признаков. Меры среднего положения

23 У симметричных унимодальных распределений: У унимодальных распределений с правой асимметрией: У унимодальных распределений с левой асимметрией: Соотношение мер среднего положения Выбор меры центральной тенденции в зависимости от типа измерительной шкалы Тип шкалыМеры центральной тенденции НоминальнаяМода РанговаяМода, медиана ИнтервальнаяМода, медиана, среднее ОтношенийМода, медиана, среднее

24 Меры изменчивости Меры изменчивости – показатели, измеряющие вариацию (разброс) значений совокупности. К мерам изменчивости относятся: размах, дисперсия, стандартное отклонение, коэффициент вариации, и др. Размах вариации (R), отражает пределы изменчивости значений совокупности. Представляет собой разность между максимальным (x max ) и минимальным значением (x min ) совокупности: Размах не учитывает всех значений в выборке и определяется только двумя значениями.

25 Дисперсия,, – это значение, которое отражает внутреннюю изменчивость значений исследуемой совокупности: где n – объем совокупности, x i – i-е значение, – среднее значение. Стандартное отклонение,, показывает насколько в среднем отклоняется каждое значение ( x i ) от среднего : Меры изменчивости

26 В случае нормальности распределения исследуемой совокупности значений справедливо следующее (правило «Трех сигм»): 70% значений лежит между, 95% значений лежит между, 99% значений лежит между. % Процентное распределение наблюдений под нормальной кривой 68,26% 95,44% 99,72% 34,13% 15,59% 2,14% Среднее ()

27 Меры изменчивости

28 Квантили Квантиль – делит совокупность на заданное число равных частей по количеству значений. Число частей может быть различным, отсюда и разные квантили – квартили, децили, перцентили. Квартиль делит совокупность на четыре равные части, по 25% значений а каждой части.

29 Квантили Дециль делит совокупность на 10 равных частей, по 10% значений в каждой части. Перцентиль делит совокупность на 100 равных частей. Например, D 1 = C 10, Q 1 = C 25, Md = C 50, Q 3 = C 75 и т.д. Необходимость расчета квантилей вызвана теми же причинами, что и расчет медианы: низкая чувствительность к случайным резким отклонениям значений признака.

30 Меры формы Асимметрия (As) – степень отклонения распределения от симметричного распределения, характерного для нормальной кривой. –Асимметрия As принимает значения в диапазоне от –3 до +3. As = 0, распределение симметрично; As < 0, левосторонняя асимметрия, As > 0, правосторонняя асимметрия. отрицательная нулевая положительная асимметрия асимметрия асимметрия

31 Меры формы Эксцесс (Ex) – степень островершинности кривой распределения. Эксцесс (Ex) принимает значения в диапазоне от –3 до +3. Ex = 0, распределение средневершинно; Ex < 0, плосковершинная кривая, Ex > 0, островершинная кривая. Понятие «эксцесс» применимо лишь к унимодальным распределениям. Если две моды, то говорят об эксцессе кривой в окрестности каждой моды. Меры асимметрии и эксцесса можно использовать для сравнения различных распределений. островершинная плосковершинная средневершинная

32

33 План апробации тестовых заданий

34 Спасибо за внимание! Ваши вопросы и пожелания