Обзор метода статистической обработки результатов тестирования знаний презентация по дисциплине «Дополнительные главы математики» Студент: Пиликов Д.А. Группа: АММ-06 Преподаватели: к.т.н, доцент Казанская О.В д.т.н, профессор Губарев В.В. Тема магистерской диссертации: Разработка и исследование автоматизированной системы мониторинга переподготовки кадров на предприятии Руководитель: д.т.н, профессор Губарев В.В. Новосибирск, 2007
Список литературы 1 Челышкова М. Б. Теориия и практика конструирования педагогических тестов: Учеб. пособие. – Москва.: Логос, – 432 с. 2 Педагогический тест: этапы и особенности конструирования и использования: учеб. пособие / С. В. Клишина, Н. А. Гулюкина. – 2-е изд., испр. и доп. – Новосибирск: Изд-во НГТУ, – 148 с. 3 Статистическая обработка результатов тестирования [Электронный ресурс]: сборник статей. –Тула., –Режим доступа: - Свободный.
Введение Тест - специально подготовленный и прошедший экспериментальную проверку набор заданий, позволяющий объективно и надежно оценить исследуемые качества и свойства на основе использования экспертных оценок и статистических методов /1/. Для анализа качества теста и его коррекции используется математико- статистическая обработка результатов.
Постановка задачи обзора Исходные данные: Результаты тестирования группы проверяемых на одних и тех же тестовых заданиях, либо на тестах схожих по структуре и сложности. Необходимо: Использовать метод математико-статистической обработки для анализа качества теста и его коррекции исходя из полученных расчётов по заданным критериям качества. Этапы обработки результатов теста 1. Сбор эмпирических данных тестирования (проведение теста и составление матрицы результатов); 2. Статистическая обработка результатов тестирования 3. Анализ качества теста.
Математическая модель зависимости результатов от сложности заданий 1958 г. Г. Раш: двухпараметрическая модель зависимости тестового результата i- го испытуемого в j-м задание, где а) вероятности правильных ответов: б) вероятности неправильных ответов где x ij = 1, если ответ i-го испытуемого на j-е задание правильный; x ij = 0, если ответ i-го испытуемого на j-е задание неправильный;, уровень знаний i-го испытуемого;, уровень трудности j-го задания; p ij – вероятность правильного ответа i-го испытуемого на j-е задание; q ij – вероятность неправильного ответа i-го испытуемого на j-е задание, равная, как принято в теории вероятностей, q = 1 – p.
Матрица результатов тестирования Результаты тестирования представляются в виде матрицы размерами М N, где М – число заданий в тесте, N – число испытуемых п/п Тести руем ые Задания теста 12345…МRPiPi qRi2Ri R1R1 P1P1 q1q1 R12R R2R2 P2P2 q2q2 R22R22... N100000RnRn PnPn qnqn Rm2Rm2 RjRj R1R1 R2R2 RmRm *** WjWj PjPj p1p1 P2P2 pmpm qjqj q1q1 q2q2 qmqm djdj d1d1 d2d2 dmdm i 1 2 m Wj = N – Rj (1 j M); q j = 1 – p j = d j = p j q j i =
– Rj – количество правильных ответов по каждому заданию – Wj – количество неправильных ответов по каждому заданию – pj – доля правильных ответов по каждому заданию всеми испытуемыми – qj – доля неправильных ответов по каждому заданию всеми испытуемыми – dj – дисперсия каждого задания – i – среднее квадратическое отклонение по каждому заданию Матрица результатов тестирования Wj = N – Rj (1 j M); q j = 1 – p j = d j = p j q j i = – Ri – тестовый балл i-го испытуемого (кол-во единиц в соответствующей строке) – pi – доля правильных ответов испытуемого по всем заданиям теста – qi – доля неправильных ответов испытуемого по всем заданиям теста:
Матрица результатов тестирования и предварительные выводы о тесте Характеристики по всему тесту: – суммарный тестовый балл всех испытуемых: – среднее арифметическое индивидуальных тестовых баллов испытуемых: Оценка качества теста проводится по результатам апробации теста на репрезентативной выборке тестируемых. Где Ri – тестовый балл i-го испытуемого, N – количество испытуемых
Матрица результатов тестирования и предварительные выводы о тесте Для оценки вариации тестовых баллов по всему тесту используются три показателя. 1. Сумма квадратов отклонений от среднего: 2. Дисперсия тестовых баллов испытуемых: 3. Стандартное (среднее квадратическое) отклонение: Sx =Sx =
Предварительные выводы о тесте Кривая Гаусса (распределение индивидуальных баллов испытуемых) f(x) – плотность распределения случайной величины x – результатов тестирования Связь распределения индивидуальных баллов и трудности заданий теста
Предварительные выводы о тесте Из-за сложности проверки нормальности распределения, на практике применяют величину среднего квадратического отклонения. Если, то распределение близко к нормальному (гауссовскому) /2/
Графическое представление результатов тестирования Гистограмма долей правильных ответов по всем заданиям (pj) дает представление о качестве теста. Гистограмма упорядочена по уменьшению долей правильных ответов. Номера задний по горизонтальной оси должны идти последовательно от первого до последнего Гистограмма распределения испытуемых по результатам тестирования позволяет сделать вывод о распределении индивидуальных баллов и составе группы испытуемых.
Корреляционный анализ результатов Бисериальный коэффициент корреляции (для дихотомической шкалы) М в – среднее арифметическое по всему тесту у студентов, успешно ответивших на j-е задание; М н – среднее арифметическое по всему тесту у студентов, ответивших неверно на j-е задание; i = – стандартное отклонение по j-му заданию (3.9); S x – стандартное отклонение по всему тесту, по всей группе испытуемых Коэффициент корреляции Пирсона х, у – исследуемые выборки – сумма попарных произведений по исследуемым выборкам; – сумма квадратов отклонений от среднего элементов выборки х; – сумма квадратов отклонений от среднего элементов выборки у.
Если, следовательно скорее всего присутствует предметная связь между заданиями Если < 0,3 (коэффициент корреляции каждого задания с суммарным тестовым балом испытуемых), следовательно такие задания требуют доработки Если < 0, некорректность содержания заданий Корреляционный анализ результатов На основании корреляционного анализа можно сделать следующие выводы /2/:
Оценка качества теста Надёжность Коэффициентов надежности теста – r нт C помощью коэффициента корреляции r k где r k – это коэффициент корреляции, вычисляемый между суммой баллов по чётным и нечётным заданиям, либо между несколькими тестами, схожими по структуре и сложности Формула KR-20 где М – число заданий в тесте – сумма произведений дисперсий всех заданий теста – дисперсия тестовых баллов испытуемых С помощью среднего коэффициента корреляции по всему тесту R ср где М – число заданий в тесте R cp =, где - сумма средних коэффициент корреляции каждого задания со всеми остальными
Оценка качества теста Надёжность Характеристики тестов, используемые как критерий качества по надёжности приведены в таблице /2/. Коэффициент надёжности Надёжность 0,90...0,99 Отличная 0,85...0,89 Очень хорошая 0,80...0,84 Удовлетворительная 0,75...0,79 Малоудовлетворительная 0,70...0,74 Сомнительная 0,60...0,69 Неудовлетворительная 0,50...0,59 Совсем неудовлетворительная 0,40...0,49 - 0,30...0,39 - 0,20...0,29 - 0,10...0,19 - 0,00...0,09-
Выводы В ходе данной работы был рассмотрен метод статистической обработки результатов тестов, подходящий для дихотомических шкал (0,1; «да», «нет»; «правильно», «не правильно»); описан математический аппарат, необходимый для корректировки тестовых заданий в тесте. На основании пробного тестирования, проведённого среди 30 испытуемых, были собраны данные по результатам, построены гистограммы долей правильных ответов и распределения количества испытуемых, вычислены числовые характеристики (среднего статистического, дисперсии и среднего квадратического отклонения), вычислена несколькими методами и проанализирована надёжность тестовых заданий. По результатам вычисления сделаны выводы о качестве теста из которых следовало то, что тест требует доработки. Планируется: рассмотреть методы анализа качества тестов для других шкал; рассмотреть различные виды тестирования (адаптивное); рассмотреть возможности применения описанных методов обработки для других видов тестирования.