Автоматизированная система контроля знаний Составляющие системы: 1 – Экзаменационные вопросы (подобраны и сформулированы уже сотни вопросов). 2 – Автоматизированная система экзаменования. 3 – Математическая модель педагогических измерений. 4 - Собственная программа обработки данных. 5 – Результаты апробации системы на выборке студентов ППФ. 6 – Внедрение системы в эксплуатацию. * - выполненные пункты. - то, что предстоит сделать

Экзаменационные вопросы -Анатомия ЦНС -Физиология ЦНС -Клиническая психология -Психиатрия -И ряд других. Экзаменационные вопросы сформулированы по таким дисциплинам как:

Автоматизированная система экзаменования. На данном этапе исследований для сбора данных планируется использовать свободно распространяемую систему MyTest Окно программы MyTest (конструирование вопроса)

Математическая модель измерений Стандартная модель IRTМодель предлагаемая нами: 1)Правильный ответ на вопрос – функция уровня знаний студента и трудности вопроса 2)Вероятность того что данный человек правильно ответит на данный вопрос дается функцией: Где θ – уровень знаний студента и δ – трудность данного задания. Ответ на вопрос – функция расстояний в семантическом пространстве (СП) от образа вопроса до образов вариантов ответов: Пример СП. Формула вероятности правильного ответа Где: Расстояние от вопроса до правильного ответа Расстояние от вопроса до неправильного варианта k – число вариантов ответа Дистрактор – правдоподобный отвлекающий вариант ответа

Математическая модель измерений (продолжение) Стандартная модель IRTМодель предлагаемая нами: Обоснование: Функция вероятности правильного ответа удовлетворяет следующим условиям: -P(правильного ответа) растет с увеличением уровня знаний. -абсолютно неподготовленный участник тестирования никогда не ответит правильно -участник чей уровень знаний во много раз превышает уровень трудности вопроса ответит правильно с P=1 Обоснование: Наша функция удовлетворяет всем условиям слева. Кроме того наша модель была выведенна как частный случай теории выбора по сходству (Similarity Choice Model), проверенной в экспериментах с выбором. В них испытуемый должен опознать предъявленный ему стимул (например прочитать букву). Вероятность того что на определенный стимул будет дан определенный ответ: Из этой формулы можно получить нашу модель экзамена если рассматривать вопрос как стимул, а варианты как ответы.

Математическая модель измерений (окончание) Стандартная модель IRTМодель предлагаемая нами: Плюсы: -Учет числа вариантов ответа -Наложив условие получим, что вероятность правильного ответа не опускается ниже r=1/k (эффект случайного угадывания) Планируется обеспечить одинаковую крутизну кривых вопросов, проведя оценку вопросов экспертами, с отбраковкой вопросов, оцененных как невалидные. Минусы: -Некоторые вопросы могут апеллировать к знаниям больше чем по одной дисциплине. Для таких вопросов кривая θ Vs. P отв. становится менее крутой. Учет этого в модели введением параметров крутизны делает результат сомнительным - -Учет угадывания введением еще одного оцениваемого параметра делает результат еще ненадежнее.

Программа обработки (проект) Компьютерная программа обработки должна уметь: -Получать на входе массив нулей и единиц, описывающий результаты выполнения каждым испытуемым каждого задания и выдавать оценки и в интервальной шкале что соответствует уровню знаний и трудности задания в стандартной модели. -Для оценки параметров использовать метод максимального правдоподобия (наиболее точный). -Вычислять меру качества подгонки данных к модели (типа Хи-квадрат). -Вести базу данных трудностей заданий и базу уровней знаний экзаменуемых.

Планируемое исследование выборки и шкала оценки. Планируется собрать данные об экзаменах у 100 студентов. В литературе описан график, полученный методом численной симуляции, и связывающий объем выборки с точностью оценки величин уровня знаний. Видно, что при объеме выборки в 100 чел, уровень знаний каждого оценивается с погрешностью примерно +-0,25. Т.к. уровень знаний изменяется от -3 до +3, фактически знания каждого из первых 100 студентов можно оценить по балльной шкале. В дальнейшем, по мере эксплуатации системы и накопления данных ошибка оценки будет уменьшаться, пока не достигнет теоретического предела – разрешающей способности теста, зависящей от числа заданий в тесте.