Оценка качества образования : новые способы оценивания учащихся Цель семинара : Обсуждение, дополнение и утверждение муниципальной системы оценки качества образования. Выработка рекомендаций по совершенствованию системы внутришкольной диагностики учебных возможностей обучающихся на основе квалиметрического подхода.
Проблемы в реализации существующей модели СОКО Несформированность единого концептуально - методологического понимания проблем качества образования и подходов к его измерению. Нескоординированность деятельности различных организаций, занимающихся проблемами качества образования. Отсутствие необходимого научно - методического обеспечения и современных технологий для объективного и надежного сбора информации, оценки различных показателей качества образования и выявления факторов, влияющих на их динамику. Использование неапробированного и нестандартизированного инструментария оценки.
Проблемы в реализации существующей модели МСОКО Отсутствие регламента внедрения ; Отсутствие регламента внедрения ; Проблемы построения рейтинга ОУ по существующим отчетам ; Проблемы построения рейтинга ОУ по существующим отчетам ; Несоответствие данных, представляемых ОУ в управление образования ; Разночтение в оценке итоговой успеваемости по школам ; Сложности в составлении публичного отчета директора школы ; Формальность в содержании некоторых приложений к МСОКО ( например, диагностическая анкета учителя ). Формальность в содержании некоторых приложений к МСОКО ( например, диагностическая анкета учителя ).
Создание внутришкольной модели системы оценки качества образования. Примерное положение о ШСОКО Примерное положение о ШСОКО Рекомендации по формированию системы ШСОКО и анализу администратинвых контрольных работ
Многоуровневая параметрическая модель диагностики учебных возможностей учащихся Автор методики – Фомина Надежда Борисовна, главный редактор журнала « Качество образования в школе », научный руководитель эксперимента по формированию единой системы оценки качества образования в Юго - Западном округе Москвы.
Основная идея методики Расширить рамки существующей системы оценки качества не только образовательного учреждения в целом, но и управленческой деятельности администрации, учителей - предметников, учащихся ; Упорядочить систему ВШК и организовать ее на качественно новом уровне.
Принципиальное отличие данной методики от традиционной Использование оценочных технологий, ориентированных не на субъективные оценочные механизмы локального применения, а на объективизированные ( дистанционные от учителя ) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок.
Система показателей и индикаторов ( уровень обучающегося ) ПОКАЗАТЕЛЬИНДИКАТОРФОРМУЛА РАСЧЕТА ИСТОЧНИК ИНФОРМАЦИ И ПЕРИОДИЧ НОСТЬ 1 Образовательные достижения за период обучения Средний балл по ЕГЭ Сумма баллов / количество предметов Результаты ЕГЭ1 раз в год 2 Индивидуальные достижения по предметам Средний балл за четверть (триместр) Сумма баллов / количество предметов Классный журнал 1 раз в четверть (триместр) 3 Уровень освоения практической части образовательной программы Процент выполненного объема контрольной работы по предмету Количество правильно выполненных заданий / количество данных учителем заданий * на 100% Тестовая, контрольная работа По графику контроля 4 Объективность процедуры оценивания Совпадение оценочного показателя и показателя результативности Сравнение оценочного показателя и показателя результативности Тестовая, контрольная работа По графику контроля 5 Сохранение статуса (уровень социализации) Совпадение показателей УСВ и ИУСВ Количество учащихся, получивших «4» и «5», * 100% / общее количество учащихся, уменьшение показателей: - «с одной четверкой»; - «с одной тройкой»; - «с одной двойкой». Тестовая, контрольная работа Классный журнал По графику контроля 1 раз в четверть (триместр) 6 Уровень реализации учебных возможностей учащихся Показатель УРВ равен 100% или превышает 100% Показатель результативности / ИРВ * 100% Тестовая, контрольная работа По графику контроля 7Внепредметные компетенции Участие в олимпиадах и конкурсах Портфолио обучающегося 1 раз в год
Система показателей и индикаторов ( уровень класса ) ПОКАЗАТЕЛЬИНДИКАТОРФОРМУЛА РАСЧЕТА ИСТОЧНИК ИНФОРМАЦИИ ПЕРИОДИЧНО СТЬ 1Общие результаты обучения Количество обучающихся на «5», на «4» и «5», количество неуспевающих, количество учащихся, имеющих одну «4», одну «3» или одну «2» по отдельным предметам Номинальные показатели классаКлассный журнал 1 раз в четверть (триместр) 2 Объективность выставления оценок за четверть (триместр) по предметам Соответствие оценок, выставленных за контрольные работы, оценкам, выставленным за четверть (триместр) Подтверждение более 50% оценок Классный журнал 1 раз в четверть (триместр) 3 Уровень освоения теоретической (знаниевой) части программы Оценочный показатель равен ИРВ или превышает ИРВ Сумма оценок по предмету / количество учащихся * 100% Классный журнал 1 раз в четверть (триместр) 4 Уровень освоения практической части программы (умения и навыки) Результативный показатель равен ИРВ или превышает ИРВ Сумма оценок за контр. работу / количество учащихся * 100% Классный журнал 1 раз в четверть (триместр) 5 Уровень реализации учебных возможностей всех учащихся класса Показатели результативности совпадают с показателем ИРВ РЕЗ = ИРВКлассный журнал 1 раз в четверть (триместр) 6Соответствие нормативным показателям Сравнение полученных показателей с нормативными показателями Показатель результативности больше 60% или равен 60% Классный журнал 1 раз в четверть (триместр) 7 Наличие проблем в усвоении отдельных дисциплин всеми учащимися класса Самый низкий рейтинг предмета Сумма оценок по предмету / количество учащихся * 100% Классный журнал 1 раз в четверть (триместр)
Система показателей и индикаторов ( уровень ОУ ) ПОКАЗАТЕЛЬИНДИКАТОРФОРМУЛА РАСЧЕТА ИСТОЧНИК ИНФОРМАЦИИ ПЕРИОДИЧНОСТ Ь 1Уровень обученности учащихся Показатель СО равен региональному показателю % успевающих учащихся ОУКлассный журнал 1 раз в четверть (триместр) 2 Качество обученности (по формальным критериям) Показатель КО равен региональному показателю % учащихся, обучающихся на «4» и «5» ОУ Классный журнал 1 раз в четверть (триместр) 3 Уровень освоения теоретической (знаниевой) части программы Оценочный показатель равен ИРВ или превышает ИРВ по всем изучаемым предметам Сумма оценок по предмету / количество учащихся * 100% Классный журнал 1 раз в четверть (триместр) 4 Уровень освоения практической части программы (умения и навыки) Результативный показатель равен ИРВ или превышает ИРВ Сумма оценок за контр. работу / количество учащихся * 100% Классный журнал 1 раз в четверть (триместр) 5 Наличие разрыва в усвоении практической и теоретической частей программы Показатель освоения практической части программы соответствует показателю освоения теоретической части Разница между показателями не более 10% Классный журнал 1 раз в четверть (триместр) 6 Соответствие полученных показателей минимальному уровню усвоения стандарта образования Показатель освоения практической части программы и показатель освоения теоретической части сравниваются с минимальным показателем освоения стандарта образования = 60% Полученные показатели = 60% или выше 60% Классный журнал 1 раз в четверть (триместр) 7 Качество преподавательс-кой деятельности Количество проблемных компонентов в результатах деятельности каждого учителя Отсутствие проблемных компонентов – оптимальный уровень, от 1 до 4 компонентов – достаточный уровень, 5 компонентов и более – критический уровень преподавания. Классный журнал 1 раз в четверть (триместр)
Система показателей и индикаторов ( муниципальный уровень ) ПОКАЗАТЕЛЬИНДИКАТОР ФОРМУЛА РАСЧЕТА ИСТОЧНИК ИНФОР- МАЦИИ ПЕРИО- ДИЧНОСТЬ 1 Общий уровень усвоения учащимися основных знаний и умений по учебным дисциплинам в объеме обязательного минимума содержания образования в сравнении с региональными показателями Доля успевающих учащихся (СО) Процентное отношение успевающих учащихся муниципального образования Статистический отчет 1 раз в четверть (триместр) 2 Оценка качественной обученности учащихся по формальным критериям в сравнении с региональными показателями Доля учащихся с высокой степенью обученности Процентное отношение в сравнении с региональными показателями Статистический отчет 1 раз в четверть (триместр) 3 Уровень сформированности общеучебных умений Показатель высокого уровня сформирован- ности выше 70% Процентное отношение количества предметов, освоенных на высоком уровне, к общему количеству Квалиметрический анализ 1 раз в четверть (триместр) 4 Соответствие уровня сформированности знаний, умений и навыков стандарту образования Показатель уровня сформирован-ности знаний, умений и навыков стандарту образования Процентное отношение количества предметов, освоенных на высоком уровне, к общему количеству Квалиметрический анализ 1 раз в четверть (триместр) 5 Качество усвоения практической части программы, сформированность умений применения полученных знаний в практической деятельности Положительная динамика показателей Специальные расчеты Квалиметрический анализ 1 раз в четверть (триместр) 6 Качество усвоения теоретической части программы, прочность усвоения учебного материала (стабильность сравниваемых показателей в наблюдаемый период) Положительная динамика показателей Специальные расчеты Квалиметрический анализ 1 раз в четверть (триместр) 7 Эффективность управленческой деятельности руководителей ОУ по повышению качества образования Показатель эффективности равен 80% или более 80% Процентное количество проблемных компонентов к общему количеству педагогов в ОУ Квалиметрический анализ 1 раз в четверть (триместр)
Анализ результатов деятельности школы : Общие итоги по школе ; Анализ результатов каждого класса ; Результаты выполнения практической части программы по всем классам ; Показатели сформированности общеучебных умений ; Графическое подтверждение результатов анализа ; Анализ усвоения теоретической части программы ( в сравнении с реальными возможностями учащихся и нормативными показателями ).
Анализ результатов педагогической деятельности учителей по трем уровням ( оптимальный, достаточный, критический ): 1. Учет индивидуальных достижений каждого учителя : повышение квалификационной категории ; награды. Звания, ученая степень ; подготовка и проведение мероприятий на уровне района ; внедрение ИКТ в учебный процесс ; медалисты, отличники, победители и призеры олимпиад, конкурсов ; результативность ЕГЭ в сравнении с индексами реальных возможностей класса. 2. Выявление проблемных микрокомпонентов, снижающих эффективность учебного процесса : количество учеников с одной четверкой, с одной тройкой ; неуспевающие по предмету ; низкий уровень усвоения практической части программы ; расхождения между уровнем усвоения и оценочными показателями ; неудовлетворительные результаты ЕГЭ
Диагностика уровня реальных возможностей учащихся В практике работы выработаны несколько способов диагностики : По итоговым оценкам за год ; По текущим оценкам за четверть ; По текущим оценкам за год ; По диагностической карте уровня реальных возможностей ( УРВ ); По диагностическим контрольным работам
Основная идея предлагаемой методики : 1. Определение показателей, прогнозирующих результаты обучения. 2. Определение реальных результатов обучения. 3. Сравнение прогнозируемого и реального результатов. 4. Выводы по итогам сравнительной характеристики.
Основная идея предлагаемой методики : Новая система оценки качества усвоения учебного материала основывается на сравнительном анализе прогнозируемого результата с полученным фактически. Прогнозируемые показателиПолученные показатели ИРВ – индекс реальных возможностей учащихся РЕЗ - результативность ИУСВ – индекс полного усвоения учебного материала ОЦ – оценочный показатель ИНЕУСП – индекс прогнозируемой неуспеваемости УСВ – показатель уровня усвоения учебного материала УРВ - показатель уровня реализации учебных возможностей НЕУСП – показатель неуспеваемости
Методы диагностики Метод « доверительной компетенции » Метод групповых экспертных оценок Метод диагностических контрольных работ Метод экспресс - диагностики Комплексный метод
Алгоритм диагностики УРВ Составление списка учащихся; Определение индивидуальных возможностей каждого ученика путем выбора соответствующего показателя из данных: ученик обучается на 5; на 5 или 4; на 4; 4 или 3; 3; 3 или 2; на 2 Выделение промежуточных параметров через запятую – 5; 4,5; 4; 3,5; 3; 3,5; 2 Вычисление индексов: - ИРВ – индекс реальных возможностей, - ИУСВ – индекс полного усвоения учебного материала, - ИНЕУСП – индекса работы со слабоуспевающими учащимися
Пример определения ИРВ Список учащихсяИндивидуальные возможности Промежуточные параметры 1. Баринова Н.4 и 5 4,5 2. Баринова Ю Галустян К.4 и 5 4,5 4. Горюнов Н Жукова Е Каменская Л.3 и 4 3,5 7. Постникова Л Тельнова С.3 и 4 3,5 9. Степанец А.4 и 5 4,5 ИТОГО : 34,5 = 77% ИРВ = = = = 56% ИУСВ = ИНЕУСП = 100% - ИРВ = 100%-77% = 23%
Новые способы оценивания учащихся « Результативность » выполненной работы – выраженный в количественном значении результат контрольной работы, выполненной учащимися. Результативность определяется по формуле : РЕЗ = где РЕЗ – результативность, Ф – фактически выполненное суммарное количество заданий, Д – данный учителем объем заданий ( количество заданий * количество учащихся )
Определение индивидуальной результативности Например, из 10 заданий учащийся выполнил 8. Индивидуальная результативность находится по формуле РЕЗ = = 80% Оценка по результативности выставляется после расчета по формуле : ОЦ = = = 4
Определение общей результативности класса
Определение объективности выставленных оценок
Сопоставление оценок по результативности
Таблицы оценок по результативности ,67134,64124,62114,58104,5594,5 134,33124,29114, , ,93103,8593,7583,6473,5 113,67103,5793,4683, ,3393,2183,0872,9262,7252,5 9382,8672, , ,6772,562,3152,0841,8231,5 72,3362,1451,9241,6731, ,7941,5431,2520,9110,5 51,6741,4331,1520,8310,45 41,3331,0720,7710, ,7110,38 20,6710,36 10,33
Технология анализа контрольной работы
1 этап : Определение результативности выполнения работы. 2 этап : Определение объективности выставленных оценок. 3 этап : Определение уровня работы с « сильными » учащимися ( УСВ ) УСВ = 4 этап : Определение уровня реализации учебных возможностей учащихся ( УРВ ) 5 этап : Определение состояния работы со слабоуспевающими учащимися НЕУСП = 100% - РЕЗ 6 этап : Определение наличия типичных ошибок 7 этап : Составление сводной таблицы
Технология анализа контрольной работы (8 этап )
Технология анализа контрольной работы (9 этап - заполнение рабочей таблицы )
Технология анализа контрольной работы (10 этап – построение графиков )
Преимущества нового способа оценивания : Ученик перестает быть зависимым от желания или нежелания учителя выставить ту или иную оценку ; Появляется возможность самооценивания, т. к. полученную оценку можно проверить по таблицам оценок по результативности ; Уменьшается конфликтность между учеником и учителем, не возникает споров по поводу выставляемой оценки ; Резко усиливается мотивация к учению, т. к. разница между количеством выполненного объема и полученной оценкой чутко улавливается учеником и с каждым правильно выполненным заданием растет возможность получения более высокой оценки ; Исчезает формализм в выставлении оценок, оценка связывается с результатом, что имеет большое воспитывающее значение и не приводит к обезличиванию усилий, когда за разный выполненный объем выставляется одна и та же оценка.
Отличие новой технологии анализа от традиционной ТрадиционнаяКвалиметрическая Количество учащихся, присутствующих при выполнении работы Результативность выполнения работы Количество учащихся, выполнивших или не выполнивших те или иные задания Объективность выставленных оценок Характер типичных ошибокСостояние работы с сильными учениками Уровень реализации учебных возможностей учащихся Состояние работы со слабоуспевающими учащимися Индивидуальная результативность каждого ученика Достоверность выставленной каждому ученику оценки Наличие или отсутствие типичных ошибок
Заключение Соответственно, математическая модель измерения качества образования может быть представлена следующей схемой : РЕЗ > ИРВ, ОЦ = РЕЗ, УСВ > ИУСВ, УРВ > 100, НЕУСП < ИНЕУСП.
Количественные признаки качества образования : Показатель результативности выполнения работы равен индексу реальных возможностей учащихся, превышает прогнозируемый показатель или меньше его, но не более чем на 10% (РЕЗИРВ); Оценочный показатель равен или отличается от показателя результативности не более, чем на 10% (РЕЗ=ОЦ); Показатель полного усвоения программного материала совпадает с прогнозируемым показателем, превышает его или меньше его, но не более, чем на 10% (УСВИУСВ); Показатель уровня реализации учебных возможностей равен 100% или меньше, но не более, чем на 10% (УРВ 100%); Показатель работы со слабыми учащимися равен прогнозируемому или меньше последнего (НЕУСПИНЕУСП).