Возможно ли оценить эффективность образования в стране с помощью сравнительных международных мониторингов? (на примере международного исследования PISA) Кузьмина Ю.В. Ларина Г.С. Международная лаборатория анализа образовательной политики НИУ ВШЭ Москва, 2013 Международная конференция «Российское образование в зеркале международных сравнительных исследований»

Что такое PISA? PISA – Programme for International Student Assessment Цель – оценить, обладают ли учащиеся, получившие общее обязательное образование, теми знаниями и умениями, которые необходимы для полноценного функционирования в обществе. Участники – 15-летние подростки Измерение достижений по трем основным направлениям: o Чтение (2000 и 2009) o Математика (2003 и 2012) o Естественнонаучные дисциплины (2006)

Состав российской выборки Вся выборка9-классники10-классники 910Общеобр. Проф. Общеобр. Проф %410169%100%76%24% %378065%100%75%26% %162131%100%82%18%

Могут ли результаты PISA быть использованы для измерения эффективности образования? Варианты интерпретации результатов PISA для оценки динамики эффективности образовательной системы (в порядке углубления анализа): 1)Динамика результатов (средних, по уровням, процентилям и т.п.) 2)Динамика эффекта индивидуальных и школьных факторов на результаты (изменялось ли влияние этих факторов, увеличился или уменьшился разрыв между детьми с высоким СЭС и низким СЭС, между мальчиками и девочками, между школьниками из школ из разных населенных пунктов и т.п.) 3)Динамика эффекта одного года обучения (грейд- эффекта) 4)Факторы, которые могут изменить эффективность одного года обучения

Динамика средних баллов PISA в России

Динамика эффекта СЭС на достижения

Динамика различий в результатах между мальчиками и девочками

Эффект одного года обучения Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым) Но прямое сравнение невозможно по следующим причинам: o Эффект взросления o Разное время старта школьного обучения o Общее и профессиональное образование

Метод исследования Метод: Propensity Score Matching (PSM), метод «ближайшего соседства». Использование данного метода позволяет оценить эффект одного года обучения за счет рассмотрения нескольких ковариат. Ковариаты: возраст, СЭС, индекс образовательных ресурсов, профессиональный статус и образование родителей, индекс культурных ресурсов семьи. Эффект дополнительного года обучения считался для всей выборки и для исключительно общеобразовательной выборки отдельно

Распределение школьников относительно «пороговой точки» Процент школьников, поступивших в школу с нарушением «порогового правила» 2003 Вся выборка9-классники10-классники 19%42% 9% %54% 10% % 74%11%

Грейд-эффект для всей выборки Грейд-эффект Динамика результатов PISA МатематикаЧтение Естественные науки th vs. 9 th grade 22.5* (5.8) 27.5* (5.6) 17.6* (5.4) 23.3* (6.2) 25.5 * (5.6) 15* (5.8) 19.6 * (6.1) 19.4 * ( 5.5) 4.9 (5.7)

Отбор для оценки грейд-эффекта для общеобразовательных школ Чтобы оценить эффект дополнительного года обучения исключительно в школьном образовании, RD анализ был проведен на ограниченной выборке: Исходя из фактической траектории 10-классников были рассчитаны вероятности ребенка продолжить обучение в общеобразовательной школе 9-классники с высокой вероятностью (больше среднего) продолжить обучение в школе, отбирались в эту выборку Независимые переменные – СЭС и пол 10-классники в школе 9-классники с высокой вероятностью остаться в школе

Грейд-эффект для общеобразовательных школ Общеобразовательная траектория Вся выборка МатематикаЧтение Естественные науки th vs. 9 th grade 38.1* (7.4) 39.4* (7.2) 34.3* (5.6) 17.4 * (6.5) 21.2 * (6.4) 13.5* (5.9) 24.8* (7.3) 23.5* (7.3) 19.4* (6.1)

Основные выводы Вклад школы в развитие функциональной грамотности (эффект одного года обучения) уменьшился по результатам 2009 года. В 2009 году увеличился разрыв в результатах между школьникам с низким и высоким СЭС, что может свидетельствовать о снижении эффективности школьной системы для обеспечения образовательного равенства. В области читательской грамотности увеличился так же разрыв между мальчиками и девочками.

В области математики обнаружен самый большой эффект одного года обучения, по сравнению с другими сферами. Возможно, что российская школьная система в большей степени ориентирована на формирование функциональной грамотности в области математики, чем чтения и естественных наук. Наибольший разрыв между эффектом одного года для всей выборки и общеобразовательных школ зафиксирован в области математики, что говорит о том, что в профессиональных школах в области математики происходит снижение навыков, приобретенных в средней школе. Основные выводы