Российские образовательные рейтинги: Кто и почему преуспел? Михаил Соколов, Анастасия Кинчарова, НОЦ PAST 28 марта 2013

Что делает рейтинг? Информационные функции рейтинга. Перформативные функции рейтинга. Символическое вознаграждение Распределение ресурсов (государственные фонды, домохозяйства) Система стимулов Моральные/политические дилеммы: Аскриптивность позиций в рейтинге Воспроизводство иерархии Поощрение коллективно-иррационального поведения

Рейтинг МинОбрНауки 2012 Пять показателей: Средний балл ЕГЭ бюджетных студентов Расходы на НИОКР рублей на одного преподавателя Доля иностранных студентов Доход из всех источников на одного преподавателя Площадь лабораторий Необходимо набрать медианное значение хотя бы по двум из пяти показателей 129 неэффективных вузов, 360 эффективных

Вопросы исследования Что измеряют используемые показатели? Что определяет баллы по используемым показателям? Как произведен их отбор (что было бы, если бы отобраны были другие показатели)? Как произведена агрегация (что было бы, если бы алгоритм агрегации был другой)?

Переменные 1. Население города в 2010 (РОССТАТ) 2. Уровень зарплат в регионе в 2010 (РОССТАТ) 3. Размер университета в 2010 (число ППС, база сайта edu.ru) 4. Возраст университета (база сайта edu.ru) 5. «Академическая сила» университета (доля докторов наук среди ППС, база сайта edu.ru) 6. Рейтинг научной и публикационной активности ВШЭ 2010 года (только показатели, рассчитываемые относительно к численности ППС – гранты РГНФ и РФФИ, статьи и цитирования в РИНЦе) 7. Средняя цена года обучения на программе бакалавриата в университете (база сайта edu.ru) 8. Показатели селективности – минимальные баллы ЕГЭ (рейтинг ВШЭ 2011 года) 9. Тип университета (классификация ЮНЕСКО с добавлением военных)

Первое знакомство: интеркорреляции (непараметрические корреляции)

Истоки успеха в рейтинге МинОбра

Средние баллы ЕГЭ по типам университетов

Рынки специальностей

Объем НИОКР (не показаны вузы с показателями более 600 тыс.)

Присутствие международных студентов

Доходы на единицу ППС (не показаны вузы с доходами более 4 млн.)

Инфраструктура: площадь лабораторий

Какие типы вузов пережили проверку эффективности? (Логистическая регрессия, псевдо-R² Кокса.140)

Доля выживших

Что, если убрать площадь лабораторий?

Влияют ли другие аскриптивные категории? Анализ не обнаруживает, что экономическое положение региона или размер города сильно увеличивает шансы университета (кроме СПб и Москвы) Однако это достигается за счет (а) включения компенсаторного механизма в виде площади лабораторий (при его изъятии, размер города становится значим на уровне.005); (б) использования рандомизирующего механизма аггрегации

Как агрегируют шкалы? Мировой опыт Самая распространенная методика: сложение взвешенных нормализованных показателей Использование децилей или рангов для устранения «хвостов» Альтернативы: средние геометрические, алгоритм Борда

Эксперимент министерства