Принципы, методы и инструменты оценки результативности научной деятельности в научной или образовательной организации НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА eLIBRARY.RU 1

Основные подходы к оценке науки Для оценки результата научно-исследовательской работы применяется два основных метода: оценка экспертом и наукометрический анализ (в том числе библиометрический анализ) Библиометрический подход также, по сути своей, является экспертной оценкой работы: количество опубликованных работ в рецензируемых журналах – это экспертиза на уровне принятия статьи к публикации (от 2 до 5 экспертов) количество полученных цитирований - это экспертиза коллег ученого, «голосующих» за данную работу путем ее цитирования в своих публикациях Основа библиометрического подхода – утверждение, что обмен научной информацией путем публикации результатов исследований является основной движущей силой развития науки Эффективная система оценки научного результата должна строиться на сочетании оценки экспертом с использованием библиометрического анализа 2

Что такое индекс цитирования Индекс цитирования – это библиографическая база данных, которая создается путем систематической обработки отобранных по определенным критериям научных журналов Во всем мире такие базы данных активно используются для решения следующих задач: - поиска научно-технической информации и установления связи между научными исследованиями разных групп ученых; - объективной и прозрачной оценки качества результата исследовательской работы; - оценки эффективности деятельности научных и образовательных организаций ; - формирования экспертных советов, комиссий и рабочих групп в сфере науки и технологий; - совершенствования системы оплаты труда научных и педагогических работников; - мониторинга и прогнозирования развития науки, разработки стратегических документов в области науки и формирования научно-технической политики. 3

Российский индекс научного цитирования в цифрах Библиографическая база данных по 3100 российским научным журналам (более 2,0 млн. статей за г.) Ежегодно добавляется более 270 тысяч статей российских авторов (в Web of Science - 30 тысяч) Более 20 млн. ссылок из списков цитируемой литературы База данных по российским научно-образовательным организациям (более 5900 организаций) База данных по российским авторам (более 590 тысяч авторов) Доступ к полным текстам статей на eLIBRARY.RU (более 2200 журналов, из них 1200 – в открытом доступе) Среднее число ссылок в списках цитируемой литературы в российских журналах – 8, в статьях российских авторов в зарубежных журналах – 20 4

Динамика роста числа российских журналов в РИНЦ 5

Публикации российских авторов в Web of Science, Scopus, РИНЦ Web of ScienceScopusРИНЦ Общее число журналов Число российских журналов Среднее число статей российских авторов в год Хронологический охват, лет Доступплатный открытый Только одна из десяти публикаций российских авторов попадает в международные базы данных. Некоторые направления российской науки, в частности, общественно- гуманитарные, там практически не представлены За последние 3 года число российских журналов в Web of Science увеличилось на 13 наименований, однако их доля по отношению ко всем обрабатываемым журналам не изменилась 6

Институт нефтехимического синтеза им. А.В.Топчиева в Web of Science и РИНЦ ОрганизацияWeb of ScienceРИНЦ Общее число публикаций Общее число цитирований Число публикаций за 10 лет Число цитирований за 10 лет Число публикаций за 5 лет Число цитирований за 5 лет Общее число цитирований в Web of Science больше за счет более глубокого архива. За десятилетний и пятилетний периоды РИНЦ дает уже более высокие показатели, как по числу публикаций, так и по числу цитирований

Сравнение показателей российских авторов в Web of Science и РИНЦ Автор Web of Science РИНЦ Платэ Николай Альфредович Институт нефтехимического синтеза РАН статей всего цитирований всего статей за цитирований за Беленков Юрий Никитович Российский кардиологический научно- производственный комплекс статей всего цитирований всего Дубин Борис Владимирович Аналитический центр Юрия Левады статей всего цитирований всего Для авторов в области естественных наук, активно публикующихся в зарубежных журналах, общее число цитирований в Web of Science больше за счет более глубокого архива. За десятилетний период РИНЦ дает уже более высокие показатели Для медицины и социологии показатели в РИНЦ гораздо выше 8

Что нужно для аналитических исследований, или чем система SCIENCE INDEX будет отличаться от РИНЦ Качество и полнота данных Учет публикаций разных типов и из разных источников Точность привязки публикаций к авторам, организациям, журналам Новые более интеллектуальные показатели и методики 9

Качество и полнота данных Систематическая обработка 1500 самых авторитетных журналов, отобранных по специальной методике Увеличение архива по этим журналам к 2013 году до 10 лет Остальные научные журналы по желанию издателей будут пока по-прежнему приниматься в РИНЦ без ограничений Будут рассчитываться отдельно показатели на основе массива из 1500 ядерных журналов и на основе всей базы данных Качество входного потока: соблюдение формата оформления ссылок, внедрение DOI, приведение названий организаций к нормативному виду, использование новых технологий в редакционном и издательском процессе 10

Учет публикаций разных типов и из разных источников Возможность добавления не только статей в научных журналах, но и монографий, сборников статей, материалов конференций, патентов, отчетов, диссертаций и других типов научных публикаций Учет публикаций российских авторов как в российских, так и в зарубежных журналах – заключено соглашение с компанией Elsevier о приобретении данных о публикациях российских авторов из Scopus с 1996 года Возможность добавления публикаций, отсутствующих в РИНЦ, самими авторами или представителями организаций, с последующим контролем Размещение на платформе eLIBRARU.RU полных текстов публикаций из РИНЦ, в открытом доступе или по подписке Возможность хранения полных текстов публикаций организации и управления доступом к ним (электронный репозитарий организации) 11

Точность привязки публикаций к авторам, организациям, журналам Специальный интерфейс для авторов, позволяющий им идентифицировать свои публикации (за полгода в системе SCIENCE INDEX зарегистрировалось уже более 43 тысяч авторов) Расширенные возможности для авторизованных представителей организаций Возможность анализа публикационной активности по подразделениям организации Внедрение DOI, SPIN-кода для авторов и уникальных идентификаторов для организаций Специальный интерфейс для авторизованных представителей редакций и издательств, позволяющий исправлять ошибки в своих журналах 12

Новые более интеллектуальные показатели и методики Для более точной оценки научной деятельности на основе анализа публикационной активности необходимо использовать более сложные показатели, учитывающие: - тематическое направление исследований; - объем, состав и хронологическое распределение журналов в базе данных; - самоцитирование и цитирование соавторами; - временной период (для цитирующих и цитируемых статей) и хронологическое распределение ссылок; - возраст публикации; - число соавторов; - авторитетность ссылок (кто процитировал); - учет дублирования ссылок из переводных журналов; - другие типы публикаций (монографии и т.д.) Необходима разработка комплексных методик, отражающих специфику научной деятельности в оцениваемых организациях, и с обязательным участием экспертного сообщества 13

Информационно-аналитическая система SCIENCE INDEX для авторов научных публикаций для редакций научных журналов для научных организаций для администраторов проекта 14 представляет собой аналитическую надстройку над Российским индексом научного цитирования (РИНЦ) и предлагает целый ряд новых сервисов и аналитических инструментов

Информационно-аналитическая система SCIENCE INDEX для авторов регистрация автора в системе SCIENCE INDEX получение уникального идентификатора автора: SPIN-кода (Scientific Personal Identification Number) просмотр списка своих публикаций в РИНЦ с возможностью его анализа по различным параметрам и вывода на печать учет публикаций, извлеченных из списков цитируемой литературы просмотр списка ссылок на свои публикации с возможностью его анализа по различным параметрам возможность добавить найденные в РИНЦ публикации в список своих работ 15

Добавление публикации в список работ автора

Информационно-аналитическая система SCIENCE INDEX для авторов возможность добавить найденные в РИНЦ ссылки в список своих цитирований возможность удалить из списка своих работ или цитирований ошибочно попавшие туда публикации или ссылки возможность идентификации организаций, указанных в публикациях автора в качестве места выполнения работы возможность глобального поиска по спискам цитируемой литературы новый раздел анализа публикационной активности и цитируемости автора с возможностью расчета большого количества библиометрических показателей и построения распределения публикаций и цитирований автора по различным параметрам 17

Поиск цитирований автора

Анализ публикационной активности автора

Информационно-аналитическая система SCIENCE INDEX для авторов получение актуальных значений количества цитирований публикаций не только в РИНЦ, но и в Web of Science и Scopus с возможностью перехода на список цитирующих статей в этих базах данных при наличии подписки система оповещения автора о появлении в РИНЦ новых публикаций и ссылок на его работы персональный информер автора в системе SCIENCE INDEX возможность добавить отсутствующую в РИНЦ статью, если она зарегистрирована в CrossRef и имеет уникальный идентификатор DOI расширенные аналитические возможности 20

Число цитирований в Web of Science и Scopus

Информационно-аналитическая система SCIENCE INDEX для организаций возможность контроля и коррекции списка публикаций организации в РИНЦ возможность добавления публикаций, отсутствующих в РИНЦ возможность добавления не только статей в научных журналах, но и монографий, сборников статей, материалов конференций, патентов, отчетов и других типов научных публикаций возможность анализа публикационной активности по подразделениям организации возможность хранения полных текстов публикаций организации и управления доступом к ним (электронный репозитарий организации) 22

Информационно-аналитическая система SCIENCE INDEX для издательств возможность уточнения библиографических описаний своих журналов в РИНЦ возможность поиска и идентификации ссылок на свои журналы в РИНЦ новая программа для разметки публикаций в режиме онлайн система «Электронная редакция» с возможностью подготовки и оформления публикаций авторами в режиме онлайн система «Антиплагиат» 23

РИНЦ Web of Science Scopus Google Scholar Web of Science Scopus Google Scholar Российские научные издательства Российские научные издательства Контроль и дополнение информации научными организациями Базы данных патентов, книг, отчетов, диссертаций Контроль и дополнение информации авторами Архивы российских журналов Аналитический блок SCIENCE INDEX Аналитический блок SCIENCE INDEX 24