Эффективное управление наукой предполагает, что доступные финансовые и организационные ресурсы окажутся в руках тех, кто доказал своей предшествующей работой, что обладает наибольшим потенциалом для проведения важных исследований. Запуск подобной меритократической системы требует разработки простого, прозрачного и, желательно, относительно малозатратного в использовании механизма оценки научных заслуг. В последние десятилетия в разных странах роль такого механизма отводилась наукометрическим индикаторам. Однако может ли такое трудноуловимое явление, как научное признание, быть оценено и измерено на основании библиометрических «следов»? Один из способов ответа на этот вопрос – это оценка валидности цитатных метрик через изучение согласованности оценок экспертов в своей области (peer review) с цитатными показателями. Проект был поддержан Российским научным фондом (21-18-00519).

Главная цель этого проекта – оценить степень согласованности между метриками, вычисленными на основании Российского индекса научного цитирования (РИНЦ), и данными репутационного опроса для четырех научных дисциплин социально-гуманитарного профиля (политологии, экономики, истории и юриспруденции). Для всех областей был создан рейтинг ведущих фигур, который затем сравнивался с их наукометрическими показателями, вычисляемыми Российским индексом научного цитирования. Промежуточные результаты были опубликованы в аналитических отчетах: экономика, политология, история, юридические науки.

Исследование показало:

(1) Во всех областях существует устойчивая система академического авторитета, однако она не находит точного отображения в наукометрических данных. Среди тех, кто попал в топ-30 рейтинга, обычно нет авторов, мало цитируемых и редко пишущих. Однако существуют авторы, публикующиеся и цитируемые ничуть не меньше, чем лидеры репутационного рейтинга, но никем из опрошенных не названные.
(2) Важным результатом стала идентификация нескольких источников расхождений. Ошибки первого рода (идентификация на основании наукометрических показателей как выдающихся ученых тех, кто в действительности не признан коллегами) в первую очередь связаны с ошибками идентификации авторов иноязычных публикаций, нефракционализированным авторством коллективных монографий, с техническим цитированием и прямым манипулированием. Ошибки второго рода (отсутствие признанных коллегами ученых в основанных на наукометрии рейтингах) связаны с неопределенностью дисциплинарных границ и границ национальной науки, а также с тем, что ученые (особенно экономисты) признают внесшими вклад в экономическую науку публичных интеллектуалов или практиков, не производящих академических текстов.
(3) Для некоторых дисциплин репутационные рейтинги необходимо формировать по отдельным отраслям – ученые более нюансировано представляют свои авторитетные фигуры и свою шкалу репутаций в каждом отраслевом сегменте сообщества. Это оказалось ярко выраженным для всех дисциплин (в отличие от исследованной ранее социологии). К примеру, политическая наука представляет собой конфедерацию двух субдисциплин, международников и собственно политологов, а также полуавтономой области политтехнологий.
(4) Важными предикторами номинации респондентами тех или иных фигур как внесших вклад в науку являются специализация респондентов, их ориентацией на глобальную или локальную науку, для экономистов также важна ориентация на открытую рыночную или автаркичную изолированную национальную экономику.
(5) При составлении репутационных рейтингов важно учитывать понимание «вклада в науку» как узко-академического или более широко общественно-политического.

Подробнее о проекте можно прочитать на сайте РНФ.

Основные публикации по итогам проекта: