Как оценивать публикационную активность и научную результативность? Корректно ли сравнивать цитируемость разных ученых, лабораторий или научных организаций между собой? Почему российские публикации в среднем цитируют хуже, чем иностранные? На эти и другие вопросы отвечает эксперт и специалист по наукометрии Web of Science Павел Касьянов.

Web of Science – одна из крупнейших в мире поисковых платформ, которая индексирует научные публикации разного типа (статьи в журналах, материалы конференций, главы в монографиях и другие). На основе данных по цитированию попавших в базу данных материалов рассчитываются различные наукометрические показатели, которые могут помочь в повседневной практике как ученым, так и управленцам. Однако для разных задач (выбор журнала для публикации своих результатов или сравнение научной результативности двух организаций) необходимо использовать разные инструменты и показатели. О возможностях современной наукометрии ученым и специалистам Красноярского научного центра СО РАН рассказал эксперт и специалист по наукометрии Web of Science Павел Касьянов.

Количество публикаций: показатель научной производительности

Самый простой показатель, который можно использовать для анализа научной производительности – количество публикаций. Однако здесь есть свои сложности. С одной стороны, качество научных журналов и источников научной информации может различаться. Где-то система рецензирования рукописи включает до пяти анонимных экспертов, а какое-то издание публикует что угодно за небольшую плату. Значит, база данных должна включать не все издания, а лишь те, что прошли сито предварительного отбора. По словам Павла Касьянова Web of Science не только славится, но и хвастается самой жёсткой процедурой в мире по отбору индексируемых журналов и других источников научной информации. «Если вы опубликовали свои результаты в журнале, который индексируется нашей базой данных – это уже, как минимум, говорит о качестве исследования», – подчеркивает эксперт.

Однако этот валовый показатель плохо работает, когда нужно сравнить авторов или организации, работающие в принципиально разных предметных областях. Например, генетики или материаловеды могут проводить несколько параллельных экспериментов и в течение одного года публиковать несколько научных публикаций. В то время как от историков или археологов не стоит ждать ежеквартальных статей. Если сопоставить показатели публикационной активности условных молекулярных биологов и филологов, то, скорее всего, у первых показатель будет гораздо выше. Но на основании этого нельзя сделать вывод о разной производительности исследователей.

Суммарная цитируемость: показатель научной влиятельности

Общее количество цитирований трудов конкретного ученого – один из наиболее распространенных наукометрических показателей. Часто, и совсем некорректно, вместо этого термина используют словосочетание «индекс цитирования». Такого показателя в базе данных и наукометрии нет. Правильно говорить о показателе суммарной цитируемости. Предполагается, что чем чаще цитируется конкретная статья, тем больше ее влияние на развитие науки. Соответственно, тем больший вклад в развитие данного направления внесли авторы статьи. Однако и этот параметр очень часто подвергается критике, как зависящий от области знаний. Например, у медиков цитируемость работ выше, чем у физиков, а у физиков, в свою очередь, выше, чем у математиков. «К сожалению, суммарная цитируемость – это не самый хороший показатель для принятия решений, – отмечает Павел Касьянов, – С помощью этого показателя нельзя сравнить ученых и организации, работающие в разных предметных областях».

При расчете суммарной цитируемости часто возникает проблема оценки количества самоцитирований – случаев, когда автор ссылается на свои собственные работы. По словам эксперта, условно приемлемая доля ссылок автора на свои работы – 20-30%. Если ученый продолжает работу по одной и той же тематике, то разумное количество отсылок к предыдущим статьям – это даже необходимость. Однако если доля самоцитирований в суммарной цитируемости автора достигает 70 и более процентов, то с большой вероятностью речь идет о злоупотреблениях.

Конечно, и в этом случае важны нюансы. Нет ничего страшного в том, если у молодого ученого вышло лишь несколько статей и большинство его цитирований – ссылки на свои собственные работы. Другое дело, когда в поле зрения попадает автор с десятки статей и сотнями цитирований, из которых большинство – перекрестные ссылки. В этом случае, ученый может причинить вред своей академической репутации. «Дело в том, что многие научные журналы анализируют публикационные профили ученых, которые подают рукописи статей для печати. Большой показатель самоцитирований может стать причиной того, что рукопись даже не дойдет до рецензентов, ее завернет научный редактор», – подтвердил эксперт.

Индекс Хирша: научная производительность и результативность вместе

17 лет назад американский физик Хорхе Хирш предложил наукометрический показатель, который быстро завоевал популярность среди ученых и часто используется для негласного определения уровня исследователя. Индекс Хирша равен значению n, если в рассматриваемой выборке научных материалов n публикаций процитировано n и более раз. Обычно индекс Хирша считают для конкретного ученого, однако его можно рассчитать для любого массива публикаций – журнала, лаборатории или даже целой страны. «Этот замечательный показатель объединяет публикационную активность и цитируемость в один параметр. Проблема в том, что это попытка одномерно взглянуть на многомерную задачу», – рассказывает эксперт.

Можно придумать десятки случаев, когда индекс Хирша в качестве показателя оценки влиятельности конкретной выборки публикаций будет несостоятелен. К примеру, у автора всего 10 публикаций и каждая из них процитирована 100 и более раз. Его индекс Хирша равен 10. У другого автора чуть больше статей, и 11 из них процитированы лишь по 11 раз каждая. Казалось бы, научная влиятельность первого автора должна быть существенно выше, но по этому показателю она даже уступает второму.

Итак, валовые показатели публикационной результативности и влиятельности (общее количество публикаций и суммарная цитируемость) а также их производная (индекс Хирша) подходят для сопоставления ученых или организаций только в рамках одной предметной области. Без информации о направлении исследований, ни число публикаций автора, ни сумма ссылок на его статьи не могут быть признаны высоким или низким значением. Более того, нельзя не только сравнивать цитирования между разными предметными областями, но и цитирования между разными типами документов (оригинальные исследования, обзорные публикации, материалы научных конференций).

Павел Касьянов отмечает, что на самом деле Web of Science – инструмент для проведения научных исследований. С его помощью ученые проводят поиск научных публикаций по интересующей их тематике, могут смотреть на динамику их цитирования и связь между собой. Но эта система не разрабатывалась для принятия решений в области управления наукой.

InCites: современный инструмент для оценки публикационной активности

Понимая недостатки валовых показателей и запрос на использование наукометрии в науке и образовании, специалисты Web of Science разработали своеобразную аналитическую оболочку для всех индексируемых в базе публикаций. Эта оболочка, получившая название InCites, позволяет заглянуть внутрь массива данных и вычленить новые метрики.

Нормализованная средняя цитируемость: показатель научной результативности

В отличие от суммарной цитируемости этот показатель не зависит от тематики исследований или других факторов. Нормализованная цитируемость рассчитывается как отношение числа ссылок на статью к общему числу ссылок на все статьи того же типа, опубликованных в этой предметной области в этом же году. Если полученное значение больше единицы, то исследование цитируется лучше ожидаемого и высоко ценится в мире, если меньше единицы – популярность статьи не высока, она цитируется хуже, чем статьи по этой тематике.

«Если статью процитировали 20 раз за 5 лет – мы не знаем много это или мало. Нормализованная цитируемость ответит на подобный вопрос. Для одной области исследований нормализованная цитируемость с таким количеством ссылок будет меньше единицы, значит, статья цитируется редко, а в другой намного больше единицы – то есть это востребованная работа», – пояснил Павел Касьянов.

Для примера эксперт продемонстрировал нормализованную цитируемость Красноярского научного центра СО РАН. Для всех публикаций центра за период 2010-2019 годов значение показателя равно 0.73. То есть в среднем статьи красноярских ученых цитируются чуть хуже, чем статьи во всем мире. В целом это типично для всех стран бывшего Советского союза и не отличается от нормализованной цитируемости всей России. За последние 25 лет этот показатель для России вырос вдвое (с 0.4 почти до 0.8), но все еще не достиг среднемирового уровня.

Для решения управленческих задач можно пойти еще дальше. Для начала посмотреть нормализованную цитируемость по институтам центра. Выясняется, что, например, у Института биофизики СО РАН ее значение равно 1.3. Получается, статьи биофизиков цитируются на треть лучше, чем в среднем по миру. Далее можно разобрать массив публикаций и этого института, выделив предметные области, в которых работы цитируются более активно. То есть организация получает инструмент для анализа своих сильных и слабых сторон.

Квартили журналов по импакт-фактору: инструмент для выбора публикационной стратегии

Чтобы оценить популярность и влиятельность журнала лучше использовать не абсолютное значение его импакт-фактора, а его место внутри своей предметной области. Ранжировав импакт-факторы журналов внутри предметной области и разбив их на четыре квартиля можно понять причины многих закономерностей в цитировании работ.

Например, российские ученые чаще всего публикуют свои работы в журналах четвертого квартиля (около 40% публикаций за последние 10 лет). Нормализованная цитируемость этих материалов примерно в 5 раз ниже среднемировой цитируемости. За этот же промежуток времени российские ученые опубликовали около 25% своих статей в журналах первого квартиля, и они были процитированы в 1.5 раза чаще, чем в среднем по миру. Получается, что более низкая нормализованная цитируемость российской науки связана в первую очередь с публикацией статьей в журналах с низкой цитируемостью.

Этот факт можно легко доказать цифрами. Звучит парадоксально, но в журналах первого квартиля (а это 25% мировых журналов) публикуется чуть больше 40% статей. Дело в том, что объемы журналов различаются, а в первый квартиль попадают многие мега-журналы, имеющие не фиксированные объемы и выпускающие тысячи статей в год. При этом, как отметил эксперт, российские ученые в среднем публикуют лишь 25% своих статей в журналах первого квартиля.

«Более низкая цитируемость работ авторов и организаций постсоветского пространства связана, в первую очередь, с тем, что мы публикуемся преимущественно в низкоимпактовых журналах. Если ваше сегодняшнее исследование не хуже предыдущего, попробуйте опубликовать его в более высокоимпактовом журнале, таким образом можно добраться и до первого квартиля», – рекомендует специалист.

 Краткий гид по наукометрии от Павла Касьянова

• Web of Science – инструмент для проведения научных исследований.

• InCites – инструмент для анализа, оценки и сопоставления научной производительности и результативности.

• Общее количество публикаций в Web of Science Core Collection – говорит о научной производительности, можно оценивать в динамике.

• Суммарная цитируемость – говорит о научной влиятельности, не имеет смысла отслеживать в динамике.

• Индекс Хирша – говорит о научной авторитетности, подвержен влиянию неоднородностей цитирования в разных предметных областях, годах и типах документов.

• Нормализованная средняя цитируемость – говорит о научной результативности в контексте предметной области и года публикации. Идеально подходит для сравнения разных предметных областей, для анализа в динамике по стране или организации.

• Импакт-фактор журнала – лучший индикатор важности научного журнала, но он не должен быть использован для оценки важности конкретных научных публикаций.

• Квартили журналов по импакт-фактору – говорят об авторитетности научного журнала, идеальный ориентир для понимания, где стоит публиковаться.

Презентация: Современные библиометрические индикаторы.