В последнее время Минобрнауки стало оценивать эффективность деятельности научных работников с помощью наукометрических показателей, основанных на международных системах цитирования Web of Science, Scopus и др. Давайте обсудим объективность этих показателей и укажем их недостатки на примере наиболее популярной системы Web of Science, принадлежащей корпорации Thomson Reuters (США). После этого выскажем конкретные предложения, позволяющие лучше оценивать деятельность ученых.

Примечание. Все сказанное ниже в полном объеме относится также к Российскому индексу научного цитирования (РИНЦ).

1. Предварительные замечания. Не существует наукометрических показателей, которые способны абсолютно точно оценивать эффективность деятельности научных работников. Однако нельзя не признать и важность наукометрии: она позволяет путем количественного анализа публикаций и их цитирований сравнивать условную эффективность деятельности ученых, а также определять, какие направления науки сейчас особенно популярны, какие, наоборот, утрачивают популярность. Но абсолютизировать эти данные и принимать решения, основываясь только на них, совершенно недопустимо.

Международный союз математиков в июне 2008 г. распространил доклад, в котором говорится, что статистика цитирований может дать только ограниченную и неполную оценку качества проведенного исследования и что необходимо очень осторожно и корректно использовать эту статистику.

В настоящее время широкое распространение получили два наукометрических показателя: индекс цитируемости и индекс Хирша, которые используются системой Web of Science. Указанные индексы обладают рядом существенных недостатков, которые обсуждаются ниже в разд. 2 и 3. В разд. 4 описаны наукометрические показатели, позволяющие делать значительно более точные сравнительные оценки условной эффективности деятельности ученых.

2. Индекс цитрируемости (ИЦ). Индекс цитируемости определяется суммарным числом ссылок на статьи данного ученого в статьях других авторов. Учитываются только статьи, входящие в достаточно широкий (но ограниченный) список англоязычных журналов, индексируемых системой Web of Science. Самоцитирование не учитывается.

Сейчас ИЦ отводится важное место в оценке деятельности ученого, поскольку большое число ссылок на работы автора, как правило, говорит о востребованности его исследований и популярности в научном сообществе.

Основные недостатки использования индекса цитирования:

1. Индекс цитирования не учитывает личный вклад автора (при подсчете ИЦ все равно писались ли статья десятью авторами или автор был один).
2. В стандартной схеме ИЦ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
3. В индексе цитирования учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или просто недостоверными (например, с подтасованными экспериментальными данными).
4. Мало цитируются статьи, опубликованные в переводных журналах (поэтому необходимо делать поправку при сравнении ИЦ российских и зарубежных ученых).
5. Некоторые пионерские работы незаслуженно забываются, а цитируются вторичные работы, опубликованные много позже, когда появляются различные приложения.
6. Если работа важная, но достаточно сложная для понимания, то её цитирование может откладываться на многие годы.
7. Цитирование часто зависит от личных отношений и других случайных факторов.
8. Существуют различные способы искусственного наращивания ИЦ (например, друзья и коллеги договариваются о взаимных цитированиях результатов друг друга и др.).

Рассмотрим несколько ярких примеров, подчеркивающих недостатки ИЦ.

Пример 1. Григорий Перельман был выдвинут на две самые престижные международные премии в области математики (но отказался их получать) за результаты, опубликованные в трех препринтах в arXiv.org. На эти работы имеется множество ссылок в журналах, индексируемых Web of Science, однако поскольку препринты не индексируются этой системой, то все ссылки на них не учитываются при подсчете ИЦ (сказанное в полной мере относится также к индексу Хирша, о котором пойдет речь ниже).

Пример 2. Один американский ученый китайского происхождения с высоким индексом цитирования (назовем его Z) недавно написал ряд статей, которые назывались "Новые точные решения уравнения..." Мой коллега-профессор (назовем его K) обнаружил, что во всех этих статьях нет новых решений. В результате он опубликовал ряд статей, в которых было доказано, что в статьях Z нет новых результатов. Через некоторое время K получил от Z письмо примерно следующего содержания: "Ну что ты ко мне привязался? Знай, что все твои публикации, направленные против меня, повышают мой индекс цитирования!"

Пример 3. Книги обычно являются итогом многолетней работы, куда помимо обзора существующих публикаций авторы часто включают ряд новых результатов, не опубликованных в других источниках. Исключение книг при стандартной схеме подсчета ИЦ – очевидная нелепость, поскольку в ИЦ учитываются обзорные статьи, вообще не содержащие новых результатов.

Для широкого круга ученых, которые преимущественно публикуются в соавторстве (зачастую в многочисленном), ИЦ практически бесполезен для оценки их деятельности.

Отметим единственное очевидное достоинство подсчета ИЦ (с учетом всех видов публикаций ученого, включая статьи, книги и препринты): если работы автора не цитируются или очень мало цитируются, то они либо малоинтересны и никому не нужны, либо еще не востребованы.

3. Индекс Хирша (ИХ). Индекс Хирша определяется так:

Учёный, опубликовавший N статей, имеет индекс h, если h его статей цитируются не менее, чем h раз каждая, а любая из оставшихся (N–h) статей цитируются не более, чем h раз.

Для определения ИХ статьи автора располагают в убывающем порядке по суммарному числу ссылок на каждую из них. Далее определяют статью, номер которой совпадает с числом её цитирований. Это число и есть индекс Хирша. (Такой подход допустим, например, когда все статьи имеют разную цитируемость.)

Индекс Хирша существенно отличается от области исследований. Например, в математике он существенно ниже, чем в физике, а в физике существенно ниже, чем в биохимии и медицине.

Основные недостатки использования индекса Хирша:

1. Индекс Хирша не учитывает личный вклад автора (при подсчете ИХ все равно писались ли статья десятью авторами или автор был один).
2. В стандартной схеме ИХ, используемой Web of Science, не учитываются ссылки на книги авторов. Не учитываются также ссылки в неанглоязычных источниках.
3. В индексе Хирша учитываются даже те ссылки, где статьи автора подвергаются серьезной критике и результаты считаются ошибочными или просто недостоверными.
4. Cтандартная система подсчета ИХ не различает цитирования данного ученого другими учеными от его самоцитирования. Это открывает возможности для искусственного увеличения ИХ.
5. Два человека с одинаковыми ИХ могут иметь полную цитируемость (ИЦ), отличающуюся в десятки раз (см. Пример 1 ниже).
6. Сопоставление ученых по ИХ может приводить к совершенно абсурдным результатам (см. Пример 2 ниже).
7. Другие недостатки ИХ аналогичны недостаткам ИЦ, описанным в пп. 4-8 в разд. 2.

Рассмотрим пару конкретных примеров, подчеркивающих существенные недостатки сопоставления деятельности ученых по ИХ.

Пример 1. Первый ученый написал в соавторстве 10 статей, каждая из которых цитируется 10 раз. Второй ученый один написал 10 статей, каждая из которых цитируется 100 раз, и 100 статей, каждая из которых цитируется 10 раз. Индексы Хирша первого и второго ученого одинаковы и равны 10. При этом суммарная цитируемость этих ученых отличается в 20 раз в пользу второго ученого (даже без учета соавторства первого).

Пример 2. Первый ученый написал 5 книг, каждая из которых цитируется более 200 раз, а второй – одну статью, которая цитируется один раз. У первого ученого ИХ равен нулю (поскольку книги не учитываются), а у второго – ИХ больше и равен единице. При этом суммарная цитируемость этих ученых отличается более чем в 1000 раз в пользу первого ученого.

Отметим, что три примера, приведенных в разд. 2 в полной мере справедливы и для ИХ.

Индекс Хирша практически полностью уничтожает информацию о наиболее важных высокоцитируемых работах, которыми обычно гордятся ученые. Нелепая логика использования этого индекса аналогична тому, когда врач при анализе состояния здоровья больного учитывает только его рост, вес или цвет волос.

Вывод: индекс Хирша абсолютно бесполезен для анализа эффективности деятельности научных работников поскольку может привести не только к грубым ошибкам, но и к совершенно абсурдным результатам.

4. Нормированные индексы цитируемости.

Чтобы учесть индивидуальный вклад ученого при наличии соавторов надо общее число цитирований на данную статью поделить на число ее авторов (простой бытовой аналог: деление ящика яблок на несколько человек). Поэтому вместо индекса цитируемости следует использовать нормированный индекс цитируемости I, который учитывает наличие соавторов (нередко и весьма многочисленных), и определяется так:

I =	N	Cn/Mn
	Σ
	n=1

где N – общее число цитируемых работ, C_n – число ссылок на n-ю работу, M_n – число соавторов n-ой работы. В этой формуле помимо ссылок на статьи надо учитывать также ссылки на книги и препринты в статьях, которые имеются в базе цитирования Web of Science (тогда будут исключены нелепости, подобные тем, которые имеют место с цитированием работ Г. Перельмана, см. выше).

Приведенная формула для I устраняет два наиболее существенных недостатка стандартного индекса цитирования, указанных в пп. 1 и 2 разд. 2.

Для оценки деятельности ученых целесообразно использовать также величину I_T – нормированный индекс цитируемости за определённый период времени (например, за последние пять лет, T=5). Этот индекс является текущим показателем эффективности работы ученого за последнее время.

Примечание 1. Нормированный индекс цитируемости можно определить, используя данные о "скрытых ссылках" с помощью Web of Science (опция "Cited Reference Search").

Примечание 2. Нормированные индексы цитирования I и I₇ некоторых российских ученых приводятся в Интернете, см. http://expertcorps.ru/science/whoiswho (проект "Кто есть кто в российской науке", автор Б.Е. Штерн).

Примечание 3. Нормированные индексы цитирования меньше зависят от области исследований, чем индекс цитирования (ИЦ) и индекс Хирша. Это обусловлено тем, что в математике многие статьи пишутся одним автором, в физике работы достаточно часто имеют небольшое число соавторов, а химии и медицине, как правило, статьи имеют много (иногда очень много) соавторов.

Примечание 4. Нормированный индекс цитирования, при всей его условности, является более объективным показателем эффективности деятельности ученого, чем должность, звание и ученая степень.

5. Использование индексов цитируемости для оценки работы коллективов.

Нормированный индекс цитируемости легко и удобно использовать при оценке эффективности деятельности работы научных коллективов (лабораторий, институтов и др.). При этом нормированный индекс цитируемости коллектива определяется простой суммой индивидуальных нормированных индексов цитируемости отдельных ученых, составляющих коллектив (индивидуальные ИЦ и ИХ при наличии соавторов в коллективе суммировать нельзя).

Полезно использовать также относительный индекс цитирования, который равен нормированному индексу цитирования коллектива деленному на число входящих в него людей.

6. Заключение. Нормированные индексы цитируемости являются существенно более точными наукометрическими показателями эффективности деятельности научных работников, чем стандартный индекс цитируемости (см. разд. 2), поскольку позволяют учесть наличие соавторов и охватить более широкий круг цитируемых работ. Индекс Хирша (см. разд. 3) – абсурдное наукообразие, которое вообще следует исключить из анализа эффективности деятельности ученых.

При разработке любых индексов цитирования должен исповедоваться основной принцип: все равно в каком виде и где была опубликована научная работа, лишь бы ссылки на нее были в статьях, индексируемых базой Web of Science. Такой подход опирается на очевидный факт: результаты работы никоим образом не зависят от места и формы ее опубликования.