#крамольные_мысли

Альтернатива цитированиям: Наукометрия 2.0 или социальный рейтинг? (1/2)

Коллеги из Русского Ресерча опубликовали длиннопост на тему "цитирования, их накрутки и как с этим жить". С большинством мыслей можно согласиться - впрочем, автор честно признает, что это в известной степени база, которая понятна любому обитателю научно-образовательного зоопарка со стажем.

Как только появилась наукометрия, "взлом системы", то есть накрутка показателей цитирования теми или иными средствами, стал всего лишь вопросом времени. Методов много. Да, за самые наглые варианты типа того, вокруг которого в последние дни разгорается скандал, вероятно, будут публично бить, но это мало что изменит.

"Политические цитирования" важных людей в области или просто потенциальных рецензентов (это же классика жанра - заранее накачиваем список литературы ссылками именно на тех, кого потом указываем в preferred reviewers). "Консорциумы цитирований" между дружественными группами. Накручивание показателей соотечественникам, которое не особо принято в России (думайте сами, почему - потому что research integrity или по принципу "пусть у соседа сдохнет корова"), но очень даже распространено в некоторых других странах, и это очень хорошо заметно. Список можно продолжать долго, и это реально база.

Предотвратить злоупотребления в этой сфере полностью не получится. На любую хитрую найдется сами знаете что. Можно придумать кучу доработок системы - от учета особенностей цитирования в области как таковой (банальные квартили с процентилями, более изощренный SNIP...) до весовых коэффициентов с учетом авторитетности источника (и это тоже есть...). Можно представить себе нейросеть, натасканную на вычисление цитирований типа "This topic has been attracting a great interest around the world [1-50]) и дающую им понижающий коэффициент в очередной метрике - окай, накрутки будут прятать в текст поглубже, скажем, в discussion. Можно довольно легко вычленить наиболее простые "кластеры дружественного цитирования" - окай, значит, размеры кластеров будут увеличиваться, а взаимозачеты при накрутках будут вестись сложнее, чем банальное "ты мне - я тебе".

При всех вышеописанных серьезнейших недостатках, в российских реалиях наукометрия по WoS и Scopus пока что все еще лучше, чем чистая экспертная оценка. Потому что если мы не говорим о рафинированном прикладе или специфических полузакрытых областях, по-настоящему сильные отечественные ученые, как правило, проблем с размерами хирша, качеством и количеством публикаций не имеют (с поправкой на стаж и конкретную сферу интересов, конечно же). И ровно они же и составляют костяк сообщества в плане следования research integrity, то есть той самой здоровой атмосферы, о которой пишет Русский Ресерч. Да, есть исключения, но в целом это скорее так. Соответственно, как только в очередной раз слышишь про "долой западную наукометрию", "да здравствует список ВАК", "у нас свой особый путь", в 99% случаев ищи, что тут не так - от краденого диссера и паленых публикаций до обычного фатального несоответствия ЧСВ, притязаний и реального научного потенциала (попросту говоря, УГ с огромными амбициями). Собственно, именно поэтому нормальные фонды (и в России, и не только) пытаются срастить наукометрию и экспертизу - как умеют.

Куда интереснее, однако, пофантазировать на тему "а какими могли бы быть вообще другие метрики, основанные не на цитированиях или хотя бы не только на них". Первое, что представляется - это некий "социальный рейтинг" в рамках конкретной платформы, где баллы даются за разного рода заслуги перед сообществом. Нечто подобное попробовал сделать ResearchGate с его RG Score - там баллы капали как за цитирования, так и за ответы на вопросы в разделе Q&A. Естественно, это позволяло флудерам накручивать себе показатели, администрация это понимала и в августе 2022 г. таки грохнула RG Score в принципе. ОК, первый блин вышел комом, но разве это значит, что сам по себе путь тупиковый? Конечно, нет.