Когда благодаришь рецензентов статьи за внимательное чтение рукописи, интересные комментарии и глубокие вопросы

Что тут сказать. Профсоюз РАН, конечно, бывает оригинален в своих акциях, а тем более в дизайнерских решениях.

Но, по моим представления, это сейчас чуть ли не единственная крупная общественная организация, которая напрямую ставит вопрос о необходимости общего увеличения финансирования науки и напоминает об обещанных ранее темпах роста. Да и вообще, не стесняется поднимать многие другие неприятные темы, а не только обсуждать нюансы деления бюджета внутри Приоритета или РНФ.

Имеют ли смысл такие акции, сопутствующие письма президенту и т.п.? Думаю, да, даже если это не приводит к мгновенному эффекту. Просто-напросто нельзя допустить, чтобы была признана нормой ситуация, когда достаточное финансирование получают только 10-15% лучших коллективов. Кто-то должен об этом напоминать. Тактически, конечно, выгоднее не раздражать директора своего института, Минобрнауки, Минфин и т.п., но стратегически это проигрышное поведение.

В общем, над формами выступлений Профсоюза РАН можно много и справедливо иронизировать. Но сначала покажите представителей какого-нибудь Союза ректоров, или многочисленных советов при Госдуме или президенте с такой табличкой.

https://t.iss.one/ivoryzoochat/47432

Изи сайнс

У меня есть гипотеза, что в каждой отрасли знаний существует свой загончик "лёгкой науки". Признаки примерно такие: низкий порог вхождения, зашкаливающий уровень хайпа в докладах и статьях, замкнутость сообщества и высокая плотность сети цитирований, однообразие в постановке задач. По ощущениям, так бывает, когда в какую-то изначально перспективную область ринулись слишком много учёных (в том числе сильных), разобрались с основными действительно существенными вопросами и остались высасывать проблемы из пальца.

Причём такой тематический остров "изи сайнс" может быть вполне международным, иметь своих представителей в редакциях журналов, профильные конференции и тому подобное. Формально это успешные исследователи, которые хорошо публикуются и одобряют работу друг друга. Такой анклав непросто отличить от нормально развивающейся области, это всегда будет субъективно в какой-то мере. Однако я берусь утверждать, что феномен существует; более того, выбор пути "изи сайнс" происходит более или менее осознанно.

И, собственно, вопрос к подписчикам: а вы видите вокруг себя похожие области? Какие конкретно? Действительно интересно разобраться.

Теперь в Телеграме можно увидеть список каналов, похожих на данный (см. скриншот из десктопной версии). Судя по всему, подборка основана на максимальном пересечении подписчиков — это легко проверить, например, по "кустам" университетских каналов и другим инфопузырям. Замечу, что вам не будут предлагаться каналы, на которые вы уж подписаны.

Благодаря своей механике новая фишка в очередной раз оголила тылы админов, закупающих ботов. Выясняется, что наибольшие пересечения по подписчикам у дорогих @scienpolicy и @scientificrussia — отнюдь не с научно-образовательными или политическими каналами, а с какими-то безымянными агрегаторами новостей и мемов, созданными и накачанными ботами специально для продажи рекламы. Кто бы мог подумать.

Напротив, официальные каналы Минобрнауки, РАН и АНО РСВ демонстрируют здоровые корреляции с каналами профильной тематики (как минимум, первая десятка списка). За что им респект.

В остальном — открывается большой простор для вдумчивого анализа аудитории. Советую протестировать!

Выясняется, что Минобровский медийный рейтинг вузов (М-рейтинг) сделан ещё хуже, чем можно было ожидать.

Например, просмотры тупо суммируются по всем постам без учёта полного охвата: 100 постов по 100 просмотров оказываются равны 1 посту на 10 тысяч просмотров. Стоит подумать одну минуту и понять, что первое достигается постингом любой ерунды в канале "для своих" и охватывает только те самые 100 подписчиков, а во втором случае полный охват в сто раз (!) больше. Это никакие не тонкости, а очевидные из здравого смысла вещи.

Во-вторых, меня неоднократно просили подсветить в канале результаты М-рейтинга, и я каждый раз отвечал, что надо для начала вычистить из топа каналы с накрутками. Даже пояснял, как и на что смотреть в статистике, но ничего не изменилось. Таким образом, не только критерии неадекватны медийному влиянию, но и фальсификация входных данных игнорируется.

Не менее несправедливым выглядит сравнение вузов различного размера (и с различными бюджетами, уж простите) по одинаковым шкалам. Не надо быть семи пядей во лбу чтобы догадаться, что 30 000 студентов из университета А и 5000 студентов из университета Б сгенерируют в соцсетях вуза кратно отличающееся число просмотров и реакций при одинаковом качестве контента. Размер университета не может быть критерием эффективности работы пиарщиков.

Список можно продолжать, хотя и приведённого достаточно. Складывается впечатление, что авторы рейтинга не хотят вникать в его механику и не хотят знать формулы сложнее суммирования по столбцам и строкам. Возможно, они единожды официально утвердили показатели и теперь их сложно изменить. Но это всё отговорки, которыми нельзя жить уже не первый год.

Несчастный рейтинг был бы просто обидным недоразумением для университетских пресс-служб, если бы позиция в нём через различные KPI в конечном итоге не влияла на распределение финансирования и на репутацию ректора.

Немного о бюджетах

По плану в 2024-2026 годах финансирование фундаментальной науки в России составит около 250 млрд. рублей в год. Это почти в четыре раза меньше планируемых расходов на развитие транспортной системы Москвы из бюджета города.

Часто приводят цифру порядка 1 трлн. рублей, называя её расходами на науку. Тут есть большое лукавство, поскольку в эту статью бюджета включены расходы на высшее образование, а также расходы на прикладные разработки, которые могут очень далеко отстоять от науки как таковой. Тем не менее, эта сумма сопоставима с годовым бюджетом одного только Стэнфорда или двух крупнейших китайских университетов. Может, сравнения и не до конца корректные, но заставляют задуматься.

Если отбросить лирику, то из недавних событий больше всего тревожит урезание бюджета Российского научного фонда, который сегодня является наиболее открытой структурой, распределяющей деньги на исследования, причём — структурой с наиболее стабильными и заранее оговоренными правилами игры. Сейчас и без того дикая конкуренция среди условных учёных-лидеров, претендующих на гранты РНФ, усилится ещё больше. Мне кажется очевидным, что существуют куда более мутные неэффективные и непрозрачные программ финансирования науки, средства которых было бы разумнее перенаправить в РНФ.

О научных расходах не стесняется говорить Профсоюз работников РАН, продолжая настаивать на том, что общее финансирование исследований на уровне 1% ВВП неприемлемо, равно как и финансирование конкретно фундаментальной науки на уровне 0,15% ВВП. Впрочем, на Конгрессе молодых учёных некоторые руководители и политики касались проблемы финансирования, но обычно в более обтекаемой форме. Порой складывается ощущение, что тема как-то неявно табуирована, поскольку "все всё понимают". Хотя, на мой взгляд, далеко не все понимают, что говорить всерьез о том же высокотехнологичном импортозамещении можно только при наличии серьезной фундаментальной и прикладной научной базы в интересующей области, либо при её форсированной наработке, которая стоит очень дорого. Впрочем, чем развитие высоких технологий отличается от программирования китайских роботов, понимают тоже далеко не все.

Кратко о результатах опроса про зарплаты учёных и преподавателей

1) Можно оценить среднюю зарплату как 140% от средней и в Москве, и за её пределами (это очень разные суммы в рублях). Не так плохо, но указ про достижение уровня в 200%, судя по результатам, в большинстве мест выполняется методом перевода работников на доли ставки.

2) Менее очевидное: наша наука очень неоднородна. Существуют условные топ-15% учёных, которые в среднем выигрывают в условиях гиперконкуренции и получают достойное финансирование (чего они в большинстве, несомненно, заслуживают). Но они же зачастую формируют медийную картину, выступая лидерами мнений и спикерами, хотя не ощущают проблем большинства.

Да, на любую претензию можно привести в пример финансово и научно успешную лабораторию. Однако подвох в том, что при ограниченных ресурсах все не могут последовать её примеру и быть хорошо обеспеченными, одни лишь заменят других в правом столбике гистограммы.

Справедливость, лоббирование, конкуренция

Из предыдущего поста о распределении зарплат в науке и образовании логично вытекают два вопроса: о справедливости и о лоббировании. Процитирую один из комментариев на эту тему:

"Финансовая успешность групп и лабораторий, к сожалению, не определяется научной эффективностью как таковой. Действительно, хорошо финансируемые коллективы обычно работают неплохо (как минимум), но зарплаты на уровне ~300+ процентов от средней обеспечивается включенностью в большие консорциумы либо получением крупных грантов типа РНФ на ведущие лаборатории. Однако и то, и другое требует интенсивного лоббирования, доступ к которому, очевидно, не основывается на одной лишь науке. Есть, конечно, еще прикладные контракты, но это совместимо не со всеми направлениями.

В последние три года даже гранты уровня 6-7 млн в год стали труднодоступны даже для лидирующих в своих областях групп (и за них идет жесткая лоббистская борьба) <...>".

***
Со многим можно согласиться, но добавлю, что система ещё сложнее. Дело тут не только в лоббировании, но сначала поговорим о нём. Вообще, возможность к лоббированию зачастую связана именно с честными научными достижениями, только прошлыми. Положим, некий коллектив упорно трудился, получал результаты, стал узнаваемым и заработал хорошую репутацию в сообществе. Руководитель обрастает инструментами лоббирования естественным образом — заседая в экспертных советах, рецензируя статьи и диссертации, входя в редакционные коллегии и программные комитеты, приобретая знакомства и т.п.

До какого-то момента эти репутационные бонусы можно считать справедливыми и заслуженными. Тонкость в том, что в этой системе есть гистерезис, выражаясь физическим языком. Если такой коллектив перестанет выдавать реальные результаты, то лоббистские возможности у него сохранятся ещё довольно долго (в зависимости от административных талантов): весьма вероятно, что он сможет проехать на прошлой репутации и связях не один десяток лет, отнимая ресурсы у более талантливых и достойных. Похожие рассуждения можно перенести с отдельной группы на целый университет или научный институт. И это первый важный фактор несправедливости.

Второй фактор — это гиперконкуренция, приводящая к излишне резкой зависимости финансирования от научной продуктивности (в чём её ни измеряй). Условно говоря, если вы входите в топ-10% учёных, то вы зарабатываете всё, а если не входите в топ-30%, то не получаете ничего. Хотя по результативности разница между этими случаями может оказаться не такой большой.

Как это происходит? Допустим, в конкурсе грантов достойны финансирования лучшие 30% проектов, а деньги есть, как обычно, для 10-15%. Скорее всего, в верхушке рейтинга коллективы сопоставимы по уровню, а значит для выбора 10-15% победителей будут важны минимальные отличия в показателях. И вот, непринципиальная разница в пару статей становится решающей; а может, становится решающим голос "своего" человека. Далее работает принцип "деньги к деньгам", и разница имеет свойство увеличиваться с годами. Так появляется непропорциональный разрыв в финансировании между близкими по уровню научными группами.

Оговорюсь, что есть и другие, более специфические факторы, влияющие на уровень зарплат. Например, контраст между науками с дорогими и дешёвыми (отсутствующими) расходными материалами. Избитая тема с неочевидным решением, но биологам и химикам от этого не легче. Есть и искусственно навязанная региональная разница.

Но, на мой взгляд, лоббирование и гиперконкуренция — это два основных фактора, которые обуславливают несоответствие между финансированием коллектива (в частности, зарплатами) и его научной результативностью. "В три раза богаче" — точно не означает "в три раза продуктивнее". Конечно, ждать полной справедливости глупо, но снижать конкуренцию совершенно необходимо, это нормализует ситуацию. С лоббированием сложнее, поскольку оно тесно связано с ценным институтом репутации. Так или иначе, помогут прозрачность процедур и ротация.

В конце года не забывайте о главном

А почему бы и не запостить итоги года от @TGStat?

Конечно, в 2023 году получалось писать меньше, чем хотелось бы (вижу аналогичную тенденцию у многих авторов). Но я рад отклику читателей на посты, особенно на те, которые писались и редактировались долгими часами. Из статистических рекордов: в среднем одна публикация в 2023 году набирала более 10 тысяч просмотров, 150 реакций, 120 пересылок и 50 комментариев. Это действительно много, тем более для узкопрофильного канала, а значит всё не впустую.

Пользуясь случаем, напоминаю новым подписчикам, что у канала работает чат @trueresearch_chat, где есть не только все комментарии к постам, но и другие дискуссии.

Надеюсь повысить обороты в 2024 году — впрочем, предыдущие годы научили нас не строить слишком амбициозных планов. В любом случае я желаю себе и дорогим подписчикам по-настоящему хорошо отдохнуть в ближайшие дни. С наступающим и до встречи! 🍾

Пару дней назад я получил сообщение от профессора МИРЭА, доктора технических наук А.М.Романова. В нем он поднимает вопрос об этических границах при цитировании научных статей, который представляется довольно важным. С разрешения Алексея Михайловича привожу ниже сокращенный вариант его письма.

Сегодня мне случайно попалась статья, которая рекламировала новый сервис SciCite (https://habr.com/ru/articles/784242/ ). Прочитав ее, а также ознакомившись с их telegram-каналом, я, мягко говоря, ужаснулся.

По сути это автоматизированный сервис для создания ферм цитирования. Он позволяет одним ученым вывешивать объявления о тех работах, которые они хотят, чтобы другие процитировали, а другие получают виртуальную валюту за то, что цитируют эти "правильные" работы. И эту виртуальную валюту они могут тратить на то, чтобы просить цитировать нужные им работы. Более того, виртуальную валюту можно покупать, тем самым стимулируя цитировать свою работу за деньги.

По сути все это однозначно квалифицируется как манипулирование цитированием, которое прямо противоречит правилам COPE (Комитета по публикационной этике). Более того, сами авторы это прекрасно понимают и даже не скрывают.

В документах сервиса SciCite явно говорится, что взаимоцитирование молодыми учеными других молодых ученых не потому, что их работа достойна цитирования, а просто для того, чтобы разогнать друг другу показатели и получить грант - это хорошо, это называется ими «взаимодействие молодых ученых».

Можно было бы просто не обращать внимания на этот сервис, но он, очевидно, делает ставку на молодых ученых и аспирантов, рядом с которым может не оказаться наставника, который бы объяснил им, что так делать нельзя.

Что интересно, авторы проекта уже несколько преуспели в продвижении своих идей. Проект SciCite является победителем Всероссийского гранта Росмолодёжи, был отобран для участия в конкурсе «Лучший молодежный стартап союзного государства», презентовался в Сириусе на недавнем III Конгрессе молодых ученых. Я с трудом представляю, как проект по накручиванию цитирований может получить такую поддержку.

Цитирования, метрики и жульничество - I

Недавняя публикация А.Р. Хохлова про сервис для взаимных накруток породила огромное количество комментариев от подписчиков и от авторов других каналов (см. посты самого ак. Хохлова и Зоопарка). Бесконечно многогранная тема, попробую начать с основ.

Прежде всего, цитирования наследуют базовую проблему самих научных статей: сегодня они исполняют несколько противоречивых функций, о чём я писал почти 2 года назад. Да, в идеальной ситуации ссылки на другие работы нужны исключительно для того, чтобы не повторять однажды доказанное или измеренное, а отослать читателя к оригинальной статье. И если некая работа ссылается на 10 статей, то все они необходимы для обоснования результатов; лишних цитирований, не влияющих напрямую на понимание работы, быть не должно.

Как следствие, в идеале число цитирований неплохо отражает степень влияния данной работы на развитие науки (но с рядом оговорок). А совокупность цитирований всех статей данного автора неплохо характеризует его научный вклад (с ещё большими оговорками).

Далее начинается мир реальный. Как известно, всё портится, как только цитируемость становится метрикой, используемой явно или неявно для распределения благ (премий, грантов, приглашённых докладов, членства в академии и т.п.). Цитирования приобретают роль валюты, появляется мотивация избыточно цитировать самого себя, ближайших коллег, руководство, будущих оппонентов и т.п.

Замечу, что эта мотивация может быть чисто финансовой (условно, когда рост индекса Хирша включён в KPI), а может быть социальной: выказать уважение посредством цитирования. Бывают и совсем небанальные случаи, когда необходимо процитировать достаточное количество авторитетных работ в данной области, чтобы сойти за своего и не вызвать придирок рецензента.

Усложнение этой системы можно обсуждать бесконечно. Например, откуда-то появляется неформальное требование на приличный список литературы в несколько десятков работ, отражающий социально-научный кругозор авторов. Возникает феномен плагиата списков литературы из чужих статей и целые паровозы из 20-30 ссылок, к которым обращаются лишь во фразе "учёные занимаются похожими проблемами [1-30]...". Включается эффект Матфея: при поиске литературы по теме учёные в первую очередь читают и цитируют наиболее цитируемые статьи, к этому подталкивает сам механизм поиска. И так далее.

Всё это размывает исходный смысл и сильно девальвирует ценность ссылки на статью. Это не означает (важно!), что метрики, основанные на цитированиях, полностью бесполезны. Более адекватный вывод: как и любые метрики, они подвержены взлому и должны применяться экспертом в совокупности с другими метриками и в дополнение к содержательному анализу.

В реальном мире содержательная экспертиза возможна далеко не всегда, а управленцы, как правило, стремятся к простым и легко отслеживаемым показателям. Среди простых показателей цитируемость и индекс Хирша — одни из наиболее легко взламываемых (особенно если учитываются цитирования из РИНЦ или ВАК). И поэтому крайне странно устанавливать прямую связь между числом цитирований или индексом Хирша с надбавкой к зарплате.

На мой взгляд, если уж и пытаться придать какое-то конкретное значение цитированиям, то оно должно быть пороговым. Условно говоря, соискатель со стажем 20 лет в фундаментальной науке и индексом Хирша = 3 должен вызывать большие вопросы, а вот показатели h=20 или h=40 априори одинаково хороши. Дальше должен работать эксперт.

Так или иначе, если глупые метрики побеждают, возникают мотивы для накруток и острые этические вопросы для тех, кто хочет работать честно. Обсудим это во второй части поста.

Цитирования, метрики и жульничество - II

Теперь немного ближе к нашим реалиям. Итак, пусть ценность и смысл цитирований в науке искажены, но они попадают в различные KPI и неформально учитываются экспертами. Кто виноват, как жить и с чем бороться?

Нет сомнений, что создание ферм взаимного цитирования является лишь следствием неумеренного использования наукометрии в администрировании. В частности, следствием тупого транслирования показателей эффективности организации как целого на каждого отдельного сотрудника. В результате в вузах существуют гласные и негласные правила по цитированию сотрудников кафедры, факультета, местного вестника и т.п. В комментариях привели массу примеров на этот счёт, включая рекомендацию от научного отдела Горного университета (где и числится разработчик обсуждаемого сервиса поднятия хирша).

Да, административное давление очевидно, но это не снимает полностью ответственность с активистов накручивания цитат. Ведь кто-то продолжает работать честно, и им особенно неприятно на таком фоне.

Если переключаться на личную пользу от показателей цитируемости, то её влияние на получение грантов часто преувеличивают. Есть ощущение, что эта гонка — в большей степени выполнение KPI университетов и получение внутренних бонусов, плюс рост ЧСВ. Эксперт того же РНФ, конечно, обратит внимание на все показатели, но в заявке куда важнее публикации в хороших журналах за последние годы, успешная история предыдущих проектов, нормальный план работ и удача. Индекс Хирша тут скорее сыграет пороговую роль (как обсуждалось выше).

Вообще, лично меня гораздо больше беспокоит даже не эта борьба за KPI. Проблема в том, что формируются целые сообщества учёных (молодых и не только), для которых обстановка гонки за метриками является нормой. И которые уже искренне сравнивают учёных по индексу Хирша, а журналы — по импакт-фактору. Этот феномен заслуживает отдельного поста и не всё здесь так однозначно (ибо эти цифры кое-что да значат). Но сами учёные уж точно не должны становиться жертвами дворовой наукометрии. Например, нужно понимать, что высокая цитируемость вполне может признаком учёного из ареала "легкой науки", технического сотрудника на хорошем приборе или аспиранта в продуктивной группе, а низкая — специалиста в сложной фундаментальной области или полусекретного учёного. И много, очень много других возможных вариантов.

Что нужно делать для оздоровления ситуации? Если говорить о прямых накрутках, то административно искоренить их довольно сложно (взамен простых схем придут более изощренные) — тут возможно лишь уменьшение роли взломанных метрик. В целом куда правильнее создавать здоровую атмосферу в сообществе. Как минимум, необходимо называть вещи своими именами — чтобы жульничать с цитированиями было стыдно (например, как публиковать и защищать откровенный плагиат). Думаю, само озвучивание проблемы и напоминание о нормальной функции научных цитирований уже немаловажно.

А вообще дилемма рядового сотрудника всегда одинакова — пытаться менять правила в более справедливую сторону или выкручиваться в рамках действующей системы и по-максимуму использовать уязвимости для собственного блага. Совершенно очевидно, что стратегически правильнее поднимать вопрос об отмене неадекватных метрик, а не бежать за пачкой цитирований в РИНЦ. Это даёт шанс поработать ради дела, а не тратить жизнь на подгонку себя под новые показатели эффективности. Но это должно быть коллегиальным решением большинства, с чем возникают большие проблемы во многих аналогичных случаях.

Бесспорный итог длинной дискуссии: появился новый повод любить стартапы ❤️

Осторожно, 18+. Смотреть со звуком.

Итоги последнего года (с небольшим) в научно-образовательной сфере от Олега Тинькова.

Центры кооперации — нужны или нет?

Пришёл достаточно необычный вопрос от подписчика, предлагаю ознакомиться и подискутировать:

"Я являюсь сотрудником одного центра по научной кооперации между Россией и страной Х. Хотел бы спросить у читателей канала, имели ли они опыт взаимодействия с подобными структурами и нужны ли такие структуры вообще по их мнению. Иначе говоря, есть ли у исследователей запрос на подобные услуги: найти вуз-партнер, подыскать лабораторию или зарубежных коллег для обмена наработками, сделать конференцию, предоставить отчет по научным отраслям (бесплатно) и т.д.

Ответы ищу для удовлетворения личного интереса и вообще планирования карьерной траектории. В последнее время много размышляю о возможных форматах международного научного сотрудничества. Но заниматься тем, что никому не надо, и тратить на это время совершенно не хочется. Спросить именно в ТГ-канале — отличная опция, так как на мероприятиях все стараются играть йес-менов.

Если более конкретно говорить о текущих функциях нашего центра, то в основном они представительские. Это частичное участие в организации и финансировании мероприятий, контакты с руководителями некоторых российских научных и технологических организаций, редко — поиск подходящих партнеров (компания просит найти в России специалистов или технологии, недавно с такой просьбой обращались представители российского университета), а также информирование аудитории о положении дел науки и техники в России.

В целом получается, что наши функции относятся скорее к области GR или научной дипломатии. Однако в названии написано "Центр кооперации", и от этого у меня возникает диссонанс: будто "кооперация" отсылает к работе на уровне отдельных лабораторий и институтов, а не на макроуровне. Так или иначе, хотелось бы услышать мнение, кому и в каком виде могли бы быть полезны услуги такого центра".


Комм. РR: мне по умолчанию казалось, что активные учёные должны сами знать своих потенциальных партнёров — по конференциям, статьям и благодаря сарафанному радио. Хотя допускаю, что эта схема работает не всегда. Поэтому узнать мнение подписчиков действительно интересно.

И отдельно отмечу очень справедливое наблюдение, что на публике все, как правило, играют йес-менов. Это обязательно нужно учитывать при получении обратной связи.