Иван Оранский, доктор медицины, сооснователь Retraction watch, журналист, преподаватель медицинской журналистики в New York University’s Arthur L. Carter Journalism Institute, главный редактор издания Spectrum, специализирующегося на новостях о лечении и изучении расстройств аутического спектра

Выступление в Стенфордском университете (тезисы)
Запись выступления

Избранные слайды для иллюстрации: https://www.calameo.com/read/004562583d1aed97863ea

Сколько стоит цитирование?

Цитирования имеют цену и приравниваются к валюте в научном королевстве. По разным расчетам, его стоимость может составлять 3, 6 или 100000 долларов. (Слайд 2) Не один из расчетов не может считаться верный, но они дают нам чувство того, о чем мы думаем, когда думаем о метриках, которые используются в библиометрии и наукометрии, и как много вещей сейчас определяются цитированием, которые конечно, поступают через публикации. Ты не можешь ничего процитировать, если ничего не написал, ведь так?

Мое общая гипотеза заключается в то, что есть системы: метрические системы, библиометрия, наукометрия, которые в широком смысле этого слова управляют тем, что мы очень обобщенно можем назвать «плохой наукой». Она не ведет нас далеко в поиске истинны и построению знания из-за системы. Это то, что связано с системами, в которых мы работаем: недостаточно что-то цитировать и быть цитируемым. Написанное должно быть процитировано в правильном месте. Так?

Идея о том, что все это про университетские рейтинги, про исследование, про превосходство и оценку исследований. Что их всех объединяет? Это цитирования. Но все начинается, конечно, со статей и их публикации. И факт в том, что все ученые и все сотрудники образовательных учереждений высшего образования работают по одной системе по –разному, и естественно в разных местах.

Обратите внимание на процентное соотношение, насколько международные рейтинги связаны прямо или косвенно к цитированиям и публикациям. В Шанхайском рейтинге 30% положения в рейтинге привязано к цитированиям, 6% - исследовательская продуктивность, которая измеряется количеством работ опубликованных в определенных журналах. Там же 20% высокоцитируемых исследователей, 20% работ опубликованных в Science и Nature. Работы, проиндексированные с Science Citation Index Expanded (Web of Science). Эта большая группа. 60 % (показателей) Шанхайского рейтинга определяется публикациями и цитированием. (Слайд 3) И QS рейтинг тоже. Фактически, если покопаться поглубже, что такое репутация, то мы снова увидим публикации и цитирование. (Слайд 4)

Какой самый простой способ, чтобы университет поднялся в рейтинге? Заставить своих сотрудников публиковаться в определенных местах и цитировать друг друга. И к чему это приводит? Национальные агентства оценки научны исследований буквально определяют, сколько университет получит финансирования, и университеты это знают. Все эти ребята определенно знают, чем занимаются.

UK REF (research accellance framework) - система оценки научного влияния учреждений высшего образования Великобритании довольно сложна, и вроде как отошла от цитирования как гиперметрики, но по сути они отдали решение на откуп в каждой отдельной отрасли (Слайд 5).

В Индонезии с помощью Sinta ранжируют ученых , и потом это что-то вроде платы в национальном рейтинге и университетском рейтинге, и в том, какое финансирование получит ученый.(Слайд 6) Вы стимулируете людей, говоря, что будете напрямую считать количество публикаций и цитирований. Окей, так вот она установка.

В Индии есть так называемые «белые списки». Но список публикаций, которые будут для чего-то учитываться, это 10 летние гранты для продвижения университета в рейтинги, которые естественно питают друг друга (Слайд 7).

Импакт-фактор.

Импакт-фактор тоже зависит от количества цитирований публикаций в журнале. И Кларивейт Аналитикс отбирают журналы, которые будут входить в список Web OF Science, который многими расценивается как международный «белый список». Журналы, у которых нет импакт-фактора часто увядают и умирают, потому что никто не хочет публиковаться в журнале, который нигде не учитывается.

Существуют похищенные журналы. (Слайд 8)Те самые, которые есть в Web of Science и Scopus. Чаще всего это онлайн журналы, но не только. Кто-то в журнале забыл оплатить домен, и кто-то его выкупает. А потом от имени журнала запрашивают статьи, и говорят «смотрите, мы есть в WoS и Scopus». И ведь это не журнал, а просто человек за экраном компьютера, который предлагает опубликовать статью на сайте за деньги. В списке Retraction Watch таких журналов уже около 200.

Но вернемся к Индии, история стала известна не так давно (*).Что если то чего вы на самом деле хотите, ранжируя университеты, это создать предприятие, которым бы занимались другие люди, и делать много денег. Прекрасно! Есть люди, которые напрямую угоняют журналы. Я не думаю, что это хорошо для академической среды (Слайд 9).

Сколько стоит публикация?

Предполагается, что если вы опубликуете определенное количество статей, то получите должность и зарплату. Во Вьетнаме, например, есть бонусы в виде денежного вознаграждения профессорам и преподавателям (Слайд 10). Китай особенно этим прославился (Слайд 11). Они платили приличный бонус, который несколько раз увеличивался и зависел от импакт-фактора журнала, в котором публиковались статьи. Еще они могут требовать специальные выпуски, и чтобы не очень дорого за публикацию, чтобы опубликовать маленькую клиническую заметку. Вам необходимо получить позицию клинициста в медицинском университете. Исследование это не часть вашей работы, но вам необходимо опубликовать 2 работы, чтобы получить место и продвинуться по карьерной лестнице.

По сути вас просят сделать то, что вы не умеете делать. Вот так и начинаются мошенничества. Если вы мне говорите, что моя карьера, работа зависит от того, что я не знаю, как делать, то я буду изворачиваться. И вот самые большие выплаты за статьи в Китае и он опережает США по публикациям в журнале Nature (Слайд 12). Сейчас Китай публикует больше работ, и у них публикации с самым высоким импактом. Другими словами высокоцитируемые, много высокоцитируемых работ в разных областях исследования. И Штаты. Абсолютно предсказуемо. И знаете почему? Потому что они хотят быть высоко в рейтингах. Так что деньги за публикации.

Деньги за упоминание/престиж.

История из 2011 года. Университет Саудовской Аравии хотел подняться в рейтингах по математике (Слайд 13). Представители университета обратились к профессорам, которые уже мало публикуются, но занимают достаточно ведущие позиции, например, в МИТ. Им предложили за 70 тыс. долларов стать почетными профессорами университета. От профессоров требовалось раз в год прочитать лекцию или выступить на конференции. Что же реально стояло за этим? Профессорам было необходимо указать еще одну (третью) аффилиацию в своих публикациях. Университет Фейсала занимался этим и выбился в рейтинги по математике. Позже они захотели, чтобы третий университет стал основной аффилиацией (Слайд 14).

Манипулирование цитированием.

История где-то годичной давности (Слайд 15). У нас есть ученый компьютерщик из Испании. Он загрузил свою презентацию в Researchgate или что-то еще, что учитывается системой Google scholar, постоянно ссылался сам на себя и не особо менял похоже эту презентацию раз за разом. В итоге, у него вырос h-index.

Картели или договоренное цитирование (Слайд 16).

Есть ученые, которые хотят повысить свои индексы Хирша. Они договариваются. Первый цитирует второго, второй цитирует третьего, а четвертый цитирует первого. Это намного сложнее отследить. Но это часто приводит к абсолютной чуши, когда статью об аутизме цитирует статья о ботанике (Слайд 17).

Фермы по цитированию (Слайд 18).

Эти наиболее распространены и связаны с самоцитированием. Это когда журналы говорят, не цитируйте вот эту статью, цитируйте статьи наших авторов. Иногда это даже прописано в инструкциях для авторов. Иногда они начинают выкручиваться: мы очень рады принять эту статью, просто процитируйте 3, 4 статьи из нашего журнала, которые «залежались». Особенно журнала Science and Technology, которых удалось устыдить и они перестали так делать (Слайд 19). И снова манипулирование цитированием теперь уже статья в Nature (Слайд 20). Если вы согласитесь манипулировать с цитированием, у ваших собственных статей выше шанс на опубликование. И люди продолжают это делать. Такова система. Способ достичь цели.

Фабрики публикаций (Слайд 21).

А теперь поговорим об индустриализации. Об этом была статья в журнале Economist лет 10 назад. О фабриках публикаций в Китае, там их реально много. Они есть и в других местах: в России, в Иране. Они есть там, где людям нужны публикации. Такие фабрики продают уже готовую статью на любую тему. Не важно для какого журнала. Так же они продают авторство. Они выдают список статей, которые уже приняты или находятся на последней стадии принятия в журнал и вас могут добавить первым, последним, четвертым автором – не важно. Цена вопроса бывает разной. Такие фабрики изучают, о них стало известно от 10 000 ученых.

Саморецензирование.

Такие фабрики публикаций создают систему, в которой ты можешь сам себя рецензировать. Система в большим количеством публикаций требует огромного объема рецензирования, а списки рецензентов ограничены. И вот тогда к вам могут обратиться за помощью, и вы можете порекомендовать кого-то, кто может быть рецензентом, создать фейковую почту и получить приглашение от редактора стать рецензентом собственной статьи. У COPE уже появилось заявление на эту тему (Слайд 22).

Публикации школьников.

А вот американский пример (Слайд 23). У вас есть ребенок или племянник, племянница? Хотите, чтобы они попали в Стэнфорд? Говорите, он(а) написал(а) статью для журнала Purview (космическая и противоракетная оборона), когда были в старшей школе? Есть фейковые журналы, которые рецензируются, и компании, предоставляющие такой сервис, создают такие журналы. Это не прекрасная система оборазования в старшей школе и любовь к изучению слов.

Об "азартных играх" с метриками советую книгу «Gaming the Metrics: Misconduct and Manipulation in Academic Research» (https://doi.org/10.7551/mitpress/11087.001.0001) исследователя Марио Паджолли и Александры Липпман из Калифорнийского университета ( UCLA). Она в открытом доступе. Кандидатская первого автора имеет дело с людьми, которые публикуют статьи, которые не читают. Они публикуют их, чтобы их не читали. Их публикуют, чтобы их считали. Это все о метриках.

Специальные выпуски.

Вспомним Уотергейт. Издатели следуют за деньгами. Ученые следуют за деньгами. Университеты следуют за деньгами. Правительства следуют за деньгами. Финансирующие фонды следуют за деньгами. Деньги.

Что же делают издательства. Они создают специальные выпуски, специальные коллекции или тематические выпуски. Исчезающе маленький процент таких выпусков можно назвать легитимными. Если в поле зрения редактора появляется некая новая тема, они решают, что необходимо опубликовать много статей об этом. Немногие из них легитимны. В издательстве MDPI можно заметить определенное увеличение специальных выпусков и статей в них от 0 до 140 тысяч, и каждая была опубликована за авторский взнос за публикацию (APC). (Слайд 24) Такие публикации тоже учитываются, если журнал входит в индекс цитирования. С таким экспоненциальным ростом это все равно что печатать деньги, с их последующим обесцениванием – инфляцией.

Это уже заметно. И это плохие новости для издателей. Арабский журнал геонаук, издаваемый группой Springer Nature, выпустил 70 статей в специальных выпусках, где геология соседствует с усталостью при занятиях спортом, изменения прибрежного климата - с латиноамериканскими танцами, а землетрясения - с баскетболом (Слайд 25). И это не обязательно открытый доступ, журнал гибридный, распространяется по подписке.

Другой издатель - Wiley, который владеет издательством Hindawi , который печатает много таких спецвыпусков. В 2000 году было 40 ретракций в разных науках. За один день в прошлом году было 12. Простите, чуть раньше в этом году было 1200 (Слайд 26).
Так как это публичная компания, как и Elsevier, и Springer Nature. Они публикуют квартальные отчеты. В марте я спросил их, почему они публикуют так много выпусков. Мне не ответили, но три месяца не было никаких публикаций в Hindawi. Они потеряли в годовом доходе за квартал 9 млн. долларов, за год это почти 30 млн. долларов, их акции упали на 16%. (Слайд 27). Многие журналы выпали из рейтингов (Слайд 28).

Ретракции.

Одним из последствий всей этой погони за публикациями становится «плохая наука». Количество ретракций растет. (Слайд 29) Чтобы ретрагировать статью необходимо три года. Хуже всего ошибки в биомедицинских статьях. Авторы статьи в Economist, пользовались базой Retraction Watch. База содержит 40 000 публикаций, это в 3 раза больше, чем в Pubmed, и в 4 раза больше, чем в Crossref. Ретрагировано было 415 статей по эпидемиологии, это 1 процент к 40000 (Слайд 30).

Но самая большая проблема – это то, что статьи, которые требуют ретрагирования, тяжело изъять (Слайд 31). Необходимо делать официальный запрос в университет, и вузы часто не отвечают. Среднее время для ретракции – это 3 года. 35 месяцев. Многим это не нравится, им не нравится делать ошибки. Эти статьи определяют чью-то работу и кто-то просто сказал «хватит играть с моей жизнью»(Слайд 32). Они не могут изменится из-за системы, в которой они находятся. Некоторые нанимают адвокатов, как один профессор из Стэнфорда (Слайд 33), другие отписывают адвокатам свой дом в уплату услуг (Слайд 34).

Процесс ретракции довольно долгий и непрозрачный. Палата общин даже официально высказалась об этом (Слайд 35).

В статье в MBio авторы смогли идентифицировать 2/3 статей для ретракции и обратились в журнал по этому поводу, но им не ответили. На самом деле процент статей, которые необходимо ретрагировать больше, чем 2 %. (Слайд 36). И это не просто статьи, в которых проблема с воспроизводимостью (Слайд 37), но проблемы с мошенничеством. По факту же ретрагируется 0.1 % публикаций.

Проблема в том, что все статьи, которые не были ретрагированы, и даже, которые были, активно продолжают цитироваться, а журналы, которые их опубликовали наращивают импакт-фактор. По факту, что может отразить библиометрия на фоне всех этих мошеннических практик? Репутация и награды, основанные на анализе библиометрических показателей, могут быть случайными и незаслуженными. Многие вещи могут существовать очень долго, даже если они бессмысленны. Недавнее исследование новой системы оценки в Великобритании показало, что эта система никак не повлияла на продуктивность британских университетов, даже теми мерами, что были приняты (Слайд 38).

Существует альтернативные системы оценки науки. Например, Сан-францизская декларация DORA не подразумевает использование метрик. Лейденский манифест 2015 с 10 принципами оценки исследований ограничивает использование библиометрии и наукометрии и требует ее более качественного использования (Слайд 39). Необходимо отказаться от рекламных рассылок издательств (запрет спама), перестать делать акцент на библиометрческих показателях, использовать различные индикаторы и делать акцент на влиянии исследований для общества и знания (Слайд 40).