форель разбивает лоб

Недавно я упоминал работу с интересной критикой подхода Иоаннидиса к построению рейтинга ученых мира, там хардкор, не буду повторять. А теперь ак. Хохлов продвигает этот рейтинг в своей телеге, не только не ссылаясь на него по-нормальному, но и вообще не упоминая самого Иоаннидиса :) https://t.me/khokhlovAR/534 Человек, насколько куртуазный в смелых и правильных выражениях для широкой публики, допускает форменное академическое безобразие) Впрочем, дело хозяйское, я о другом, тем более внимание к рейтингу он привлек успешно. Помимо вышеупомянутой критики композитного индикатора, рейтинг Иоаннидиса и ко https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/6 страдает от отсутствия тематической нормализации (попытка авторов объяснить, почему https://doi.org/10.1371/journal.pbio.1002542) и представители разных областей находятся в неравном положении (в последнем выпуске эту пилюлю подсластили, но в целом перекос остался). Полноценного долевого подсчета там тоже нет, хотя есть определенные схожие метрики. Поэтому какие-то обобщения на его основе делать сложно, но я таки предлагаю посмотреть на основные страны, там прослеживается кое-что интересное. А именно, Россия лидирует. Мы чемпионы по самоцитированиям и по среднему возрасту. На первой картинке число ученых в рейтинге vs медиана процента самоцитирований. На второй - средний наукометрический возраст (год выхода первой публикации) vs те же самоцитирования, размер шарика = число ученых. Кто-то скажет, что наши ученые самые, кхм, умудренные, поэтому и цитируют себя больше. Был, например, такой академик Маслов, просто король в обоих отношениях. Конечно, в этом есть некоторая логика: нужно иметь что процитировать из своего, у старших с этим попроще. Но как же юный Египет? Там дрючат метриками по скопусу, а еще любят мусор. Италия? Аналогично, только с мусорными журналами построже, кейс известный https://doi.org/10.1016/j.joi.2021.101204 На деле вклад в сдвиг по самоцитированиям для России отчасти связан с перекосом в сторону физики и коллайдеров, где эти метрики выше. Но не только. В таблице я сравниваю эти метрики для России, США (тоже старички) и Китая, зацените, например, биологию.

возьмем из Scopus статьи про Палестину, написанные за последние ~20 лет в Палестине (~3300) и Израиле (~4000), a также совместные работы (188), и построим сеть терминов из них по совместной встречаемости. на первой картинке подкрашены тематические кластеры, а на второй - страновая привязка статей, содержащих эти термины (желтый - Израиль, синий - Палестина) комментарии я оставлю при себе.

жулики научились подсовывать левые ссылки на этапе внесения метаданных научных публикаций в CrossRef, чтобы накрутить цитирования и остаться незамеченными https://arxiv.org/abs/2310.02192

Мох с северной стороны. Что интересно в связи с нобелевской премией? С одной стороны, она всё ценнее на фоне роста спроса на символический капитал и крайне ограниченного предложения. С другой стороны, она капитально устарела. Речь даже не про то, что у нее устаревшая структура тематик (вот характерное и вполне аргументированное нытье на тему "молбиол отжимает премии у химиков" https://theconversation.com/just-3-nobel-prizes-cover-all-of-science-how-research-is-done-today-poses-a-challenge-for-these-prestigious-awards-213688 ). Скорее, дело в том, что нынешняя наука это командная работа. Роль личности в истории падает на фоне роста размера коллективов и числа авторов на статью. Падает она и на фоне роста признания важности разных (бывших "вспомогательных") практик и активностей от https://credit.niso.org/ до https://www.imperial.ac.uk/research-and-innovation/support-for-staff/scholarly-communication/bibliometrics/narrative-cvs/ помимо собственно генерации "гениальных идей". Кроме того, современные области типа CS еще больше работают по коллаборативно-поступательной открытой модели с постоянным оперативным использованием результатов соседей и коллег, надстройкой знания вместо постройки. Это не четко дифференцируемые гиганты, стоящие друг у друга на плечах, а тысячи маленьких гигантиков, постоянно накладывающих кирпичик за кирпичиком в погоне за очередным бенчмарком. Моргнул - а на твоем кирпичике уже лежит и улыбается соседский. Причем у китайцев, которые выходят теперь на первый план, коллаборативная работа развита еще больше, это видно и по среднему числу соавторов. Да, наука в целом поступательна и кооперативна, но количество потихоньку переходит в качество - или наоборот. Так, ни у кого из авторов, возможно, ключевой сейчас научной публикации - про BERT - даже нет своей страницы на википедии. Когда самая что ни на есть передовая наука - это просто люди в серых худи или без серых худи, а вовсе не всклокоченный профессор Однокамушкин, премии начинают смотреться замшело. А за mRNA спасибо, осталось дожить до применения всего на их основе в России.

Университет наш примечателен своей своеобразной информационной политикой: как только человек увольняется, его личную страницу ликвидируют. Сейчас так много людей интересуется Вышкой, вернее, ее распадом, упадком и утечкой всевозможных мозгов (не дождетесь), ориентируясь на наличие персональных страниц, что захотелось помочь. Берете список интересующих лиц (например, авторов легко собрать тысячами из РИНЦ) и вперед. Потом в фейсбук, а то и в статью научную. Может и грант дадут в каком-нибудь фонде. В общем, дерзайте, смелые и свободные, скрипт вам в руки. import re import requests from bs4 import BeautifulSoup def hsechecker(name): try: url = "https://www.hse.ru/org/persons/?search_person="+name.replace(' ','+') soup = BeautifulSoup(requests.get(url).text, 'html.parser') if soup.findAll(string = re.compile('поиск не дал результатов')): return False else: return True except Exception as e: return str(e) print (hsechecker('Стерлигов Иван')) True print (hsechecker('Сонин Константин')) False

кстати, про MDPI

ChatGPT уже в твоей вагине, сынок Correction: Tsai et al. The Efficacy of Transvaginal Ultrasound-Guided BoNT-A External Sphincter Injection in Female Patients with Underactive Bladder. Toxins 2023, 15, 199 In the original publication [1], there was a mistake in Section 3. During the first major revision, the authors used ChatGPT to perform the English editing for the newly added content. However, they neglected to remove the phrase “regenerate response” in their haste. Now, the authors request to correct this error and remove this title from the article. https://www.mdpi.com/2072-6651/15/6/399 Ку-1 по WoS, естественно.

Завершил сбор данных для проекта открытой воспроизводимой базы наукометрических индикаторов России, скоро упакую и представим. A пока немного о новых исследованиях, в порядке пререгистрации. У меня есть полный датасет авторов России тысяч на 400, потихоньку пришло время начать фиксировать текущие аффилиации, чтобы оценить эмиграцию, но для полноценной работы нужен забугорный (диаспорный?) соавтор с полноценным (не рецензентским) доступом к апи скопуса. Впрочем, может и так справимся со всякими опеналексами и гробидами, голь на выдумки хитра. Поэтому я начал с иностранных соавторов россиян, которых у меня тоже сотни тысяч (это люди, у которых c 2015 г. до декабря 2022 есть хотя бы одна работа с РФ). Здесь куцый бесплатный апи вполне достаточен: можно проверить, продолжает ли человек сотрудничать с Россией, просто собрав число его\ее публикаций вообще и число публикаций, содержащих российские аффилиации хотя бы у одного из авторов. Грубо говоря, процент работ с Россией в динамике. Пока я взял топовых: у которых не менее 50 работ с Россией (естественно, кроме авторов из гиперавторских работ типа коллайдера), их около 250. Этакие хардкорные друзья России, у которых, как можно предположить, на совместные публикации с нами приходится солидная доля своего аутпута. Замечу, это не продавцы третьих аффилиаций типа Шариата (о них особый разговор), а иностранцы без российских аффилиаций. Вот такие цифирки. Пессимисты и оптимисты могут смотреть на них по-разному. Оптимистам напомню, что процесс подготовки и публикации статьи - все еще долгий. Первая строчка - средний % публикаций с РФ на человека среди всех его\ее работ в данном году Вторая строчка - % людей с нулем публикаций с РФ в данном году 2019 2020 2021 2022 2023 50.8 52.9 53.1 46.3 33.8 5.6 1.7 6.8 7.3 25.6 Естественно, 23 год неполный, а людей вовсе без публикаций в этом году я убрал. Еще из важного - может влиять ахтунг с выходом\индексацией российских журналов, где выходила часть совместных работ. Планы простые: масштабировать на несколько тысяч человек, посмотреть в разрезе стран и тематик, поискать детерминанты.

Из свежего заинтересовали две работы: 1. Relationship between journal impact factor and the thoroughness and helpfulness of peer reviews https://doi.org/10.1371/journal.pbio.3002238 Наконец-то полноценное исследование на тему, про которую думали очень многие. Подход немного "ленивый" в плане опоры на ML-классификацию, но вполне научный, вывод ожидаемый: "Journal Impact Factor is a bad predictor of the quality of peer review of an individual manuscript" В составе авторов - представители самого Clarivate в лице некоего Александра Соколова из Лондона. Любопытно, что статья фактически лишена обзора литературы, но ее приняли. Журнал может показаться не вполне типичным, но популярен в метасайнсе, к тому же демонстративно не публикует свой высокий импакт-фактор. 2. Why summing up any bibliometric indicators does not justify a composite indicator https://doi.org/10.31234/osf.io/uhd7m Хороший пример дискуссий о научности в наукометрии и ее не помнящем родства отпрыске метасайнсе. Последний гораздо ближе к современному CS с их идеологией "ну, вроде работает - значит работает, едем дальше, юху!". Здесь в центре внимания композитные индикаторы, конкретно - известная открытая база ученых Иоаннидиса et al., где такой чудо-показатель собран из 6 метрик скопуса. Авторы детально разбирают его устройство и проверяют на соответствие целому ряду принципов индикаторостроения, выработанных - сюрприз! - в психометрии, где этому уделяют много внимания. Вывод я вычитал такой: штука Иоаннидиса в целом работает и при некоторой подкрутке displays excellent reliability (сами авторы смотрят иначе, см название статьи). Принципиально, что речь про серьезный научный композитный индикатор, а не про композиты вообще, особенно рейтинги вузов.

OpenAlex, меж тем, неуклонно развивается. За счет API этот инструмент уже сейчас во многом превосходит по возможностям WoS\Scopus\InCites\SciVal Например, написав скрипт в пару десятков строчек, я затем за 20 минут выгрузил данные о разбивке десятков миллионов публикаций в этой базе по числу авторов в динамике по всем основным тематикам. Весьма наглядно как основа для разговоров об изменении конфигураций научных команд, соавторства, усложнения науки и т.д. Вот история (левый верхний), экономика, материаловедение и медицина (правый нижний), линии отражают % публикаций с указанным числом авторов среди всех публикаций в области.

Ок, а что можно было сделать? Трудно удержаться от вопроса "а зачем?". Ну, дэшборды, цифра, разрабов своих поддержать, суверенность, нейросеть, маркетплейс идей, служение. Прозреть окончательно. Ученым это всё не нужно: есть Google Scholar, РИНЦ, Pubmed и иже с ними. Разве что начнут блочить GS. Вообще могут. Да и в РИНЦ, как известно, перестали попадать публикации в иностранных журналах. В общем, для более русскоязычной части научного сообщества (она же - менее знакомая с впн) кое-какой простой аналог GS c наукометрией типа Скопуса, возможно, пригодился бы. Это натяжка, но допустим. Единственная возможность сделать такой сервис сейчас - взять открытые данные OpenAlex, Semantic Scholar, CrossRef, FATCAT и т.д., переупаковать, связать на основе готовых id и приделать простой веб-интерфейс. Это уже и делается. Есть проект РЦНИ (это министерская структура, но, насколько понимаю, проект инициативный) без веб-интерфейса, есть проект команды Colab, про которую я уже рассказывал (там в целом задумка похожа на гостех, только куда нормальней по исполнению и наполнению). У Сolab поиск публичный: https://cobalt.colab.ws/ Пока в самой ранней стадии, даже странно, что выкатили, но потенциал есть. Это вполне можно назвать сервисом _для ученых_ по доступу к данным научного цитирования. Прикрутить подобное к гостеху мешают некоторые сложности: - "Серый" подход к лицензиям и данным. Почти уверен, что многое на Colab берется у всяких CrossRef, Dimensions, Scopus и грузится\используется в нарушение их условий (Colab - коммерческая компания). Наверняка основное сейчас - на OpenAlex, но никакой лицензии не указано, зато есть такая милая формулировка: "Мы не собираем информацию, не находящуюся в открытом доступе, и действуем на тех же основаниях, что OpenAlex и РЦНИ". - Данные, как ни крути, генетически "недружественные", в основном американские\английские. - С публикациями в российских источниках там гораздо хуже, чем в РИНЦ, а с РИНЦ такой вот "серый" подход не сработает (и правильно, лучше обо всем договариваться честно). Но в целом пока что маленький стартап поработал куда лучше Чернышенко, Фалькова и ко.

Сейчас считается, что российским ученым очень нужен доступ к своим-суверенным-правильным наукометрическим базам. Более вероятно, что такие базы очень нужны чиновникам для управления учеными и дальнейшего суверенного развития своих технократических карьер. И то верно: в дэшборд надо цифру давать, иначе - какое развитие? Как бы то ни было, "доступ к данным научного цитирования" был обещан в рамках "домена наука" и прочего гостеха: https://гиснаука.рф/ Заявлено, что этот "сервис" уже год как разработан, введен в эксплуатацию и сейчас развивается. Напомню адрес: https://sciencenet.ru Год назад я немного писал о нем, и, мне кажется, ничего там толком не сделано до сих пор. Во-первых, никаких цитирований нет и в помине. Публикаций тоже почти нет, как поисковик использовать бессмысленно. Метаданных внутри публикаций нет. Ни аффилиаций, ни аннотаций, ни списков литературы, ничего. Только авторы и doi. Публичных профилей авторов тоже нет, не говоря уже про организации. Поиск по публикациям рудиментарный: есть поля для даты, авторов, издания и тегов. Теги вообще не работают, а авторы и издания никак не стандартизированы (условно, рядом журнал "труды нии люпина" и журнал "ТРУДЫ НИИ ЛЮПИНА"), поиска по авторским и журнальным идентификаторам нет. Поиска по проектам и оборудованию, связанным с публикациями (интеграция этих сущностей была одной из центральных задумок "Цифровой платформы исследователя") - нет. Про API, открытые данные, лицензии даже говорить нечего. Зато есть ноябрьское письмо Минобрнауки научным организациям: "Далее сотрудникам научной организации с ролью исследователь рекомендуется обеспечить заполнение цифрового профиля исследователя в объеме следующих вкладок: 1. Резюме; 2. Публикации; ..." Заполнение ручками. Да, можно ввести свои id (wos, scopus, orcid, ринц), только они не сработают, хотя минимум orcid и ринц и сейчас технически позволяют подгрузить много чего, было бы желание, да и других открытых данных хватает. По doi тоже ничего не заполняется: мы ж не Zotero, и так введут в эксплуатацию. Ручками каждого соавтора вводи, друг. Что, в РИНЦ уже все есть? Так это частная контора, вот наконец съест его какое-нить "Просвещение" или VK - поговорим. Вводи скорей, потом твой коллега по НИИ будет еще это ручками "валидировать", а ему еще весь ваш "Вестник" руками в БД РНЖ ВАК вносить. Ну, разные бедняги понатыкали 20 тысяч записей кое-как. Вот так вот "сервис для ученых по доступу к данным научного цитирования" превратился в сервис ученых для чиновников, чтобы ходить в госдуму и отчитываться ("чтобы окончательно прозреть, нам необходимо обеспечить возможность интеграции всех сервисов в единое пространство" бла бла бла). Как в анекдоте: там сервис и тут сервис, но есть нюанс.

профессор, средненький студент и плохой студент :) ну, потихонечку подтянутся

Внесение одного из самых цитируемых экономистов из России Константина Сонина в список "иностранных агентов" вновь поднимает вопросы ссылок на публикации этих самых агентов в научной литературе. Их несколько: 0. Непосредственно статьи Сонина в российских журналах. Например, нобелевский научпоп в "Вопросах экономики" в этом году. Тут либо прикрутят плашку, либо удалят, скорее второе. 1. Ссылки на Сонина в российских журналах (которые, напомню, де юре - официальные СМИ). Есть версия, что, даже просто ссылаясь на Сонина в своих работах, их авторы рискуют попасть под основной критерий внесения в "иноагенты", этакий рекурсивный раскручивающийся маховик. Вот этот, смело цитирую: "участвовал в создании и распространении для неограниченного круга лиц сообщений и материалов иностранных агентов". Сейчас в РИНЦ на Сонина (приписанного там к Вышке) примерно 3500 ссылок, из них более 700 - из российских журналов списка ВАК. 2. Иностранные журналы, естественно, фильтровать статьи, ссылки и ставить плашки не будут. Например, сам Сонин публикуется в таких: Quarterly Journal of Political Science,Voprosy Ekonomiki,American Journal of Political Science,Economic Journal,Journal of Public Economics,Journal of the European Economic Association,The Handbook of Historical Economics,Journal of Economic Behavior and Organization,Journal of Sports Economics,Economics of Transition,Quarterly Journal of Economics,American Economic Journal: Applied Economics,Econometrica,Annual Review of Political Science,Journal of Political Economy,Research in Economics,Proceedings of the National Academy of Sciences of the United States of America,American Economic Review,Games and Economic Behavior,Journal of Law, Economics, and Organization,Journal of Comparative Economics,American Political Science Review,Review of Economic Studies,Journal of Economics and Management Strategy,International Finance,Economics Letters,Communications in Algebra,Mathematical Notes Разрешено ли их распространение в российской федерации? Часть этих изданий худо-бедно подписываются для России через структуру Минобрнауки, так что формально иноагентом-распространителем можно признать много кого. Доступ к текстам идет через сайты самих издательств, которые убирать статьи отдельных авторов не будут. Какие-то журналы убрать возможно, но если прогиб ряда западных мейджоров под китайскую цензуру в итоге сошел им с рук, здесь - сами понимаете, рыночек малюсенький. Есть ли у ученых вероятность получить хотя бы разъяснения от Минобрнауки? Не уверен. Туманная опасность всей этой международной политэкономии - боюсь, вполне нужный результат, особенно если речь про "полит-". Не ссылайтесь, не читайте, зачем вам это? Насчет "-экономии" сложнее. Вроде бы, сильные экономисты, обученные на AER и Econometricа, а не на подшивке "Эксперта", правительству нужны как воздух (вспомним претензии самого Сонина к Набиуллиной и Юдаевой). Или уже не нужны? Не знаю. Collateral damage, середина второго сезона. А тут еще Андрей Яковлев из суперосторожного (видели бы вы его комменты в моем опросе ученых про митинги 11 лет назад...) стал антивоенным комментатором, который обещает с радостью вернуться из баден-бадена, когда шестисотый навальный наконец сожжет себя успешно. 5700 ссылок в РИНЦ.

Четвертый выпуск рассылки отправился адресатам :) Реализую semantic similarity на основе машинного обучения своими gpt-руками (как обычно, все скрипты в комплекте) и спекулирую на тему "как обустроить учет и анализ публикаций в одной отдельной стране". Напоминаю, что рассылка доступна всем науковедам и регулярно сталкивающимся с наукометрией по работе сотрудникам некоммерческих организаций (вузы, НИИ, редакции, библиотеки...), подписаться можно, написав на ivan.sterligov@gmail.com Потихоньку собираюсь вернуть скрипты на гитхаб, увязав с релизом открытых списков журналов. Все это нужно как сопровождение моего - сугубо научного - проекта открытых воспроизводимых индикаторов науки в России, который будет представлен в сентябре. Кажется, пора обсудить, что происходит с публикациями, данных уже много.

Джеймс Бутчер в свежей рассылке разбирает кейс моментального обвала объема второго по размеру научного журнала мира после потери импакт-фактора WoS. Речь про International Journal of Environmental Research and Public Health от MDPI, ему недавно была посвящена статья в профильном (нормальном) научном журнале Learned Publishing https://doi.org/10.1002/leap.1566 Рассылку Бутчера по-прежнему очень рекомендую. Это бывший Executive Editor at The Lancet and the leader of the Nature journals. https://journalology.ck.page/

Библиометрия наносит ответный удар)) For some time now we are noting a new type of denialism in the bibliometric and research evaluation communities which, although it has always existed, is becoming more and more pronounced. We are referring to bibliometric denialism, a new trend that can be added to climate change denialism, COVID denialism, vaccine denialism, or flat-earth movements. https://link.springer.com/article/10.1007/s11192-023-04787-2

Помню, как лет восемь назад я подумал про AI\ML деанонимизацию по наборам текстов (скажем, тексты из профиля в контактике путем магического оборачивания в векторы позволяют выявить анонимного автора текстов на форуме кардеров), обсуждал это дело с приятелями-специалистами, мне объяснили, что тогда еще было рановато. Теперь это становится реальностью, причем не только во вселенной VK, Роскомнадзора и цензурных ML-архитекторов, но и в самой что ни на есть серьезной и открытой академии - в контексте double-blind peer review: "The AI model correctly predicts authorship for 3 out of 4 papers", и это люди только начали копаться в теме. https://blogs.lse.ac.uk/impactofsocialsciences/2023/08/08/ai-can-crack-double-blind-peer-review-should-we-still-use-it/ Конечно, в науке задача несколько отличается от поиска анонимных народных диссидентов по совпадению глубинных паттернов матершины. Авторского стиля меньше, соавторов много, однообразие подчас зашкаливает. Зато есть самоцитирования и в целом паттерны ссылок. В общем, богатое будущее открывается. Авторы фокусируются на doube-blind, но я вижу смутно проступающие контуры другой напасти: ...татататам... деанонимизация рецензентов! Поживем-увидим. Может статься, только Gen-AI и спасет слепое рецензирование, став гарантом анонимности за счет однообразной банальности, вот это будет номер :) Кстати, есть версия, что в России научные публикации и ML-цензоры уже стали куда ближе друг к другу, но здесь подождем официальную информацию.