Выше квартилей

Обзор. Внедрение стандартизированных рецензий Марио Малички (Mario Malički), редактор Research Integrity and Peer Review, опубликовал результаты пилотного исследования внедрения практики стандартизированных рецензий в журналы издательства Elsevier. По мнению автора, рецензенты редко комментируют одни и те же аспекты исследования, что затрудняет точность оценки качества исследований и ставит под сомнение объективность процесса рецензирования. «Я получил 2 рецензии на статью, отправленную на рассмотрение в журнал; в одной было 3 комментария, в другой — 11. Отзывы отличались по всем пунктам, кроме одного. Замечания были даны в адрес проработки раздела “обсуждение” (discussion), а также некоторых методологических деталей. Постановка целей, анализ данных и слабые стороны исследования остались без внимания рецензентов», — пишет Малички. Авторы, как правило, руководствуются двумя распространенными предположениями в отношении отзывов рецензентов: во-первых, все аспекты, которых не коснулись рецензенты, не подверглись критике; во-вторых, рецензенты обладали достаточными знаниями для всесторонней оценки исследования. Однако, согласно ряду исследований, процесс рецензирования полон недостатков, которые связаны с неспособностью некоторых рецензентов обнаружить: 🔹 (значительные) методологические недостатки статьи; 🔹 неточности в интерпретации и обобщении результатов; 🔹 неправильное использование ссылок; 🔹 отсутствие данных, необходимых для повторного анализа или воспроизведения исследования; 🔹 отсутствие элементов, необходимых для оценки предвзятости или качества исследования. По мнению автора, повысить качество экспертной оценки можно за счет внедрения стандартизированных отзывов на публикации, для чего журналы должны предоставлять рецензентам список вопросов, сосредоточенных на всех аспектах исследования, а также размещать на сайте журнала: а) список вопросов для рецензентов (что позволит авторам использовать те же вопросы в качестве контрольного списка для анализа работы и повышения её качества); б) развернутые отзывы рецензентов (что позволит читателям посмотреть как оценивалась статья, а исследователям даст возможность изучить практику рецензирования). Стандартизированное рецензирование было апробировано в августе 2022 года в 220 журналах Elsevier. В рамках пилотного исследования было проанализировано примерно 10% выборки, а именно — 214 отзывов рецензентов на 107 статей из 23 случайно выбранных (вне зависимости от тематики и квартиля) журналов. Каждый отзыв состоял из ответов на 9 одинаковых вопросов и информации, оставленной в поле «Комментарии для автора», и в конфиденциальном поле «Комментарии для редактора». Ознакомиться с шаблоном вопросов можно по ссылке. Абсолютное совпадение мнений относительно окончательных рекомендаций рецензента составило 41%, причем статистической разницы между научными областями или квартилями обнаружено не было, тогда как по последним данным Elsevier (на основе 7 220 243 рукописей, опубликованных с 2019 по 2021 год в 2416 журналах), рецензенты приняли одинаковые решения на первом этапе рецензирования всего в 30% случаев. Более того, в ряде случаев комментарии рецензентов совпадали в отношении отдельных фрагментов работы. Согласно результатам исследования, самое высокое (частичное) согласие рецензентов (72%) было обнаружено при оценивании структуры статьи, а самое низкое (частичное) согласие (53%) — для оценивания подтверждения интерпретации результатов данными, а также для оценки уместности и достаточной детальности статистического анализа (52%). Предварительные результаты показывают, что, руководствуясь одними и теми же вопросами, рецензенты давали идентичные первоначальные рекомендации насчет принятия/отклонения или доработки публикации. По мнению автора, отсутствие стандартизированных практик в рецензировании замедляет прогресс науки, а их внедрение поможет сделать отзывы более объективными, прозрачными и заслуживающими доверия. #Elsevier #рецензирование #обзор

​​Королевство пустых зеркал В рамках нашей рубрики #историянаукометрии мы уже не раз показывали, что наука о науке не сразу обрела собственный предмет. В дискуссии, получившей название «Как перестать беспокоиться и полюбить реферируемые журналы», А. Косомарский отметил, что наукометрия как способ изучения работы научных практик может быть интересен в двух перспективах. С одной стороны, интерес к изучению науки как самостоятельного предмета может быть внутренней практикой самой науки, ее саморефлексией над происходящими внутри науки процессами. С другой стороны, в ней заинтересованы внешние по отношению к науке лица, например, государство, которое может прибегать к использованию продуктов наукометрии для (не-)эффективного администрирования процессов самой науки. Т. Франссен и П. Воутерс в своем исследовании об изменениях использования библиометрии подчеркивают, что две эти перспективы в отношении гуманитарных наук последовательно сменяют друг друга: с 1960-х по 1980-е годы библиометрия является частью социологической оптики для изучения внутринаучных процессов, в то время как с 1980-х годов библиометрия начинает в большей степени рассматриваться как эмпирический материал для формирования научных политик и оценки исследований. Учитывая наш личный интерес к теме, мы не могли пройти мимо анонса нашего коллеги Андрея Герасимова, который приглашает принять участие в конференции «Королевство пустых зеркал: социальные исследования социальных наук». Конференция, которая пройдет в Шанинке и онлайн, будет посвящена как эмпирическим исследованиям, реконструирующим путь становления наук и изменения их формы, так и теоретическим подходам к научной самообъективации. Направления конференции затронут в первую очередь разные социологические подходы, будь то исследования социо-гуманитарного знания в СССР, интеллектуалов, подходов к социальным наукам или социология социологии. Кроме того, одним из заявленных направлений, которое может особенно заинтересовать наших постоянных читателей, выступит наукометрическая перпектива (а также ее враги!): как цифры характеризуют нынешнее положение социальной науки, а также при помощи каких практик наука изучает эти цифры? Мы же, по обыкновению, решили посмотреть, как схожие темы представлены в OpenAlex. Выборку было решено делать по концепциям, а не по недавно появившимся тематикам, поскольку только среди концепций удалось найти соответствующие пункты. Для анализа мы выбрали следующие концепции: Scientific integrity, Scientific thinking, Scientific evidence, Sociology of knowledge, Scientific modelling, Scientific reasoning, History of science, Scientific society, Scientific revolution, Scientific method, Scientometrics, Scientific progress, Science studies, Sociology of scientific knowledge, Scientific theory, Informetrics, порог балла связи (score) 0,5, временной период — с 2014 по 2024 гг. Результаты представлены на диаграмме (есть и интерактивная версия). Больше всего как цитирований, так и публикаций насчитывает наукометрия — более 3 тысяч статей были процитированы почти 25 тысяч раз. Сразу обращают на себя внимание концепции «научное доказательство» (scientific evidence) и история науки — публикаций по каждой из концепций около 2 тысяч, но при этом цитирований у первой более 20 тысяч, а у второй — всего 5479. #конференция #OpenAlex #аналитика

​​Королевство пустых зеркал В рамках нашей рубрики #историянаукометрии мы уже не раз показывали, что наука о науке не сразу обрела собственный предмет. В дискуссии, получившей название «Как перестать беспокоиться и полюбить реферируемые журналы», А. Косомарский отметил, что наукометрия как способ изучения работы научных практик может быть интересен в двух перспективах. С одной стороны, интерес к изучению науки как самостоятельного предмета может быть внутренней практикой самой науки, ее саморефлексией над происходящими внутри науки процессами. С другой стороны, в ней заинтересованы внешние по отношению к науке лица, например, государство, которое может прибегать к использованию продуктов наукометрии для (не-)эффективного администрирования процессов самой науки. Т. Франссен и П. Воутерс в своем исследовании об изменениях использования библиометрии подчеркивают, что две эти перспективы в отношении гуманитарных наук последовательно сменяют друг друга: с 1960-х по 1980-е годы библиометрия является частью социологической оптики для изучения внутринаучных процессов, в то время как с 1980-х годов библиометрия начинает в большей степени рассматриваться как эмпирический материал для формирования научных политик и оценки исследований. Учитывая наш личный интерес к теме, мы не могли пройти мимо анонса нашего коллеги Андрея Герасимова, который приглашает принять участие в конференции «Королевство пустых зеркал: социальные исследования социальных наук». Конференция, которая пройдет в Шанинке и онлайн, будет посвящена как эмпирическим исследованиям, реконструирующим путь становления наук и изменения их формы, так и теоретическим подходам к научной самообъективации. Направления конференции затронут в первую очередь разные социологические подходы, будь то исследования социо-гуманитарного знания в СССР, интеллектуалов, подходов к социальным наукам или социология социологии. Кроме того, одним из заявленных направлений, которое может особенно заинтересовать наших постоянных читателей, выступит наукометрическая перпектива (а также ее враги!): как цифры характеризуют нынешнее положение социальной науки, а также при помощи каких практик наука изучает эти цифры? Мы же, по обыкновению, решили посмотреть, как схожие темы представлены в OpenAlex. Выборку было решено делать по концепциям, а не по недавно появившимся тематикам, поскольку только среди концепций удалось найти соответствующие пункты. Для анализа мы выбрали следующие концепции: Scientific integrity, Scientific thinking, Scientific evidence, Sociology of knowledge, Scientific modelling, Scientific reasoning, History of science, Scientific society, Scientific revolution, Scientific method, Scientometrics, Scientific progress, Science studies, Sociology of scientific knowledge, Scientific theory, Informetrics, порог балла связи (score) 0,5, временной период — с 2014 по 2024 гг. Результаты представлены на диаграмме (есть и интерактивная версия). Больше всего как цитирований, так и публикаций насчитывает наукометрия — более 3 тысяч статей были процитированы почти 25 тысяч раз. Сразу обращают на себя внимание концепции «научное доказательство» (scientific evidence) и история науки — публикаций по каждой из концепций около 2 тысяч, но при этом цитирований у первой более 20 тысяч, а у второй — всего 5479. #конференция #OpenAlex #аналитика

Конференция OpenAlex: по горячим следам Как мы уже упоминали, 30 и 31 мая состоялась первая онлайн-конференция OpenAlex. Мы внимательно наблюдали за ней (и даже задали пару вопросов), и хотим поделиться кратким описанием докладов и новостей, которые показались нам наиболее интересными. День 1: 1️⃣ В первой секции сделали доклады Джессика Эдвардс (библиотекарь Columbia University) и Сильвия Орнер (библиотекарь University of Scranton). Их презентации были посвящены специфике применения OpenAlex в работе университетских библиотек. Энди Херцог (библиотекарь University of Minnesota) рассказал о том, как интегрировал OA в систему управления научной информацией в библиотеке своего университета. 2️⃣ Во второй секции был представлен доклад Дэниела Санфельда (доцент Universidade de Brasilia), посвященный Laguna — бразильскому data lake, который может строить сети цитирований с использованием облачных вычислений (мы прикрепили к обзору картинку из его презентации). Александр Гейтс (научный сотрудник University of Virginia School of Data Science) на основе данных OA проанализировал, как фрагментирование глобальной науки ограничивает распространение идей: например, как скоро концепция после упоминания в одной стране появляется в другой. 3️⃣ В третьей секции Саджад Эбрахими (Toronto Metropolitan University) презентовал работу своей компании — это Reviewer.ly, приложение для поиска рецензентов. Чем-то похоже на нынешнюю версию интерфейса OA, но с большим упором на визуализацию, в особенности сетей коллабораций и облака слов. Еще один инструмент для визуализации, Complemetrix, представил Альберт Диас-Гилера (Universidad de Barcelona). Двое докладчиков рассказывали про scite.ai: Шон Райф, сооснователь компании, предложил подход к построению рейтингов на основе OA, а Рикардо Хартли (Universidad Central de Chile) рассказал о непосредственном применении scite. Завершили первый день конференции Кайл Демес и Джейсон Портеной из компании OurResearch, которая разработала OpenAlex. Они подвели итоги и поделились последними результатами и планами компании. В частности, буквально в последние недели были реализованы: стемминг поисковых запросов (теперь поисковой движок должен воспринимать различные словоформы) и интеграция с Retraction Watch. В ближайшее время планируется добавить: метаданные финансирующих учреждений, выбор полей для экспорта, новые опции поиска и новые фильтры, настраиваемые группы и взвешенный citation impact для различных предметных областей. Чуть позже будут реализованы визуализация и аналитические инструменты внутри OpenAlex, дополнительные поля, помимо количества, в группировке (group-by), больше источников, больше метрик, больше грантов и больше встреч пользователей. День 2: 1️⃣ Во второй день было больше докладов от институтов и аналитических заметок. В первой секции доклады представили Самуэль Мок (библиотекарь University of Twente) и Сара Критцлер (библиотекарь Duisburg-Essen University) — они рассказали о своих проектах, посвященных унификации метаданных и созданию кастомизированных библиометрических отчетов. Присутствовал также Эрик Жанжирар, представитель Министерства высшего образования и науки Франции, команда которого работает над Works Magnet — инструментом для курирования метаданных. 2️⃣ Во второй секции была презентация Нееса Яна ван Эка (CWTS Leiden University) о визуализации данных OA при помощи VOSViewer. Ян Хан (The University of Arizona) рассказал об использовании OA для измерении вклада научных сотрудников университета. 3️⃣ В третьей секции интересный доклад представила Малгожата Лагиш (University of South Wales) — о больших научных коллективах и их вкладе в большую науку. И, наконец, Паскаль Поплен и Амели Черч (Sorbonne Université) рассказали об опыте полного перехода со Scopus на OpenAlex, который не так давно предприняла Сорбонна. Программу конференции можно найти на сайте OpenAlex. Там же чуть позже будут размещены презентации докладчиков и запись эфира. #openalex #конференция

Дайджест: май 2024 Представляем свежий дайджест научных событий за последний месяц. Научные события - 30-31 мая проходит первая виртуальная конференция OpenAlex. Пользователи и разработчики делились опытом и планами на будущее. Презентации и запись можно будет найти на сайте и на YouTube-канале OurResearch (а мы скоро выпустим обзор по итогам). - Объявлена тема Peer Review Week 2024: «Инновации и технологии в рецензировании». Об этом на Scholarly Kitchen написали организаторы события. К участию приглашаются все, кто так или иначе связан с процессом рецензирования. Судя по прошлому году, стоит ожидать вебинаров, хакатонов, онлайн-конференций, открытых дискуссий и не только. Редакторская политика - В Scientometrics вышла статья, анализирующая, влияет ли текст грантовой заявки на итог ее рассмотрения. Оказалось, что оценка заявки очень мало зависит от самого текста — если эксперты видят только короткую аннотацию, то их вердикт почти не меняется. - Как мы (и некоторые наши коллеги) упоминали ранее, в этом месяце издательство Wiley анонсировало закрытие 19 журналов, что стало прямым следствием массового отзыва статей. Список журналов, которые прекратят выпускаться, можно найти на сайте Hindawi. - IOP Publishing провели опрос насчет эффективности внедрения инструментов ИИ в процесс рецензирования. В опросе приняли более 3000 ученых. Согласно результатам, лишь 29% из опрошенных ученых считают, что внедрение ИИ окажет положительный эффект, 35% респондентов выказали негативное отношение к ИИ, а 36% убеждены, что внедрение ИИ не окажет никакого эффекта. Базы данных - В Quantitative Science Studies опубликовано достаточно подробное сравнение метаданных в восьми открытых библиометрических базах: Crossref, Dimensions, Google Scholar, Microsoft Academic, OpenAlex, Scilit, Semantic Scholar и The Lens. Авторы исследования показывают, что сторонние базы данных (Dimensions, OpenAlex, Scilit и The Lens) имеют более высокое количество и качество метаданных, чем академические поисковые системы (Google Scholar, Microsoft Academic и Semantic Scholar). - Clarivate анонсировала новый продукт — Web of Science Research Intelligence. Судя по рекламному описанию, это инструмент для создания дэшбордов с интегрированным ИИ и рекомендательной системой. Наука в России - Число высокоцитируемых (по данным Clarivate) ученых из РФ сократилось до восьми, сообщает Институт статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ. - Коллеги из НЖБД подвели предварительный итог по количеству публикаций российских авторов в Scopus — их чуть больше 88 тысяч. С 2021 года их количество незначительно снижалось, при том, что количество российских журналов в Scopus за последние пять лет заметно увеличилось. - 6 мая был утвержден перечень поручений Президента по итогам мероприятий к 300-летию РАН, а 8 мая вышел указ, в котором заявлено создание отечественной системы мониторинга публикаций в области социальных и гуманитарных наук, причем эта система должна быть независимой от зарубежных рейтингов показателей (п. 10, пп. “в”). - Определены победители десятого конкурса программы мегагрантов: восемь проектов под руководством ведущих ученых и два проекта молодых перспективных ученых. Со списком можно ознакомиться на сайте Минобрнауки РФ. - Электронная библиотека eLibrary добавила сервис поиска близких по тематике публикаций с применением нейросети SciRus-tiny, разработанной в Институте ИИ МГУ. Система автоматически подбирает документы, максимально близкие по тематической направленности. Поиск реализован на странице с описанием публикации (пункт «Найти близкие по тематике публикации» в панели «Инструменты»). #дайджест #новости #редакторскаяполитика #базыданных #наукавроссии #OpenAlex #искуственныйинтеллект

Вы удивитесь, но в исследованиях Высшей школе экономики за последние 20 лет выросла доля экономики, МФТИ стал гораздо более инженерным, а саудиты теперь чаще цитируют исследования Бауманки, чем американцы! Узнать всё это за несколько кликов теперь можно благодаря новой платформе Rankless от венгерских исследователей. И если что-то и поможет новому общедоступному индексу OpenAlex привлечь больше внимания уже в 2024 году, чем дорогие и просто недоступные в России Web of Science и Scopus, то это именно новый сервис с впечатляющей визуализацией. С мотивирующим лозунгом «We need to understand more and rank less» команда из CCL (Центр коллективных знаний Будапештского университета имени Корвина) нацелилась побороться с глобальными рейтингами вузов. Разобраться с содержанием образовательных программ с Rankless вряд ли получится, но актуальных выгрузок из обширной базы OpenAlex уже достаточно, чтобы сравнивать научные специализации вузов. И всё это доступно в динамике, в том числе в ежегодной с 2019 года. Охват вузов пока ещё не полон, но выявить интересные тенденции уже можно. Например, петербургские ИТМО и СПбГУ планомерно отходят от физической специализации в пользу химии материалов, а томские ТГУ и ТПУ наоборот уменьшили долю последней в пользу инженерных исследований. При этом все четыре вуза диверсифицировали профиль исследований в целом и наращивают сотрудничество не только с Китаем, но и, например, с Ираном. Современная междисциплинарность так высока, что далёкий от моря МГТУ Баумана и ещё более континентальный Университет Назарбаева (Астана) усилили вклад в морские технологии. Самое интересное, что можно проследить, как изменился набор стран, который цитирует исследования университета. Вот, например, в 2019 году на долю США приходилось 18% ссылок от числа всех цитирований Вышки, ссылки из Китая составляли ту же долю в 18%. В 2022 году пока проиндексировано только 675 статей Высшей школы экономики: доля ссылок из США составила уже 14%, а Китая – 24%. Однако, стоит предостеречь от окончательных выводов, так как за последние годы индексация статей в OpenAlex происходит с большой задержкой.

Редакторские статьи в свете библиометрия В одном из предыдущих постов мы затрагивали тему роли редакторских статей. Сегодня мы решили расширить её и сделать специальный выпуск нашей рубрики, посвященной истории наукометрии. Представляем материал на тему нынешнего состояния области, которую можно назвать обобщающим названием bibliomertics of editorials.  Новый пост можно прочитать по ссылке: https://telegra.ph/Istoriya-naukometrii-Redaktorskie-stati-05-29

​​Retracted Articles: от репутационных проблем к аналитике по областям  Совсем недавно Wiley, авторитетное издание с двухсотлетней историей, анонсировало закрытие 19 научных журналов. Wiley сообщило, что за последние 2 года из журналов издательства были отозваны 11 300 недобросовестных исследований, 8 000 из которых относились к издательству Hindawi (в 2021 году Hindawi было выкуплено Wiley, однако после такой массовой ретракции компания Wiley объявила, что прекратит использовать бренд Hindawi, а 200 оставшихся журналов включит в свой основной портфель). По данным Nature в перечень лидирующих стран по количеству отозванных статей за последние два десятилетия входят Саудовская Аравия, Пакистан, Россия и Китай. Согласно приведенной в заметке статистике, в Саудовской Аравии на 10 тысяч публикаций приходится в среднем 30,6 ретракций, далее следует Пакистан (28,1) и Россия (24,9), на долю Китая приходится 23,5 ретракций. При этом медианное значение колеблется около 5 на 10 000. В связи с постоянно растущим интересом к этой теме (заметки в Scholary Kitchen, Nature, Times, проверки отозванных статей со стороны департамента науки министерства образования Китая) мы решили проанализировать количество отозванных статей в разрезе по областям на базе OpenAlex, которая как раз в марте провела довольно масштабную работу по обновлению базы отозванных статей и исправлению ложноположительных результатов. Самый актуальный вопрос для исследования, пожалуй, заключается в том, является ли большое количество отозванных статей в рамках издательства или журнала признаком его низкого качества? В целом, можно предположить, что если статьи массово отзываются, особенно в рамках издательства или отдельного журнала, то это означает, что постпечатная проверка (или внимание публики к вышедшим материалам) по качеству превосходит проверку перед публикацией, то есть проблемы связаны преимущественно с рецензированием. С точки зрения областей наук тенденции вполне предсказуемые — большинство отозванных работ относятся к естественным наукам, в частности, биохимии, молекулярной биологии и медицине, почти столько же в сумме составляют публикации по инженерному делу и компьютерным наукам. В этих областях есть много нюансов. Так, например, помимо заведомого нарушения правил подготовки публикации и недобросовестного отношения к подбору материала, многие кейсы, описанные в статьях по медицине, посвящены ранним исследованиям COVID-19. После получения более широкой выборки результаты стали заведомо неточными, и часть авторов сами отозвали свои публикации. Похожие случаи встречаются и в области компьютерных наук: например, если метод или систему, предложенные в статье, не получилось масштабировать, такие статьи также отзываются по просьбе автора. В случае несогласия авторов с решением редколлегии это, как правило, отмечается в сопутствующей заметке. Мы сделали treemap-диаграмму по статьям, помеченным как отозванные в базе данных OpenAlex. Всего таких 46 тысяч, из них мы выбрали около 19 тысяч — те, что были написаны с 2019 по 2023 гг. С интерактивной версией диаграммы вы можете ознакомиться по ссылке. #аналитика #openalex #ретракция

Как создаются успешные научные журналы Успешные научные журналы в современном мире, с одной стороны, существуют и развиваются по традиционным законам издательского дела, включая маркетинговые приемы и рекламу, а с другой — часто остаются внутривузовской историей и из-за узкой направленности не выходят на широкую аудиторию. В Институте образования НИУ ВШЭ обсудили, как сделать научный журнал международным, успешным и долгосрочным проектом. Рассмотрим пример Review of Education (ROE) — международного научного журнала Восточно-Китайского педагогического университета: 🔹Публикации и аудитория. Большинство университетских научных изданий становятся продуктом внутреннего потребления: в них публикуются только профессора и аспиранты материнского вуза, и в результате их читают только их же студенты. Review of Education начал привлекать экспертов со всего мира, и издание стало популярно далеко за пределами Китая. Так, каждый десятый читатель ROE живет в США, каждый двадцатый — в Великобритании. 🔸 Первые два года — золотое время. Когда возникает новый журнал, сразу же появляются тысячи авторов с актуальными статьями и исследованиями, желающих опубликоваться в перспективном издании. Уже на третий год жизни любое издание начинает терять авторов, а вслед за ними и читателей. В ROE нашли свой вариант решения этой проблемы — открытый формат (любой желающий может послать свое исследование в издание, и его опубликуют на сайте) и тематические печатные выпуски. 🔹Нетворкинг и популяризация. В современной науке нетворкинг и популяризация исследований играют не меньшую роль, чем само исследование. Принцип «реклама — двигатель прогресса» работает и в среде вузовских изданий. Значительная часть бюджета ROE тратится на SMM-отдел для ведения аккаунтов в соцсетях. Издание регулярно организует вебинары и мастер-классы для молодых исследователей, принимает участие в научных выставках и конференциях — все ради того, чтобы ученые не писали "в стол".

​​Связь финансирования университета и его места в Шанхайском рейтинге Сегодня мы бы хотели затронуть тему влияния финансирования университета на его место в Шанхайском рейтинге, а также рассказать об инструменте прогнозирования позиции вуза в данном рейтинге. Тяжело переоценить влияние объема ресурсов организации на позицию в университетском рейтинге, но все же предполагается, что это влияние не играет ключевую роль и что рейтинговая позиция зависит от огромного количества параметров. Однако результаты недавнего исследования показывают существенную и устойчивую связь объема финансирования и позиции в рейтинге. В статье авторы проанализировали 318 международных университетов и выявили связь между их финансовыми ресурсами и местом в Шанхайском рейтинге (ARWU) от 2019 года. Анализ показал, что университеты с высокими и низкими баллами ARWU зачастую демонстрируют одинаково высокую эффективность в использовании имеющихся ресурсов, из чего следует, что разница между ними состоит не в искусстве управления ресурсами, а в их количестве. Следует отметить, что отсутствие открытой информации о финансовых данных университетов и размытые стандарты бухгалтерского учета значительно затрудняют сбор информации и влияют на выборку данных. Существуют национальные базы — американская IPEDS, европейская ETER, британская HESA и другие, но в настоящее время финансовые данные большинства из них ограничиваются только расходами и доходами, в то время как данные об активах, обязательствах и денежных потоках не предоставляются. В этом отношении авторы делают несколько замечаний о возможных шагах по унификации данных: в частности, было бы желательно обогатить существующие базы данных вузов дополнительными финансовыми данными (или создать новые). Сами по себе рейтинги, хотя и привлекают внимание общественности из-за удобства ранжирования организаций по показателям и тех выводов, которые можно сделать на этом основании, в то же время активно критикуются. Так, авторы ссылаются на других исследователей, которые выделяют три основные тенденции критических замечаний в адрес рейтингов: а) содержание показателей: отсутствие учета междисциплинарности, предвзятость к крупным университетам, реальное социальное влияние университета, эффективность распоряжения ресурсами, альтернативные миссии университетов) б) методология: статистическая ненадежность и опора на метрики, потенциально содержащие ошибки; в) влияние: идеологическая нагруженность, легитимация неравенства, «самоисполняющееся пророчество». Выявление взаимосвязи параметров финансирования и итогового балла университета в рейтинге позволяет спрогнозировать его позицию в будущем. Для этого авторы разделили ARWU на несколько лиг и разработали прогностическую модель (HEI league prediction tool) для оценки балла ARWU и соответствующей лиги, опираясь на данные о ресурсах университета. Прогностическая модель доступна онлайн по следующей ссылке: https://simonedileo.shinyapps.io/ARWU_League_Estimator/ Модель использует несколько параметров: стоимость материальных неденежных активов, общая сумма операционных расходов, количество студентов, академического и административного персонала (в эквиваленте полной занятости). Библиометрические показатели в расчет не включены — впрочем, их связь с финансированием университета гораздо более опосредована, чем соотношение студентов и преподавателей. Одним из возможных вариантов доработки модели мог бы стать учет бюджета НИОКР, поскольку он обладает более выраженной корреляцией с публикационной активностью. #обзор #рейтинги #ARWU