Когнитивная психометрика

Друзья и коллеги, до Нового года остались считанные часы, поэтому перед тем, как поздравить Вас, мы поздравляем нас с завершением года! 🎄 Наши итоги в цифрах и картинках Ну а теперь… С наступающим всех!

Напоминаем, что завтра пройдет наш завершающий семинар! Ждем вас!

#cognps_issues На нашем канале мы часто обсуждаем ситуацию с психологическими теориями и измерениями, существующие проблемы в этих аспектах психологии и психометрики. И сегодня рассмотрим препринт Improved Measures with the Experimental Psychometrics Framework, в котором V.R. Franco, автор препринта, излагает основные идеи экспериментальной психометрики, призванной внести вклад в поддержку психологических измерений. Подробнее по ссылке.

#cognps_meeting Если вы еще ни разу не были на наших семинарах, у вас есть еще один шанс поучаствовать или послушать! 26 декабря состоится последний, не только в этом году, но и вообще последний, семинар нашей проектно-учебной группы. Наша группа проработала два года в соответствии с грантом Факультета социальных наук НИУ ВШЭ и, как говорится, пришла пора прощаться! На последнем семинаре мы решили «замахнуться на Вильяма нашего Шекспира» (цитата), а точнее, обсудить проблему каузальности в социальных науках и статистике. Что думают о возможности выделения каузальных связей психологи и другие социальные ученые, почему статистики избегают слова «каузальность», есть ли место каузальности в психометрике – попробуем обсудить и разобраться. Семинар состоится онлайн 26 декабря в 16:00. Ссылка для подключения: https://telemost.yandex.ru/j/34695319711736 Форма для регистрации: https://forms.yandex.ru/u/66f54dbc84227c426e3a7c8e/

#cognps_issues Статья посвящена основанию использования дифференциальных (разностных) значений в контексте научных исследований и анализа данных. Похожую проблематику мы рассматривали в посте ранее, подробнее по ссылке. Исследователи на практике часто отказываются от использования разницы показателей, поскольку считают их ненадежными — настолько, что грантодатели, редакторы научных журналов и члены экзаменационных комиссий негативно реагируют на их использование. Однако авторы утверждают, что столь категоричный отказ от разностных значений в исследованиях несправедлив и должен быть пересмотрен. Подробнее по ссылке.

#cognps_issues Сегодняшняя статья затрагивает тему классификации шкал измерения, изначально предложенную Стэнли Стивенсом. Автор статьи подробно обсуждает ошибки, связанные с этой классификацией, а также предлагает рекомендации для исследователей в области психологических и образовательных измерений. Подробнее по ссылке.

#cognps_ind Статья посвящена изучению индивидуальных различий между людьми в том, насколько они полагаются на предварительную информацию (priors), такую как ожидания или знания, когда сталкиваются с неоднозначной новой информацией. Исследование базируется на теории предсказательного кодирования, согласно которой наше восприятие определяется поступающим сенсорным сигналом и нашими ожиданиями. Авторы хотели понять, существует ли общий фактор, который определяет степень, в которой люди используют предварительную информацию в различных задачах, или же эти эффекты зависят от конкретных задач и условий. Подробнее по ссылке.

#cognps_meeting 27 ноября состоялся семинар проектно-учебной группы «Когнитивная психометрика» по теме «Психометрика ИИ: можно ли понять машину с помощью психологических тестов?». На семинаре участники обсудили развивающуюся область психометрики искусственного интеллекта (ИИ), её возможности и имеющиеся наработки, а также ограничения и проблемы в изучении ИИ с помощью психологических тестов. Также докладчики семинара представили результаты своего мини-исследования по оценке «личностных» качеств двух больших языковых моделей с помощью опросника Большой пятерки. Подробнее о семинаре и о том, что поведали две языковые модели о себе, по ссылке.

#cognps_time Hierarchical Factor Models For Analysis in Experimental Designs Сегодня мы хотим познакомить вас с препринтом «Hierarchical Factor Models For Analysis in Experimental Designs», подготовленным Jeffrey N. Rouder , Mahbod Mehrvarz и Niek Stevenson в 2024 году. В этом препринте авторы представляют иерархическую факторную модель, которая может применяться к данным экспериментальных исследований. Применение этой модели позволяет учитывать дисперсию между заданиями и между участниками, оценивать корреляцию между заданиями и идентифицировать факторную структуру даже в условиях высокой ошибки измерения. Подробнее по ссылке.

Напоминаем, что сегодня пройдет очередной семинар нашей проектной группы! Ждем всех в 16:00.

#cognps_critics Психологические механизмы или необходимые условия? Автор: Тюменева Ю.А. Сегодняшний пост отличается от наших обычных постов, где просто кратко описывается статья. Это мои персональные размышления над вопросами, поднятыми Джоном Рихтерсом в статье “Невероятная полезность: потерянные причины и причинные дебри психологической науки”, о которой рассказывали Юлия Судоргина и я на сентябрьском семинаре. Подробнее по ссылке.

#cognps_issues Недавно в журнале Psychometrika развернулась дискуссия про использование суммы баллов. Все началось со статьи Recognize the value of the sum score, psychometrics’ greatest accomplishment (обзор этой статьи есть в нашем канале), которая, как понятно из названия, поддерживает использование суммарных баллов в исследованиях. И основной посыл критики, которую получили авторы данной статьи (Sijtsma K., Ellis J., Borsboom D.), сводится к тому, что приверженность сумме баллов будет мешать использованию более совершенных психометрических методов и ориентировать к “возврату в прошлое”, к более примитивным методам. При этом авторы критики не предполагают, что таковой была цель статьи, а скорее беспокоятся, что это может быть нежелательным побочным эффектом. В ответной статье Rejoinder to McNeish and Mislevy: What Does Psychological Measurement Require?, которой посвящен сегодняшний обзор, авторы отвечают на критику и развеивают опасения, что оценка суммы возвращает психометриков в прошлое. Подробнее по ссылке.

#cognps_meeting Психометрика ИИ: можно ли понять машину с помощью психологических тестов? 27 ноября (среда) в 16:00 состоится очередной семинар ПУГ «Когнитивная психометрика» на тему «Психометрика ИИ: можно ли понять машину с помощью психологических тестов?». Большие языковые модели (БЯМ, LLM) становятся всё более популярными благодаря своим человекоподобным чертам и способности устанавливать тесную связь с пользователями. Однако, с расширением их влияния на общество возникает важный вопрос: насколько глубоко мы понимаем их поведение и влияние? Существует мнение, что модели, обученные на обширных текстовых данных, усваивают ценности, убеждения и предвзятости их авторов, что позволяет им проявлять (метафорически) психологические черты. На семинаре мы поговорим о том, что уже известно о «личностных чертах» БЯМ. Рассмотрим результаты, полученные после прохождения БЯМ тестов, изначально разработанных для оценки человеческих качеств, и обсудим теоретические и методологические вопросы такого способа познания «личности» БЯМ. Семинар пройдет онлайн, присоединиться к нему можно по ссылке. ❗️Обращаем внимание, что семинар пройдет не в четверг, как обычно, а в СРЕДУ ❗️ В связи с новыми правилами ВШЭ, необходима регистрация по ссылке.

#cognps_issues В статье Richard Ramsey призывает к большей скромности в психологических и нейронаучных исследованиях. Автор утверждает, что чрезмерные заявления и низкая воспроизводимость результатов стали нормой из-за системы, требующей "сенсационных" результатов. Необходима реформа не только методологии, но и большая скромность на всех уровнях - от отдельных исследователей до редакторов журналов и грантовых комитетов. Подробнее по ссылке.

#cognps_issues Исследовать или подтверждать? Сегодня у нас пост посвящен проблеме соотношения эксплораторных и конфирматорных исследований в науке. Так сложилось, что студентов и исследователей чаще учат делать конфирматорные исследования, по крайней мере, в социальных науках. Это означает, что ваши исследовательские гипотезы должны быть сгенерированы на основе какой-то теории или ранее полученных результатов, а в исследовании вы стремитесь подтвердить гипотезы и получить вполне ожидаемые результаты. Эксплораторные исследования, позволяющие «смотреть на данные прямо», без изначальных гипотез и статистических моделей, могут проводиться часто, но публикуются редко. Попробуйте опубликовать исследование с общим посылом «мы хотели посмотреть, что получится» и вы увидите, что большинство редакторов и ревьюеров вас спросят: Где ваши гипотезы? Где теоретическое обоснование? Из какой теории следуют ваши предположения? Проблема состоит в том, что чаще всего научные открытия не происходят во время конфирматорных исследований. Ведь открытием часто называется то, что может быть непредсказуемым и непредвиденным в рамках уже существующих теорий и парадигм. Что можно сделать в таком случае? Как отличить эксплораторное исследование от p-hacking, а конфирматорное исследование от HARKing-a (не пугайтесь, мы расскажем, что это, если вы еще не знаете) – об этом наш сегодняшний пост. Подробнее по ссылке.

#cognps_meeting 31 октября состоялся второй в этом учебном году семинар проектно-учебной группы «Когнитивная психометрика». Семинар был посвящен проблеме роста числа отзывов (retraction) научных статей по всем научным дисциплинам и психологии в частности. Подробнее по ссылке.

Напоминаем, что завтра пройдет очередной семинар нашей проектной группы! Ждем всех в 16:00.

#cognps_issues Проверьте свои публикации на предмет эргодической ошибки! Что это за ошибка? Это необоснованное принятие допущения, что объекты в изучаемой совокупности взаимозаменяемы, а их характеристики устойчивы во времени. Проблема с принятием допущения эргодичности заключается в том, что если результаты, полученные на основе групповых данных, неприменимы к большинству индивидов в группе, то общие теории, разработанные для объяснения этих результатов, не имеют силы. Кроме того, применение этих результатов ограничено, поскольку вмешательства, проверенные на основе групповых агрегированных данных, вероятно, не будут эффективными при применении к отдельным людям. Как распознать такую ошибку, а также узнать, как часто она встречается в публикациях в разных областях психологии, пишут авторы статьи «Most psychological researchers assume their samples are ergodic: Evidence from a year of articles in three major journals» Speelman, C. P., Parker, L., Rapley, B. J., & McGann, M. (2024). Этой работе посвящен наш сегодняшний пост. Более подробно по ссылке.

#cognps_ind В рассматриваемой нами сегодня статье авторы затрагивают тему индивидуальных различий. Они утверждают, что на протяжении долгого времени индивидуальные различия не были предметом пристального интереса ученых, основной фокус был на среднем уровне одного биологического вида, игнорируя вариации внутри видов или между индивидуумами, что затрудняет понимание механизмов эволюции и развития когнитивных способностей. Подробнее по ссылке.

#cognps_meeting 31 октября в 16:00 состоится очередной семинар ПУГ «Когнитивная психометрика». Семинар будет посвящен обсуждению ситуации с отзывом (retraction) научных статей из журналов, в психологии и других социальных науках. Мы обсудим, как часто и почему это происходит, а также рассмотрим дискуссию, касающуюся отзыва статьи «High replicability of newly discovered social-behavioural findings is achievable». Эта статья была опубликована в журнале Nature Human Behavior в ноябре 2023 года и отозвана в сентябре 2024. Мы узнаем, что думают о ситуации с отозванными статьями известные ученые, статистики и методологи науки, такие как Andrew Gelman, Brian Nosek, Ulrich Schimmack и другие. Всех интересующихся ждем по ссылке: https://telemost.yandex.ru/j/15540761204616 В связи с новыми правилами ВШЭ, необходима регистрация по ссылке: https://forms.yandex.ru/u/66f54dbc84227c426e3a7c8e/