Компьютерная психодиагностика и психосемантика
رفتن به کانال در Telegram
Этот авторский канал Александра Шмелева предназначен для специалистов по оценке персонала и психодиагностике. Здесь рассматриваются отдельные методики и общие вопросы психометрического тестирования способностей, личностных черт, знаний и компетенций.
نمایش بیشتر382
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+37 روز
+730 روز
آرشیو پست ها
"РАЗБОР ПОЛЕТОВ"
Итак, за три дня мы собрали 25 голосов участников нашего канала по теме "Необходимые элементы инструкции к тесту". Это не такая уж слабенькая представительность (надо бы иметь 30 голосов, но уже не будем "выжимать").
Полученная гистограмма частотности ответов выглядит в целом вполне разумной, на мой взгляд. Самыми необходимыми оказались те элементы инструкции, которые связаны напрямую с временнЫми параметрами: лимитами и ожидаемой продолжительностью теста. Менее всего важно, кто будет выполнять тест и рейтинговая информация.
Последний результат прокомментирую. Мне понятно, что если система НЕ имеют сравнивать результат данного испытуемого с результатами других (а большинство АСТ -автоматизированных системы тестирования - этого про НЕ умеют делать), то зачем об этом говорить - только загромождать инструкцию? - Разумно. Но... обратите внимание, если Вы все-таки планируете подарить человеку информацию о том, какое место он занял в тест-конкурсе (в рейтинге),то целесообразно при этом сообщить, а с кем его результаты будут соотнесены, с какой выборкой? - Это люди с тем же образовательно-професссиональным бэкграундом или, например, просто любые любители самотестирования и т.п. Вот такую информацию мы даем обычно в наших тест-конкурсах в проекте КИТТ - "Клубе испытателей тестовых технологий".
Показательный результат: по каждой теме, как и положено авторам новичкам, мы получили почти ровно 50% заданий с коэффициентом КД выше 0,3 (по темам искусство, компьютеризация, психология).
НЕКОТОРЫЕ ИТОГИ ЗИМНЕГО ПРАКТИКУМА КТЗ-24
В этом году в нашем зимнем цикле-практикуме "Конструирование тестов знаний" приняло участие 10 человек. Правда, на этапе формулирование учебных заданий (надо было придумать 6 своих заданий) один человек выпал и мне пришлось его заменить, чтобы у нас по каждой из трех тем было не меньше 20 заданий (методическое требование).
Что дальше получилось? - Собрали 108 протоколов очень быстро, буквально за 2 дня. Таким образом, 108 добровольцев ответили на 60 вопросов учебного теста. Так что "жив курилка"! (то есть слухи о кончине нашего проекта КТЗ в возрасте 5 лет оказались несколько преувеличенными).
Что Вы видите на скриншоте? - Это я хочу похвастаться тем, что мне удалось по тематическому разделу искусства придумать 2 задания, которые, как оказалось, обладают оптимальной трудностью "фифти-фифти" (ППО равно или близко к 50%). На скришоте Вы также видите, что наш улучшенная по дизайну и производительности система HT-LINE 3.0 выдает пользователям сразу и ЧТС (четырехклеточные таблицы сопряженности) по каждому заданию и подсчитанное автоматически значение КД (коэффициента дискриминативности).
Вы спросите наверняка: "Товарищ Шмелев, я чего это Вы используете частицу НЕ в вопросе, хотя предостерегаете сами от этого".
Да, ребята. Теперь из-за риска быстрого поиска ответа в поисковиках (Яндекс, Гугл и т.п.) приходится осложнять для испытуемых поиск (замедлять) еще и таким вот образом.
Напоминаю, что летом мы планируем проводить наш цикл "Базовая психометрическая аналитика" (там как раз люди сами должны научиться ручками строить ЧТС и грамотно их интерпретировать).
ПРО КОРРЕЛЯ ТИВНЫЙ НАКОПИТЕЛЬ
Про самообучающие матрицы у меня было курсовая работа 3-го курса, написанная в 1973 году, и названная "Коррелятивный накопитель". Я не хотел перегружать исторический экскурс в сегодняшней статье и не стал ее здесь цитировать. Сам термин "коррелятивный накопитель" я тогда подхватил из работ Ричарда Хелда:
https://vuzdoc.org/116702/psihologiya/teorii_stabilnosti_vidimogo_mira?ysclid=lsx2jk1aph319668542
Но я применил это в экспериментальных исследованиях не на материале перцептивного научения, а на материале "вероятностного прогнозирования". Об этом моя статья (фактически первая большая научная статья):
Шмелев А. Г. Гипотетическая модель механизмов вероятностного отражения. - В сборнике "Психологические исслеждования", 1977, Вып.7, с. 20--32
Интересно бывает в начале 8-го десятка осмыслить пройденный путь в науке...
Какие элементы в инструкции к тесту Вы считаете необходимыми? (проставьте все нужные галочки)
Какие элементы в инструкции к тесту Вы считаете необходимыми? (поставьте галочки)
Опять словарная игра крутится лишь вокруг парных соответствий. В этой Яндекс-игре реализуется известный режим тестовых заданий "на соответствие". Опять надо устанавливать соответствие между английским словом и его русскоязычным переводом. А вот до размещения слов в некотором семантическом пространства разработчики словесных игр пока додуматься не могут. Самим что ли создать прецедент? Хотя... лучше бы какие-нибудь менеджер из проекта "Яндекс-игры" обратился по адресу в поиске свежих идей. Но они не знают об этом - о том, что за адрес.
Очень маленькая выборка получилось. Всего 12 человек из без малого 4 тысяч моих подписчиков стали решать простенькую арифметическую задачку. Причем большинство, как видно из статистики ответов, стали решать нерациональным (для данного пример) алгебраическим способом.
https://dzen.ru/a/ZdHemtywnzYZdQVW
А ведь полученный результат заслуживает того, чтобы его проверить на более обширной выборке. Ведь столько "копий сломано" в дискуссиях о том, что тесты с выбором из готовых ответов имеют такой порок, что люди решают задачки упрощенным способом - проверяют, получается ли арифметическое равенство, если подставить в задачку уже готовые ответы и... подставляют все по очереди.
Очень маленькая выборка получилось. Всего 12 человек из без малого 4 тысяч моих подписчиков стали решать простенькую арифметическую задачку. Причем большинство, как видно из статистики ответов, стали решать нерациональным (для данного пример) алгебраическим способом.
https://dzen.ru/a/ZdHemtywnzYZdQVW
А ведь полученный результат заслуживает того, чтобы его проверить на более обширной выборке. Ведь столько "копий сломано" в дискуссиях о том, что тесты с выбором из готовых ответов имеют такой порок, что люди решают задачки упрощенным способом - проверяют, получается ли арифметическое равенство, если подставить в задачку уже готовые ответы и... подставляют все по очереди. А тут получается, что возрастные люди (а именно они составляют большинство моих подписчиков на Дзене) составляю все-таки именно алгебраическое уравнение.
Дорогие коллеги!
Организатором этого юбилейного видео-интервью стала наша Лаборатория "Гуманитарные технологии". Благодарю всех, кто попал в кадр (их в данном случае не так много - это прежде всего Елена Воскресенская), но и тех, кто потрудился "за кадром".
https://vk.com/htlaboratory?from=search&w=wall-9732300_1551
Я вообще в этом ТГ-чате не хотел бы разглагольствовать на тему собственной "юбилейной личности". Но в этом интервью есть немало содержательной информации, слава Богу, и про дорогие моему сердцу (и уму) проекты - Тезал, ТЮФ, К-ЕГЭ, ЭСПП, Шахмаш... Поэтому после некоторых колебаний, я решил, что все-таки стоит опубликовать ссылку на это интервью и здесь. Кто-то вполне может не смотреть вторую часть, где меня "раскололи" про семью и детей... :)
Хотя мы собрали явно маловато голосов по этому опросу. Но я все-таки тороплюсь сегодня опубликовать и прокомментировать результаты. А то ведь забудется даже для самих участников смысловой контекст, в рамках которого этот опрос был начат.
ШУТОМОН? ... ПРОЕХАЛИ...
Итак, вести с полей насчет конкурса креативности "Шутомон" у нас пока получилось такие, что желающих не обнаружились.
Заявок на участие нет, а есть отдельные реплики, в которых люди сразу же без всякой анонимности предложили свои "шедевры".
Так что к паре моих задорных примеров, добавились некоторые еще примеры.
1. Классная Марьванна ЗАПУСТИЛА в родительском чате разговоры о том, что Петя Иванов ЗАПУСТИЛ математику.
2. Переборщила с солью, готовя борщ.
3. В музее смотрю на полки, где представлены полки оловянных солдатиков.
4. За забором находилась та самая поликлиника, в которой ему сделали забор крови.
5. Мама мыла Милу мылом,
Мила мыло не любила.
- что-то больше похоже на упражнение по технике речи, да?
6. На берегу косы с косою ивой
Я встретил женщину с косой красивой.
Я был "косой", но с нею стал любезным --
Коса в её руках была железной.
Ну вот, наконец. Появилась такая тема для голосования, по которой мы опять набрали почти 30 голосов - желанный минимум. Видите, как плавно убывают длины столбиков снизу вверх? - Это значит, что мы в этом опросе сумели с Вами плавненько отделить толстяков от нормальных и худых :)
Вообще-то конфигурация самого простого графика частот ответов (гистограмму) тоже о много может сказать опытному глазу.
А вот здесь еще некоторые мои недавние "мрачные шуточки" на тему омонимов. Это шуточки вынужденного происхождения, ибо я таким образом пытался отреагировать свое раздражение (!).
https://vk.com/ags12?w=wall2100855_6682
Долгое время в нашем общем практикуме на факультете психологии МГУ практиковалось такое экспериментальное задание, когда студенты в роли испытуемых выполняли арифметический тест гибкости-ригидности Лачинса, а параллельно - сходную методику на выработку экспериментальной ригидной установки, но только не на арифметическом, а на вербальном материале. В этой второй методике задача испытуемого заключалась в том, чтобы придумывать побыстрей фразы со словом "ключ". Но не с одним этим словом, а в паре ключу давались всякий раз разные слова. Вначале шли такие слова, которые провоцировали актуализацию значения "ключ как родник" (это слова типа "камень", "земля" и т.п.). А затем вдруг начинались такие слова, которые провоцировали переход на другое значение - "ключ как отмычка" (слова типа "дверь", "замок" и т.п.). Гипотеза заключалась в том, что те, кто с трудом меняют стратегию при решении арифметических задач, будут также медленно переходить на новое значение слова "омонима" - у них будет выраженная задержка во времени решения "переходных" и "критических задачек". Корреляции иной раз получались, но едва достигали уровня значимости, а иногда были близки к нулю...
Сейчас я о том, что омонимы - неплохой вербальный материал для разных тестов на креативность (во всех ее аспектах, ведь гибкость - это лишь один из аспектов). Например, лично меня всегда интересовало ОСТРОУМИЕ , которые можно интерпретировать как "креативное чувство юмора". Ну так вот. Можно так сформулировать задачку для испытуемого: А сколько шуточных рифмованных стишков с использованием слов-омонимов Вы можете придумать". Или так хотя бы так: "Сочините такой один стишок, который наберет много лайков в группе психологов". Второе - это конкурс креативности со взаимными оценками. Это так называемая методическая парадигма ВОКМ - "Взаимная оценка конкурсных материалов". Каждый участник такого конкурса вначале выступает авторов, а во втором туре конкурсу - уже в роли судьи-оценщика материалов, предложенных другими участниками.
У нас на платформе Ht-Line есть все для проведения подобный конкурсов по методике ВОКМ. Мы уже проводили пару конкурсов в клубе КИТТ по материалам типа "КАША" - "Конкурс Афоризмов, Шуток и Анекдотов". Что Вы думаете насчет пробного дружеского конкурса с условным названием "ШутОмон", что означает "Шуточные омонимы".
Приведу пример простенького, во многом безыскусного конкурсного объекта ("шутомона"):
Петя съел зеленый лук,
Взял себе побольше лук,
Рухнул тихо крупный тур,
Это был охоты тур.
Бредовина, конечно. - Ну да, бессмыслица и даже нарочитая! Но я и не хотел задирать высоко планку смысла!
Как Вы думаете, сколько слов-омонимов в русском языке? (смысл опроса - в следующем сообщении)
Возьмем условную шкалу "килограммо-сантиметры". Насколько Ваш ВЕС превышает ваш РОСТ-100?
Не знаю, коллеги, может быть, это только меня раздражает такая БЕЗГОЛОВАЯ практика применения опросов и голосований в Интернете? - Ну ведь "ежу понятно", что сам по себе вес - это ни о чем без учета роста, который тоже очень сильно различается у разных людей. Ну хотя бы спросили
А насколько Ваш ВЕС превышает ваш РОСТ-100? Нет ведь, не хотят до этого додуматься. Давайте что ли попробуем у нас такой опрос провести. Хотите? - См. следующее сообщение (не умею преамбулу соединить в одном сообщении с голосованием на ТГ).
