Milestone рынка HR-аналитики
На рынке HR-аналитики произошло знаковое событие, которое пока не оценено.
Краткая предыстория. В декабре прошлого года я обратился с прямым письмом и критикой Российского Стандарта Центра Оценки. Ключевой вопрос касался прогностической валидности ассессмент центров (АЦ).
Мне ответил только Евгений Лурье – кинул несколько ссылок на исследования валидности АЦ.
Из всех ссылок только одна касалась прогностической ценности АЦ (я назвал этот кейс кейсом Сергиенко). Я проанализировал этот кейс (см. статью
https://edwvb.blogspot.com/2017/12/o-validnosti-tochnee-nevalidnosti-centrov-ocenki.html ) и пришел к выводу, что заявленная авторами валидность не корректна, а сам кейс показывает как раз невалидность АЦ. Евгений Лурье позже полностью проигнорировал мой анализ, в связи с чем я обратился на рынок провести самостоятельный анализ данного кейса.
ЗАЧЕМ это нужно рынку? Затем, чтобы рынок умел проверять ту еду, что ему дают. В-вторых, нам нужно НАКОНЕЦ выйти на обсуждение на основе цифр, а не мнений!
Давайте уже считать, а не думать, у кого какой авторитет на рынке и т.п..
Так вот! Я обращался ко многим, но это был как заколдованный круг) Кейс Сергиенко стал просто стеной для нашего рынка.
И вот чудо. Откликнулся Виталий Алтухов, который провел самостоятельный анализ кейса. Он провел его в отличной от меня манере, на других техниках. Я публикую его выводы без комментариев. Свой ответ на его анализ я дам позже.
Итак, Выводу Виталия по кейсу Сергиенко
Коллеги, не так давно у нас с Эдуард Бабушкин состоялась дискуссия на тему анализа кейса С.К.Сергиенко, которые сам Эдуард обсуждал в своем блоге:
https://edwvb.blogspot.com/2017/12/o-validnosti-tochnee-nevalidnosti-centrov-ocenki.html
В целом мы договорились вынести результаты нашей дискуссии для публикации и обсуждения в этой группе, что я и делаю.
Итак, Эдуард с своем посте указал не неправомочность использования данного кейса как исследовательского доказательства валидности метода АЦ. В целом я сделал варианты расширенного анализа кейса, и могу сказать со своей стороны следующее:
1) Действительно, с точки зрения оценки валидности с использованием метода таблиц сопряженности ни один из вариантов не показал значимой взаимосвязи между АЦ и критерием (хотя нужно отдать должное, что в ряде моментов был близок к этому, а вариант Эдуарда в публикации был самым "критичным" по отношению к кейсу 😀). То есть этот кейс в этом подходе анализа действительно не показывает валидность АЦ. Результаты анализа показаны на скиншоте.
2) Данные анализ не опровергает фразу авторов о том, что "коэффициент корреляции между оценками АЦ и принимающих компаний невысок, но статистически значим: 0,236 при значимости 0,045." - просто сами сырые данные, не агрегированные в таблицу, не доступны для анализа. На них вполне могла была получится путь и невысокая, но значимая связь - и такое доказательство использовать можно, но перепроверить не получается.
3) Сам по себе кейс показателен для оценки в принципе, так как вся его проблема заключается в отсутствии "низкой группы" по критерию - то есть тех, кто не прошел бы отбор в компанию или получил низкие оценки от работодателей. Это значимо влияет на такие неустойчивые показатели по таблицам сопряженности и не позволяет делать важный для оценки прогноз - а кого мы может уверенно отсеивать?👆 Тут на мой вкус и заключается предмет для дискуссии, в том числе и может у кого есть хорошие данные на тему.
Кстати, сами авторы признают этот недостаток тут, на 93 стр.
https://docs.google.com/file/d/0B-NPoXJWcD8HUEtKSzBsc1hDSmM/edit
В общем, интересно будет узнать мнение коллег на тему.