Понятно - психометрик! Тесты знаний и HR аналитика // Егор Дорохов

✨Обещали кофту - принесли! Мы выпускаем в свет первую версию чек-листа по оценке качества тестовых заданий COFTA v1.0. Спасибо всем участникам митапа за вопросы и фидбек, мы постарались учесть ваши комментарии и не планируем останавливаться. Что изменилось: — Добавили целый столбец "Organization" не порушив аббревиатуру и разделив пункты чек-листа по ролям: кто проводит экспертизу — Сделали классную интерактивную версию для проведения экспертизы "на коленке": открываешь сайт, нажимаешь галочки - печатаешь результат. — Сделали ссылку для удобного цитирования чек-листа и целую PDF-версию в нашем проекте на OSF. И, конечно, теперь мы приглашаем всех делиться этим чек-листом с коллегами, он лежит вот здесь: https://cofta.psychometric.pro/ Ну и как не напомнить, что уже 6го июля мы запускаем интенсив "Крутые задания" и скидки на него ещё действуют: делитесь с друзьями и коллегами, будет полезно и насыщено: https://psychometric.pro/ Егор @ Открытая психометрика

Новости из мира оценки знаний: готова первая версия чек-листа по оценке качества тестовых заданий. Приходите, друзей приводите ;)

❓ Готовим интенсив, вспоминаем базу Моя любимая часть в разработке теста — самое начало. Обсуждаешь с заказчиком, как новый тест будет встроен в его процессы и узнаешь, что в компании есть специалисты в супер-узкой теме (однажды эксперт мне сказал, что в его теме в компании около 10 человек и он совсем не понимает, зачем ему писать задания на такую маленькую группу) или всем хотят предъявить тест на какую то специфичную тему ("ну а вот основы деловой переписки у нас мастхэв, даже рабочему"). Собрали с коллегами в карточки 4 ключевых вопроса, от которых зависит, каким будет тест знаний после разработки. ⤵️ Ещё больше классного контента - на интенсиве, скорее к нам: https://psychometric.pro/

⚡️ Внимание, общий сбор! Мы запускаем интенсив по разработке тестовых заданий и психометрике. C шестого июля за четыре недели вы научитесь разрабатывать по-настоящему крутые задания, погрузитесь в психометрику и технологию разработки инструментов оценки знаний и навыков. Формат: 8 видеоуроков с ключевыми знаниями — можно смотреть в удобное для себя время + 4 вебинара с погружением в вопросы и разбор пройденного. В неделю на прохождение интенсива нужно 5-8 часов — как раз для июльского графика ;) И конечно же, мега-преподаватели: Диана Колесникова (ex Учи.ру и НИУ ВШЭ) и Ира Брун (TestGorilla, ex НИУ ВШЭ). Буду рад провести этот курс с ними ;) Программа, формат, тестологические мемы и цены вот тут, early bird скидки ещё действуют 😊

🔺Длинное тире Недавно обсуждали со студентами использование ИИ в обучении. Наткнулись на интересную деталь: за неимением лучшего, некоторые преподаватели используют такое правило: если в тексте стоят длинные тире вместо дефисов, значит текст написан с помощью ИИ. Студент с длинными тире попадает под подозрение, все несчастливы, переписывай текст «теперь уже сам» 🤓. Интересно вот что: некоторые из моих коллеги и знакомых действительно стали чаще задумываться о том, какой знак корректней поставить в том или ином случа, да и сами студенты говорят, что начали узнавать горячие клавиши для длинных тире, так как это выглядит стильно и классно, а тем более правильно с точки зрения русского языка. Мне в голову в этот момент приходят только «карточки» Гальперина, на которых наглядно указано, как выполнять то или иное действие. Они призваны постепенно врастить в ученика правильные алгоритмы и требования к действиям так, чтобы ученик выполнял задания верно уже без карточек.

И вот, при тебе миссис Алиса или сэр Клод ставит длинное тире — и ты сам уже ищешь, как его поставить в следующий раз.

💬 Как думаете, навыки «публичного размышления» ИИ перед решением той или иной задачи (вот эти смешные тексты типа «Так, мне нужно представить себя профессиональным маркетологом и ответить на вопрос ...») тоже будут постепенно врастать в нас? Может ИИ может приучить нас сначала думать, а уже потом делать?

Синтетические респонденты Прочитал новость о том, что недавно прошла конференция о применении синтетических респондентов в исследованиях и опросах. С точки зрения бизнеса звучит супер: не нужно искать и убеждать живых людей пройти твой опрос — можно просто "закупить" голоса и посмотреть, что получится по итогам опроса. Кажется важно лишний раз порефлексировать о том, что же именно синтетического в этих респондентах, что может пойти не так? Проводя опрос (по моим наблюдениям, самый нелюбимый метод исследований по соотношению сил на проведение и хейта к результатам), заказчик хочет узнать, что же чувствуют и думают его живые собеседники — сотрудники / граждане / учащиеся — и на основе этого спрогнозировать, как они будут себя вести: вырастет ли доля увольнений, уснут ли ученики на паре и т.д. В идеале заказчик опроса может просто побеседовать с каждым, но если этих "каждых" слишком много, то приходится упаковывать свои вопросы в формат "Да, Скорее да, Скорее нет" и т.д. Принятие решений этими участниками опроса в будущем будет опираться на их целостную картину мира — их переживания и чувства, мысли и действия — актуальные на момент нужного решения. Синтетический респондент может имитировать ответы на опросы и изображать "образ мыслей" того или иного участника, но вряд ли может поиграть в реального человека.

Живой-кожанный участник Василион решит, что больше не рекомендует свою компанию знакомым просто потому, что "мой друг из соседнего отдела сказал, что пора валить, и уволился", хотя при моделировании ответов синтетическими респондентами эта когорта показывала "рост eNPS на 5 п.п.".

ИИ не слышит слухов и не шепчется с нами в офисе, не мокнет под дождём в курилке — а этот опыт куда сильнее влияет на ответы, чем просто "языково-последовательный субъект". Где же применять синтетических респондентов? Для того, чтобы точно понять, что тут "синтез искусственного мышления" не повредит смыслу результатов, нужно найти места, где language-guided ответ намного лучше emotional-guided поведения, где роль интуиции и эмоциональных эвристик не так важна. Интересно, насколько эта задача для опросов, а не для экспертизы или беспристрастной оценки.

🎉 9 апреля — 18:00 МСК — Митап «COFTA: фреймворк оценки качества тестового задания» Даже в эпоху ИИ и автоматизации, оценка знаний в образовании и HR опирается на тестирование: быстрый способ понять, как человек усвоил тот или иной материал. Приглашаем каждого из вас на митап, где я, Егор Дорохов, вместе с Дианой Колесниковой и Ирой Брун, поделимся фреймворком, который позволяет быстро понять, почему то или иное тестовое задание не работает. Мы сложили в этот фреймворк опыт оценки качества заданий на оценку знаний в совсем разных контекстах: образовании, оценки персонала, массовом тестировании навыков и хотим поделиться опытом. О чём поговорим: — Как ваши критерии оценки качества заданий (не)умещаются в COFTA? — Как в одном фреймворке объединить разные критерии оценки качества заданий? — Как AI может помочь в оценке качества заданий, какие части оценки ему можно делегировать? Встречаемся онлайн, ссылка на регистрацию вот тут: ✨ Зарегистрироваться Пришлём ссылку на zoom в сообщество ближе к 9 апреля. Делитесь с друзьями и коллегами!

Приходите и друзей приводите :)

⚡Супер-идея: собрать много умных людей и делать классные штуки вместе! Вот например — в нашем сообществе "Открытая психометрика" появилась памятка по метрикам в образовании: удобно проверить, всё ли считается так, как у других и что ещё можно посчитать. Enjoy :)

💎 ВМ против ИИ Есть такая проблема: люди решают задания на оценку знаний и навыков с помощью ИИ и их очень сложно поймать на этом. Сейчас, кажется, нет хорошего методического ответа про то, что же с этим делать — вроде и "владение ИИ" в работе может помочь, но и запрос на оценку знаний и навыков, которые в естественном интеллекте остаются и живут, спонтанно воспроизводится и т.д. всё таки есть. Ничего лучше следующего рецепта я пока не придумал: лучше всего от неуместного использования ИИ в оценке знаний помогает внутренняя мотивация. Да, не технические решения типа прокторинга или надзирателя. И не методические уловки типа заданий, которые запутают даже ИИ. А просто культурно-ценностная продажа — зачем тебе в этом тесте проявлять именно свою экспертизу, почему нам нужно узнать, что у тебя в голове. Идеи для продажи такой оценки: 1️⃣ решая задания самостоятельно, ты можешь реально понять свой уровень "автономной экспертности" — что за навыки у тебя остаются, если нет ничего под рукой 2️⃣ в нашей компании быть экспертом — престижно, это открывает дорогу в горизонтальную карьеру, а внутри сообщества экспертов ты на одном ИИ далеко не уедешь, "рыбак-рыбака..." и т.д. 3️⃣ писать хорошие ИИ-промпты быстро может тот, у кого есть актуальный набор ключевых слов в голове: ИИ работает как бустер экспертизы в том случае, если есть что "ускорять". А у тебя есть? ☹️ Конечно, рецепт не из простых. Работа с культурой, коммуникацией и восприятием процесса тестирования сложнее, чем закупка нового "ультра-защищенного" теста. Зато результаты в такой культуре достоверные.

kenner? Середина нулевых. При переходе в среднюю школу появился немецкий и с ним сразу стало как-то получаться, потому что каждый раз можно было получить похвалу за überall liegt Shnee о погоде, по крайней мере до тех пор пока этот Shnee действительно liegt. Дома стоит компьютер. Если работает интернет, то в телефонной трубке есть какие то робо-сигналы - сверстники пользуются этими же сигналами чтобы регистрироваться в ICQ и qip, а значит пришло время и мне выбирать никнейм. Хочется что-то такое классное, со смыслом, но не очень простое. В моей комнате стоит стеллаж с 100+ книжками "Я познаю мир", учебники и еще какие то книги про древний Египет, но в мою руку первым ложится толстенный русско-немецкий словарь. Листаю, нахожу классное слово знаток, знающий человек - и во мне откликается этакий образ энциклопедиста, человека способного из головы быстро и полно вытаскивать информацию обо всем на свете - шутка ли, такое пропускать? берём! Уже в старшей школе нормой будет вытаскивать информацию из интернета, а не из книг и все эти 100+ томов отправятся в школьную библиотеку. И даже помнить уже будет полезнее путь до информации, чем все факты в их полноте. И никнейм этот будет все сложнее писать без смущения — ясное видение того, что знать все не получится будет всплывать каждый раз рядом с этими буквами. Второе рождение права и свободы его писать я получил только тогда, когда начал заниматься оценкой профессиональных знаний и разработкой тестов. Работа с экспертами, каждый из которых Kenner в какой то своей части нашего сложного мира, уважение к экспертному опыту и практическому энциклопедизму наконец добавили в ту страницу словаря картинок, на которые хочется ориентироваться. Теперь я считаю своим главным полезным хобби преподавание — заботу о том, чтобы новые знатоки получали не фальшивое содержание за нужными им в работе словами. Что вы чувствуете по поводу своего псевдонима в Интернете?

Риски дядюшки Гудхарта В сфере опросов или оценки персонала работает такое-же правило, как и во многих других сферах: делая какую-то цифру целью в стратегии на год, нужно принять на себя риски, что сама эта цифра перестанет быть хорошим индикатором реальности. Если вы, например, хотите повысить вовлечённость сотрудников и ставите себе её индекс в цели на следующий год, и если (особенно) ваше внутреннее подразделение разрабатывает и проводит оценку этой самой вовлечённости, то на общей волне гонки за стратегической целью могут появиться супер-идеи всем получше объяснить, что же внутри опросника понимается под каждым пунктом, или в каких же всё таки частях организации забота о вовлечённости заметна лучше всего, или просто по-дружбе руководители других юнитов намекнут, что вот у соседей за этими буквами не просто какие-то графики стоят, а это их KPI и коллеги услужливо помогут его достичь - ведь не сложно поставить вместо четырёх пять, например. ✨ Целями в таких KPI лучше всего работают внешние опросы - вся организация как будто сдаёт независимую сертификацию / ЕГЭ или тест на права (кому как повезёт). Тут инструмент стандартизован и не поддаётся (в идеале) изменению со стороны участников процесса измерения. В реальности, любой респондент отвечая на вопросы в опросе начинает в внутреннего подвопроса "а вы зачем спрашиваете?" и как только в его ответе на этот вопрос есть какие-то серьёзные слова про стратегию, цели или работу с отдельными командами, у которых не всё так гладко — будет предпочитать поставить ответы повыше, чтобы просто "не связываться". По крайней мере в той мере, в какой в организации не хватает автономии и свободы у сотрудников. Как ваши цели? Измеряются внутренними средствами?

🤩 Технологический shit Рядом с громкими анонсами о развитии новых технологий и общим ликованием про открывающиеся возможности, ярче становится заметным тот факт, что специалистов которые умеют эти технологии "дружить" с людьми существенно недостаёт. Голосовой секретарь. Все спросил, записал, соединил с оператором, но никаких собранных данных этому оператору не передал. Оператор. Всё спросил, записал - послушал, что ты хочешь вызвать именно участкового, а не скорую помощь - вернулся с ответом "перевожу вас на вызов скорой помощи". И даже тройное Нет в трубке не может его остановить. 🤩 Конечно, неустанно звонящий телефон в поликлинике из моего детства точно хуже, но он кажется человечнее для обоих сторон, потому что даже фраза "вас много, я одна" внутри предполагает какую то важность вот этого "я", которая может сделать лучше каждому звонящему. 🤩 Тут и автономия, и принадлежность и компетентность в лучших традициях Деси и Райана. Мастерство поиска свободных слотов, воля предложить другую дату и не полениться посмотреть другого специалиста который "тоже хороший" и понимание процессов типа "а вас к нам оттуда все равно отправят". 🤩 Сейчас же после первого "нет" оператор говорит бихевиористично "я следую по инструкции". Бросаем трубку, пробуем ещё раз. Бизнес-аналитик во мне при этом понимает, что реально удобный для разных клиентов процесс вряд ли поместиться в удобный скрипт. И точно его разработка занимает несколько десятков дней одного человека. Но вот только экономия этого времени на "дочеловечивание" стОит многих минут неудобного общения клиентов с нашим новым роботом. 🤩 Как найти тут компромисс? Что добавить в процессы роботов или в инструкции для людей?

❤️ Два года в Я Сегодня — два полных года с того момента, как я работаю в Яндексе. Я пришёл в команду с загадочным названием "People-аналитика" пятым колесом человеком и нашёл то, что, кажется, хорошо мне подходит — цифры про людей, но без денег и (почти) без рутины. Супер-руководитель Алёна, строящая процессы, наполняющая смыслом и поддерживающая в трудностях команду всё это время, коллеги-супергерои, стремительные темпы и вайб изобретательства рядом с серьёзной отчётностью и аналитикой — действительно ценная для меня часть жизни и важная среда для знакомства самим с собой — каким я могу стать в таких условиях? Есть несколько вещей, которые я очень внятно понял и прожил тут, какими бы банальными они не были: ⚫️ доделывание совсем не то, что начинание. Совсем разные компетенции и люди нужны, для того, чтобы что-то появилось и для того, чтобы что-то встало на рельсы. ⚫️ оболочка — мультипликатор качества и помогает тем лучше, чем сильнее качество выше 0. Если ты сделал глубокое и осмысленное исследование, но неудачно его обернул — сиди поясняй. Если ты предложил маскота или классную метафору — то даже решение попроще цепляет. ⚫️ действенную власть над тем, "как это будет" имеет исполнитель (а совсем не заказчик, как ему бы хотелось). Тот, кто делает саму задачу, принимает кучу мини-решений, которые в итоге существенно влияют на результат, иногда снижая качество. Выбор неудобного цвета, кривые шрифты, сбитые формулы — что-то из этого останется в итоговом продукте, потому что за всем не уследишь. 🔄 Кажется, это первый конец года где я истинно не знаю, что будет дальше. И даже не знаю, чего в этом "дальше" хочется хотеть. Жду отпуска и новых свершений после. 🤍 Спасибо, коллеги и те, кто делает Яндекс!

❤️ Владимир Самуилович На факультете психологии у меня есть несколько значимых учителей и один из них вчера ушёл из жизни - Владимир Самуилович Собкин. Для меня общение с ним — погружение на глубину в анализ культуры и психологии изнутри. От него в моём представлении о психологии - лучшее понимание понятий о поколениях и ценностях, большая любовь к Выготскому и чутье про процесс идентификации, такой важный в разработке психологических опросников и цифровых продуктов для людей. Зарисовка: Так, возьми лист бумаги, сверни в трубочку и посмотри на меня. Видишь лицо? А если тебе нужно, чтобы в кадр попали только губы, что нужно сделать? Подойти, правда? Так камера в кино и водит тебя за собой. Ещё одна зарисовка: проходит моя предзащита диссертации про мобильные устройства, которые для удобства в тексте называются просто МУ. Я уже все рассказал, идёт дискуссия. Владимир Самуилович берёт слово и спрашивает: извини, а вот это (показывает свой кнопочный телефон) - МУ? (произносит это МУ специально нараспев чтобы постебать неудачный выбор аббревиатуры). И одно супер-задание от Владимира Самуиловича: берёшь рассказ, и в нём внимательно описываешь, какие пути для следования за героями оставил автор. Ты можешь пройти рассказ или целый многотомник, чувствуя себя главным героем, или всякий раз увлекаясь позицией и представлением о мире сторонних персонажей — твой путь идентификации многое говорит о том, что ты за человек. Тепло человеческого отношения, глубина погружения в смыслы и классные исследовательские находки всегда со мной. Спасибо, учитель!

🌼 Метафоры оценки персонала Недавно в разговоре с коллегами наткнулся на интересное различие: какая базовая метафора стоит за оценкой персонала в организации? 1️⃣Первая метафора, которую, как мне кажется, можно наблюдать чаще всего - это метафора дистанцирования: оценка персонала помогает выстраивать своеобразный "защитный слой" между тем, кто читает отчёт по оценке и тем, кто проходит оценку - отодвигать человека, которого мы оцениваем, от того, кто будет пользоваться отчетом. Это, к сожалению или счастью, единственное, что цифровая оценка умеет хорошо делать. Вместо того, чтобы поговорить с человеком по душам, ты берешь, даешь ему опросники/тесты, и после этого получаешь цифровой профиль. В этом профиле от человека осталось совсем немного, в действительности этого может быть достаточно, чтобы делать какие-то выводы, особенно если в этом помогают специальные люди, но найти тонкие различия между двумя похожими профилями - задача не из лёгких. 2️⃣Вторая метафора – это метафора "буфера": оценка персонала – это такая процедура, при которой специалист-ассессор или онлайн-опросник позволяют человеку проявить себя в каком-то безопасном месте, безопасной среде и формате. Внутри этого буфера участник оценки может быть собой, а дальше всё что он проявил специальным образом "переваривается" и только после этого попадает в отчёт. Метафора дистанции чаще встречается в ситуации, когда участник оценки реально находится очень далеко от того, кто заказал оценку, этого участника очень сложно рассмотреть, и хочется получить хоть какой-то сигнал о нем. Важно, что цифровая оценка в этом случае только укрепляет эту дистанцию: просим человека, чтобы он обернул себя в цифры, и, смотря на эти цифры, пытаемся принимать решение про него. Буфер предполагает, что заказчику самому совсем не хочется видеть "всю уникальность и субъектность" участника оценки: нужно, чтобы это увидел кто-то другой, переварил это и подготовил отчет, в котором всю уникальность и субъектность уже можно сравнить с какими-то эталоном, особыми правилами или моделью компетенций. 3️⃣Третья метафора, которой, как мне кажется, существенно недостает, это метафора прямой линии, такого личного выделенного телефона, когда оценка персонала предстает не средством дистанцирования или какого-то игнорирования человека, а служит надёжным способом услышать его, сделать так, чтобы в результатах оценки был виден сам по себе человек. Тех, кто исповедует третью метафору можно вычислить по тому, что они оставляют уникальные цитаты в своих отчётах по ассессмент-центру, они добавляют открытые комментарии в процедуру опроса и помещают собранные ответы в сам отчёт (если это тестирование или какой-то опрос). Люди, которые работают в метафоре прямой линии позволяют человеку донести свою субъектность до самого конца, чтобы их отчёт был по-настоящему отличным от всех других. ✨ Что думаете? Есть какие-то ещё метафоры, с которыми вы сталкивались в работе?

👽 Естественный интеллект Последнее время я иногда попадаю в ситуации типа let-me-GPT-it-4you: пишешь вопрос в чат, а в ответ получаешь текст от ИИ, автор сообщения при этом человек. И такие ответы меня бесят, потому что читаются как "ты наверное не можешь у ИИ спросить, смотри как просто". Чего же я ожидаю? Задавая вопрос в чат с человеком, а не с роботом, я ожидаю получить ответ, в основании которого - знания и опыт его естественного интеллекта, а не "удобный и полный текст на основе других текстов". В опыте человека есть эмоции, личные эвристики и личное мнение. В его нейросети еще и опыт нашего общения, договорённости и какой то особенный стиль, взгляд: именно за ними мне нужен ответ от человека. 🌟 Как вам такой пунк в новой этике письменной коммуникации:

Перед тем как написать ответ собеседнику с использованием ИИ, предупреди его об этом и уточни, какую часть ответа он точно хотел бы получить от человека, а не от ИИ. Задавая вопрос человеку открыто укажи, что ты хочешь получить ответ "без ИИ".

[offtop] День благодарности собакам ❤️ Среди странных праздников сегодня для меня отозвался вот такой день. Оказывается, кто-то из людей сегодня говорит спасибо собакам. Я решил поддержать это дело, даже если это просто выдумка - кажется, есть что сказать. Дело в том, что вот уже восемь месяцев у нас дома живёт дворняжка, её зовут Таша и ей около года. Она прожила около двух месяцев на помойке в Курской области, потом вместе со всем выводком и мамой переехала в волшебный приют и третьего января этого года она поехала к нам домой. Для меня и всей моей семь наступило время "оказывается" и оно длится до сих пор: 💡 Оказывается, собаки из приюта первый месяц-полтора ведут себя "тише воды, ниже травы" и не показывают характер, и только потом можно узнать, что же с пёсиком случалось, какой у него характер 💡 Оказывается, что собаки могут боятся людей, кусаться, терять контроль и через минуту уже вилять хвостом с хозяином. И с укушенными (не сильно) людьми можно дружить, им интересно наблюдать за прогрессом адаптации собаки к новой жизни 💡 Оказывается, что собачники - поддерживающее и сплочённое сообщество, если у тебя есть своя собака, ты можешь получить всю поддержку от них. Сообщества хозяев больших и маленьких собак пересекаются не всегда, они немного разные. И даже в пол-седьмого утра можно услышать "Хорошего дня" от человека, которого ты знаешь только как "Хозяин Лу", даже без имени 💡 Оказывается, что вся жизнь с "обычными" собаками не готовит тебя к собаке из приюта: ты получаешь умную, хитрую и любвеобильную собаку, которая запросто может лаять на твоих гостей несколько часов подряд и потом спать пол дня, когда те ушли 🌸 И оказывается, ты сам меняешься: учишься управлять поведением без слов, понимать что и как происходит в голове этого демона, учишься терпеть, улыбаться, когда вокруг стоит лай и просто всё сходит с ума. Учишься и замечаешь, как за восемь месяцев можно поменять мир - точнее хотя-бы немного сдвинуть то, как этот мир видит мелкая, но любимая дворняжка. Спасибо, Таша, многое еще впереди ❤️

В среду 27 августа в 18:00 МСК (17:00 по CET) мы с Дианой Колесниковой, психометриком и исследователем образования (ex-Учи.Ру, Колумбийский ун-т NY) и Ирой Брун, тест-девелопером, психометриком (ex НИУ ВШЭ) делаем открытую встречу-лабораторию по разработке заданий. Это не мастер-класс и не лекция. Хочется плечом к плечу попридумывать задания (полчаса) и потом обсудить, у кого что получилось (ещё полчаса). Думаем собираться так каждый месяц, но пока это лишь эксперимент. 🔥 Вот здесь регистрация. В конце анкеты есть ссылка на чат в ТГ, не пропустите :) Вопрос для ближайшей встречи: как придумать задание, которое сложно решить с помощью LLM (типа ChatGPT и других). Конкретную тему, на которую будем писать задания, выберем вживую из предложенных вами. 🌼 Формат: 1 час. Видеозвонок в Zoom, без записи. 🌼 Участие: бесплатное. 🌼 Для кого: для всех, кто разрабатывает задания; для методистов, преподавателей, HR-специалистов. ✨ Важно: мы ожидаем, что если вы присоединяетесь, то приходите к началу встречи, участвуете в разработке заданий и обсуждениях, остаётесь до конца встречи.