Тренды образования

В Scientific Reports вышло исследование про прогнозирование отсева в онлайн-обучении. Авторы взяли данные Open University: 32 593 регистрации на 22 запусках семи учебных модулей и более 10 млн записей о взаимодействиях с VLE (Virtual Learning Environment). Затем попробовали предсказывать отсев в разные моменты обучения — до старта и через 30, 60, 90 и 120 дней. ⭐️К 90-му дню одним из главных предикторов становится engagement persistence ratio — грубо говоря, отношение интенсивности активности во второй части наблюдаемого периода к активности в первой. То есть модель особенно интересует не абсолютное количество кликов, а изменение собственного паттерна поведения человека. Если раньше студент регулярно что-то делал, а затем активность резко схлопнулась, вероятность отсева возрастает. Если активность сохраняется или растет — сигнал работает в противоположную сторону. Причем шесть признаков, описывающих именно динамику поведения, составляют только 11% всех признаков модели, но дают 25,4% совокупного SHAP-вклада (SHapley Additive exPlanations — оценка того, насколько конкретный признак повлиял на прогноз модели). Мне кажется, здесь начинается гораздо более интересный разговор про learning analytics. Мы довольно часто строим образовательную аналитику вокруг уровней: — сколько уроков пройдено; — сколько времени проведено на платформе; — сколько заданий сдано; — сколько было входов; — какой средний балл. Но уровень плохо отвечает на вопрос: что сейчас происходит с конкретным человеком? ⭐️У одного учащегося два входа в неделю — его нормальный устойчивый режим. У другого те же два входа означают падение с ежедневной активности. Значение одинаковое, образовательные ситуации совершенно разные. И исследование хорошо показывает переход от state-based analytics к trajectory-based analytics: объектом анализа становится не состояние учащегося, а его траектория. Авторы обнаруживают еще одну важную вещь. До начала курса модель в основном опирается на входные характеристики: учебную нагрузку, социально-экономические признаки, историю регистрации и т. п. Но по мере накопления данных их вытесняет реальное поведение учащегося. К 90–120-му дню структура наиболее значимых признаков уже довольно стабильна. Стартовые характеристики задают вероятность, но затем появляется новая информация: то, что человек делает внутри образовательной среды, постепенно становится информативнее того, кем он был на входе. ⭐️Авторы связывают признаки с Self-Regulated Learning, Community of Inquiry и моделью интеграции Tinto. Например, снижение устойчивости активности можно интерпретировать как возможный сбой саморегуляции. Человек мог перестать заходить на платформу из-за потери мотивации. А мог заболеть, получить новый проект на работе, ухаживать за ребенком или просто перейти в период курса, где ему не требуется активно пользоваться платформой. Авторы, к их чести, сами это признают: behavioral traces — лишь поведенческие маркеры, совместимые с определенной теоретической интерпретацией, но не измерения самой саморегуляции. Исследования, на которые они ссылаются, показывают довольно скромное совпадение trace-based индикаторов с процессами, зафиксированными через think-aloud. ❗️В учебной аналитике легко построить великолепную модель события, которое фактически уже произошло в поведении человека, но еще не появилось в административной базе. Это будет хорошая классификация прошлого, замаскированная под прогноз будущего. *️⃣prediction ≠ diagnosis ≠ intervention ≠ impact*️⃣ Между этими четырьмя вещами нам постоянно хочется поставить знак равенства. Но каждая стрелка между ними требует отдельного доказательства. Некоторые выводы, которые я могу сделать из исследования: 1️⃣Проектировать стоит не только события обучения, но и ожидаемые траектории поведения. Если значимым сигналом оказывается изменение активности, методисту нужно понимать, как вообще выглядит нормальная динамика прохождения его курса. Где естественно возникает спад? Где возрастает нагрузка? Где человек может на неделю исчезнуть без всякой проблемы? Без модели «нормальной траектории» алгоритм легко начнет принимать особенности проектирования за проблемы учащегося. 2️⃣Хорошая учебная аналитика должна быть относительной, а не только абсолютной. «Не заходил пять дней» — слабый сигнал. «Раньше учился четыре раза в неделю, а последние две недели почти исчез» — гораздо более содержательный. Возможно, следующим поколением образовательных дашбордов должны стать не панели KPI учащегося, а панели изменения его собственного поведения относительно предыдущего состояния. 3️⃣Отсев — скорее процесс, чем событие. В административной системе человек «ушел» в конкретную дату. В образовательной реальности уход может происходить неделями: сокращается активность, исчезает разнообразие действий, растут периоды отсутствия, перестают сдаваться задания.