Kantor.AI

Как устроено образование в одной из самых известных частных школ России? Чем российская информатика отличается от Computer Science? И как получается, что семиклассники создают роботов для научных исследований, а школьные проекты перерастают в настоящие стартапы? Ответ на эти и многие другие вопросы ждут вас в подкасте с преподаватели школы «Летово», Олегом Голубевым, заведующим кафедрой IT и дизайна, и Артёмом Суховым, преподавателем физики и Computer Science. Смотреть на YouTube: https://youtu.be/TizbwiV3cRc Смотреть в ВК: https://vkvideo.ru/video-228219607_456239349 Смотреть на дзен: https://dzen.ru/video/watch/6aeddc12ea0d510c3b07ef80?share_to=link

В догонку к эксперименту из отчета MIT: https://muninn.austegard.com/blog/editing-monad-weights-to-stop-loops.html Т.е. можно полечить зацикливание и без другой сетки, посмотрев на статистику активаций

В отчете MIT от 2 ноября GPT-6 Astra дали доступ к весам Qwen3.5-0.8B через Python и разрешили пробные запуски, но запретили "в лоб" использовать градиентный спуск. В лучшем варианте она поправила 0,016% весов. Бенчмарк MATH-500 вырос с 7,9% до 48,1%, GSM8K - с 13,8% до 67,1%. MATH-500 это 500 задач по алгебре, геометрии, теории чисел, комбинаторике и другим темам, включая задачи олимпиадного уровня, а GSM8K - школьные текстовые задачи: покупки, расстояния, количества и т.п. На первом графике в аттаче к посту сравниваются отдельные запуски с разными бюджетами пробных прогонов. Существенная деталь: Qwen до редактирования весов постоянно зацикливался в рассуждениях. После правки доля ответов, упиравшихся в лимит токенов, упала с 93% до 33%. Авторы объясняют выигрыш починкой именно этого поведения. Так что радоваться, что модель научили именно математике пока рановато: на другой модели, которая почти не зацикливалась, убедительного роста не получилось. Так что исследование получилось скорее про про адресный ремонт уже обученной сети. А вот в Text-to-LoRA, ICML 2025, Sakana AI заранее обучили сеть генерировать небольшую добавку к весам по текстовому описанию задачи. Один из ее вариантов поднял GSM8K у Mistral-7B с 40,9% до 47,3% без отдельного дообучения под эту задачу при применении. Но обычный специально обученный LoRA все еще был лучше - 53,5%. В Doc-to-LoRA, ICML 2026, на вход подают документ, а сеть записывает его информацию в такой адаптер. Т.е. концептуально проверяют возможность добавить новый документ в контекст напрямую через обновление весов модели: после добавления адаптера модель отвечает уже без явного включения документа в контекст. На 2WikiMultihopQA (бенчмарк, где для ответа нужно связать сведения из нескольких статей Википедии) обновление занимало около 0,2 секунды против 40 секунд у обычной дистилляции с заранее известными тестовыми вопросами. На втором графике со SQuAD (бенчмарк на понимание текста: модели дают фрагмент статьи Википедии и вопрос, ответ на который содержится в этом фрагменте) звездочки - два варианта метода из статьи. В итоге требовалось меньше секунды на обновление, при этом сохранялось около 82,5% качества ответов модели с полным документом (это, если что, отношение метрик ROUGE-L F1 с адаптером и с самим документом, а не 82,5% правильных ответов). Бесплатного образования, увы, снова не получилось: сеть Doc-to-LoRA сначала обучали примерно пять дней на восьми H200, да и ученик уже был предобучен. Быстрым стал только следующий конкретный апдейт. Так что осадочек после свежих новостей и после Doc-2-LoRA остается двойственный. Чудес с тем, что "нейросети научились напрямую править веса другой нейросети и учить решать задачки бенчмарка" не случилось. Но сама возможность передавать знания и менять поведение сети через прямую запись в веса у моделей в каком-то виде уже есть. Нам же с вами пока придется продолжать читать учебник, а получить им по голове, к сожалению, пока всё еще недостаточно. В следующий раз поговорим о том, что можно делать, чтобы ускорять обучение уже не сетки, а наше с вами.

Как нейросети учат нейросети: разбираемся в новости про прямое редактирование весов Есть разница между тем, что ИИ нам что-то подказал, и тем, что у нас появились новые знания. Я бы даже сказал, что мы очень медленно (по сравнению с ИИ) учимся и это фундаментальная проблема продуктивного взаимодействия человека и ИИ. Но тут стоит сделать оговорку, что с точки зрения количества практики, нужной нам для обучения, учимся мы конечно быстрее сеток. Там, где нам хватит нескольких примеров, сетке на стадии обучения нужны тысячи. Однако мы-то с вами учимся во-первых не с нуля, а во-вторых, у других людей, а не у данных, значит сравнение не в полной мере корректное. Оказалось (и об этом уже не написал только ленивый), что если ИИ будет учиться у ИИ, то обучение тоже может быть ОЧЕНЬ быстрым. Представьте, что вы приходите к преподавателю, а он говорит: "Сейчас вам парочку нейронов поправлю и будете математические задачки щелкать как орешки". Дальше дает вам по голове тяжелым учебником или угощает чудодейственным напитком, это точечно влияет ровно на нужные нейроны, и вы идете сдавать экзамен. Какая-то дичь? А у сеток уже есть эксперименты с похожей прямой правкой весов ↓

Что будет, если дать взрослым поступающим в школу аналитиков задачки из 6 класса и разрешить пользоваться ИИ? Оказывается, ничего хорошего 😂 В этом году у коллег из МТС в их школе аналитиков на вступительных случилось прекрасное: поступающим на отборе в качестве одного из этапов дали задачки по информатике из 6 класса. Школьники в условные 11-12 лет решают десяток таких за урок, но к поступающим отнеслись гуманно и дали 4 задачки на 240 минут и официально разрешили пользоваться ИИ. Итог: больше 200 писем с жалобами от писавших отбор, что они-то всё знают, а задачки из шестого класса еще и с помощью ИИ не решили потому что <и дальше кто угодно виноват кроме самого сдающего>. Ну мёд же 🍯🍯🍯 Подробнее о том, зачем было давать задания из шестого класса и как это было - читайте в канале Никиты Зелинского: https://t.me/datarascals/669

Где у покупок подлежащее? FAQ про NLP в рекомендациях В комментах к одному из прошлых постов подписчик задал несколько хороших вопросов про перенос методов из NLP в RecSys. Т.к. обещал ответить, отвечаю. Что в RecSys вместо пробелов? Пробелы не нужны, т.к. границы товаров уже известны: каждый ID - отдельный токен. Если товар кодируется несколькими токенами, границы задаются форматом: фиксированной длиной кода или разделителем. В NLP так-то мы тоже анализируем последовательность токенов только после токенизации, в RecSys аналогом токенизации можно считать выбор, кодируем мы товар его свойствами (и они токены) или id товара - это условно как n-граммы или слова в NLP. В языке есть грамматика и обязательные последовательности. А в рекомендациях? Правила языка все равно не обязывают автора текста их соблюдать неукоснительно, в NLP модели смотрят на статистику - как люди говорят, тому модель и научится. В рекомендациях также: после принтера необязательно покупать картридж, но тот факт, что он вам все равно скорее всего понадобится, влияет на статистику покупок и полезен для прогноза. Насколько важен порядок? Тут по-разному. "Посмотрел десять камер, купил одну" и "купил камеру, посмотрел десять других" - одинаковый набор действий, но потенциально разные ситуации. А вот порядок добавления хлеба и молока в корзину может ничего не значить (а может и значить, что после одного товара вспомнил о другом, и это может быть важно для RecSys). Но строго говоря, пользу порядка надо проверять на конкретных данных. Те же позиционные эмбеддинги в рекомендациях вам использовать не обязательно и вообще те модели, где Что такое attention в рекомендациях? Купил плавки два года назад - предложат сланцы? Attention обучается сам на исторических данных, а уж что он там выучит вопрос статистики: если в тексте он выхватывает синтаксическую и смысловую связь между словами (и то, это всего лишь наша человеческая интерпретация), то в просмотрах или покупках он будет учиться понимать, на какой именно товар из логов смотреть, когда оцениваешь вероятность покупки картриджа или чехла для айфона. Т.е. это не просто тапки к плавкам и шоколадка к минералке, а в том числе "всегда покупал андроиды, чехол на айфон маловероятно заинтересует" и прочая "бизнес-логика", которую можно перечислять вручную, а можно просто усвоить при обучении на данных. Если история состоит из покупок одного и того же товара, что предсказывать дальше? Возможно, снова его же. Для кошачьего корма, например, прекрасный прогноз. Если других сигналов нет, информации о новых интересах мало, а "обязательно покажи что-нибудь новое" - отдельная цель, которая может конфликтовать с точностью предсказания. Но если таковая цель есть, то к логам с одним только кошачьим кормом показать красивую игрушку для кошки или автоматический кошачий туалет или поилку с фонтанчиком - все равно намного лучше, чем рандом. LLM для этого, разумеется, не нужна, то в целом любые методы из NLP справятся. Те же совместные встречаемости слов по PMI (pointwise mutual information), десятилетиями использовавшиеся для выделения в текстах коллокаций, прекрасно применялись и для бейзлайна в рекомендациях или отбора кандидатов в рекомендации. И прекрасно справятся с кошачьими игрушками к кошачьему корму. Куда при генерации Semantic ID делась проблема полноты кандидатов? Принципиально - никуда. Semantic ID - способ кодирования айтема, а не гарантия полноты поиска. Но как только у вас вместо ID айтема появляется эмбеддинг, вы всегда можете найти ближайшие к нему в пространстве эмбеддингов. Даже если они будут не очень похожи на запрос, это уже в любом случае что-то. В случае Semantic ID вида "несколько дискретных кодов" (ну как город, улица, дом в обычном адресе) становится еще проще - вы просто берете в кандидаты ближайшие "дома" с той же "улицы". В целом все то же самое можно делать и без умных сложных методов, а просто с хорошим деревом категорий в каталоге, но такое удовольствие есть у нас не всегда, особенно для новых товаров/фильмов/треков/видосов (особенно на UGC платформах).

Про перетаскивание методов из NLP в RecSys и обратно: часть 2 Далее идея матричных разложений развилась в то, что векторы можно так-то не просто втупую перемножать, а сначала каждый пропустить через несколько слоев нейронки, и так получилась двухбашенная архитектура DSSM (Deep Structured Semantic Model - название хорошо отражает идею). Модель сначала использовали для ранжирования документов под запрос, т.е. в довольно текстовой задачке, но опять же вскоре приспособили к рекомендациям, вместо вектора запроса взяв вектор пользователя, а вместо векторов документов - векторы рекоменуемых объектов. В итоге опять случился дуализм текстов и рекомендаций. Когда же word2vec стал уже не модным, потому что у нас появились эмбеддинги из Transformer-Encoder в виде кучи разных вариаций BERT, ту же идею, что была с рекомендациями на word2vec реализовали в BERT4Rec. Если BERT строил эмбеддинги, учась восстанавливать пропущенные слова, то BERT4Rec восстанавливал недостающий судя по контексту айтем. Другой вариант рекомендаций на трансформерах - SASRec, который уже предсказывал следующие айтемы по предыдущим. Сейчас мы кто во что горазд прикручиваем к рекомендациям LLM. И здесь какого-то одного общего метода, кстати, нет. Самое очевидное - также прогнозировать следующие айтемы по предыдущим, а на логи действий пользователя смотреть как на текст (просто на искусственном "языке"). Но ничто не мешает использовать LLM и для получения векторов по описаниям и отзывам, а дальше уже искать похожести плюс-минус по любой схеме. Еще один вариант (наиболее "в лоб") это просто формулировать задачу порекомендовать что-то как промты определенного формата для LLM, добавляя историю и описание вариантов в контекст. Несмотря на некоторую комичность такого подхода (ну вроде бы из пушки по воробьям стреляем), в нем можно добавить в контекст любые пожелания по рекомендациям, так что просто списывать со счетов такой подход не стоит, хоть и очевидно, что при достаточном количестве данных узкоспециализированные модели для задачи рекомендаций будут точнее. В итоге уже очень долгая история развития методов в рекомендациях идет бок о бок с развитием методов в NLP и, скорее всего, дальше это будет продолжаться. Например, если мы посмотрим на альтернативы трансформерных моделям в NLP - те же SSM, например, то сразу же легко найдем публикации про рекомендации с помощью SSM.

Про перетаскивание методов из NLP в RecSys и обратно: часть 1 Я как-то один или два раза уже писал здесь, что NLP и RecSys как области применения ML часто оказывались полезными друг-другу, в этом посте раскрою чуть подробнее эту историю. Началось это еще с матричных разложений - в рекомендательных системах еще в доисторическую эпоху во времена Netflix Prize начали обучать для юзеров и рекомендуемых объектов числовые векторы, скалярное произведение которых хорошо приближает оценку объекта пользователем. Метод использовался и в текстах - в частности в виде LSA (Latent Semantic Analysis), NMF (Non-negative Matrix Factorization), а зачем и в вероятностной постановке - PLSA (Probabilistic LSA), который позже, упакованный в байесовский вывод, выродился в LDA (Latent Dirichlet Allocation). Что общего было у рекомендаций и текстов, что привело к использованию похожего семейства методов? Матрица user-item и матрица term-document обе были разреженные и в некотором смысле с пропусками: как фильм человек мог не видеть, но это не значит, что он нравится или не нравится, так и слово могло не войти в документ просто потому, что сформулирована мысль была немного иначе (или просто использован синоним). Дальше, когда в NLP появились эмбеддинги из word2vec, сразу начали появляться разные способы приспособить word2vec к рекомендациям. Почему так? Word2vec оказался тоже матричным разложением, но уже не матрицы term-document, а матрицы word-context. В рекомендациях это тоже имело смысл: какой товар вы ожидаете увидеть в известном контексте, тот товар и логично "докинуть" в рекомендации. В экспериментах выяснялось ужасное: каким-нибудь doc2vec порой удавалось побить в рекомендациях переранжирование кандидатов каким-нибудь градиентным бустингом. Плюсом для применения word embedding'ов в рекомендациях было то, что последовательность просмотров и покупок товаров, даже если ее развернуть из набора id-шников в набор параметров просмотренных товаров все равно была очень простым и искусственным языком. Те методы, которые работали даже на естественном языке, на логах рекомендаций обучались достаточно быстро. Кстати, в матричных разложениях применительно к рекомендациям была еще одна фишка - baseline predictors, когда прогноз оценки от пользователя фильму считался не просто по скалярному произведению их векторов, а с добавлением базовой оценки пользователя ("строгость пользователя"), фильма ("качество фильма в целом") и некого "среднего" ("к какой оценке в среднем склоняются пользователи"). Если погружаться в детали, это интуитивное объяснение бейзлайн предикторов немного искаженное - т.к. к "среднему" все равно еще будет большая добавка, то это уже не "среднее", а просто поправка на среднюю температуру по больнице, но не будем тут еще больше занудствовать. Так вот в какой-то момент была еще одна вариация word2vec для текстов - GloVe, и там эту идею притащили еще и в тексты.

Мои любимые мемы про ИИ. Скидывайте в комментах свои :)

Записываем новый подкаст для канала MLinside, на этот раз в гостях у гостя :)

Пишем новый подкаст для канала MLinside :)

Никогда такого не было и вот опять Open AI режут лимиты https://help.openai.com/en/articles/9793128-about-chatgpt-pro-tiers#subscribe-to-pro-200-again Впрочем, никто и не верил, что аттракцион безудержной щедрости будет продолжаться вечно

Кто будет растить сеньоров Для выступления в Сколково про перспективы развития ИИ разбирал исследование "Канарейки в угольной шахте" экономистов Бриньольфссона, Чандара и Чэнь. Авторы проанализировали данные ADP о занятости миллионов американцев. ADP (Automatic Data Processing) - американская компания, которая помогает работодателям рассчитывать и выплачивать зарплаты, учитывать налоги и вести кадровые процессы, поэтому у неё есть данные о реальной занятости: сколько людей работает в компаниях, сколько получает, кого наняли и кто ушёл. Общей катастрофы на рынке труда в исследовании не обнаружили, но вот у начинающих картина неприятная. Собственно отсюда и название статьи - канарейку в угольные шахты брали потому что она первой погибала от газа и своей смертью предупреждала шахтеров. Авторы увидели здесь некоторую аналогию с начинающими специалистами, которые первые приняли на себя удар ИИ. На первом графике в аттаче к посту занятость разделена по возрасту и подверженности профессии влиянию ИИ (в оригинале AI-exposed). Самыми подверженными считали разработчиков, сотрудников техподдержки и других обладателей сильно автоматизируемых с помощью ИИ ролей. Наименее подверженными считали тех, чья работа связана с оффлайном. У мужчин это была работа руками, у женщин в основном уход - няни и сиделки. Кстати, самой неэйджистской профессией оказались складские рабочие - там рады людям всех возрастов. Полный же список из более двух сотен профессий можно посмотреть уже в материалах исследования. Чем темнее линия, тем выше подверженность влиянию ИИ показанной на графике группы. У 22–25-летних линии расходятся: с ноября 2022 по июнь 2026 занятость в двух наиболее подверженных группах упала примерно на 11%, в трёх остальных выросла на 10%. У старших такого расхождения нет. Возраст здесь, конечно, только приближение к началу карьеры: особенно комично смотреть на группу 50+ с подписью "Senior" в контексте IT. Но что поделать, когда спектр исследуемых профессий такой широкий, приходится и под senior иметь ввиду людей в возрасте, а не senior в плане карьеры. На второй картинке отдельно показаны самые уязвимые - разработчики и клиентская поддержка. Синяя линия, сотрудники 22–25 лет, в обоих случаях резко идёт вниз, а у большинства старших групп занятость выросла. То есть внутри этих профессий прям сильно заметно падение спроса на новичков. Остается вполне практический вопрос к руководителям: на каких задачах теперь будут учиться наши будущие сеньоры? Если простые задачи забрал ИИ, первую ступень мы вынуждены придумывать заново: давать новичку уже более сложные задачи, учить проверять результат и получать с помощью сеток не только сомнительный нейрослоп, тратить время наставников на развитие новичков, когда сами наставники с сетками сделали бы задачи быстрее. Мне все это жутко напоминает старый холивар: учить себе новых сотрудников или нанимать с рынка уже опытных. Так что в каком-то смысле ничего нового, просто декорации поменялись, а дилеммы у нас все те же.

Итак, про экскурсию в Летово После того как я взял интервью у Саши Поварова, с MLinside связался PR отдел Летово и предложил посотрудничать. В итоге мы записали интервью с двумя потрясающими гостями, преподающими в Летово (скоро выйдет у нас в каналах), а перед этим я, вместе с женой, ребенком и коллегой, попал на экскурсию в рамках пресс-дня (это не когда прессуют, а когда прессу, коей я видимо теперь тоже являюсь, зовут в гости). На экскурсии нам рассказали, что в Летово все разбито по кафедрам, среди которых точно есть Science (естественные науки), Математика, Информатика, Спорт и Искусство, но возможно есть что-то еще. Мне больше всего понравились рассказы двух физиков - одного про исследования с крутым электронным микроскопом, другого про задачку с практического этапа всеросса и как они со студентами ее разбирали, дорабатывали и вообще готовятся к экспериментальному туру. Кабинеты и лаборатории тоже выглядели очень здорово. Также приятно, что в помещениях кафедры естественных наук есть всякая живность - рыбки в аквариуме и хамелеон в террариуме, мелочь, а добавляет уюта. Не покидало ощущение, что рассказывают нам про научную работу школьников немного по верхам, но потом я вспомнил, что я сегодня пресса, а не обладатель двух красных дипломов МФТИ, и перестал придираться у себя в голове к глубине рассказа. Кроме того, даже в экспресс-режиме одна только экскурсия по кафедре Science заняла больше часа и мне все равно пришлось уехать до конца всего мероприятия. Так что в итоге, наверное, все было как надо. Самих учащихся мы тоже увидели: это были и те, кто заранее готовился вести экскурсию, и случайно идущие мимо, иногда привлекаемые к рассказу. Кстати, понравилось отсутствие школьной формы и вообще свободное отношение к одежде - у одной девочки был очень крутой готический лук, прям поностальгировал по школьным годам (у нас тоже было можно носить все и не было формы, но не по причине заботы о наших свободах, а по причине отсутствия у всех денег и желания на школьную форму))). Вообще кампус и вся территория школы выглядят очень солидно, сначала прям дух захватывает от монументальности, да еще и лес свой есть. Но опять же, если задуматься, многое хотелось бы видеть в каждой школе страны и вообще мира, вот в каждом даже небольшом городке. Откуда взять на это денег история умалчивает, так что пока остается грезить обучением в Летово. Отдельная интересная тема - стоимость обучения. Формально она огромная, хотя на самом деле находится в рынке (если смотреть на частные московские школы). Однако 80% учеников покрывают часть стоимости обучения грантом от Летово, причем гранты основаны не на качестве прохождения вступительных испытаний, а на финансовом положении родителей (используют скоринг от Сбера, чтобы определить процент, покрываемый грантом). Если у вас денег не очень много, это крутой момент, если же денег у вас дофига, но хочется максимальную скидку для самых умных, то вам такая система, конечно, не подойдет. В общем и целом - солидное заведение, тем, кому актуально (поступление с 7 класса) рекомендую рассмотреть. Ждите интервью с преподами :)

На всякий случай, чтобы уж точно не отвертеться, решил вывесить на всеобщее обозрение список своих долгов в канале: 1) Рассказ про экскурсию в Летово 2) Панель про образование на YaC/e - что интересного там было 3) В чем суть аналогии между рекомендательными системами и задачами анализа текстов (был вопрос в комментариях и мое обещание написать) Если кто-то вспомнит еще какие-то - дописывайте (по ощущениям долгов в 10 раз больше, но я уже успел их себе простить). Также можете просто накидывать в комментах, про что еще написать.

Мой любимый ответ, что если пи это отношение длины окружности к ее диаметру, то в норме L_1 или в L_бесконечность число пи получится равным 4. Кстати говоря, привычное нам пи - это наименьшее из возможных в L_p нормах на плоскости (общая формула для пи в L_p норме - в аттаче к посту), хотя если круг задается центрально-симметричным выпуклым множеством, то число пи может варьироваться в диапазоне от 3 до 4, причем обе границы достижимы. Что интересно, добиться непривычного нам значения пи, просто рассмотрев евклидово пространство с неединичной матрицей Грама, не получится. Казалось бы, неединичная матрица Грама может запросто сделать из окружности эллипс, а там уж число пи точно должно получиться другим. Но увы, длину окружности ведь тоже надо мерять с той же неединичной матрицей Грама, поэтому получится все равно 3.14... По той же причине пи в норме L_1 будет равно 4, а не 2 корня из 2, например. А вот люди, ностальгирующие по теоретической физике, могут вспомнить про планковские единицы, где 8*pi*G, скорость света и редуцированную постоянную планка полагают равными единице для удобства записи формул, хоть это уже и совсем другая история :)

Если бы вас спросили, может ли число пи равняться не 3.1415926..., как бы вы объяснили, что да?

#ML Последователи Decision Models, Jev и иже с ними уже обретают черты религиозного культа 😵‍💫 Особо продвинутые самопровозглашённые пророки уже требуют упразднить скоринговые и NBO/NBA модели — всё же «заменят Decision Models». Тем, кто изучает ML исключительно по Telegram-каналам и верит в «калиброванные вероятности из коробки», посвящается. Что такое калиброванная вероятность? От бинарного классификатора часто хочется получить не метку, а скор от 0 до 1, соответствующий вероятности события. Например, из 1000 заёмщиков со скором 0.6 примерно 600 должны выйти в дефолт, а со скором 0.05 — примерно 50. Если это свойство выполняется на всём диапазоне скоров, модель идеально откалибрована. На практике скоры разбивают на бины (например, 0–0.05, 0.05–0.1), сравнивая среднюю вероятность дефолта (PD) с фактической долей дефолтов (DR). Так строят калибровочную кривую. Взвешенное по доле наблюдений в бинах среднее абсолютных разностей PD и DR называется ECE (Expected Calibration Error). Преобразование выходов модели для улучшения соответствия предсказанных вероятностей фактическим частотам называют калибровкой. Для других задач вместо DR используют ER (Event Rate). Есть и более слабое условие — calibration-in-the-large, когда средний скор совпадает с ER всей выборки. ER может меняться со временем. В кредитном скоринге различают PIT (Point-in-Time), учитывающий текущие экономические условия, и TTC (Through-the-Cycle), отражающий долгосрочный риск на протяжении экономического цикла. Но скоры распределены неравномерно, поэтому в разных бинах разное количество наблюдений и разная точность оценки DR. Следовательно, у калибровочных кривых есть доверительные интервалы. Все еще сложнее Aleatoric uncertainty — неопределённость самого исхода. Даже зная, что вероятность дефолта 50%, мы не можем уверенно предсказать исход для конкретного заёмщика. Epistemic uncertainty (EU) — недостаток знаний модели. Например, когда похожих заёмщиков почти не было в обучающей выборке. Два клиента могут получить одинаковый скор 0.5, хотя для одного у нас сотни тысяч похожих наблюдений, а для другого — практически ни одного. EU приближённо оценивают через ансамбли и бутстрап. В CatBoost для этого есть Virtual Ensembles, позволяющие оценивать Data и Knowledge Uncertainty. Если все модели ансамбля предсказывают около 0.5, это может указывать на высокую неопределённость исхода. Если половина предсказывает 0.1, а половина 0.9 — скорее на недостаток знаний. Хотя ансамбли тоже умеют дружно ошибаться. Калибровка, Aleatoric и Epistemic uncertainty — разные вещи. Даже идеально откалиброванная модель может систематически ошибаться на отдельных сегментах или при изменении распределения данных. Для серьёзных бизнес-кейсов одного калиброванного скора недостаточно. Нужны независимая валидация, проверка калибровки с доверительными интервалами, устойчивости во времени и по сегментам, иногда — отдельная оценка Epistemic uncertainty. А для NBO/NBA вероятность события вообще не равна полезности действия. Нужны стоимости ошибок, ограничения и оценка влияния действий на результат. Вернёмся к Jev Когда заявляют о «калиброванных вероятностях из коробки», хочется спросить: • На чем калибровали и проверяли? • Что происходит при смещении данных и на новых доменах? • Как оценивается Epistemic uncertainty? Пока ответов нет, число 0.97 на выходе Decision Model — просто выход модели, вероятностную интерпретацию которого ещё нужно подтвердить. И тут бы мне продемонстрировать калибровку Jev на каком-нибудь датасете, но мне лень, поскольку это сделали вскоре после её выхода на двух задачах классификации текстов. А чуть позже — на задаче обнаружения prompt injection. Результаты ожидаемо показали, что калибровки на произвольной новой задаче из коробки нет. Итого: чтобы использовать Jev в проде, её придётся долго и упорно тестировать на вашем рейсе — с выдумкой и смекалкой. А если нужно классифицировать тексты и есть разметка, разумнее взять предобученный BERT, дообучить классификационную голову (при необходимости — и энкодер), откалибровать и провалидировать.

Сидел общался с другом, по профессии искушенным в сфере отношений с широкой публикой. Спрашиваю его: «дай совет, как мне дальше канал растить?». А он, имея некоторую предысторию диалога за вечер, и говорит: «вот ты почему Jev в своем канале не обосрал?». Я честно ответил, что стараюсь никого не обсирать, потому что не хочу устраивать никаким своим подписчикам инсульт жопы, и вообще самый оскорбительный и вызывавший хейт пост в истории моего канала - это поздравление с 8 марта (кто помнит, тот помнит)). А вот Никита @datarascals не стал скромничать и прошелся по адептам трансформерных decision models, за что ему большое человеческое спасибо. Причем написал без демагогии и эмоций, а четко и по делу. Рекомендую во-первых к прочтению, а во-вторых тем кто не сможет дочитать не пытаться интерпретировать вероятности от decision models.

Нейрояз продолжает захват интернета То и дело люди с серьезным лицом в своих шортсах и рилсах вещают: "и вот тут начинается самое интересное". Плохо ли, что они используют ИИ для подготовки? Нет. А что же тогда не так? Да то, что одни и те же штапмы очень быстро начинают бесить. Вообще не важно, кто там текст написал, хочется, чтобы от него не горело так сильно 🤬 Базовая стратегия - системный промпт про то, как избегать нейрояза, с подробным перечислением, что такое хорошо и что такое плохо. Другая базовая стратегия - использование всяких скиллов про хьюманизацию текста. Мой лучший метод делать текст более человеческим, это не делегировать нейронке само сочинение текста, а хотя бы уж надиктовать (лучше написать) фактуру самостоятельно сплошным потоком мыслей, а сетку использовать уже для структурирования получившегося текста, сбора дополнительной фактуры, проверки логики и анализа противоречий в своих рассуждениях. В итоге сгенерированный нейросетью текст почти полностью опирается на мои же слова, но экономит часть времени на переписывании и приведении в какую-то структуру, а также позволяет за счет дополнительного анализа выдать более качественный материал. А как спасаетесь от нейрояза вы? 🤔