Время Валеры

Прочитал интересную (и применимую) статью Rethinking Early Stopping: Refine, Then Calibrate. Часто в курсах по машинному обучению говорят, что ошибку системы можно разложить на bias, variance, noise. На некоторых редких курсах даже учат, как это считать и что с этим делать дальше. Попробуем посмотреть на эту проблему с другой стороны. В задачах вероятностной классификации loss для proper scoring rules можно разложить на: calibration и refinement. Калибровка — мы сказали, что вероятность 80%. Сколько из взятых образцов будут принадлежать к классу 1? (Считать это можно через ECE — Expected Calibration Error). Refinement — насколько хорошо модель разделяет классы. Допустим, модель выдала скор 0.9, все образцы оказались класса 1, а все, что ниже — класса 0. Модель откалибрована так себе, но разделяет классно. Собственно, если бы модель была откалибрована, мы могли бы выбирать отсечку вероятностно через саму вероятность. Легко представить и обратную ситуацию: модель прекрасно откалибрована, но разделяет плохо. Например, модель, которая всегда предсказывает вероятность 50% для честной монетки, идеально откалибрована, но её разделяющая способность минимальна. Из чего делаем вывод, что в какой-то момент улучшение функции потерь, из тех что относятся к семейству proper scoring functions, может происходить лишь за счет улучшения калибровки или даже ухудшать разделение, но за счет большого по величине улучшения калибровки выдавать лучший скор. Это плохо. Калибровку часто можно существенно поправить потом post-hoc методами, поэтому остановка обучения по лоссу на валидации может привести к ситуации, что мы взяли далеко не лучший чекпойнт. Что делать? Сохранить несколько чекпойнтов модели. Откалибровать каждый из них одинаковым методом. Только после этого сравнивать их по loss. В таком случае для каждого чекпойнта мы отдельно минимизируем доступную calibration error выбранным post-hoc методом (ссылка на запись вебинара), а разница в loss начинает лучше отражать именно качество разделения классов. Соответственно, мы выбираем модель с лучшей разделяющей способностью, а не ту, которая случайно оказалась лучше откалибрована на данном этапе обучения. Проверили на датасетах для computer vision и 196 табличных датасетах — так и оказалось, победа. Может ли это хотя бы частично объяснять эффекты вроде grokking или double descent? Там мы тоже наблюдаем нетривиальную динамику loss во времени. Возможно, на ранних этапах обучения модель в основном улучшает калибровку, затем временно жертвует ей ради построения более качественной разделяющей поверхности, а потом начинает улучшать уже обе составляющие одновременно.

Говорят, в Лондоне мания на манго Альфонсо из Индии, которых экспортируют суммарно не более 1%. Первый раз я такие попробовал в мае 2024 года в городе Пуне. Не знаю, есть мания или нет, но сегодня мой дилер передал мне коробку

Согласился стать техническим редактором книги: Cracking the AI Systems Design Interview от Manning Publications Дело за малым: автору написать книгу, а мне прочитать и превратить её в курс.

Игорь скинул статью от Steve Egge — The last technical interview. Хорошая статья, Steve описал примерно то, что я понял на первом году директорства, и повторил недавно в записи подкаста Деньги Любят техно. Лучшим сигналом по тому, будет ли человек хорошим сотрудником, является работа с ним, поэтому, чтобы быстро и хорошо нанимать, нужно уметь быстро увольнять. Стив в статье пытается достичь этого другими методами, вроде временного employment и стажировок, но принцип тот же. Рад, что он пришел к этому за 35 лет. Примерно так же, как FDE стали популярны недавно, а в Х5 существовали еще с 2018 года в виде группы ad hoc аналитики. Страшно подумать, какие следующие инновационные методики, созданные в Х5, будут открыты миру в будущем.

Два классных проекта от Microsoft про skills для LLM-агентов: SkillOpt project page: https://microsoft.github.io/SkillOpt/ SkillLens project page: https://microsoft.github.io/SkillLens/ SkillOpt — это метод Microsoft для “обучения” текстовых skill-файлов для LLM-агентов. Модель не fine-tune’ят, веса не меняют. Система гоняет агента на задачах, смотрит на ошибки и успешные траектории, редактирует markdown-инструкцию, проверяет новую версию на validation set и оставляет только те правки, которые улучшают результат. Правки, которые ухудшают результат, тоже сохраняются в память как rejected edits, чтобы не повторять те же ошибки. Получается training loop для prompt/skill-документа. SkillLens — это исследование того, как такие model-generated skills работают: как они извлекаются из прошлых траекторий агента, когда помогают, когда вредят, почему один skill может улучшать GPT, но ломать Qwen, и почему “красиво написанный skill” не обязательно полезен. Строим lifecycle : experience → extraction → consumption.

Привет! Встречайте двадцатый выпуск подкаста "Капитанский мостик". В этом выпуске в гостях у капитанов был Валера Бабушкин, поговорили про актуальные вопросы найма, ИИ в промышленности и вообще все все на свете! 🔥 Ведущие подкаста - Валентин Малых и Дмитрий Колодезев. Смотрите видео на каналах ⤵️ ODS VK Video ODS YouTube 📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Как ИИ меняет A/B-тесты? — об этом расскажет Валерий Бабушкин в новом интервью 😀 Мы хотим сделать разговор максимально интересным и полезным, поэтому собираем вопросы от вас 👀 Что вам действительно интересно узнать по этой теме? Какие изменения в A/B-тестах из-за ИИ вас удивляют, бесят или вызывают вопросы? Пишите в комментариях — лучшие вопросы зададим Валерию😀

Датафест прошел успешно. После выступления меня держали более 4 часов в заложниках.

✅ Интервью + тренировка с Валерием Бабушкиным Можете пока монтируется видос, подписаться на его канал: https://t.me/cryptovalerii

Некоторые давно просили, скоро будет

Валерий Бабушкин и тот самый курс по ML System Design в MLinside Если вы давно хотели разобраться, как проектируют ML-системы в реальных продуктах – это то, что вам нужно. Курс посвящён проектированию ML-систем для реальных продуктов: работе с архитектурой, пайплайнами обучения, deployment-процессами, мониторингом моделей, оптимизацией инференса и поддержкой ML под нагрузкой. Также на курсе разберём подходы к проектированию современных агентских AI-систем и интеграции LLM в production-инфраструктуру. На курсе вы научитесь: ▪️проектировать ML-системы под реальные ограничения ▪️строить ML design docs ▪️выбирать метрики и функции потерь ▪️выстраивать пайплайны обучения ▪️анализировать ошибки моделей ▪️внедрять ML в продукт ▪️мониторить качество моделей в продакшене ▪️оптимизировать инференс под нагрузку Курс подойдёт ML-инженерам, тимлидам ML-команд и начинающим специалистам, которым нужен системный взгляд на ML. Преподаватель – Валерий Бабушкин, наверняка он не нуждается в представлении, но всё же: ▪️Senior Director по Data & AI в BP ▪️грандмастер Kaggle ▪️автор книги Machine Learning System Design. Курс будет идти 4 месяца и вас ждут 60 занятий, реальные кейсы, разбор design docs, архитектурные решения из production ML, а главное – live-обсуждения и ревью с Валерием. Посмотреть сайт можно тут. Это курс для тех, кто хочет перейти от “умею обучать модели” к “умею строить ML-системы”. Стартуем 1 июня, количество мест ограничено. Записаться можно по ссылке.

1 июня стартует набор на курс. Сам курс, скорее всего, будет запущен в середине июля. ~ 60-70 часов живого контента Форма для связи по вопросам

1 июня стартует набор на курс. Сам курс, скорее всего, будет запущен в середине июля. ~ 60-70 часов живого контента Форма для связи с менеджером по вопросам

23 мая буду выступать на открытии Data Fest 2026 на площадке X5 Tech в Москве В рамках секции Open Career поделюсь размышлениями: ▫️ Почему важно не идентифицировать себя через работу ▫️ Почему плохой менеджер для одного - хороший для другого ▫️ Что такое завтрак (главный вопрос современности) ▫️ Агентность как отличительная черта успеха (статья Child’s Play) ▫️ Как изменился мой взгляд на аутстафф и из-за чего Ещё в программе будет много докладов секций ALLMs, Data Strategy, Data и ML в Retail, Reliable ML. Регистрация на ивент тут 👈 Всего у феста будет 12 офлайнов, ссылки на все офлайны можно найти на странице ивента,

Читая статью DeepSeek v4, я выписал себе больше 90 вопросов. Большинство обзоров упускают детали, хотя именно разбираясь в них можно по-настоящему чему-то научиться. Поэтому вместо лонга с фокусом на 5-7-10 аспектов я решил опробовать новый формат: Annotated Paper Walkthrough. Суть в том, что вы всё так же читаете оригинальную статью как исходник, но как только материал становится сложным или запутанным, я буквально провожу вас за руку. Вы получаете подробные сноски с визуализациями, кусками кода, ссылками и — самое главное — необходимым контекстом, чтобы не чувствовать себя потерянным. Сегодня я выпускаю v1 с первыми 50 заметками. Кое-что из того, что я разбираю: • Почему Softmax и Sigmoid в MoE-роутере заменили на Sqrt-Softplus? • Что вообще такое этот Birkhoff polytope? • Правда ли, что attention обрабатывает некоторые токены по 3 раза? • Что такое split-KV и split-K, и почему DeepSeek от них отказались? • Зачем используется Reverse KL, и откуда она вообще берется? ...и многое другое. Даже самые требовательные читатели найдут здесь для себя что-то новое. Опенсорс-модели всё ещё активно заимствуют идеи из DeepSeek v3, и нет сомнений, что детали из v4 скоро станут стандартной темой в обсуждениях и на ML-собеседованиях. Надеюсь, этот гайд поможет вам быть на шаг впереди. Как пошутил мой приятель, прочтение этого материала сделает вас не только лучше как инженера, но и как человека 😏 Верить этому или нет — не знаю, но вы попробуйте: https://dsv4.interactive.ikot.blog

Монументально и интересно читается. Грех не поделиться.

Наткнулся на блог классного мужика — Yuandong Tian. (Причем видимо я один из немногих - просмотров пара десятков за полгода) 10 лет проработал в Meta, дорос до Research Director в FAIR. Ряд его статей получали награды как top papers, например на International Conference on Machine Learning. Причём забавный момент: в год выхода одной из ключевых статей у него в perf review был “meets most”, а когда статью признали топовой — повысили. В 2025 пошёл “спасать” Llama 4, а потом попал под сокращение, чему, судя по всему, сам был вполне рад. Еще интересный, про то, кому в будущем жить будет хорошо

If the future is AI-centric, do we still need humans? Consider a simple model of investment and return for a human. Traditionally, the more work experience accumulated (i.e., investment), the stronger the capability, and the greater the return. This leads to a monotonically increasing curve. This is why big tech companies have ladders: the job level generally goes up with years of service and experience. Now it is different. Ladders have become meaningless, and past experience is irrelevant. Human value has shifted from being evaluated by “the quantity and quality of labor produced by the individual” to “whether one can improve AI’s capabilities.” The equation now becomes: Human + AI > AI output.

Еще из интересного, твиттере есть обсуждение его статьи — “Provable Scaling Laws of Feature Emergence from Learning Dynamics of Grokking”, где он пытается математически смоделировать тонкую грань между меморизацией и генерализацией в контексте grokking: когда сначала модель как будто переобучается и просто запоминает train set, а потом внезапно начинает действительно обобщать (delayed generalization). Сделано это пока на игрушечном датасете, но сама идея интересная: автор раскладывает обучение на несколько фаз — lazy learning → feature learning → interactive feature learning — и показывает, как из режима “модель тупо меморизирует” можно перейти к настоящей генерализации. И тут в дискуссию врывается другой мужик со своей работой “Grokking and Generalization Collapse: Insights from HTSR theory” и говорит: “подождите, мы вообще нашли два разных типа memorization”. — Pre-grokking memorization — до генерализации. — Anti-grokking — после генерализации, если тренировать очень долго (~10^6 steps), когда модель снова скатывается в memorization и происходит generalization collapse. Причём они интерпретируют это почти как spin-glass фазу: train accuracy идеальный, а generalization начинает деградировать. Но Tian и тут не потерялся (работу то уже потерял) и ответил довольно красиво: мол, это идеально укладывается в его energy landscape. Если данных мало, модель сидит прямо на границе между memorization и generalization. Причём memorization optimum может быть энергетически выгоднее. И тогда: — большой learning rate / шумный gradient / маленький batch size могут выбить модель из generalization basin обратно в memorization; — а маленький learning rate может, наоборот, удержать её в локальном optimum генерализации. То есть получается уже почти практическая инструкция по достижению grokking: — weight decay нужен не просто “для регуляризации”, а чтобы после initial overfitting вообще появился сигнал для feature learning; — LR и gradient noise определяют, удержится ли модель в basin генерализации; — слишком долгое обучение может привести к anti-grokking и collapse генерализации. Самое интересное во всей этой истории — memorization и generalization начинают рассматривать не как два противоположных состояния, а как конкурирующие локальные минимумы, между которыми модель может перескакивать в зависимости от динамики оптимизации.

Решил покачаться. Начал. В голову пришла гениальная идея: что если тренажёр для жима, после жима, использовать для тяги на спину? Сказано — сделано. Было пять двадцаток на тренажере почле жима, думаю, ну как раз разминка, обычно то мне надо 6 на спину. Тяну, а не тянется. Думаю, странно. Скинул блин с каждой стороны. Тяну, а снова не тянется. Скинул блин с каждой стороны. Тяну, и тянется нормально, можно даже чуть докинуть. Стал думать. Додумался, что пять блинов с каждой стороны — это десять, а тяну-то я одной рукой. Получается что 3 это 6, и тут не подвела арифметика Понял, что уже достаточно накачался.

Наткнулся на канал журнала Rake, где редактор Tom Chamberlin выпускает эпизоды под заголовком A Gentleman’s London. Решил попробовать — и оказалось, что Gentleman’s London может быть похуже секты. Началось всё с Truefitt & Hill — старейшего барбершопа в мире. Потом решил, что пришло время шить bespoke-костюм, и тут как раз подвернулось ателье из фильма Kingsman — в реальности это Huntsman. Под костюм, понятное дело, нужны правильные туфли — и тут на сцену выходит Edward Green. Затем пришла пора парфюма — ну и, конечно же, старейший парфюмерный магазин и выбор Джейма Бонда, Floris. А после костюма, само собой, надо шить пальто. Но после ценника в Huntsman стало понятно, почему Том говорит: “а я сам пользуюсь Kent & Haste”. Причём у этой секты есть разные уровни доступа. Даже с парфюмом: можешь купить духи за £200, можешь сделать Fragrance Customisation за £1200, а можешь заказать Bespoke Perfume Design за £6000, где твою формулу ещё и впишут в ledger, который ведётся с 1760 года. Занимательно, но утомительно. Сразу вспоминаются и «Теория праздного класса», и «Крёстный отец». Только подумал, что вырвался — а они меня обратно затаскивают. Ведь дальше ещё сумки, шляпы, сигары и прочее. Столько дел, столько дел. Но в целом — даже наблюдать за этим со стороны интересно. А изнутри — тем более.

Появилась запись обсуждения - Разработка мертва? — Open Talks с экспертами в AI и аналитике