Время Валеры

Перенос старта курса и прямой эфир с Виктором Кантором и Валерием Бабушкиным Старт курса ML System Design переносится на 17 июля. Если вы планировали присоединиться, у вас появилось ещё немного времени, чтобы принять решение и подготовиться к обучению. В следующий понедельник, 6 июля проведем на YouTube прямой эфир. Виктор задаст Валерию вопросы о ML System Design, а Валерий ответит на них и поделится своим опытом в проектировании ML-систем. Плюс, ответим на ваши вопросы. О чем еще поговорим на эфире: ▪️зачем ML-инженеру вообще нужен System Design; ▪️как меняются требования к специалистам с развитием LLM и AI-агентов; ▪️как проектировать системы, а не только модели; ▪️какие навыки действительно востребованы в индустрии; Если у вас есть вопросы про ML System Design, архитектуру ML-систем, production ML, карьеру, собеседования, LLM или обучение – напишите их в форме: https://forms.yandex.ru/cloud/6a44d2dff47e73beb4bf22b0. Не упустите возможность задать свои вопросы топам ML-индустрии! Регистрация на прямой эфир: https://t.me/ml_insideBot?start=web060726

Обсуждали на одном из подкастов моё скептическое отношение к синтетическим людям. В дискуссию врывается Рон Кохави с теми же аргументами на примере разбора SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation.

I think there is value in using LLMs as a screening tool, and this paper is a good example. The tool could be used as a fast design-screening tool that makes predictions based on historical A/B tests, conventions, best practices, and folklore. It may work well against experiments similar to the history it has been trained on, but it is unlikely to work well for radical ideas (e.g. long-ad titles that I start my Maven course and book with). The title’s use of “Simulating” over-reaches, as it is impossible to establish causality from observational data without additional assumptions. LLMs are trained from historical data and are therefore not enough to simulate A/B tests without strong assumptions.

И

The system's greatest strength is acting as a "Shift-Left" tool in the design process. Before any engineering effort is spent coding a variant, SimAB can evaluate mockups to catch blatant usability flaws, confusing copy, or structural friction. As the authors note, it is an excellent mechanism to "kill bad ideas fast".

То есть да, что-то быстро проверить можно, но использовать как инструмент оценки, тем более численной, — это непонимание принципов работы LLM.

🐗 Сергей Чёрный Кабан Соклаков и Валерий Бабушки – лучшее интервью и ТОЧКА Диалоги в качалке о: 👉 Жизни 👉 Карьере и миллионах долларов 👉 Мотивации 👉 Спорте 👉 Стиле Канал Время Валеры: @cryptovalerii Канал Чёрного Кабана: @kandeleria_ru 〰️〰️〰️〰️〰️〰️〰️ #интервью

🐗 Сергей Чёрный Кабан Соклаков и Валерий Бабушкин – лучшее интервью и ТОЧКА Диалоги в качалке о: 👉 Жизни 👉 Карьере и миллионах долларов 👉 Мотивации 👉 Спорте 👉 Стиле Канал Время Валеры: @cryptovalerii Канал Чёрного Кабана: @kandeleria_ru 〰️〰️〰️〰️〰️〰️〰️ #интервью

Наконец-то покачался на камеру

⚡Старт нового сезона «Деньги любят техно» Валерий Бабушкин, преподаватель, международный AI-эксперт (ex. X5, Яндекс), открывает 6-ой сезон подкаста «Деньги любят техно». В выпуске поговорили о навыках будущего, карьере в DS и критическом мышлении. Кстати, Валерий пришел не с пустыми руками — принес собственную книгу «Машинное обучение. Проектирование систем от идеи до реализации», которую разыграем под этим постом.

Поучаствовать в розыгрыше очень просто — напиши в комментариях, как используешь LLM в работе или повседневной жизни. Автор самого интересного и экзотического (по мнению ведущих подкаста) варианта применения LLM получит в подарок книгу с автографом Валерия.

Период розыгрыша — с 15 по 23 июня, победителя* объявим под этим постом. Включай свежий выпуск, вдохновляйся и лови инсайты! 🔵VK Видео 🔵Аудиоверсии *Розыгрыш действует только на территории РФ.

Монументальный пост от моего друга - From App Factories to a Reasoning Compiler

I didn’t plan to build a compiler — I just wanted to maximize out of the AI agents I had. What is an AI agent today? It’s actually quite simple. There is a language model — the brain and the center of decision making. And there is a harness around the model: the environment where the model works — the thing that makes the model an agent. Without the harness the model is just a text generator, sometimes quite a smart one. Most of the resources of the labs around the world go into improving the models, which we use as is — and thank god, it’s not us who pay for their training. The harness gets much less attention from the research community. So I have good news for you: the harness is exactly the place where an indie researcher can make a contribution, without having the resources of the frontier labs.

Нелёгкая судьба иностранного корреспондента вновь занесла меня на теннисный корт. В этот раз на women's finals на Queen's Championships. В прошлый раз, на Уимблдоне, это было событие. Самый короткий женский финал за всю историю: 6-0, 6-0. Посмотрим, что выйдет в этот раз.

По мотивам последних событий Tell anyone who will listen that you’re as dangerous as nuclear weapons, then one of your top investors and tech partners reports jailbreaks, then you say it was all a misunderstanding

На infra.conf 2026 Яндекс рассказал про Dev Cluster — штуку, которая должна была появиться давно. Это динамическое распределение GPU-ресурсов внутри их ML-платформы. Суть следующая: ML-инженер за пару кликов получает контейнер с нужной GPU-конфигурацией — без заявок, без ожидания, без "Игорь,ты уже два года не возвращаешь битки ты уже два дня не трогаешь свою ГПУ, отдай". Говорят, ресурсы доступны за секунды. Главная боль, которую это решает, — простой GPU. Когда у тебя парк машин, а люди вручную бронируют их и забывают отпускать (что происходит всегда), утилизация хуже, чем у Игоря. Dev Cluster перераспределяет мощности динамически — разработчики фокусируются на экспериментах, а не на - кто забрал мою ноду Это часть единой ML-платформы, которая покрывает весь цикл от данных до деплоя. Её делают ребята из Yandex Infrastructure, которые строят дата-центры. Возможно, это поможет вам не потратить 500 млн долларов на токены за месяц.

Прочитал интересную (и применимую) статью Rethinking Early Stopping: Refine, Then Calibrate. Часто в курсах по машинному обучению говорят, что ошибку системы можно разложить на bias, variance, noise. На некоторых редких курсах даже учат, как это считать и что с этим делать дальше. Попробуем посмотреть на эту проблему с другой стороны. В задачах вероятностной классификации loss для proper scoring rules можно разложить на: calibration и refinement. Калибровка — мы сказали, что вероятность 80%. Сколько из взятых образцов будут принадлежать к классу 1? (Считать это можно через ECE — Expected Calibration Error). Refinement — насколько хорошо модель разделяет классы. Допустим, модель выдала скор 0.9, все образцы оказались класса 1, а все, что ниже — класса 0. Модель откалибрована так себе, но разделяет классно. Собственно, если бы модель была откалибрована, мы могли бы выбирать отсечку вероятностно через саму вероятность. Легко представить и обратную ситуацию: модель прекрасно откалибрована, но разделяет плохо. Например, модель, которая всегда предсказывает вероятность 50% для честной монетки, идеально откалибрована, но её разделяющая способность минимальна. Из чего делаем вывод, что в какой-то момент улучшение функции потерь, из тех что относятся к семейству proper scoring functions, может происходить лишь за счет улучшения калибровки или даже ухудшать разделение, но за счет большого по величине улучшения калибровки выдавать лучший скор. Это плохо. Калибровку часто можно существенно поправить потом post-hoc методами, поэтому остановка обучения по лоссу на валидации может привести к ситуации, что мы взяли далеко не лучший чекпойнт. Что делать? Сохранить несколько чекпойнтов модели. Откалибровать каждый из них одинаковым методом. Только после этого сравнивать их по loss. В таком случае для каждого чекпойнта мы отдельно минимизируем доступную calibration error выбранным post-hoc методом (ссылка на запись вебинара), а разница в loss начинает лучше отражать именно качество разделения классов. Соответственно, мы выбираем модель с лучшей разделяющей способностью, а не ту, которая случайно оказалась лучше откалибрована на данном этапе обучения. Проверили на датасетах для computer vision и 196 табличных датасетах — так и оказалось, победа. Может ли это хотя бы частично объяснять эффекты вроде grokking или double descent? Там мы тоже наблюдаем нетривиальную динамику loss во времени. Возможно, на ранних этапах обучения модель в основном улучшает калибровку, затем временно жертвует ей ради построения более качественной разделяющей поверхности, а потом начинает улучшать уже обе составляющие одновременно.

Говорят, в Лондоне мания на манго Альфонсо из Индии, которых экспортируют суммарно не более 1%. Первый раз я такие попробовал в мае 2024 года в городе Пуне. Не знаю, есть мания или нет, но сегодня мой дилер передал мне коробку

Согласился стать техническим редактором книги: Cracking the AI Systems Design Interview от Manning Publications Дело за малым: автору написать книгу, а мне прочитать и превратить её в курс.

Игорь скинул статью от Steve Egge — The last technical interview. Хорошая статья, Steve описал примерно то, что я понял на первом году директорства, и повторил недавно в записи подкаста Деньги Любят техно. Лучшим сигналом по тому, будет ли человек хорошим сотрудником, является работа с ним, поэтому, чтобы быстро и хорошо нанимать, нужно уметь быстро увольнять. Стив в статье пытается достичь этого другими методами, вроде временного employment и стажировок, но принцип тот же. Рад, что он пришел к этому за 35 лет. Примерно так же, как FDE стали популярны недавно, а в Х5 существовали еще с 2018 года в виде группы ad hoc аналитики. Страшно подумать, какие следующие инновационные методики, созданные в Х5, будут открыты миру в будущем.

Два классных проекта от Microsoft про skills для LLM-агентов: SkillOpt project page: https://microsoft.github.io/SkillOpt/ SkillLens project page: https://microsoft.github.io/SkillLens/ SkillOpt — это метод Microsoft для “обучения” текстовых skill-файлов для LLM-агентов. Модель не fine-tune’ят, веса не меняют. Система гоняет агента на задачах, смотрит на ошибки и успешные траектории, редактирует markdown-инструкцию, проверяет новую версию на validation set и оставляет только те правки, которые улучшают результат. Правки, которые ухудшают результат, тоже сохраняются в память как rejected edits, чтобы не повторять те же ошибки. Получается training loop для prompt/skill-документа. SkillLens — это исследование того, как такие model-generated skills работают: как они извлекаются из прошлых траекторий агента, когда помогают, когда вредят, почему один skill может улучшать GPT, но ломать Qwen, и почему “красиво написанный skill” не обязательно полезен. Строим lifecycle : experience → extraction → consumption.

Привет! Встречайте двадцатый выпуск подкаста "Капитанский мостик". В этом выпуске в гостях у капитанов был Валера Бабушкин, поговорили про актуальные вопросы найма, ИИ в промышленности и вообще все все на свете! 🔥 Ведущие подкаста - Валентин Малых и Дмитрий Колодезев. Смотрите видео на каналах ⤵️ ODS VK Video ODS YouTube 📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Как ИИ меняет A/B-тесты? — об этом расскажет Валерий Бабушкин в новом интервью 😀 Мы хотим сделать разговор максимально интересным и полезным, поэтому собираем вопросы от вас 👀 Что вам действительно интересно узнать по этой теме? Какие изменения в A/B-тестах из-за ИИ вас удивляют, бесят или вызывают вопросы? Пишите в комментариях — лучшие вопросы зададим Валерию😀

Датафест прошел успешно. После выступления меня держали более 4 часов в заложниках.