Время Валеры

Нет совета директоров? Одолжим на вечер: в четверг шесть экспертов разберут ваш AI-проект Обычно на вопрос «как запустить AI-продукт» отвечает кто-то один. И отвечает со своей колокольни: технолог про архитектуру, предприниматель про продажи, инвестор про метрики. В четверг мы соберём за одним столом шесть человек с очень разным опытом. По сути, это совет директоров, которого у ранних проектов обычно нет: Валерий Бабушкин — взгляд технолога, который строил ML в Alibaba и руководил AI-командами до 600 человек Игорь Зуев — взгляд практика, в портфеле которого 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год Артём Субботин — взгляд продуктовика, который 20 лет создаёт тренды в hardware Николай Хлебинский — взгляд серийного предпринимателя, который построил Retail Rocket Александр Горный — взгляд стратега, который в Mail.Ru Group (VK) помогал выбирать компании для покупок и инвестиций на полмиллиарда долларов Андрей Резинкин — взгляд инвестора, в чьём портфеле 20+ стартапов на разных стадиях: от идеи до $100 млн выручки Где искать нишу, на чём собирать, откуда брать первых клиентов и когда пора масштабироваться — у каждого из шестерых будет свой ответ. И самое полезное начнётся там, где они не согласятся друг с другом. В конце Q&A: приходите с вопросом по своему проекту, совет директоров его рассмотрит. Эфир для всех, кто делает AI-продукт, думает о запуске или хочет понять, где в AI сейчас деньги. 📅 Четверг, 8 октября, 19:00–21:00 мск, Zoom 💰 Бесплатно. Условие одно: подписка на каналы спикеров, бот всё проверит Ссылку на эфир и запись получат только зарегистрированные: 👉 Занять место на эфире

В воскресенье, 11 октября в 19 по Лондону (21 по мск), проведём стрим с моим другом и будущим соавтором книги про дизайн агентских систем — Алексеем. Он долгое время работал в информационной безопасности: разрабатывал антивирусные технологии, системы обнаружения сложных целенаправленных атак и инфраструктуру для обработки больших объёмов данных. Технологии, созданные под его руководством, лицензировали и использовали Яндекс, ВКонтакте, Одноклассники и другие крупные компании. Последние несколько лет Алексей строит production-агентов для бизнеса — системы, которым можно доверить реальные бизнес-процессы. В центре его интересов — архитектура агентских систем и agent harness, tool calling, управление контекстом, evals, а также надёжность и контроль поведения агентов в production.

AI-проекты с нуля: как выбрать нишу, собрать продукт и выйти на первую выручку Собрать AI-продукт сейчас можно за выходные. Сложнее добиться, чтобы им пользовались и за него платили: большинство таких проектов так и остаются демками. 8 октября на онлайн-панели разберём весь путь от идеи до первых денег. Обсудим: — как выбрать нишу, которую не съест следующий релиз OpenAI — на чём собирать продукт: готовые API, агенты или своя модель, и как не утонуть в стоимости токенов — где найти первых платящих клиентов без бюджета на маркетинг — по каким сигналам понять, что проект пора масштабировать или закрывать Спикеры: Андрей Резинкин — ангел-инвестор в 20+ стартапах Валерий Бабушкин — ex-VP of ML в Alibaba, руководил AI-командами до 600 человек в BP, Kaggle Grandmaster Игорь Зуев — в портфеле 30+ приложений на рынок ЕС и США, выручка $1.5 млн+ в год Артём Субботин — 20 лет опыта в hardware и создании глобальных трендов Николай Хлебинский — серийный IT-предприниматель, основатель Retail Rocket Александр Горный — ex-директор по стратегии Mail.Ru Group (VK), основатель клуба для предпринимателей ShareAI 📅 Когда: 8 октября, четверг, 19:00 мск 📍 Где: онлайн, Zoom 💰 Стоимость: бесплатно, нужна подписка на каналы всех спикеров ❓Q&A: да, приносите вопросы по своим проектам Доступ к трансляции и запись получат только зарегистрированные — забирайте место: 👉 Зарегистрироваться на конференцию

Не перестаю радоваться и удивляться тому, что студенты всегда остаются студентами. Вот и в эту субботу они в очередной раз это доказали. Команда из пяти человек. Все очень серьёзные люди, умудрённые опытом, сединами и отягощенные грузом PhD: архитекторы, совладельцы бизнеса - вообщем серьезные дядьки. Должны были продемонстрировать и защитить первую половину дизайн-документа по агентной системе, которая призвана ревьюить дизайн-документы. Они начали переделывать под себя систему с предыдущего потока, потому что задача у них как у архитекторов достаточно интересная: какие вопросы нужно задать и какие ответы получить, чтобы снизить дисперсию оценки проекта. Это, очевидно, очень важно для любой компании, которая оценивает проекты, а затем их выполняет. Изначально они должны были защищаться за неделю до этого, но попросили отсрочку: все разъехались по командировкам. Люди, опять же, занятые. Договорились встретиться на защите в субботу. Суббота наступила, я заварил чай, думаю: «Ну, наконец-то я буду не читать, а слушать». Начинаем занятие, вызываю команду: И тут лидер команды говорит: — А мы сегодня не готовы и документ не покажем Чем в очередной раз подтверждает: студенты всегда остаются студентами. Дисперсию они, очевидно, не снизили.

В последнее время все дружно делают корпоративных AI-агентов и постепенно приходят к замечательной мысли: чтобы модель делала работу, ей надо дать доступ к работе. А не только поле, куда работяга будет заботливо копировать содержимое остальных корпоративных систем. OpenAI называют это переходом от assistance к execution. Microsoft развивает skills, коннекторы к корпоративным данным и взаимодействие агентов между собой. В общем, хочется, чтобы AI уже что-нибудь сделал, а не только рассказал, как это можно было бы сделать. Вполне понятное желание. Яндекс туда же: на Yandex Scale 2026 (обсуждали здесь) анонсировали Алису AI Про. Заявленный сценарий — сотрудник описывает задачу обычным языком, а дальше Алиса сама определяет шаги (делает стейт машину?), подбирает инструменты и работает с подключёнными корпоративными системами (mcp/a2a registry?). Для сложной задачи может собрать команду специализированных агентов, которые параллельно занимаются документами, поиском информации и прочими частями работы (конкурент моей книге по дизайну AI систем?) В целом задача непростая Модель, даже очень умная, сама по себе не знает, как устроена ваша компания. Где лежит актуальный договор, кто согласовывает закупку, откуда брать цифры для отчёта и почему файл «финал_финал_2» использовать нельзя (лекция про rag), а надо спросить у человека, который сейчас в отпуске. В обучающую выборку эти замечательные знания, скорее всего, не попали. Ей нужны документы, внутренние инструкции, CRM, почта, трекер, базы знаний и правила выполнения конкретных операций. Причём всё это надо не просто подключить, но и разобраться, что кому можно читать и менять. Просьба в системном промпте «пожалуйста, не показывай чужие данные» проверку прав доступа не заменяет. Дальше надо решить, какие действия агент выполняет сам, а где должен остановиться и спросить человека. У Алисы AI Про такие разрешения предусмотрены отдельно. Потому что между «подготовь письмо клиенту» и «отправь письмо клиенту» разница небольшая только в количестве букв. В общем, снова данные, интеграции, permissions и оркестрация. Обычный system design, который после появления LLM почему-то никуда не делся. Хорошая модель нужна, но работу по встраиванию в конкретную организацию за вас не отменяет. Для российского enterprise есть ещё вопрос, где всё это разворачивается и куда уходят данные. Если компания не готова отправлять их во внешнее облако, рассказ о том, какой у вас замечательный интеллект, обсуждение далеко не продвинет. Поэтому мои бывшие коллеги, Яндексоиды, предусмотрели варианты on-premises и гибридного развёртывания, выбор модели и собственные специализированные навыки. Конкретные условия и доступность возможностей имеет смысл обсуждать наравне с качеством самой модели как ещё одну часть ТТХ Поэтому я бы смотрел на довольно простую вещь: сколько работы после внедрения перестал делать сотрудник. С учётом времени на подготовку контекста, проверку и исправление результата, конечно. Если он по-прежнему должен всё найти, скачать, скопировать, принести в чат, а потом разнести ответ обратно по системам, то агент у вас, возможно, и появился. Но коннектором в этой архитектуре всё ещё работает человек.

Про важное поговорили, теперь можно про ML. Сейчас читаю ML System Design (который уже неприлично разросся: 5 месяцев и 10+ часов контента только по агентским системам, а всего 60+) в школе ML Inside (запись на текущий поток закрыта). Мой давний друг и коллега Витя Кантор попросил рассказать про другой его курс. Онлайн-специализация «Искусственный интеллект и анализ данных» Это реинкарнация старой специализации по ML на Coursera от МФТИ и Яндекса, теперь, небось, без второго Питона. В программе 7 модулей: Математика и Python, Classic ML, DL, AI-агенты, A/B, Production ML (MLOps) и введение в ML System Design. https://mlinside.ru/specializaciya Подойдёт тем, кто хочет перейти в ML из аналитики или разработки, подтянуть теорию перед собеседованиями или просто освежить базу и разобраться в новом, например, в агентах. Учиться можно в своём темпе, все модули открыты сразу (только последний ещё в разработке). Для студентов университетов особое предложение: покупать подписку не надо, доступ можно получить бесплатно. Бюджет или платная форма обучения, очно или дистанционно, бакалавриат, магистратура или даже аспирантура — заполняете анкету, подтверждаете, что вы студент, и получаете доступ: https://forms.yandex.ru/u/69e893846d2d7372b90870d5

С середины лета мегапростыня начала барахлить. Ну как барахлить — она просто говорила, что меня нет. Я спал, а она говорит: нет, сегодня ты на мне не спал. Сначала пару раз в неделю, потом 3–4, потом уже почти каждый день. Но продолжала но ночам холодить, а по утрам греть и жужжать Поначалу я подумал, что, возможно, уже достиг такого уровня познания, что по ночам ухожу в астрал. Но затем решил что реальность прозаичнее. Мельдонщик из зала тоже недавно заявил ряду людей: «Что-то я давно не видел Валерия». Сказал он это людям, которым я регулярно говорил, что хожу в зал. Неловко вышло. Потом оказалось, что он просто начал работать в другую смену, как, видимо, и мегапростыня. В итоге я написал в команду поддержки, что вот я был, а вот меня не стало. Они почесали репу и выслали мне новую мегапростыню бесплатно. Спасибо. А мельдонщик, кстати, снова вышел в утреннюю смену и попросил еще мельдония.

На днях начал делать ревью А/Б-платформы от Три сигма, позавчера отправил им 9 уточняющих вопросов, и пока они отвечают, попросили прорекламировать их митап в Ташкенте. На что я говорю: так вы ответьте на вопросы, я в одном посте разбор проведу и заодно про митап расскажу. Говорят, не успевают, митап уже скоро. 1 октября у них митап в Ташкенте Data-Driven – от данных к действиям

Мы давно про это знали: Design Docs Are All You Need: An AI-native Machine-Learning Performance Tool

Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

На основе пятничного поста про промт:

Сожми документ максимально, не потеряв никакой информации.

Превратили этот подход в отдельный open-source skill — lossless-doc-compress. Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий: KEEP — содержит информацию и остаётся без изменений; REMOVE — доказуемо избыточен и удаляется; FLAG — требует решения автора, поэтому остаётся в документе с пометкой. Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы. Если есть сомнение — не удалять, дает отметку для автора Результат: три артефакта: Сжатый документ. Лог всех удалений и спорных мест. Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания. npx skills add ML-SystemDesign/MLSystemDesign Код и инструкция: https://github.com/ML-SystemDesign/MLSystemDesign/tree/main/skills/lossless-doc-compress Это пост был прогнан через скилл

☁☁☁☁☁☁☁ 24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨 В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨 Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.

Полную программу можно посмотреть на сайте, там же — зарегистрироваться. Участие бесплатное

После ревью документов сегодня (один из дизайнов был на 51 страници!) даю совет всем, кто готовит документацию, пишет дизайн-доки и т. п. 1. То, что это написал агент/LLM, — не проблема, если вы это прочитали, поправили, дали контекст и т. д. Считайте, что отдали работу по редактуре. Если делегировали думать, получается чаще ерунда. 2. Прогоните свой документ через простую команду: «compress this as much as possible without losing any information» — обычно сокращает где-то в 2 раза(и заодно чистит часть слопа). Всем хорошо: вам, ревьюерам, команде, моделям.

f

Две первые главы книги «Agentic AI System Design» уже написаны и сейчас находятся на ревью у соавторов. Один соавтор тот же: https://t.me/partially_unsupervised Два — с курса по ML System Design. По отзывам вышло неплохо:

Прочитал с кайфом и даже взял на вооружение

Надеюсь, к концу года допишем.

3 года назад я рассказывал про сказочника в своем посте Но тот случай был хотя бы безвредным, да и, прочитав это, сказочник быстро убрал свои фантазии. На днях в местах, где я живу, произошла история более печальная и более масштабная со всех сторон. Профессор Jason Arday, который стал самым молодым черным профессором в истории Кембриджа, оказался не тем, за кого себя выдавал. Оказалось, что докторская его с большой вероятностью полна плагиата. Но здесь ничего необычного нет - плагиат встречается регулярно. Необычно то, что человека, судя по всему не очень связанного с реальностью (дальше станет понятно почему), подняли на флаг и использовали как классический токен. Arday с каждым годом завирался все больше * То он пробежал 600 миль (почти 1000 км) за 6 дней. * То он научился читать и писать только в 18 лет, но при этом в 16 сдал два GCSE (аналог ОГЭ) и учился на BTEC в колледже. * То он пролежал в коме и заново учился ходить. * То он собрал 5 млн фунтов на благотворительность. * Где-то сообщалось, что он говорил, что участвовал в записи телепередачи ребенком, оказалось, что она про детей, которые родились за 15+ лет до него * И много-много чего еще, очевидно невероятного. Его лекции, по словам студентов, представляли собой (если он приходил на них) какую-то околесицу, где в основном смотрели YouTube и затем обсуждали в группах. Это, конечно, говорит еще и про качество самой дисциплины, где он преподавал (sociology of education). Кембридж вначале сказал, что все это клевета и навет. Потом, под весом доказательств, когда университеты, указанные Джейсоном в резюме как те, где он почетный лектор, сообщили, что это не так и он никогда у них не был, согласился на расследование. До этого 4 месяца полиция слегка прессовала журналиста, который посмел найти плагиат у почетного академика - теперь публично извинилась. В конце концов - Джейсон ушел в отставку, а сегодня BBC сообщило, что он найден мертвым. В итоге история, начавшаяся как враки и фантазии, принесла множество бед. Самому Джейсону и его семье. Студентам, многие из которых заплатили деньги, чтобы слушать такую чепуху, Кембриджу, а заодно дала повод для критики практик DEI. Такой вот Мюнхгаузен наших дней. Самое удивительное в этой истории — как настолько очевидную ложь и регулярные жалобы со стороны студентов заметали под ковер в жертву великой идее. А казалось бы, университет мирового уровня. Поэтому каждый раз, сталкиваясь на работе с фантазерами и решая промолчать (а ситуаций, аналогичной этой, много, пусть и не в таком масштабе), подумайте о конечном эффекте и о том, к чему это может привести.

Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа. От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу. Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных. 🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.

Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос. И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике. ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype. Зарегистрироваться можно здесь: https://ecode.ozon.tech/ Участие в конференции и вечеринках — бесплатное

Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос. И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике. ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype. Зарегистрироваться можно здесь: https://ecode.ozon.tech/ Участие в конференции и вечеринках — бесплатное

В комментариях к предыдущему посту просили рассказать про оптимизацию состояния тела, и тут как раз есть что рассказать. Мой текущий набор в виде Ultimate Anti-Ageing Bundle и Orange Triad + Greens Vitamins имеет следующую проблему: Тяжело набирать 20 таблеток из первого, да ещё с учётом того, что в каждом пакете разное количество порций, то есть части стака банально заканчиваются в разное время И отвратительный вкус второго, хотя это меньшая проблема. Почитав, посмотрев — решил попробовать играть как Бэкхэм The Beckham Stack - IM8 По нутриентам заменяет всё выше. По удобству — гораздо лучше. Вкус — хороший. Рекомендовать пока не могу, но через три месяца напишу.