Big Ledovsky | AI изнутри

Какой алгоритм рекомендаций победил в Avito ML Cup Пока на разных днях датафестах рассказывали про трансформерные рекомендации, интересно было посмотреть, что нарешали победители соревнования, про которое я писал. Напомню, что датасет был серьезный - 5kkk взаимодействий. 🔜 Как вы наверное догадались, это не трансформер. И самое интересное, что не ALS Победил графовый кандидатогенератор. Базовая идея этого алгоритма очень простая. Это когда вы ходите по графу взаимодействий: юзер - айтем на который он кликал - другой юзер - новый айтем. И так при желании какое-то количество раз. Дальше у алгоритма есть усложнения, как ходить лучше, чем случайно. Примеры вариаций: Pixie от Pinterest аж 2017 года и RP3beta аж 2016 года. 🔜 Все топ решения использовали подобные кандидатогенераторы и ранжирование бустингом поверх Интересно, почему получилось так? Может быть виной хитрая метрика, которая усредняет перформанс по разным вертикалям (товары, услуги итд). Может быть то, что оставили только прогретых пользователей, у которых был контакт. Может быть гэп в 12 часов между трейном и валидацией. А может быть было мало данных на такой объем пользователей и айтемов. Говорят, трансформер не выучивал item_id (хотя они уже были semantic id). По итогу, соревнование показало пример, что хорошие рекомендации можно построить достаточно простым подходом. YouTube - Запись разбора решений Б/У ML - Канал Толи, автора сорева

Удивился решению Майкрософта срезать косты на Claude 😏. Не смогли найти 100 долларов в месяц на разработчика? В ту же сторону отреагировал убер Мысли по теме - Факт, что при неаккуратном использовании на агентах можно сжигать нереальное количество денег. Я недавно пробовал запускать Hermes на Opus 4.7. Расхотелось 😅 - Просто подписка на курсор или клод код многократно себя окупает. Это видно невооруженным взглядом без всяких аб тестов Чтобы AI не стал только лишь дополнительным финансовым бременем, нужно делать две вещи. 1. Вводить политики на траты сверх обычных подписок. Например, включать бюджет на AI в бюджет проектов. Как сейчас выделяют на железо. У меня вот есть такой бюджет на DS функцию и я трижды думаю на что его тратить. 2. Закладывать сокращение количества сотрудников на тот же объем работы. Иначе это правда все бессмысленно. Майкрософту просто сложно быстро отреагировать на такую смену парадигмы. Я думаю, что кран прикрыт временно. Либо они будут просто использовать не Антропик.

Моя фабрика разработики на claude code, n8n и jira Хочу в двух словах рассказать к чему я пришел очень плотно работая на claude code с января. Прочитав статью Harness Engineering от OpenAI и послушав других людей я понял, что нужно стремиться к увеличению автономности кодиногвых агентов. Я начинал с интерактивной работы с claude и в итоге дошел до создания своей фабрики. Общая архитектура. С помощью n8n у меня подняты workflow с 3-мя агентами, которые запускаются каждую минуту. Два workflow впомогательные, нужны чтобы разворачивать и удалять рабочее окружение. И один workflow запускает основного агента, который выполняет задачу. Каждый workflow включает получение задачи из jira, сбор контекста и запуск команды claude code —agent agent-name Основной агент использует 3 режима: PLAN, EXECUTE, FIX. Каждый запуск (который происходит раз в минуту) агент получает таску, выбирает режим, отрабатывает, обновляет Jira и засыпает - PLAN декомпозирует задачу на сабтаски. PLAN вызывается в начале, либо в процессе, если в комментариях написать новые требования - EXECUTE делает одну сабтаску за раз, т.е. реализует Ralph Loop - FIX читает комментарии в джире и делает небольшие правки не входя в планирование Jira используется для заведения требований и написания фидбека агенту. Для передачи контекста между запусками используется специальный MD файл. Дополнительно я реализовал "ручной режим". Скилл, который позволяет запустить агента руками, прочитать контекст задачи и доделать что-то в интерактивном режиме. По итогу, я могу паралелльно делать 4 задачи. Больше не получается - нужно писать требования в джире и ревьюить результаты.

OpenAI прекращают поддержку файнтюнинга моделей Новость, которая отражает какие подходы побеждают, а какие проигрывают 💀 Насколько я вижу вокруг: вау решений на LLM, дообученных LoRa адаптерами не получается. Хотя я не настолько категоричен как автор LLM под капотом, который считает эту ветку тупиковой. Дообучением занимаются, когда хотят получить хороший результат на маленькой модели. Но это трудозатратный и нестабильный метод. Лучше сперва делать решение на больших моделях, а затем думать как удешевить. Мы так и поступили на нескольких проектах. В одном кейсе экономика на самом деле уже сошлась. А если что, ее можно удешевить продуктово, ограничив тех, на кого раскатывается фича. А в другом экономика тоже сходится, но хочется более быстрых ответов. Поэтому мы обучаем легкий декодер (не факт что на основе LLM). Интересно что получится. У нас оптимистичные ожидания 😎

История блокировки не клода Телеграм гудит от массовой блокировки аккаунтов клода россиян 🔫. Вот вам другая свежая история. Мы какое-то время назад создали аккаунт OpenAI. Все официально, в белую, на рабочие почты. Компания у нас международная. Положили денег, стали использвоать подняли тир. И тут нас резко банят. Всем, кто был добавлен в организацию приходят отбивки о блокировке. Причина.. дистиляция. Деньги которые мы положили естественно не вернули 💸 (хотя честно говоря это последнее, что меня беспокоило). Никакой дистиляции конечно мы не делали. Размечали релевантность поиска и тюнили промпты для переводов. Видимо за тюнинг промптов через DSPy нас и забанили. Мы написали с двух аккаунтов аппеляцию, что мы ничего плохого не делали. Две недели ответа не было и мы уже думали куда писать дальше (например, чуваку на форуме в такой же ситуации помогло только написать на форуме и публично пожаловаться, что ему не отвечают). Неожиданно через две недели на один аккаунт пришел ответ, что мы были заблокированы ошибочно и этот аккаунт разблокировали. Правда автоматика работает странно и все остальные аккаунты все равно не разбанили. Нужно теперь и с ними что-то делать 🦶 Мораль Завязываться на внешних провайдеров LLM опасно. Однако использовать их все равно нужно. Поднимать топовые модели самим - нужно иметь вескую причину и огромный бюджет на железо. Не говоря уже о том, что закрытые модели сейчас работают реально лучше. Не завязывайтесь на одного провайдера. Продумывайте план, если вас отключат, чтобы у вас не встал прод. Мы именно это и сделали.

Собираюсь на Inside AI Meetup от Wildberries & Russ Программа очень интересная: LLM, поиск, рекомендации, модерация, ML инфра. Собираюсь пойти сам и готов порекомендовать остальным. Вот чуть более подробное описание. — На митапе обсудят реальные кейсы: от высоконагруженной модерации с векторным поиском и AIOps-подходов к управлению ML-сервисами до практики построения RAG-систем, тонкостей реранкинга и реальных этапов запуска LLM-продуктов. ▫️Выступать будут: эксперты Wildberries & Russ, MWS, Avito, Сбера, Альфа-Банка, red_mad_robot. ▫️Кому будет интересно: senior ML/AI инженерам, MLE, DS, инженерам платформ и всем, кто строит или масштабирует AI-системы в продакшене. ▫️Когда и где: 20 мая, старт в 15:00. Москва + онлайн-трансляция. Регистрируйтесь и приглашайте коллег! Подробности — на сайте.

Что я поменял в DS работе Я не люблю Jupyter ноутбуки как результат DS работы 🔫 Отдельно можно поговорить почему. Но так или иначе раньше отказаться от них не получалось Появление кодинговых агентов все поменяло. Мы с командой постепенно переходим на следующую схему - Python скрипты - Оформление выводов в маркдаун а затем сразу на конфлюенс - Визуализация в streamlit Почему 1. Выяснилось, что удобная механика «запустил ячейку, получил вывод» заменяется на «агент запустил скрипт и красиво оформил результат в markdown» 2. Клод нереально быстро клепает стримлит. А стримлит это полноценный дашборд / data app. Для каждого проекта я делаю свой стримлит, как полноценный сервис в кубере. Выкатывается одной командой и сразу доступен коллегам Ноутбуки остаются только как средство вручную что-то покопать. Для чего они и нужны 😌

Всем привет! Хочу поделиться запуском соревы - https://ods.ai/competitions/avitotechmlcup2026 Так как времени не так много, а соревы я люблю то нашел такое хобби: запускать соревы самому В этот раз вложились гораздо больше чем год назад (задача про ноды): 1) Большой относительно рекомендаций объем данных - в 20 раз больше с прошлым годом 2) Более продуманная метрика - есть баланс по вертикалям + геп. В прошлый раз был весьма обрезанный датасет 3) Гораздо ближе к текущему проду чем в прошлом году - завязываемся на item_id, а не на ноды Залетайте в соревку и делитесь инсайдами :) PS это сорева сделана полностью на добровольных началах из за любви к ds. Ну почти - мне еще дадут мерчь :)

Хочу прорекламировать Толино соревнование по рекомендациям. Датасет - на 170 млн айтемов и 5 млрд взаимодействий. Это очень серьезно. А данные Авито очень интересные. На мой взгляд одно из топовых ds-соревнований последних месяцев. Если хотели где-то поучаствовать, сейчас самое время.

Вакансии в аналитику Всем, привет! Я уже рассказывал про свою новую компанию и про Data Science вакансии. Но я знаю, что меня читают не только DS, но и много аналитиков. Поэтому сегодня расскажу про вакансии в аналитику. Head of Analytics - Юра Фандеев. Юра проработал в Авито много лет и был одним из тех, кто создал мнение про аналитику Авито, как лучшую на рынке. Команда у Юры отличная. С Женей Мурзаевой, руководителем одной из команд, мы когда-то запускали в Авито продвижение за бюджет (вы его видите, когда подаете объявления в товарах). Дальше описание от Юры. — Ищем продуктовых аналитика в нашу команду. Уровень middle/middle+. Что вы там делаете в аналитике? У вас же продукт еще не запущен, данных нет Выстраиваем аналитику продукта с нуля, чтобы быть максимально готовыми к запуску. От логирования до витрин, от метрик до дашбордов – всё это создается и прорабатывается прямо сейчас. Вам не придется работать с легаси. Вы сами будете создателем легаси. Кроме того, мы помогаем бизнесу и продукту готовиться к выходу на рынок, помогая находить ответы на самые открытые и сложные вопросы. А сколько у нас будет юзеров через N месяцев? А как нам монетизировать продукт? А какие локации плохо покрыты подключенными службами доставки? А как управлять балансом спроса и предложения? Сегодня вы прорабатываете логирование с разработчиками поиска, завтра играетесь с катбустом, послезавтра анализируете конкурента. Какая команда? У нас пока две команды аналитики. Тимлиды – Маша Новикова и Женя Мурзаева. Вы могли видеть их в "Коммуналке аналитиков Авито" (а у Жени также есть свой канал) Еще из плюсов – команды только формируются, и за аналитиками не закреплены конкретные стримы. Вы можете успеть поработать с разными направлениями и выбрать то, что больше по душе. Какой стек? СУБД – Clickhouse + Trino Визуализация – Redash АБ-тестирование – Trisigma Приветствуем осознанное применении ИИ-агентов (есть компенсация подписки) Условия работы Предпочитаем гибрид (периодически встречаемся командой вживую), но нанимаем и на полную удаленку. Офис на Менделеевской. Приходите. У нас весело как в стартапе, а зп как в корпорации. — Присылайте резюме и задавайте вопросы в лс @GeorgeFandeev Репосты приветствуются!

Как ассистенты ухудшили существующие продукты Желание менеджеров сделать AI во чтобы то ни стало не приводит ни к чему хорошему 🤮 У меня есть два примера плохого на мой взгляд использования ассистентов. Первый - это Госуслуги. Там просто отключили обычный поиск, оставив только ассистента. Второй - Сбербанк онлайн. Там оставили обычный поиск, но если ты нажимаешь на запрос из истории, то все равно попадаешь в ассистента (например, вместо кабинета самозанятого попадаешь в диалог про самозанятость). Ну и плюс Сбер закрыл доступ к человеческой поддержке. Для премиальных клиентов (премьер, первый) она осталась, но тебя все равно пытаются задушить AI. Поэтому я лично хожу в отделение ногами. Оба ассистента в целом хорошие. Но они медленные. И с ними невозможно договориться, когда что-то пошло не так (=любой непопулярный запрос, обычно у меня такой, т.к. все простые вещи я и так знаю как делать). Короче спорные решения. Создают большую когнитивную нагрузку пользователю, где этого не ожидаешь. Я вот недавно думал про добавление LLM в наш поиск, но посмотрев эти кейсы понимаю, что просто так делать лейтенси в 5 секунд нельзя 🔫

С Data Fusion 2026 Сейчас на конференции. Она получилась отличной. Хорошие треки, было что послушать. Традиционно сделали селфи с Никитой и другими ребятами. Была интересная сессия про context multi-armed bandits. Там рассказывали про исследование, что можно использовать бандитов для холодного старта рекомендаций. Типа на 100к айтемов. Чтобы такое завести нужно применить кое-какие матричные разложения, но это работает. Интересно насколько это применимо на практике.

Начинаем https://a.teleboss.ru/room/Jn4dn4kRFz

В 19-00, через 10 минут мы начинаем с Димой стрим про обзор рынка DS/ML. Ссылку выложу отдельно! Подключайтесь 🙂

Что происходит с разделением DS и разработчиков 👴 Когда-то очень давно DS/ML занимались разрабочики, Software Engineers Это типа Яндекс 2010 года. Потом специальности разделились. От DS-ов стали требовать специализированного образования по машинному обучению. Разрабочику влететь в настоящий DS стало очень и очень непросто. Однако если посмотреть характер работы, то Data Scientist - это тот, кто идет по циклу "возьми данные - построй алгоритм - получи оценку - повтори". 🦀 Что стало происходить потом Сначала мы стали использовать больше предобученных моделей. Стало нужно больше строить обвязки вокруг модели, тюнить, и выстраивать систему оценки и улучшения. А потом мы дошли до LLM и агентов. И теперь знаний ML при работе с ними больше не нужно. А нужно писать мнооого обвязки, тюнить промпты и выстраивать систему оценки и улучшения. 🙈 И в этом момент оказывается, что эту работу может делать и разработчик И часто лучше чем DS: за счет инженерных скиллов и системного мышления, которое не всегда есть у творческого дата сайнтиста 🤪 Так профессии опять встретились. Я думаю, что распространение получит новая только появляющаяся в вакансиях профессия "AI инженер". Она будет означать человека, который работает над AI системой, но не обязательно знает ML. Что думаете? Как всегда, жду вас в комментариях 🔽

А сегодня хочу рассказать про еще одну замечательную конференцию - AI Conf. Я был на ней в 2024 году. Мы даже делали стенд командой Авито. На AI conf нужно покупать билет. Это отлично организованная конференция с высоким качеством докладов и подготовки спикеров. На ней собираются много опытных специалистов и в целом хороший нетворкинг. Уже обещают 400+ участников. Программа достаточно сбалансирована: обычные ML доклады, LLM, инфра и воркшопы. Думаю каждый себе что-то найдет. 🎟 Билеты и подробности — на сайте конференции. Реклама: ООО "Конференции Олега Бунина", ИНН 7733863233, erid: 2W5zFGUTFJH

Весна в самом разгаре, а это значит, что начинается пора весенних конференций. На следующей неделе (8-9 апреля) будет проходить Data Fusion 2026. Я был на ней в прошлом году, и пойду и в этот раз. Приятно, что на этот раз меня опять пригласили. Место проведения - кластер Ломоносов, очень красивое место. Тематика - чисто AI / DS. Конференция интересна тем, что на ней есть чем заняться и DS инженеру и менеджеру в костюме. В программе увидел своих друзей и знакомых. Интересное мероприятие, стоит чтобы сходить!

разбираем рынок DS в 2026 и реальную работу изнутри - перенос эфира Саша заболел, поэтому новые даты: Эфир 1 - Обзор рынка DS/ML 2026: тренды, зарплаты, куда всё катится Когда: 7 апреля в 19:00 (по МСК) Эфир 2 - Как устроена работа DS/ML изнутри: типичный день, задачи, ожидания Когда: 14 апреля в 19:00 (по МСК) PS: На фотках Саша здоровый, уже улыбается, а я вместе с ним, так как все живы и здоровы) Поставьте 🔥 на благо здоровья Саши!

Плохая новость - я приболел. Хорошая - теперь на им фото я с улыбкой 😀

разбираем рынок DS в 2026 и реальную работу изнутри - запускаем серию эфиров с жёстким гостем 🤝 Короче, я позвал к себе Сашу Ледовского - ex-lead Data Science в Авито, руководил кучей команд, строил процессы, короче человек с мощнейшим опытом в ML/DS на практике. Сейчас он Head of AI в ecomm стартапе, и ему есть что рассказать как про корпорат, так и про стартаповский хаос 😐 Мы решили сделать два эфира, и вот что вас ждёт: Эфир 1 - открытый для вас всех! Когда: 1 апреля в 19:00 (по МСК) Тема: Обзор рынка DS/ML 2026: тренды, зарплаты, куда всё катится 🔵 Кто сейчас нанимает и на какие позиции реальный спрос 🟣 Зарплатные вилки - что по цифрам в 2026 🟢 Куда движется рынок: что учить, а что уже не стоит 🟡 Разберём с Сашей из первых рук, что происходит на рынке прямо сейчас Эфир 2 - внутри менторства Когда: 7 апреля в 19:00 (по МСК) Тема: Как устроена работа DS/ML изнутри: типичный день, задачи, ожидания 🔵 Чем реально занимается DS на работе, а не в красивых вакансиях 🟣 Какие задачи прилетают, сколько времени уходит на код, а сколько на созвоны 🟢 Что от тебя ждёт лид и бизнес 🟡 Саша расскажет, как это выглядело в Авито и как выглядит в стартапе Этот эфир будет доступен только участникам менторства 🤫 Ставьте 🔥, если придёте на первый эфир, чтобы я понимал, сколько нас будет, поэтому работаем братья!