MLinside - школа ML

Бывало ли у вас такое, что модель работала отлично, а потом внезапно начала терять качество? Главная ошибка в такой ситуации – сразу же запускать переобучение, потому что в продакшене деградация модели может быть связана с разными причинами: изменились входные данные, поменялось поведение пользователей, появились новые бизнес-сценарии или проблема вообще не в модели. У нас на YouTube, в ВК и Дзен вышло видео, где Александр Дубейковский (ML Engineer в Avito, ex-Yandex, эксперт MLinside) разбирает одну из самых важных тем для ML-инженеров – Data Drift и Concept Drift. Вы узнаете, чем отличается изменение распределения данных от изменения самой зависимости между признаками и целевой переменной, как эти проблемы проявляются в реальных ML-системах и почему автоматический retraining часто не решает проблему, а иногда даже ухудшает ситуацию. Кому будет полезно видео: ▪️ML-инженерам и Data Scientists ▪️Специалистам, работающим с продакшн-моделями ▪️Студентам и начинающим специалистам в ML ▪️AI Engineers и MLOps-инженерам ▪️Всем, кто хочет лучше понимать жизненный цикл ML-моделей Нашли себя в этом списке? Тогда велком на удобную для вас платформу: https://youtu.be/ix3XCTglkIc https://vkvideo.ru/video-228219607_456239233 https://dzen.ru/video/watch/6a214c829804be60200348e1

Ищем руководителей и менеджеров для исследования использования ИИ в работе Мы проводим серию интервью с руководителями и менеджерами. Хотим разобраться, какие рабочие задачи они решают с помощью ИИ, что уже внедряют в свои процессы и какие сложности возникают на практике. Кого ищем: ▪️Руководителей команд ▪️Руководителей направлений ▪️Руководителей отделов ▪️Product-менеджеров ▪️Project-менеджеров ▪️Предпринимателей Что хотим узнать: ▪️Какие задачи занимают больше всего времени ▪️Для чего уже используется ИИ ▪️Что получается автоматизировать, а что не получается ▪️Каких знаний и инструментов не хватает Что конкретно от вас требуется: Если вы руководитель или менеджер, заполните короткую анкету на 2–3 минуты. Если у вас есть чуть больше времени и вы готовы ответить на дополнительные вопросы, мы будем рады пригласить вас на интервью продолжительностью 20-30 минут в любое удобное для вас время. С нас, базово, улучшить наши курсы, чтобы они отвечали вашим потребностям, ну и конечно же промокод со скидкой на подписку специализации "AI и анализ данных". Анкета в яндекс формах: https://forms.yandex.ru/u/6a1fd4666d2d734f2bf67756

Учимся на практике: решаем реальные ML-задачки Продолжаем рубрику #петпроект_MLinside – тут мы публикуем задачи из реальных (ну или почти реальных) проектов, чтобы лучше запомнить теорию. Плюс, упоминание об этом можно включить в портфолио, что определенно поможет вам на собеседованиях. Тринадцатая задача Что нужно сделать: посмотреть на исторические данные об Олимпийских играх, найти зависимости и тренды Как можно сделать: ▪️Определить топ 5 стран с наибольшим количеством уникальных спортсменов в первый год за который есть данные и за последний, построить графики количества спортсменов для этих стран в зависимости от года ▪️Разделить данные на летние и зимние игры, затем сделать действия из прошлого пункта, изменился ли топ и графики? ▪️Определить максимальное количество золотых и любых медалей завоеванных одним и тем же человеком ▪️Определить для каждого года количество спортсменов которые начали выступать за другую страну ▪️Определить у какого спорта меньше всего уникальных человек завоевывали медали ▪️и т.д. Данные можно взять на Kaggle: https://www.kaggle.com/datasets/heesoo37/120-years-of-olympic-history-athletes-and-results Пример ноутбука (с случайными пропусками строк): https://colab.research.google.com/drive/1jiwqav41cNlmn9FUn75WMCLES3H8-DQH?usp=sharing Готовы попробовать? Делитесь своими результатами в комментариях. А другие посты этой рубрики можно посмотреть по тэгу: #петпроект_MLinside

ML-инженеров скоро заменит AI? На фоне бума LLM и нейросетей всё больше людей уверены, что профессия ML-инженера исчезнет уже в ближайшие годы. Но действительно ли всё так просто? На практике ML, это давно не только “обучение модели”. Современные ML-системы– это инфраструктура, данные, продуктовые ограничения, бизнес-логика и постоянная поддержка моделей в production. И чем активнее компании внедряют AI, тем сложнее становятся сами ML-системы. У нас на YouTube, в ВК и Дзен вышло видео, где Александр Дубейковский (ML Engineer в Авито, ex-Yandex и эксперт MLinside) разбирает, почему развитие AI не убивает профессию ML-инженера, а меняет её роль внутри индустрии. Кому будет полезно это видео: • начинающим ML-инженерам — чтобы понять, как реально устроена профессия; • Data Scientist и аналитикам — чтобы увидеть, как ML работает в production; • backend и software engineers — чтобы разобраться, как ML интегрируется в большие системы; • студентам и тем, кто хочет войти в AI/ML — чтобы понять перспективы индустрии; • всем, кто переживает, что AI “заменит программистов” — чтобы посмотреть на развитие технологий без хайпа. Ссылки на видео: https://youtu.be/fgkz3qyRxkY https://vk.com/video-228219607_456239232 https://dzen.ru/video/watch/6a196939320fd81ff68a0765

Устали от «идеальных» ML-кейсов? Где данные всегда чистые, метрики стабильные, а модель после обучения сразу готова к продакшену. Ведь в реальной работе всё иначе: метрики могут упасть за ночь, данные – измениться, а решение нужно принимать быстро, да еще и с неполной информацией. Поэтому мы запускаем новую рубрику «ML в реальной жизни» – здесь будут ситуации, с которыми сталкиваются ML/DS-команды в продакшене. Сразу же предупредим, что в этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон. Поэтому, если хотите, чтобы рубрика была вам максимально полезна, в комментариях важно не просто выбрать вариант, а объяснить: — почему выбрали именно его — что бы вы проверяли — какие риски вы бы учитывали Сегодня у нас ситуация №1: Ситуация: Метрики упали на 40% за ночь Контекст: В продакшене работает модель прогнозирования оттока. Утром вы видите: — precision упал с 0.82 до 0.49 — recall — с 0.76 до 0.41 Последний деплой модели был 3 дня назад, изменений в пайплайне не было. Данные поступают из того же источника. Внимание, вопрос: Что будете делать в первую очередь? Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside

Как перейти со стажера на джуна в ML? Многие стажёры в ML уверены: если знаешь Python, sklearn и можешь обучить модель, значит уже готов к позиции junior. Но на практике переход из стажёра в джуна зависит не только от технических знаний. На YouTube, в ВК и Дзен у нас вышло видео, где Александр Дубейковский (ML-Engineer Авито, ex-Yandex, эксперт MLinside), разбирает, какие навыки действительно важны для роста в ML, что ожидают команды от начинающих специалистов и почему одних ноутбуков с моделями недостаточно. Также, в видео Александр расскажет: какие технические навыки считаются обязательным минимумом для junior ML engineer, почему софт скилы часто решают больше, чем алгоритмы, как правильно проявлять инициативу в команде, по каким причинам стажёров не переводят в штат после испытательного срока, а также, поговорим про разницу между требованиями бигтеха и небольших компаний, ожидания тимлидов и реальные критерии роста внутри ML-команд. Кому будет полезно видео: ▪️Стажёрам в ML — чтобы понять, чего реально ждут от junior-специалиста ▪️Тем, кто хочет попасть в первую ML-команду — чтобы избежать типичных ошибок на старте ▪️Начинающим ML-инженерам — чтобы быстрее расти внутри команды и понимать процессы продакшна ▪️Студентам и новичкам в Data Science — чтобы увидеть, как выглядит работа ML-инженера за пределами ноутбуков ▪️Тем, кто проходит стажировку прямо сейчас — чтобы повысить шансы на оффер после испытательного срока Ссылки на видео на разных площадках: https://youtu.be/_ZdaCJnRoLY https://vkvideo.ru/video-228219607_456239221 https://dzen.ru/video/watch/6a0ef27e1059563825902c56

Обновили информацию по курсу ML System Design с Валерием Бабушкиным ▪️Старт курса переносится на 1 июля ▪️Актуальная стоимость курса — 178 500 ₽ Информация на сайте уже обновлена. Дополнительный месяц до старта используем, чтобы сделать программу ещё сильнее: добавляем новые материалы по agentic AI и проектированию современных AI-систем. Спасибо всем, кто уже оставил заявки и интересуется курсом

Валерий Бабушкин и тот самый курс по ML System Design в MLinside Если вы давно хотели разобраться, как проектируют ML-системы в реальных продуктах – это то, что вам нужно. Курс посвящён проектированию ML-систем для реальных продуктов: работе с архитектурой, пайплайнами обучения, deployment-процессами, мониторингом моделей, оптимизацией инференса и поддержкой ML под нагрузкой. Также на курсе разберём подходы к проектированию современных агентских AI-систем и интеграции LLM в production-инфраструктуру. На курсе вы научитесь: ▪️проектировать ML-системы под реальные ограничения ▪️строить ML design docs ▪️выбирать метрики и функции потерь ▪️выстраивать пайплайны обучения ▪️анализировать ошибки моделей ▪️внедрять ML в продукт ▪️мониторить качество моделей в продакшене ▪️оптимизировать инференс под нагрузку Курс подойдёт ML-инженерам, тимлидам ML-команд и начинающим специалистам, которым нужен системный взгляд на ML. Преподаватель – Валерий Бабушкин, наверняка он не нуждается в представлении, но всё же: ▪️Senior Director по Data & AI в BP ▪️грандмастер Kaggle ▪️автор книги Machine Learning System Design. Курс будет идти 4 месяца и вас ждут 60 занятий, реальные кейсы, разбор design docs, архитектурные решения из production ML, а главное – live-обсуждения и ревью с Валерием. Посмотреть сайт можно тут. Это курс для тех, кто хочет перейти от “умею обучать модели” к “умею строить ML-системы”. Стартуем 1 июня, количество мест ограничено. Записаться можно по ссылке.

Учимся на практике: решаем реальные ML-задачки Это рубрика #петпроект_MLinside и тут мы публикуем задачи из реальных (ну или почти реальных) проектов, чтобы лучше запомнить теорию. Плюс, упоминание об этом можно включить в портфолио, что определенно поможет вам на собеседованиях. Двенадцатая задача Что нужно сделать: по информации о разных приложениях нужно понять какое приложение лучше всего сделать: для большего охвата, для лучшего рейтинга, для того чтобы заработать больше денег и тд Как можно сделать: ▪️Визуализировать данные для разных классов: платные/бесплатные, разные категории, количество установок и т.д.; ▪️Применить K-Means или DBSCAN; ▪️Обучить различные классификаторы и сравнить их качество. Данные можно взять на Kaggle: https://www.kaggle.com/datasets/lava18/google-play-store-apps Пример ноутбука (с случайными пропусками строк): https://colab.research.google.com/drive/1szMUL7MLxQVH9ZubsyP-LDbyCZ7rKBLF?usp=sharing Готовы попробовать? Делитесь своими результатами в комментариях. А другие посты этой рубрики можно посмотреть по тэгу: #петпроект_MLinside

Мифы о машинном обучении, в которые все верят Машинное обучение окружено мифами: кто-то думает, что модели всё делают сами, кто-то – что нейросети всегда лучше, а кто-то ждёт от ML точных предсказаний будущего. На YouTube, в ВК и Дзен у нас вышло видео, где Александр Дубейковский (ML-Engineer Авито, ex-Yandex, эксперт MLinside) разбирает самые распространённые заблуждения про ML и объясняет, как всё работает на самом деле. На реальных примерах вы увидете, почему качество данных важнее алгоритма, где нейросети действительно дают преимущество, а где уступают более простым моделям, и почему ML это всегда про вероятности, а не точные прогнозы. В конце видео разбор того, как на самом деле устроены ML-проекты и почему за каждой моделью стоит целая команда. Кому будет полезно это видео: • Новичкам в ML: чтобы сразу понять, как всё устроено на практике и не строить нереалистичных ожиданий • Тем, кто думает войти в AI/ML: чтобы увидеть реальную картину индустрии, а не маркетинговый образ • Junior ML-инженерам: чтобы систематизировать базовые принципы и избежать типичных ошибок • Продактам и аналитикам: чтобы понимать ограничения ML и корректно ставить задачи • Разработчикам из других областей: чтобы разобраться, как ML встраивается в реальные продукты Если нашли себя в этом списке, велком на удобную площадку: https://youtu.be/43lRV_c-7KY https://vkvideo.ru/video-228219607_456239209 https://dzen.ru/video/watch/69fc717bef3f37622de46128 P.S. 18 мая у нас запускается второй поток курса по Математике для машинного обучения. Посмотреть программу можно на сайте. Или заполните форму и менеджер свяжется с вами, ответит на все вопросы и подарит промокод на скидку: https://forms.yandex.ru/cloud/68ca97e8f47e7311c69c807f

Мы начинаем вебинар "Формула Байеса в ML", подключайтесь: https://mlinside.getcourse.ru/pl/webinar/show?id=3283658

Байес в ML всплывает не тогда, когда вы «изучаете математику», а когда модель начинает принимать решения, которые сложно объяснить интуитивно И именно в этот момент обычно возникает вопрос: что вообще происходит внутри? 14 мая в 19:00 МСК именно это и разберём на вебинаре «Почему без формулы Байеса вы не понимаете, как работает ML». Это не будет разговор про «математику ради математики», а скорее про то, как модели на самом деле пересчитывают вероятности, почему они меняют свои предсказания при появлении новых данных и как это связано с базовой логикой вероятностного вывода. Спикер – Сергей Жестков, преподаватель с 10+ летним опытом, работавший с курсами для Сбера, Тинькофф, Otus и Skillbox, дважды «Преподаватель года» МФТИ. Он разберёт формулу Байеса через прикладные примеры, чтобы стало понятно, где именно она «живёт» в машинном обучении. Также в обсуждении примет участие Виктор Кантор — как дополнительный участник, который поможет связать тему с более широким контекстом математики в ML и обучением в целом. Обоим спикерам можно будет задать вопросы по ходу вебинара. Если еще не регистрировались, ссылка тут: https://t.me/ml_insideBot?start=web140526

Продолжаем нашу рубрику с математическими задачками Если хотите прокачать прикладное математическое мышление, рубрика как раз для вас. А умение быстро разбираться в задачах, видеть структуру и находить решения без громоздких вычислений – супер полезно не только в теории, но и в практике ML, где часто важно быстро оценить поведение системы, вероятность исходов или логику процесса. Вторая задачка: Симметричную монету бросают до первого выпадения орла. С какой вероятностью орел выпадет в попытке с четным номером? #math_MLinside

Топ-5 ошибок при изучении математики для ML Многие начинают изучать машинное обучение через библиотеки вроде sklearn или PyTorch и уверены, что всё понимают, пока модель не начинает вести себя непредсказуемо. В этот момент становится ясно: проблема не в коде, а в математике, которая за ним стоит. И у нас на YouTube, в ВК и Дзен вышло видео, где Александр Дубейковский (ML-Engineer Авито, ex-Yandex, эксперт MLinside) подробно объясняет, какие подходы к изучению математики не работают. Он разбирает, почему университетский стиль обучения часто не подходит для ML, зачем нужна интуиция вместо заучивания формул, как связать математику с кодом и почему попытка сразу идти в deep learning без базы приводит к поверхностному пониманию. В конце вас ждет практический ориентир: какой уровень математики вам реально нужен и как его достичь. Кому будет полезно видео и почему: ▪️Новичкам в ML чтобы не тратить месяцы на изучение математики “впустую” и сразу выстроить правильный подход ▪️Тем, кто уже пишет модели, но не чувствует уверенности: чтобы понять, что именно происходит внутри алгоритмов ▪️Тем, кто готовится к ML-собеседованиям: чтобы закрыть пробелы, которые часто проверяют на интервью ▪️Практикующим специалистам: чтобы перестать воспринимать модели как “чёрный ящик” и лучше контролировать их поведение ▪️Тем, кто застрял в обучении: чтобы понять, какие ошибки тормозят прогресс и как их исправить Если нашли себя в этом списке, обязательно посмотрите видео, оно будет вам полезно: https://youtu.be/56lmuMYBDyw https://vk.com/video-228219607_456239220 https://dzen.ru/video/watch/69fc4a5a66544869fb85a1ba P.S. 14 мая в 19:00 МСК пройдет бесплатный вебинар "Формула Байеса в ML" с Сергеем Жестковым. На вебинаре мы подарим скидку на курс и чек-лист с самопроверкой вашего уровня математики для ML, регистрация по ссылке: https://t.me/ml_insideBot?start=web140526 А 18 мая у нас запускается второй поток курса по Математике для машинного обучения. Посмотреть программу можно на сайте: https://mlinside.ru/math-for-ml/?utm_source=youtube&utm_medium=social&utm_campaign=video_08_05_26 Или заполните форму и менеджер свяжется с вами, ответит на все вопросы и подарит промокод на скидку: https://forms.yandex.ru/cloud/68ca97e8f47e7311c69c807f

Почему без формулы Байеса вы не понимаете, как работает ML Многие заходят в ML через код и модели, обучают, получают метрики и на этом этапе всё кажется понятным. Но, как только нужно пойти чуть глубже – улучшить модель или разобраться в ошибках, обязательено возникает вопрос: «Почему модель принимает именно такие решения?» ▪️Можно посмотреть на метрики. ▪️Можно попробовать перебрать параметры. ▪️Можно визуализировать данные. Но ответ на вышеозвученный вопрос это не даст. Наверняка вы знаете, что внутри модели скрывается вполне конкретная логика работы с вероятностями. Модель постоянно пересчитывает, насколько одно событие вероятно с учётом новых данных и делает это по строгим математическим правилам. Одно из базовых – формула Байеса. Но при этом для большинства это остаётся просто формулой из учебника, без понимания, как она реально применяется в ML. Именно поэтому мы решили взять эту тему на вебинар, который проведем 14 мая в 19:00 МСК. Спикер вебинара Сергей Жестков (10+ лет преподавания, курсы для Сбера, Тинькофф, Otus и Skillbox, дважды «Преподаватель года» МФТИ), он же преподаватель курса «Математика для ML». На вебинаре мы разберём формулу Байеса на конкретных примерах, чтобы у вас не осталось вопросов, как модель: ▪️оценивает вероятность; ▪️учитывает новые данные; ▪️и меняет своё решение. Кому будет полезен вебинар: — тем, кто хочет войти в ML, но откладывает из-за математики; — тем, кто уже пробовал обучать модели, но не до конца понимает, что происходит внутри; — тем, кто готовится к собеседованиям. 14 мая в 19:00 МСК Вебинар бесплатный, с вас только регистрация: https://t.me/ml_insideBot?start=web140526 P.S. А всем, кто придёт на вебинар, мы подарим скидку на курс и чек-лист с самопроверкой вашего уровня математики для ML

Математика по-прежнему остаётся главным стоп-фактором в ML

«Я не понимаю производные», «Матрицы – это сложно», «Вероятность – вообще мимо меня»

Это если сделать выжимку того, что нам писали в комментариях под математическими видео, говорили на кастдевах и писали менеджерам, когда мы запускали первый поток курса “Математика для ML” И наш главный вывод после первого потока:

Математику можно объяснить понятно, если давать только то, что реально нужно в ML. Без перегруза и «академической воды», а с упором на применение в реальной работе.

И сейчас мы открываем второй поток курса. Спикер прежний – Сергей Жестков (10+ лет преподавания, курсы для Сбера, Тинькофф, Otus и Skillbox, дважды «Преподаватель года» МФТИ) Что изменилось во втором потоке: Мы переработали программу на основе обратной связи с первого запуска: ▪️упростили сложные блоки; ▪️усилили практическую часть; ▪️убрали лишнее и добавили больше примеров из ML. И у нас получился не совсем “курс по математике” в классическом смысле, а скорее база, которая нужна, чтобы: ▪️понимать, как работают модели ▪️не теряться на собеседованиях ▪️спокойно идти в ML дальше (курс особенно актуален, если вы планируете идти на поток «База ML») Посмотреть программу и стоимость можно на сайте. А предзапись на второй поток уже открыта, заполните форму и менеджер свяжется с вами и расскажет детали: https://forms.yandex.ru/cloud/68ca97e8f47e7311c69c807f/

Как и обещали, публикуем объяснение верного ответа: Компьютеры хранят числа с плавающей точкой в двоичной системе (по стандарту IEEE 754), то есть 0.5 = ½, полностью представимо в двоичной системе, а 0.1 точно непредставима в двоичной системе, если немного округлить, то получится 0.100000000000000001. В первом примере получилось так что сумма дала отличное от 0.3 битовое число, во втором и третьем тоже отличные числа, но так совпало что они представлены одним и тем же битовым адресом

Всем стоят, работают Code Detectives Да, это та самая рубрика, где мы публикуем часть кода, а вам нужно сказать, что он выведет. Варианты будут в опросе ниже, а объяснение мы опубликуем позже. Не забывайте, что если рубрика вам нравится, мы будем благодарны, если поставите реакцию, а другие посты этой рубрики можно посмотреть по хэштегу: #CodeDetective_MLinside Итак, вот сама задачка: Что выведут следующие 3 примера?

x = 0.1 + 0.2 if x == 0.3: print(True) else: print(False) x = 0.5 + 0.2 if x == 0.7: print(True) else: print(False) x = 0.1 + 0.25 if x == 0.35: print(True) else: print(False)

#CodeDetective_MLinside