اکنون در دسترس! پژوهش تلگرام ۲۰۲۵ — مهمترین بینشهای سال 
DziS Science | Data Science
رفتن به کانال در Telegram
Канал о жизни через призму науки о данных Учусь сам, учу других Пишу интересные статьи о соревновательном и коммерческом DS и его приложениях к жизни. Создатель: @a_dzis
نمایش بیشتر2 194
مشترکین
اطلاعاتی وجود ندارد24 ساعت
+17 روز
-230 روز
در حال بارگیری داده...
کانالهای مشابه
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
ژوئیه '26
ژوئیه '26
+7
در 0 کانالها
ژوئن '26
+59
در 0 کانالها
Get PRO
مه '26
+39
در 1 کانالها
Get PRO
آوریل '26
+49
در 0 کانالها
Get PRO
مارس '26
+62
در 2 کانالها
Get PRO
فوریه '26
+32
در 0 کانالها
Get PRO
ژانویه '26
+80
در 2 کانالها
Get PRO
دسامبر '25
+29
در 1 کانالها
Get PRO
نوامبر '25
+32
در 2 کانالها
Get PRO
اکتبر '25
+40
در 2 کانالها
Get PRO
سپتامبر '25
+69
در 1 کانالها
Get PRO
اوت '25
+243
در 8 کانالها
Get PRO
ژوئیه '25
+49
در 0 کانالها
Get PRO
ژوئن '25
+43
در 1 کانالها
Get PRO
مه '25
+75
در 0 کانالها
Get PRO
آوریل '25
+56
در 0 کانالها
Get PRO
مارس '25
+75
در 1 کانالها
Get PRO
فوریه '25
+209
در 4 کانالها
Get PRO
ژانویه '25
+75
در 1 کانالها
Get PRO
دسامبر '24
+76
در 0 کانالها
Get PRO
نوامبر '24
+47
در 2 کانالها
Get PRO
اکتبر '24
+94
در 1 کانالها
Get PRO
سپتامبر '24
+94
در 1 کانالها
Get PRO
اوت '24
+236
در 2 کانالها
Get PRO
ژوئیه '24
+76
در 1 کانالها
Get PRO
ژوئن '24
+33
در 0 کانالها
Get PRO
مه '24
+43
در 0 کانالها
Get PRO
آوریل '24
+50
در 0 کانالها
Get PRO
مارس '24
+47
در 1 کانالها
Get PRO
فوریه '24
+43
در 3 کانالها
Get PRO
ژانویه '24
+41
در 0 کانالها
Get PRO
دسامبر '23
+53
در 2 کانالها
Get PRO
نوامبر '23
+33
در 0 کانالها
Get PRO
اکتبر '23
+69
در 0 کانالها
Get PRO
سپتامبر '23
+116
در 0 کانالها
Get PRO
اوت '23
+93
در 0 کانالها
Get PRO
ژوئیه '23
+65
در 0 کانالها
Get PRO
ژوئن '23
+58
در 0 کانالها
Get PRO
مه '23
+212
در 0 کانالها
Get PRO
آوریل '23
+94
در 0 کانالها
Get PRO
مارس '23
+31
در 0 کانالها
Get PRO
فوریه '23
+55
در 0 کانالها
Get PRO
ژانویه '23
+65
در 0 کانالها
Get PRO
دسامبر '22
+54
در 0 کانالها
Get PRO
نوامبر '22
+34
در 0 کانالها
Get PRO
اکتبر '22
+124
در 0 کانالها
Get PRO
سپتامبر '22
+18
در 0 کانالها
Get PRO
اوت '22
+248
در 0 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 05 ژوئیه | +1 | |||
| 04 ژوئیه | +1 | |||
| 03 ژوئیه | +1 | |||
| 02 ژوئیه | +1 | |||
| 01 ژوئیه | +3 |
پستهای کانال
Забыл написать, что в последнее время ловлю лютый гиперфикс на КиШ.
Честно говоря, прям серьезно никогда не слушал, наверное с репертуаром серьезно познакомился, как пришел в Альфа-Банк.
И вот уже последний месяц вообще ничего другого не слушаю (даже учитывая что все стриминги иностранные подключены). Переклинило и все.
Отдельный фаворит - Хозяин леса из-за темповости трека (что присуще панк-року), что заставляет сильнее и быстрее по клавишам тыкать, да и в целом, мотор под припев урчит сильнее, тарелочки в треке отдельный кайф.
| 2 | Привет всем!👋
Всем хорошего воскресенья!
Давно не писал про то, как дела в стане тимлидском.
На самом деле за последние полгода у меня накопилось столько историй, что я даже не знаю сколько времени чистого потребуется все рассказать. Большую часть, очевидно, транслировать публично не могу, но даже и без этого хватает контента.
Тимлид всегда между трех огней: непосредственное руководство, контрагенты, команда.
И чаще всего во всех моих историях выигрыша нет нигде, но можно не проиграть.
🔸В работе с руководством язык тимлида его враг.
Иногда лучшим решением является именно промолчать, отнестись с хладнокровием. Вставленные "5 копеек" всегда работают бинарно: либо это отличное решение, к которому прислушиваются, либо это ситуация, в которой ты сидишь и понимаешь, что лучше было не встревать.
Главное правило - оцени предварительно, влияет ли обсуждаемое на тебя. Если нет, то можно всегда попасть в минус, без, очевидно, какого-то профита для себя.
Процессы, которые тебя бесят/расстраивают/ущемляют очень сложно отменить и бойкотировать, но можно попробовать уменьшить влияние, только через конструктивное предложение по улучшению
В общем, тут буквально работает правило "Все сказанное вами будет использовано против вас в суде", поэтому не говорите то, что не мотивировано острой нуждой.
🔸Быть хорошим парнем для контрагента не всегда хорошо.
Нас учат, что с заказчик - человек, которому отказывать нельзя. Ты делаешь основной беклог + делаешь задачи по запросу. В какой-то момент задачи начинают деструктивно влиять на процессы или вообще уходят в полный Rock'n'Roll.
Например, когда заказчик просит нарушить закон о персоналке, что б ускорить аналитику, игнорируя процесс передачи данных в установленном порядке.
Или ставятся задачи, которые не имеют четкого результата, без увеличения сроков задач по затрагиваемым другим задачам (переключение ресурсов с одной задачи на другую).
Тут опять же, надо отстаивать свою позицию, что бывает, нередко трудоемко.
Если задачи аналитики влияют на беклог, надо приучать заказчика двигать сроки по основной ветке разработки. Надо научить заказчика не идти на необоснованные риски, а тем более не вляпываться в риски самому, без нужды.
Тут опять же совет дипломатичности: отказать контрагенту плохо, мотивировать сложность задачи приемлемо.
🔸Команда - это хаос. Приручи хаос.
Любая команда состоит из людей, разные люди имеют разную мотивацию к работе, различные интересы и отношение к разным задачам.
Нужно обязательно поддерживать дисциплину, настраивать оптимальные рабочие процессы, не требовать того, что кажется идиотским или бесполезным решением без нужны. Если человеку не понятно, зачем заполнять Jira или Confluence, то это твоя работа донести понятным языком.
Мотивация людей отдельная песня. Не всех мотивируют деньги, не всех мотивируют интересные задачи. Цель - понять по каждому что его мотивирует и далее руководствоваться именно этим.
Отдельно скажу, что у любого сотрудника есть вероятность дефолта (для себя я его ввел как шанс его увольнения на горизонте 1 месяца). Если появились первые звоночки о повышении дефолта - тут начинается активная работа лида, начинающаяся именно с уточнения причин (буквально факторный анализ).
Однако, тут начинается самое веселое. Наивно полагать, что человек, который не работал/работал плохо до исправления ситуации, не окажется в этом состоянии после изменений через полгода/год. Поэтому, ты всегда должен держать в уме, что человек, пришедший с контроффером придет к тебе следующий раз. У него уже паттерн выработался, пришел с оффером, получил повышение, преференции. Взвешиваем необходимости и возможности содержания человека вопрос о продолжении отношений всегда решается. Если в формуле знак равно не ставится, нужно прощаться.
Особенно в этом вопросе смотреть на парад лицемерия, где человек пребывает во временной эйфории, а ты уже понимаешь, что тебя ждет через полгода. Если для кого-то это новость, то добро пожаловать в новый мир!
Самое страшное в этот период - влияние "дефолтника" на команду. У тебя есть один дефолтник, который делает среду токсичной: начинает говорить, что где-то трава зеленее, где-то платят больше, задачи интереснее и тд. Моральный дух команды падает, так как очевидно, что никто не будет работать над скучными по его мнению задачами за бесплатно. Рынок щупать надо, для понимания что сейчас актуально, чем занимаются и какие расценки. Но использовать это как инструмент отравления команды и манипуляции - плохо. Вопросы правильнее решать в таком случае напрямую с руководством, без публичных выступлений.
Куча выступлений и высказываний умных мужей про это, что даже если токсичный "дефолтник" перформит, с ним надо прощаться, так как это бомба замедленного действия. Как написано выше, команда это хаос и все будет ок, пока процесс контролируемый.
Думаю как-то так. Более конкретные примеры и кулстори, к сожалению, в канале писать не буду, не буду у "Дата канальи" хлеб отнимать.
#трудовые_будни #карьера | 219 |
| 3 | Привет всем!👋
Давно не писал про то, как дела в стане тимлидском.
На самом деле за последние полгода у меня накопилось столько историй, что я даже не знаю сколько времени чистого потребуется все рассказать. Большую часть, очевидно, транслировать публично не могу, но даже и без этого хватает контента.
Тимлид всегда между трех огней: непосредственное руководство, контрагенты, команда.
И чаще всего во всех моих историях выигрыша нет нигде, но можно не проиграть.
🔸В работе с руководством язык тимлида его враг.Иногда лучшим решением является именно промолчать, отнестись с хладнокровием. Вставленные 5 копеек всегда работают бинарно: либо это отличное решение, к которому прислушиваются, либо это ситуация, в которой ты сидишь и понимаешь, что лучше было не встревать. Главное правило - оцени предварительно, влияет ли обсуждаемое на тебя. Если нет, то можно всегда попасть в минус, без, очевидно, какого-то профита для себя. | 1 |
| 4 | Машинное обучение в цифровом продукте — магистратура Авито и ФКН ВШЭ
На ней вы получите углублённые знания по машинному обучению и научитесь применять их для решения реальных бизнес-задач.
Получите шанс занять одно из 30 бесплатных мест и построить уникальный образовательный трек: актуальные дисциплины по выбору и возможность пройти оплачиваемую стажировку в Авито уже во время учёбы!
В программе:
— машинное обучение, NLP, MLOps и рекомендательные системы;
— большие языковые модели и современные ML-подходы;
— работа с кейсами и данными Авито;
— дисциплины по выбору для собственной образовательной траектории;
— преподаватели из ФКН ВШЭ и эксперты Data Science-команд Авито.
Успейте подать документы — приём заканчивается 8 августа. | 292 |
| 5 | Привет всем! 👋
Я к вам с новым анонсом мероприятия.
📌19 сентября 📱 проводит Practical ML Conf 2026.
Мне ранее на почту прилетела ранняя регистрация и свой очный билет я уже получил. Регистрируетесь, точно не пожалеете.
📍Где: Москва, ул. Волочаевская 48, строение 1.
👨💻Формат: Онлайн👨💻/Офлайн🕺
✍️Регистрация: по ссылке
#мероприятия | 401 |
| 6 |  Привет всем!👋
Админ не выходит на связь, потому что словил лютый гиперфокус на Kaggle 💻
Честно, ожидаю взять не качеством но количеством, к сожалению на дорогу к золоту в моменте не готов.
- Где участвую?
🔸Залетел в последний вагон Orbit Wars.
Цель простая - сделать агента для игры. Докрутил паблик кернел на агрессивный тип игры. За победу дают + рейтинг, за проигрыш отнимают. Плохая новость - я не в бронзе, но хорошая еще 10 дней игр + агент изо дня в день идет в плюс. Лучший скор 1003, до бронзы сейчас менее 90 очков (за каждую победу дают +3-5 баллов).
🔸Писал про ROGII - Wellbore Geology Prediction и не смог удержаться.
Честно говоря, задача простая, но решения, которые уже есть на LB - страшные. Огромные каскады из стакингов всего и вся, типичное соревнование по классике. Попробовал уже в генерацию физических признаков, о чем кстати очень просили организаторы, ничего пока не дает (в терминах LB). Кажется, что самое сложное с точки зрения удержания места соревнование. Плюс public/private поделены в 26/74, поэтому еще смачно полетать успеем.
🔸Безопасность превыше всего AI Agent Security - Multi-Step Tool Attacks
Цель классическая для таких соревнований. LLMка хочет, что б я ломал ее полностью, что б ее проверили на безопасность, проведя атаку. Я обожаю CTF, взломы и все такое, поэтому не мог пройти мимо. Стойкое ощущение, что из-за моей одержимости испортить жизнь агентам/LLM при сценарии скайнета я буду целью если не нулевой, то первой на устранение😺.
Где вы участвуете? Присылайте скрины с LB, медали свежеполученные, обсудим и порадуемся с вами.
Агентик может до бронзы долететь, плюс, потенциально верю в силу атаки на агента.
Где участвуете? Кидайте скрины лидерборда, ниже ожидаю лютый флекс.
#life #соревнования | 473 |
| 7 | Привет всем!👋
🚨Новое соревнование на Kaggle!🚨
На платформе стартовало соревнование ROGII - Wellbore Geology Prediction.
Оно было пропущено мной аж с 5 мая.🐱
Для меня это упущение - личная боль: я умудрился пропустить старт соревнования, которое максимально близко лежит к моему профессиональному треку на стыке сложной доменной логики нефтедобычи и классических подходов ML моделирования. Но время у вас все еще есть.
🏆 В чем задача?
Задача довольно простая: есть данные телеметрии и радиоанализ породы, информация о фактической скважине. Цель предсказать настоящую вертикальную глубину (True Vertical Depth) пласта.
🗂 Что по данным?
Вам дают пространственную траекторию скважины (X, Y, Z), одномерный временной ряд гамма-каротажа (радиоактивность пород) и эталонный вертикальный разрез региона (Typewell).
Много страшных названий, но они отлично известны тем, кто изучает нефтедобычу, поэтому, если вы учитесь по специальности нефтедобычи и хотели попробовать себя в смежной области - лучше соревнования вы не найдете!
💰 Призовые
👀Общий призовой фонд - $50,000.
Распределение следующее:
🥇 - $25,000
🥈 - $13,000
🥉 - $7,000
4 место - $5,000
🐱Специальная награда - Working Note Award ($2,500 за лучшие места) для тех, кто напишет самую крутую и физически обоснованную техническую документацию к решению (или хотя бы своей попытке).
🎯 Что по метрике?
Метрика соревнования проще некуда - классическое RMSE.
📆 Сроки:
🔸Начало: 5 мая
🔸Конец: 6 августа
🔸Конец регистрации и объединения команд: 30 июля
💻Авторские заметки:
Подразумевается, что решение должно быть физически осмысленным и желательно интерпретируемым, а не просто быть слепым блендингом из 100 моделей! А вообще чем больше гипотез именно из доменной области - тем лучше. Тестируйте различные подходы на грани ML и мат.моделирования процесса.
#соревнования | 676 |
| 8 |  Господа, вы FROM забыли!
#fun | 840 |
| 9 | Привет всем!👋
Сегодня хотел бы поговорить про оркестрацию ML пайплайнов.
Давайте представим картину:
Вы обучили шикарную модель, настроили парсеры и расчеты данных, но тут встает вопрос: как это все запускать, контролировать и не сойти с ума, когда терабайты данных для моделей застрянут на полпути? Тут на сцену выходят два главных дирижера - Apache Airflow и Prefect. Оба автоматизируют ваши процессы, но делают это совершенно по-разному.
Немного истории...
Airflow - это классика регулярного расчета, рожденная в недрах Airbnb еще в 2014 году. Его создавали в эпоху, когда данные были большими, но предсказуемыми. Главное преимущество подхода Airflow - это тотальный контроль и централизация.
Для работы Airflow требуется заранее описать ориентированный ациклический граф выполняемых задач, так называемый Directed Acyclic Graph.
Это дает невероятную надежность для огромных enterprise-систем: если у вас стабильные ETL-процессы, которые не меняются месяцами, Airflow гарантирует, что все пройдет строго по рельсам.
Но за эту монументальность приходится платить: Airflow «тяжеловесен», требует поднятия сложной инфраструктуры вроде планировщика и веб-сервера даже для простых тестов, а передача данных между шагами превращается в пытку, если речь идет о тяжелых датасетах для машинного обучения.
- А что если хочется немного гибкости?
Из-за этих ограничений в 2018 году и появился Prefect. Его основал Иеремия Лоуин, который сам долгое время был ключевым контрибьютором и членом управляющего комитета Apache Airflow. Он изнутри видел все архитектурные тупики старого подхода и понял, что для эпохи Data Science нужен принципиально иной инструмент.
Главная фишка подхода Prefect - «отрицательное проектирование» (negative engineering).
В подходе Prefect заложена следующая парадигма: ваш код и так работает, зачем заставлять вас переписывать его под жесткие рамки фреймворка? В Prefect вы просто берете свой привычный Python-скрипт, вешаете пару декораторов вроде @task и @flow, и инструмент сам берет на себя оркестрацию, обработку ошибок и логирование.
- Где этот подход лучше?
Prefect стоит выбрать, если ваша главная ценность - гибкость пайплайна. Он идеален для современных ML-пайплайнов, работы с LLM, генеративным ИИ и частых переобучений моделей, где логика зависит от входящих данных. Вам не нужно разворачивать монструозные сервера, чтобы просто проверить гипотезу - Prefect можно запустить прямо локально или использовать их гибридное облако, которое берет на себя менеджмент, пока сам код выполняется на ваших мощностях.
Итого:
В итоге мы имеем битву философий: Airflow хорош своей железобетонной, проверенной годами предсказуемостью для классической инженерии данных, а Prefect предлагает полную свободу, динамику и чистый Python-код для тех, кто строит гибкие системы искусственного интеллекта и не хочет тратить половину жизни на написание оберток вокруг инфраструктуры.
Используете ли вы где-то Prefect? Делитесь в комментариях👇
По традиции ставим 🔥, если понравилось!
#ds_лайфхаки | 793 |
| 10 | Привет всем!👋
Всех с первым днем весны!
Пробуем себя на абсолютно новой аудитории - студенты горного института.
Буду рассказывать про использование ML в современной добыче горных ископаемых.
Важный дисклеймер: вебинар будет направлен на вводную часть и больше заточен для начинающих.
Выступление будет завтра 02.06 в 14-00 по МСК.
Кому интересно, подключайтесь!
Подробнее на странице ВУЗа
#выступления | 741 |
| 11 | Обязательно зайдите на сайт, там сочная демка! | 741 |
| 12 | Привет всем любителям CV!👋
Недавно мои знакомые выложили в opensource интересную модель.
Итак к новости:
Команда Avaturn.live выложила в опенсорс AVTR-1 - авторегрессионный flow-matching трансформер, который рендерит видео с виртуальным аватаром в реальном времени. Модель обучена с нуля и заточена под интерактивные диалоги.
💻На вход подаётся фото человека и два аудио-потока: речь самого аватара и речь собеседника.
🐱На выходе видео 25 fps, в котором аватар реалистично говорит и слушает: кивает, держит зрительный контакт, реагирует мимикой.
В этом главное отличие от других открытых моделей. Большинство аналогов работают только в липсинк режиме, либо используют закольцованную idle-анимацию, когда аватар слушает. AVTR-1 натренирован на оба режима как на одну задачу.
В релиз входят:
🔸веса модели
🔸 инференс-стек, оптимизированный под TensorRT
🔸бэкенд для запуска живой диалоговой сессии end-to-end
Насколько известно авторам, это первый публичный опенсорс-релиз, где в комплекте идёт не только модель, но и серверный стек для интерактивной сессии. Академические открытые работы выкладывают только исследовательский кода без production-инфраструктуры.
Производительность:
🔸RTX 3070 / 4060 Ti — реал-тайм
🔸A100 / L40 — более чем 2× быстрее реал-тайма
То есть большинству AI-энтузиастов хватит обычной игровой карты, чтобы поговорить с аватаром, а не просто посмотреть демо.
По бенчмаркам AVTR-1 обходит открытые аналоги.
Ссылки ниже⬇️
💻 https://github.com/avaturn-live/avtr-1
🌐 https://avaturn.live
🤗 https://huggingface.co/avaturn-live/avtr-1
#ds_лайфхаки | 745 |
| 13 | Привет всем! 👋
Возвращаюсь с отчетом по AHA26, которая прошла в пятницу в кластере «Ломоносов»!
Прикольная конференция, большое количество докладов, достаточно интересных. Доклады были разнообразные: технические, теоретические и бизнесовые, так что каждый мог найти себе по душе.
Были стенды от компаний партнеров и был конкурс, выигрышем в котором были билеты на конференцию матемаркетинг (последнее фото). Нужно было 8 мешками попасть в «лунку» как можно больше раз. 10 человек получают билеты. На удивление, почти ювелирно положил 3/8, по статистике на тот момент никого с результатом больше 2х не было, после уже не интересовался.
Лично мне зашел очень сильно доклад Яна Пиле про кластерный подход к А/Б тестированию. Возможно потому, что это очень было похоже на то, чем занимался в Х5.
Кстати, про Х5: на конференции выступал мой коллега по команде, Алан Караев, с которым не пересекался лично со времен перехода.
К сожалению, ввиду рабочего графика посетить выступление не успел, но умудрился пообщаться лично про «что было дальше».
В общем конференция была насыщенная, рад что получилось посетить ее, хоть и не в полном объеме.
Ну с другой стороны, чего жаловаться, с рабочим графиком тимлида в пятницу. Вообще повезло, что было хоть пару часов удалось посетить.
В общем, конференцией остался доволен!
#мероприятия | 723 |
| 14 |  +9Привет всем!👋
Вернулся в рабочий режим из отпуска, вот небольшой фотоотчет.
Был в Дагестане🏔, восхитительная природа и вкусная еда🍔.
На этой неделе, в пятницу, пойду на конференцию AHA'26. Кто будет офлайн, пишите, пообщаемся.
#офтоп | 764 |
| 15 | Yandex ML Challenge — новое соревнование с задачами по ИИ и финалом на Young Con 2026
Кого ждем:
Студентов, выпускников и учеников 11-х классов — тех, кто любит решать соревнования по машинному обучению
Что нужно знать:
На длинном онлайн-туре вас ждут 3 задачи: CV (компьютерное зрение), LLM (большие языковые модели) и RL (обучение с подкреплением).
Регистрируйтесь сейчас и приступайте к задачам 21 мая в 16:00 мск
Таймлайн:
С 21 по 31 мая — длинный онлайн-тур, где определим топ-100 финалистов с самым высоким суммарным рейтингом
25 июня состоится очный финал на Young Con 2026: масштабном фестивале о технологиях и старте карьеры в IT
Победителю соревнования достанется приз в размере 1 млн рублей.
А топ-15 финалистов получат набор умных устройств от Яндекса.
Регистрация открыта | 726 |
| 16 | Привет всем! 👋
Сегодня поговорим про базовые вопросы по SQL. 🐬
Задача довольно распространенная: отдать заказчику выборку, в которой значения модели до исправления чего-то и после различаются. 🛠️
То есть у нас нужно отфильтровать запрос по двум колонкам predict_new и predict_old, которые не равны между собой.
По сути, можно сделать:
SELECT * FROM table WHERE predict_old <> predict_new
Но вот незадача! 🚧 Это работает только для неNULL-овых значений.
Если в вашем сравнении есть пропуски, то автоматически все ломается. 💥
Давайте разберемся почему? 🤔
В SQL NULL не равен ничему, даже другому NULL. Если вы попытаетесь сравнить что-то с NULL через обычные операторы, результат всегда будет UNKNOWN (что в фильтрах WHERE ведет себя как FALSE).
Для решения нужно писать громоздкие условия вроде:
WHERE predict_old <> predict_new OR (predict_old IS NULL AND predict_new IS NOT NULL) OR (predict_old IS NOT NULL AND predict_old IS NULL)
Выглядит страшно, правда? 😱
Тут на помощь приходит конструкция IS DISTINCT FROM.
В SQL оператор IS DISTINCT FROM — это, по сути, «безопасная для NULL» версия оператора «не равно» (!= или <>).
Его главная задача — корректно обрабатывать значения NULL, которые в стандартной трехзначной логике SQL (True, False, Unknown) часто ведут себя контринтуитивно.
Таким образом страшное условие выше для обработки пропусков имеет следующий вид:
SELECT * FROM table WHERE predict_old IS DISTINCT FROM predict_new
Согласитесь, код стал более элегантным?! ✨
По традиции, 🔥, если понравилось!
#ds_лайфхаки | 682 |
| 17 |  В какое классное время мы живем!
Заставил агентов между собой общаться, сам пошел трогать траву.
Кстати, я близок к внедрению первых агентов в рисках. С таким может и выступить не грех где-нибудь. Помешал мне это сделать гадкий отпуск.
#fun | 528 |
| 18 |  +2Привет всем!👋
Всех с 1 мая!
Надеюсь, вы уже в предвкушении теплых деньков, готовитесь во всю отдохнуть на этих коротких неделях.
Не так давно, я писал, что мы выиграли Data Galaxy, а вчера мы успешно обналичили командой приз.
Приз был потрачен на совместный поход в керлинг🥌.
Скажу так, кёрлинг мной был явно недооценен. Когда смотришь его по телевизору, выглядит немного нелепо и достаточно легко.
На самом деле, тереть шершавый лед это очень сложно, учитывая что надо прикладывать максимальную силу (т.е давить всем весом), что б растопить лед.
Бросать камень очень сложно: чуть-чуть слабее и ты недокинул, твоя команды ненавидит тебя за интенсивное натирание льда, которое должно было помочь камню добраться до зоны. Дал чуть-чуть больше импульса и команда сопровождает камень глазами до аута.
По ощущениям, день после сопоставим с восстановлением после очень плотного силового хоккейного матча.
#офтоп | 713 |
| 19 |  Привет всем!👋
Как и обещал ранее, сегодня расскажу про интересную штуку, о которой, вы вероятно не знали.
Как известно, основным способом улучшения нейронных сетей является два основных метода: дообучение уже существующей модели (обучение архитектуры с инициированными ненулевыми весами, полученными ранее) или Transfer Learning (ярким примером является дообучение BERT'ов, где мы обучаем поверх уже существующего эмбеддера полносвязный слой 'голову' на нужный нам таргет). И в целом, я тут вам Америку не открыл.
-Но знали ли вы, что аналогичные финты ушами можно проводить с моделями градиентного бустинга?
Если нет, то давайте расскажу.
Прежде всего я хотел бы ответить на вопрос "а зачем такое надо? ". Нередко, особенно в рисках, например в моделях скоринга, модели имеют схожий домен и таргет, но при этом обучаются и значит используются на разных бизнес сегментах. Если в более крупном сегменте по выручке мы имеем недостаток данных или целевых наблюдений (мало компаний, низкий Default Rate), то тогда мы можем взять наработки более мелкого сегмента и переиспользовать на более крупный, путем дообучения.
Глобально, метода дообучения два: у вас имеется базовая модель и имеется базовый скор. Оба имеют свои плюсы и свои минусы. Давайте поподробнее поговорим о них.
🔸🔠🔠🔠🔠🔠🔠🔠 🔠🔠🔠🔠🔠🔠
Это сценарий, когда ранее была использована модель градиентного бустинга и теперь мы можем дообучить ее, технически добавляя деревьев в уже существующий бустинг.
🔠🔠🔠🔠🔠⬇️
➕Простота вывода. Результат - единая модель бустинга, не требующая дополнительных вызовов базовой модели.
➕Экономия вычислительной мощности. Ваша базовая модель уже с какой-то точностью умеет предсказывать целевую метку, вам не нужно строить модель с нуля.
🔠🔠🔠🔠🔠🔠⬇️
〰️ Ограничение выбираемой реализации. Дообучая XGBoost, вы получите бустинг, написанный на XGBoost. Другого не дано.
〰️Ограничение базовых параметров. Большинство параметров дерева в бустинге, наследуются от базовой модели.
Интересный факт: В Catboost можно изменять learning_rate, но при этом большинство параметров, включая способ кодирования категориальных признаков, наследуется от базовой модели.
🔠🔠🔠🔠🔠🔠🔠⬇️
🔸XGBoost:
xgb.train(data=data, xgb_model=old_model)
🔸LightGBM:
lgb.train(train_set=train_new, init_model=old_model)
🔸Catboost:
model.fit(X_new, y_new, init_model=old_model)
🔸🔠🔠🔠🔠🔠🔠🔠 🔠🔠🔠🔠
Это сценарий, когда вместо базовой модели мы получаем на вход предсказания уже готовой модели и строим уже на них модель бустинга, уточняющую предсказание старой модели.
Важно: Предсказания в случае бинарной классификации должны подаваться не в формате предсказаний вероятности, а именно логитов, т.е предсказания до сигмоидального преобразования!
🔠🔠🔠🔠🔠⬇️
➕Свобода выбора базовой модели. В данной конфигурации мы воспринимаем базовую модель в формате black box, то есть нам не важна ее архитектура.
🔠🔠🔠🔠🔠🔠⬇️
〰️ Сложность вывода. Базовый скор необходимо откалибровать на выборке дообучения, т.е построить простейшую линейную модель. Также нам необходимо в продовом инференсе использование инференса базовой модели, то нам необходимо реализовать где-то рядом с дообученной моделью вызов базовой модели.
〰️Итоговая модель - не финальная. Основной сложностью данного подхода является то, что дообученная модель дает лишь смещение и для получения итоговой вероятности модели нам нужно смешать скоры базовой и дообученной модели и после этого прогнать через сигмоидальное преобразование.
🔠🔠🔠🔠🔠🔠🔠⬇️
🔸XGBoost:
xgb.train(data=data, base_margin=init_logits)
🔸LightGBM:
lgb.train(train_set=train_new, init_score=init_score)
🔸Catboost:
model.fit(X_new, y_new, baseline=init_logits)
На этом все, подробнее познакомится с данными техниками призываю самостоятельно, ставь 🔥, если понравилось!
#ds_лайфхаки | 0 |
| 20 | Привет всем!👋
Сегодня я к вам с анонсом мероприятия.
В конце мая в Москве в седьмой раз пройдет АНА — конференция направленная на тех, кто работает с AI, ML-инженеров, а также продуктовых и data-команд.
-Что в программе?
▪️Программа АНА’26 охватывает полный цикл data- и AI-разработки: от MLOps до внедрения LLM в продуктовые сценарии. Отдельные треки посвящены AI-агентам и развитию архитектуры.
- А конкретнее?
🔸R&D и экономика масштабирования продуктов
🔸Методы системного снижения стоимости проверки гипотез
🔸Управление ассортиментом и спросом в retail и e-commerce
🔸Архитектура прикладного AI и ML&AI-инженерия
🔸Разработка AI-first продуктов и open source AI-агенты для бизнеса
🔸Data platform и инженерия доверия к данным
Среди спикеров представители Lenta Tech, ВкусВилл, Яндекс, Авиасейлс, Сбер, Т‑Банк, X5 Tech, Циан, METRO, Kolesa Group, VK Tech, АвитоТех, Magnit Tech, Лемана ПРО, Faust Consulting, Wildberries, Plevako.ai, MTS Web Services и других компаний.
Участников ждут практические кейсы, обмен опытом, обсуждение рабочих инструментов и нетворкинг с экспертами индустрии, которые уже внедряют AI в продукты и процессы.
Программа доступна по ссылке.
📍Локация: Москва, кластер Ломоносов
📆 Время: 14 мая (онлайн) и 22 мая (офлайн)
👉 Информация и регистрация по ссылке
👨🏫 Формат и стоимость 💰:
🔸Офлайн🕺 39 900 ₽ (включает участие 22 мая, доступ к онлайн-дню 14 мая и записи на 6 месяцев)
🔸Онлайн👨🏫 19 900 ₽ (доступ к трансляциям 14 и 22 мая и материалам конференции на 6 месяцев)
P.S. Подразумевается, что прямо сегодня вы пойдете заполнять заявку на оплату конференции из бюджета на образование, если такой имеется в вашей компании.
Советую идти всей компанией, так как для команд действуют корпоративные скидки от 5% до 10% при покупке от 3 билетов, а также доступен корпоративный онлайн-доступ.
#мероприятия | 0 |
