Reliable ML
前往频道在 Telegram
Reliable ML - фреймворк о том, как управлять внедрением и развитием аналитики и data science/machine learning/AI, чтобы результат был применим в бизнес-процессах и приносил компании финансовую пользу. Admin: @irina_goloshchapova @promsoft
显示更多6 615
订阅者
无数据24 小时
+87 天
+930 天
数据加载中...
![DataGym Channel [Power of data]](https://cdn.tlmtr.io/_next/image?url=https%3A%2F%2Fimg.tlmtr.io%2Fc%2F1rm2cg%2F9072719437081047%3Fty%3Dx&w=96&q=75){kind=small}
![Big Data Science [RU]](https://cdn.tlmtr.io/_next/image?url=https%3A%2F%2Fimg.tlmtr.io%2Fc%2F1jKg5a%2F5244862153633149770%3Fty%3Dx&w=96&q=75){kind=small}
吸引订阅者
八月 '26
八月 '26
+48
在0个频道中
七月 '26
+61
在0个频道中
Get PRO
六月 '26
+34
在0个频道中
Get PRO
五月 '26
+111
在1个频道中
Get PRO
四月 '26
+81
在0个频道中
Get PRO
三月 '26
+41
在0个频道中
Get PRO
二月 '26
+49
在0个频道中
Get PRO
一月 '26
+59
在2个频道中
Get PRO
十二月 '25
+38
在0个频道中
Get PRO
十一月 '25
+77
在1个频道中
Get PRO
十月 '25
+70
在1个频道中
Get PRO
九月 '25
+146
在1个频道中
Get PRO
八月 '25
+76
在1个频道中
Get PRO
七月 '25
+54
在0个频道中
Get PRO
六月 '25
+58
在0个频道中
Get PRO
五月 '25
+98
在2个频道中
Get PRO
四月 '25
+63
在0个频道中
Get PRO
三月 '25
+79
在0个频道中
Get PRO
二月 '25
+106
在1个频道中
Get PRO
一月 '25
+124
在2个频道中
Get PRO
十二月 '24
+57
在1个频道中
Get PRO
十一月 '24
+52
在4个频道中
Get PRO
十月 '24
+63
在0个频道中
Get PRO
九月 '24
+77
在1个频道中
Get PRO
八月 '24
+158
在3个频道中
Get PRO
七月 '24
+125
在2个频道中
Get PRO
六月 '24
+71
在0个频道中
Get PRO
五月 '24
+69
在2个频道中
Get PRO
四月 '24
+164
在5个频道中
Get PRO
三月 '24
+82
在1个频道中
Get PRO
二月 '24
+192
在4个频道中
Get PRO
一月 '24
+87
在2个频道中
Get PRO
十二月 '23
+109
在3个频道中
Get PRO
十一月 '23
+114
在0个频道中
Get PRO
十月 '23
+155
在0个频道中
Get PRO
九月 '23
+241
在0个频道中
Get PRO
八月 '23
+472
在0个频道中
Get PRO
七月 '23
+291
在0个频道中
Get PRO
六月 '23
+188
在0个频道中
Get PRO
五月 '23
+812
在0个频道中
Get PRO
四月 '23
+371
在0个频道中
Get PRO
三月 '23
+214
在0个频道中
Get PRO
二月 '23
+168
在0个频道中
Get PRO
一月 '23
+425
在0个频道中
Get PRO
十二月 '22
+336
在0个频道中
Get PRO
十一月 '22
+116
在0个频道中
Get PRO
十月 '22
+142
在0个频道中
Get PRO
九月 '22
+175
在0个频道中
Get PRO
八月 '22
+575
在0个频道中
Get PRO
七月 '22
+161
在0个频道中
Get PRO
六月 '22
+197
在0个频道中
Get PRO
五月 '22
+297
在0个频道中
Get PRO
四月 '22
+243
在0个频道中
Get PRO
三月 '22
+73
在0个频道中
Get PRO
二月 '22
+45
在0个频道中
Get PRO
一月 '22
+273
在0个频道中
Get PRO
十二月 '21
+405
在0个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 27 八月 | +3 | |||
| 26 八月 | +1 | |||
| 25 八月 | +2 | |||
| 24 八月 | +4 | |||
| 23 八月 | +4 | |||
| 22 八月 | +1 | |||
| 21 八月 | +3 | |||
| 20 八月 | +2 | |||
| 19 八月 | +2 | |||
| 18 八月 | +1 | |||
| 17 八月 | +2 | |||
| 16 八月 | +3 | |||
| 15 八月 | 0 | |||
| 14 八月 | 0 | |||
| 13 八月 | +2 | |||
| 12 八月 | +3 | |||
| 11 八月 | 0 | |||
| 10 八月 | +1 | |||
| 09 八月 | +1 | |||
| 08 八月 | +2 | |||
| 07 八月 | +1 | |||
| 06 八月 | +2 | |||
| 05 八月 | +2 | |||
| 04 八月 | +1 | |||
| 03 八月 | +1 | |||
| 02 八月 | +2 | |||
| 01 八月 | +2 |
频道帖子
Не в тему - но про ИИ
Тут пришли ребята (на самом деле девчата, @Antonina_Zhiteneva) - они делают исследование про ИИ и общество. Исследование бесплатное, мы с ним не связаны никак. Но тема интересная, почему не поддержать коллег.
Вот что пишет Антонина:
Мы проводим международное исследование о том, как люди воспринимают аргументы, созданные ИИ, в обсуждении общественно значимых вопросов (IRB #19354).
Если вам интересно взаимодействие человека с ИИ, буду очень благодарна за участие.
🧠 Что нужно сделать?
— пообщаться с чат-ботом и ответить на несколько вопросов (~10 минут).
🔗 Ссылка: https://princetonsurvey.az1.qualtrics.com/jfe/form/SV_bmHuUsXoCpi4s3s?Q_Language=RU
Спасибо всем, кто сможет помочь!
#поможем_исследователю_добрым_словом
| 2 | LLM Evaluation как задача Causal Inference #1
Первая заметка серии, посвященной современным методам оценки качества систем искусственного интеллекта.
Когда мы создаем сложные системы на основе LLM, нам приходится принимать много решений - о данных, способах дообучения моделей, архитектурах, контексте, инструментах и проч. Измеряем качество работы нашего пайплайна и улучшаем его.
В статье Causal Methods for LLM Development and Evaluation предлагается использовать Causal Inference для оценки влияния наших решений на качество системы.
Утверждения вроде "семантический чанкинг улучшает качество ответов RAG" - причинно-следственные. Т.е. мы утверждаем, что:
1) есть улучшение качества RAG
2) причина этого улучшения - смена схемы разбиения на чанки
3) имеющиеся данные позволяют подтвердить существование влияния и оценить его величину.
Например, разработчики часто оценивают систему на основании логов (истории запросов). Но логи в общем случае не являются результатом рандомизированного эксперимента, а зависят от конфигурации системы, обратной связи от людей и ИИ, политик развертывания и т.д., и подвержены выборочному смещению, дрейфу распределений и шуму в метках.
Во время разработки составные части системы (модели, пользователи и выполняемые задачи) подстраиваются друг под друга (коадаптируются). Это увеличивает разрыв между прошлыми наблюдениями и тем, что мы увидим в проде. Непонятно, что повлияло на метрики - наши доработки, конфаундеры или просто шум оценки.
Например, если система маршрутизации запросов отправляет более сложные вопросы дорогой модели, а простые - дешевой модели, наивный анализ логов может привести нас к выводу, что дорогая модель работает хуже, потому что в ее ответах больше ошибок. В causal Inference подходе мы учтем сложность запроса как конфаундер и уберем смещение матчингом или взвешиванием.
Causal Inference предоставляет матаппарат и фреймворк для оценки эффекта, позволяет адресно работать с источниками дисперсии в оценке, позволяет более эффективно использовать имеющиеся данные, обеспечивает устойчивость и статистическую достоверность результата.
Два ключевых момента в причинно-следственном анализе: идентифицируемость identifiability и оцениваемость estimability, проще говоря - позволяют ли наши данные и наши предположения о процессе генерации выявить и надежно оценить причинно-следственную связь.
В статье разбираются типичные компоненты LLM-пайплайнов - претрейн, алайнмент, роутинг, RAG, мультиагентные системы и так далее. Приведены примеры подходов, которые могут сработать, и направления для дальнейших исследований.
Фундаментальная проблема причинно-следственного вывода - невозможность наблюдать две версии системы одновременно (с воздействием и без него). LLM пайплайн - редкий случай, когда это почти возможно: один и тот же запрос прогоняется через две версии системы. Проблема не исчезает полностью (недетерминизм генерации, поведение пользователей), но возможность параллельного прогона пайплайна здорово упрощает офлайн-оценку. Строго и методично применяя доступные нам техники Causal Inference, можно построить эффективную и практичную систему оценки.
Этим мы и займемся в следующих постах серии.
Ваш @Reliable ML
#reliable_ml #causal_inference #llm_evaluation | 2 726 |
| 3 | Ура, доклады с Датафеста!
Секция ReliableML Датафеста доступна на сайте ods.ai https://ods.ai/tracks/df26-reliable-ml
Секция DataStrategy с докладом Ирины тоже доступна https://ods.ai/tracks/df26-data-strategy
Ваш @Reliable ML
#reliable_ml #datafest #дождались | 2 515 |
| 4 | Каникулы Бонифация
Или ML System Design - наше все
В этом году устроила для себя необычный отпуск - поехала с маленькой дочкой в ее первый математический лагерь: напитаться детским счастьем, поддержать интерес к математике, а еще пооткисать за любимыми делами, и пет-проектами пока детей занимают)
Оказалось, что в матлагеря детей везут очень интересные родители. Довольно быстро мы перезнакомились и я обнаружила себя в центре обсуждения задачки по ML в нефтепереработке, в которой «математики, клод, чатгпт и эксперты бьются над решением уже больше 6 месяцев».
Предложила поговорить детальнее и проверить дизайн системы.
За 15 минут беседы мы выяснили 2 вещи:
• Задача на ML была поставлена неверно. Так, что ее и не имеет смысла решать ни Клодом, ни математиками: ни 6 месяцев, ни год. Пользы для процесса и бизнеса решение не принесет.
• В решении задачи не используется 80% данных, которые есть и которые могли бы очень помочь при правильной постановке задачи.
Еще за 10 минут мы разобрались, как именно можно поставить первую задачу на ML (классификацию) и какие данные стоит взять. При такой постановке любой DS справится за несколько дней. Обсудили, какие полезные решения для бизнеса можно будет принять на основе результатов.
Еще за 5 минут накидали, как можно далее усложнять решение, когда первая итерация уже будет внедрена.
Мама, отвечающая за внедрение проекта, ушла с листочком A4 и со схемами, менять ход проекта.
К чему я это все?
Качайте ML System Design и учитесь выходить за рамки задачи. Ключевое - решать проблему бизнеса, а не пытаться сделать быстро и круто задачу в том виде, как ее вам кто-то принес.
Ну а мы с Димой готовим для вас большие обновления в части ML/AI System Design.
Stay tuned!
Ваш @Reliable ML
#reliable_ml #ml_system_design #мысли_вслух | 2 602 |
| 5 | Онлайн Data Strategy от Reliable ML - уже начали!
Data Fest 2026, Online, в 11:00
Стартовали онлайн Data Strategy! Нас ждет 2 доклада!
11:00-11:30 - Александр Кулиев - Data-Driven трансформация в ритейле: выученные уроки на пути от хаоса к культуре
11:30-12:00 - Мария Зырянова - Как внедрять AI в продукты, если они разные?
Ссылка для подключения тык.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 1 950 |
| 6 | Онлайн Data Strategy от Reliable ML - скоро начинаем!
Data Fest 2026, Online, в 11:00
Через 15 минут стартуем онлайн Data Strategy! Нас ждет 2 доклада!
11:00-11:30 - Александр Кулиев - Data-Driven трансформация в ритейле: выученные уроки на пути от хаоса к культуре
11:30-12:00 - Мария Зырянова - Как внедрять AI в продукты, если они разные?
Ссылка для подключения тык.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 1 |
| 7 | Practical ML Conf - заканчивается подача докладов
Дружественный Петр Ермаков пишет:
Друзья, привет!) осталось менее 3х суток для подачи докладов на Practical ML Conf,
и форма подачи продлеваться не будет. Закидывайте ваши заявки)
Кисель налью каждому выступающему! | 2 144 |
| 8 |  Секция Data Strategy от Reliable ML
Data Fest 2026, Online, Анонс
В это воскресенье проведем онлайн-день секции Data Strategy. К нам придут 2 очень интересных спикера. Фокус - опыт разработки и внедрения стратегии по данным и AI, эффективный и системный подход к масштабированию AI в организациях.
Всех ждем! Только надо зарегистрироваться.
Онлайн-день будет на платформе DION. Инструкции и ссылки по подключению появятся в ближайшие дни.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 3 166 |
| 9 | Видео с датафеста в гостях у ВТБ - доклад Дмитрия Колодезева (и другие доклады https://vkvideo.ru/video-164555658_456242002?t=1h23m29s
Датафест в гостях у ВТБ
#reliable_ml #data_fest #career | 2 280 |
| 10 | Data Strategy в эпоху AI
Доклад на Data Fest 2026 в секции Data Strategy
И снова привет с дата феста! Выкладываем слайды доклада Иры с секции Data Strategy.
После доклада и потом в кулуарах успели обсудить много вопросов, но, кажется, что остались еще. Буду рада продолжить обсуждение в треде.
Материалы всех докладов и записи должны появиться в течение 2х недель.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 2 356 |
| 11 | Привет с датафеста!
Сегодня Дмитрий Колодезев рассказывал про влияние AI на рынок труда.
Запись будет попозже (непонятно когда), но слайды с пометками спикера можно скачать уже сейчас 😉
Датафест в гостях у ВТБ
#reliable_ml #data_fest #career | 2 513 |
| 12 |  没有文字... | 2 217 |
| 13 |  Reliable ML на Data Fest 2026
Это мы с Димой сегодня провели две секции на первом дне Data Fest: Data Strategy и Reliable ML.
Устали, но довольны)
Докладчики огонь, Х5 молодцы, организация Data Fest тоже на высоте.
Всех были рады видеть!
С кем не успели поговорить - пишите, или увидимся на других днях феста.
Завтра, в гостях у ВТБ, в секции Open Career, Дима расскажет доклад о том, как AI меняет рынок IT труда. Это будет ремейк доклада 2025 года, на свежих данных и свежих вайбах. Посмотрим, что сбылось (спойлер: почти все), а что нет из прогнозов прошлого года. И какие прогнозы на будущий.
Ваш @Reliable ML
#reliable_ml #data_fest #data_strategy | 2 385 |
| 14 |  Секция Reliable ML на Data Fest 2026
23 мая 2026, в гостях у X5
В субботу 23 мая пройдет и наша традиционная секция Reliable ML в рамках Data Fest 2026!
Встречаемся в X5.
Секция Reliable ML будет сразу после обеда в главном зале - как и секция Data Strategy.
Будет четыре топ-доклада по крайне полезным в процессах разработки ML-решений вопросах вокруг Causal Inference & AB.
Ждем всех неравнодушных.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 2 672 |
| 15 |  Секция Data Strategy от Reliable ML на Data Fest 2026
23 мая 2026, в гостях у X5
Уже в эту субботу 23 мая ждем вас на открывающий день Data Fest 2026! В этот раз он пройдет в гостях у X5.
Секция Data Strategy пройдет в главном зале - сразу после открывающего доклада секции OpenCareer от Валеры Бабушкина.
Планируем три доклада про актуальные новости и тренды в стратегических подходах к управлению данными и AI.
Скоро увидимся!
P.S. Онлайн день тоже будет и в нем будет еще три замечательных доклада по Data Strategy.
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 2 152 |
| 16 | Data Fest 2026 - Секции Reliable ML
Предварительная дата - 23 мая 2026 г.
В этом году на Data Fest планируем проводить 2 секции: Data Strategy и Reliable ML.
- Data Strategy - как внедрять AI на уровне компании. Какие бывают проблемы и что с этим делать. Хочется сделать сильный фокус на AI in Engineering (AI в SDLC).
- Reliable ML - о том как эффективно внедрять AI/ML решения в бизнес-процессы. Будем рады вашим практическим кейсам/советам/опыту. Особенный акцент планируем на оценку эффектов.
Ждем ваших заявок!
Можно регистрироваться сразу в общей форме дата феста. И мы к вам придем.
А если есть сомнения и вопросы, то пишите нам (Ира, Дима).
Ваш @Reliable ML
#reliable_ml #data_strategy #data_fest | 1 881 |
| 17 | Кэмп Snowbase от SouthHUB
19-22 марта 2026
На следующей неделе буду участвовать в кэмпе Snowbase от SouthHUB. Планируется интересный движ на тему реальных кейсов внедрения AI. Вот тут есть довольно подробный пост про программу.
Для меня это новый опыт участия в конференции не как спикера или организатора, а как участника 😀. Жду много интересных инсайтов - накопилось, что пообсуждать.
Если вы тоже планируете поехать - буду рада увидеться!
Ваш @Reliable ML
#reliable_ml | 2 443 |
| 18 | А как у вас обстоят дела с эффектами от GenAI? | 1 826 |
| 19 | Про эффекты от GenAI
В чем сила ML, брат? Сила в эффектах. У кого эффекты, тот и сильней.
В сентябре на афтепати Data Fest X большое групповое фото получилось не сразу. То кто-то отвернется, то заболтается, то сделает слишком серьезное лицо. Потом вспомнили, что нужно выкрикивать какие-нибудь фантастические фразы, чтобы всем стало весело.
В итоге лучшие фото получились после фразы "LLM-ки работают". Очень всем весело и смешно сразу стало.
Вот мы с Димой и решили, что нам срочно необходимо где-то секцию про эффекты от GenAI достать. А потом вспомнили, что мы ж ее в общем-то каждый год проводим.
В этом году дата фесту снова быть. И секции Reliable ML тоже. Хотим ее построить вокруг кейсов внедрения GenAI с измерением эффектов. Тема непростая, готовиться будем заранее. Если готовы вписаться и есть, о чем рассказать - пишите нам (Дима, Ира). Будет время собрать крутую секцию.
P.S. Мы, конечно, не умеем проводить только одну секцию за фест. Поэтому по Career и Data Strategy тоже можно писать, на самом деле. Форму чуть позже соберем.
Ваш @Reliable ML
#reliable_ml #data_fest #gen_ai | 1 874 |
| 20 |  +1Инструменты Reliabme ML - квантильная регрессия
Реальные данные зашумлены. Наша способность их предсказывать ограничена.
Например биржевая цена на серебро как бы должна определяться спросом, но торгуемый объем значительно превосходит тот объем, который реально потребляется. А значит, цена зависит от слухов, дня недели и способности китайских производителей солнечных батарей влиять на цену неэкономическими методами. Всего этого в данных обычно нет, поэтому предсказания содержат ошибку - реальные значения разбросаны вокруг предсказанных нами.
Квантильная регрессия помогает целиться в верхнюю или нижнюю часть облака разброса.
Возьмем пример попроще, из управления запасами. Предположим, мы хотим купить X, одну штуку. X - не всегда доступный товар, он то появляется, то изчезает. У нас есть данные о наличии X в торговых точках за последний год, мы строим модель - где он есть, предсказываем наличие на сегодняшнее утро и идем в выбранный магазин. У модели низкая средняя ошибка, но в выбранном магазине X отсутствует. Вчера был, да, и всю неделю до того, завтра приходите, наверняка привезут.
Возвращаемся в прошлое и снова строим модель. Нам все равно, какова будет средняя ошибка, мы хотим чтобы в выбранном нами магазине была одна штука X.
Строим логистическую регрессию, которая предсказывает веростность того, что в магазине будет X. Приходим в выбранный магазин - и да, он там есть. Одна штука. Прямо сейчас ее пробивают покупателю перед вами. Ой, уже кончилась.
Назад в прошлое, и подумаем еще раз. Нам нужно 2 единицы X и мы хотим, чтобы они были в магазине с 95% вероятностью.
На этот раз мы берем квантильную регрессию. Квантильная регрессия дает отвратительный RMSE на валидации - в полтора раза больше чем обычная регрессия. С покерфейсом, чтобы не выдать своего разочарования моделью, мы идем в выбранный магазин - и, о чудо, X там есть. Повезло.
Недостаток квантильной регрессии - оценку нельзя просто так использовать в других вычислениях. Например, если мы сложим средние продажи по всем торговым точкам города, мы получим средние продажи города. С квантилями так не получится - сумма квантилей не дает квантиль суммы. Неудобно.
Если вам нужно предсказание само по себе (чтобы управлять запасами, или оценивать финансовые риски) - квантильная регрессия работает отлично. Идеальный выбор для данных, которые кто-то пропустил через мясорубку.
Нельзя ли было вместо квантильной регрессии взять доверительный интервал? Не, не сработает. Доверительный интервал оценивает разброс предсказанного значения, а не вероятность получить предсказанное значение в реальности.
Очень приличная квантильная регрессия есть в CatBoost:
from catboost import CatBoostRegressor
model = CatBoostRegressor(
loss_function='Quantile:alpha=0.95'
)
Что делать, если хочется быть и умным, и красивым? Конформное прогнозирование (Conformal Prediction) умеет строить интервалы, в которые попадает нужная часть распределения. Мы по-прежнему предсказываем среднее, но знаем, что наше предсказанное среднее 3 - это с 95% вероятностью "где-то от 1.3 до 7". Звучит не очень, но такова жизнь.
На скриншотах - обычная регрессия и регрессия по 99% квантилю, чтоб наверняка.
Дальше разберем конформное прогнозирование , не переключайтесь!
* Квантильная регрессия
* Quantile Regression, Roger Koenker and Kevin F. Hallock
Ваш @Reliable ML
#reliable_ml #tools | 3 164 |
