Data Science | Machinelearning [ru]

⁣Почему многие DS не понимают бизнес-задачу Одна из самых частых проблем в Data Science вообще не связана с моделями. Многие DS отлично знают: 👉 метрики 👉 архитектуры 👉 feature engineering 👉 Python 👉 математику

Но при этом плохо понимают, зачем бизнесу нужна модель.

И это потом очень заметно в работе. Когда ML уходит в вакуум Например, человек может месяцами улучшать ROC-AUC: 👉 с 0.91 до 0.93

Хотя для бизнеса разницы почти нет.

Или строить сложную систему там, где хватило бы пары SQL-правил. И наоборот: 👉 модель с «неидеальными» метриками 👉 может приносить много денег потому что хорошо встроена в процесс. Откуда начинается проблема Большинство курсов учат: 👉 обучать модели 👉 подбирать гиперпараметры 👉 улучшать benchmark Но почти не учат задавать вопросы: 👉 что именно пытается оптимизировать бизнес? 👉 сколько стоит ошибка? 👉 как модель будут использовать? 👉 кто принимает решения на основе предсказаний?

Хотя это важнее половины ML-стека.

Метрика ≠ цель бизнеса Многие воспринимают задачу как:

«Получить максимальную метрику».

Хотя в реальности задача обычно звучит иначе: 👉 уменьшить churn 👉 снизить потери 👉 ускорить процесс 👉 сократить ручную работу

И иногда лучший ML-проект — это вообще не ML.

Прод быстро возвращает в реальность Бизнесу всё равно: 👉 какой у тебя encoder 👉 сколько слоёв 👉 какой learning rate Его интересует: 👉 работает ли система 👉 экономит ли деньги 👉 не ломается ли каждую неделю Частая ошибка Люди начинают: 👉 с модели 👉 обсуждают архитектуру 👉 спорят про CatBoost vs XGBoost

Ещё до того, как нормально поняли саму задачу.

Хотя хороший DS обычно сначала пытается понять: 👉 откуда берутся данные 👉 как принимаются решения 👉 где появляется ценность И только потом думает про модель. Главная мысль Сильные специалисты часто отличаются не тем, что знают больше алгоритмов.

А тем, что умеют связывать: 👉 данные 👉 продукт 👉 ограничения 👉 деньги 👉 реальный процесс

Без этого ML очень быстро превращается в дорогую игрушку.

⁣Reinforce.fi Challenge: Market-Action Arena Хакатон по reinforcement learning в трейдинге с призами до $2,500 от Reinforce.fi (ex-Overnight.fi) Задача: построить модель, которая на каждом шаге выбирает оптимальное действие (A1–A10) и максимизирует суммарный PnL. Что внутри: — анонимизированные market-like признаки — последовательности по 1000 шагов — частично наблюдаемая среда — скоринг = суммарный PnL Почему это интересно с engineering стороны: — задача на policy optimization, а не классический supervised ML — длинные эпизоды (1000 steps) — важно устойчивое поведение модели, а не single-step accuracy — приближено к реальному execution / trading loop Призы: 1 место — $2,500 2 место — $1,500 3 место — $1,000 Старт: конец июня Длительность: ~1.5–2 месяца Регистрация: https://forms.gle/UB71QuyUvp8mSBRo9 Чат хакатона: https://t.me/+R6lMJ10VXP5hOTI0

🤣 Не баг, а фича ✖️ xCode Journal

Как измерить рост производительности команды от внедрения ИИ. Бесплатный урок курса «Руководитель команд в ИТ» ИИ внедряют почти все, но далеко не все понимают, стал ли от этого процесс лучше. Команда может активнее пользоваться новыми инструментами, а расходы на лицензии могут расти, но главный вопрос остаётся открытым: действительно ли выросла производительность, сократилось ли время работы и появился ли экономический эффект. На открытом уроке 3 июня в 20:00 разберём, как руководителю команды подходить к внедрению ИИ не на уровне ощущений, а через измеримые показатели. Поговорим об условиях успешного внедрения, способах оценки производительности команды, поиске эффекта именно от ИИ, а не от случайных факторов, и расчёте экономической эффективности. Отдельно обсудим, какие требования стоит выполнить до внедрения, чтобы потом не гадать, помог ИИ или просто добавил ещё один слой инструментов. Урок не для тех, кто внедряет ИИ «потому что все так делают», не готов считать эффект и хочет заменить управленческие решения покупкой новых лицензий. 👉 Записаться: https://vk.cc/cYor0a Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvsDf7E

Российские ученые представили более быстрый и дешевый метод дообучения VLM Команда исследователей из Т-Банка проверила, можно ли прокачивать визуально-языковые модели не в настоящих интерфейсах и средах, а в синтетических симуляторах — и переносить эти навыки на реальные задачи. И оказалось, что да: ученые представили метод VL-DAC, который учит модели совершать последовательность действий

Почему существующих методов недостаточно? Современные VLM-модели неплохо понимают картинки, но начинают теряться, когда нужно действовать последовательно: открыть нужный раздел, выбрать объект, применить фильтр, построить маршрут или выполнить инструкцию шаг за шагом. И обучение таким сценариям в реальном мире дорогое и времязатратное. Можно тренировать модели в симуляторах, но существующие подходы требуют либо постоянного подбора коэффициентов вручную, либо большего количества памяти для хранения результатов о предыдущих шагах, либо смешивают обучение действию и оценке пользы выполненного действия. 🗒 Так был разработан метод VL-DAC. Модель обучалась сразу в нескольких средах для развития отдельных навыков: •MiniWorld — навигация и маршруты •Gym-Cards — выбор объекта по заданным условиям •ALFWorld — выполнение инструкций и взаимодействие с внешними объектами •WebShop — работа с веб-интерфейсами Что получилось на практике? После обучения модель Qwen2-VL-7B стала более чем на 50% лучше справляться с интерактивными задачами, улучшила пространственную ориентацию и веб-навигацию Самое интересное — модель учится не только совершать действия, но и понимать, были ли они полезны для достижения цели. Это делает перенос навыков из симуляции в реальные задачи намного стабильнее 😐

Такой подход может пригодиться везде, где ИИ должен не просто видеть, а действовать: от банковских интерфейсов и ритейла до робототехники и логистики. Data Science

Стажировки и вакансии для DevOps - Вакансии которых нет на джоб-агрегаторах - Только прямые контакты HR в Telegram 👉 @jobs_devops 🤖 ML & DS 👩‍💻 DevOps 👨‍✈️ ИБ & OSINT 👣 Go 👩‍💻 Mobile 👩‍💻 C# 👩‍💻 Node.js 👩‍💻 Python 🔎 QA 👩‍💻 Java 👩‍💻 UX/UI 👩‍💻 Frontend 🖼️ PHP 📋 Analyst 💼 1C 🖥 SQL 👩‍💻 IT HR Пока другие листают джоб-сайты — ты уже пишешь HR в Telegram.

⁣Почему нормализация данных иногда ухудшает модель Есть совет, который почти все слышат в начале изучения ML:

«Всегда нормализуй данные».

Проблема в том, что это не универсальное правило. Иногда после scaling модель становится не лучше, а хуже.

Особенно это удивляет людей после перехода с учебных задач на реальные данные.

Зачем вообще нужна нормализация Она приводит признаки к одному масштабу. Например: 👉 возраст: 18–60 👉 зарплата: 1000–300000 Для некоторых моделей это действительно критично. В первую очередь: 👉 Logistic Regression 👉 SVM 👉 KNN 👉 нейросети

Они чувствительны к масштабу признаков.

Без scaling: 👉 обучение может быть нестабильным 👉 градиенты становятся странными 👉 одна фича начинает доминировать над другими Но дальше начинается самое интересное Для деревьев scaling обычно почти бесполезен. 👉 Random Forest 👉 XGBoost 👉 LightGBM 👉 CatBoost работают через split’ы:

feature < threshold

Им не особо важно: 👉 0.5 это 👉 5000 👉 или 500000

Структура дерева от этого почти не меняется.

И поэтому люди иногда строят огромный preprocessing pipeline, который вообще ничего не улучшает. Иногда scaling реально портит модель Особенно если: 👉 много выбросов 👉 странные распределения 👉 heavy tails 👉 шумные данные

После StandardScaler часть фич может стать менее информативной.

Автоматический scaling — частая ловушка Многие делают scaling, даже не задавая вопрос:

«А моей модели это вообще нужно?»

Просто потому что: 👉 «так принято» Хотя на практике: 👉 CatBoost отлично работает на сырых данных 👉 табличные бустинги сами справляются с масштабами 👉 лишняя обработка только усложняет pipeline Отдельная классика — leakage через scaling Когда человек: 👉 нормализует весь датасет 👉 потом делает train/test split

И модель уже косвенно «видела» test.

Метрики после такого обычно очень красивые. До первого прода. Главная мысль Одна из главных проблем в ML — привычка применять техники автоматически.

Scaling — это не улучшение данных само по себе. Это инструмент под конкретный алгоритм.

Ваша команда аналитики тонет в авралах? Задачи копятся, данным не доверяют, аналитики заняты ручными выгрузками вместо реальной аналитики — знакомо? Рекомендуем к посещению Практикум «Порядок в данных» от Павла Беляева, тимлида дата-аналитики в Яндекс.eLama.

За 1 вечер разберём: — Как выстроить спринт-планирование и расставить приоритеты без конфликтов; — Как внедрить мониторинг качества данных и регламент обработки инцидентов; — Как автоматизировать рутину через Python + Airflow; — Как освободить аналитиков от бесконечных разовых выгрузок.

Это работающая система от практика, который управляет командой аналитики в одной из крупнейших рекламных платформ страны. Участие бесплатное, количество мест ограничено. ➡️Зарегистрироваться: https://tglink.io/3c723cc71ea9b3 Реклама. ООО "АЙТИ РЕЗЮМЕ". ИНН 4025460134. erid: 2W5zFHEhTnR

Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса. Онлайн-магистратура СПбГУ и Нетологии «Системный анализ и интеллектуальные системы управления бизнес-процессами» готовит специалистов на стыке IT и управления. В программе сочетаются академическая база СПбГУ и прикладные инструменты Нетологии. Студенты изучают математическое моделирование, алгоритмы, системный анализ, Python, BI-системы, no-code-инструменты, управление проектами и подходы к внедрению искусственного интеллекта. Такой набор навыков помогает работать со сложными бизнес-процессами: находить узкие места, снижать риски при разработке, формулировать требования к системам и сопровождать внедрение IT-решений. Обучение проходит полностью онлайн. После выпуска вы получаете диплом магистра СПбГУ очного образца по направлению «Прикладная информатика». Подробнее о программе Реклама. ООО “Нетология” ОГРН 1207700135884 Erid: 2VSb5x2tBvr

🖥 Как научить LLM работать с поиском в интернете Мы уже давно научили модели решать задачи, как математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты. ❓ Как работает агент? Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память. Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты. ❗️ Почему обычный «вики-ретривер» не подходит? InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа. ⁉️ Как обучают модель? Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение. 🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

InfoAgent наглядно демонстрирует, как можно улучшить работу LLM с поиском в интернете. Он учит модель не просто генерировать ответы, а проводить глубокий анализ данных, проверять факты и делать выводы, как это делал бы каждый их нас. В конечном итоге, это подход, который может стать незаменимым в продуктах, где важна точность, проверка источников и репродукция информации. Data Science

На Stepik вышел курс «MCP: создание передовых агентных приложений» Практическай материал по разработке AI-агентов и многосерверных систем на базе Model Context Protocol Шаг за шагом собираем своего AI-агента с серверами, инструментами, логикой для принятия решений и даже анализом изображений. Всё это на практических примерах, с схемами и кодом в терминале Что внутри: ✅ клиент-серверная архитектура MCP ✅ серверные конфигурации ✅ инструменты, ресурсы и промпты ✅ LangChain, LangGraph и LlamaIndex ✅ логика, координация инструментов ✅ логирование и отладка ✅ агент для анализа изображений ✅ подготовка решений к продакшен Скидка 25%, действует 48 часов 🔗Пройти курс на Stepik

⁣Что делать, если модели работают хуже, чем ожидалось Почти у всех в ML есть этот момент. Ты: 👉 почистил данные 👉 обучил модель 👉 потратил кучу времени 👉 посмотрел метрики…

И качество оказалось намного хуже, чем ты ожидал.

Первая мысль обычно:

«Нужна модель посложнее».

По опыту, это ошибка процентов в 80 случаев.

Чаще проблема вообще не в модели.

Первое, что стоит проверить — данные Очень часто оказывается, что: 👉 target шумный 👉 классы плохо разделяются 👉 половина фич бесполезна 👉 в данных мало сигнала

Некоторые задачи в принципе плохо предсказываются.

И это нормально. Есть ощущение, что многие ждут от ML магии:

«Если модель умная — она всё найдёт сама».

Не найдёт. Если в данных нет устойчивой закономерности, XGBoost её не создаст. Вторая проблема — leakage или плохой split Особенно в табличных данных. Иногда offline всё красиво: 👉 ROC-AUC = 0.95 👉 accuracy почти идеальная А потом модель разваливается на новых данных. И наоборот тоже бывает:

Метрики низкие, потому что split слишком жёсткий и реалистичный.

Ещё одна частая история — неправильная метрика Например: 👉 оптимизируют accuracy при сильном дисбалансе 👉 смотрят ROC-AUC там, где важен precision 👉 радуются хорошему loss, который ничего не значит для бизнеса

Модель может быть «математически хорошей» и бесполезной одновременно.

Baseline почти всегда недооценивают Иногда: 👉 логистическая регрессия 👉 среднее по группе 👉 простое правило руками дают результат близкий к сложной модели.

И это не провал.

Наоборот. Это хороший сигнал, что задача либо почти линейная, либо данных мало. Есть ещё неприятная вещь Некоторые задачи просто не стоят ML. Серьёзно. Бывает, что: 👉 данных недостаточно 👉 поддержка модели дороже выгоды 👉 бизнес-эффект минимальный Но многие продолжают: 👉 тюнить learning rate 👉 менять архитектуры 👉 гонять AutoML 👉 перебирать 40 моделей

Потому что «мы же делаем AI».

Хотя даже нормально не посмотрели: 👉 распределения 👉 ошибки модели 👉 качество target’а

А именно там обычно и лежит ответ.

Мифы про ИИ-агентов: что реально работает в 2026 году. Открытый урок курса «ИИ-агенты: продвинутое внедрение и использование» Вокруг ИИ-агентов много шума: одни ждут, что они заменят людей, другие считают, что это инструмент только для программистов, третьи уверены, что без сложного кода ничего полезного не получится. На практике всё интереснее: агенты уже помогают автоматизировать рутину, работать с браузером, собирать простые сценарии и решать прикладные задачи, но требуют правильного понимания своих границ. На открытом уроке 27 мая в 20:00 разберём популярные мифы про ИИ-агентов и покажем, что действительно работает в 2026 году. Посмотрим, как устроен браузерный агент, зачем он нужен и какие процессы может автоматизировать. Отдельно разберём, как создать агента без кода и почему для первых полезных решений не всегда нужен сложный программный слой. На живых демонстрациях покажем три сценария: браузерный агент, агент без кода и минимальный жизнеспособный агент, который уже решает реальную задачу. Урок не для тех, кто ждёт «замены человека одной кнопкой», хочет верить в магию ИИ без понимания ограничений или считает, что агенты сами по себе решают бизнес-задачи без постановки цели, контекста и контроля результата. 👉 Записаться: https://vk.cc/cYcwKD Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Agentic Vision: Google превращает зрение модели в рабочий процесс Google quietly выкатили Agentic Vision для Gemini 3 Flash, и это довольно важный сдвиг в том, как модели работают с изображениями. Вместо привычного «посмотри на картинку и ответь» теперь используется полноценный цикл Think–Act–Observe: модель сначала анализирует изображение и строит план, потом запускает код для обработки — детекцию, расчёты, измерения — и только после этого возвращается к рассуждению уже с новыми данными в контексте. Проще говоря, картинка превращается не в статичный вход, а в рабочее пространство для мышления. Типовой пример — подсчёт пальцев: модель не угадывает число, а реально детектит каждый палец, считает боксы и выводит результат. Лучше всего это заходит на сложных таблицах, схемах и мелких деталях, где обычное «визуальное понимание» раньше сыпалось. По метрикам прирост относительно обычной Gemini 3 Flash — в среднем 5–10%, а попробовать фичу уже можно и через API, и в AI Studio. Data Science

— Вот бы пару миллионов на развитие проекта… — Ваш запрос принят, проверяйте баланс 🤑 Такой диалог уже не кажется странным. Ведь Selectel запустил программу поддержки ИИ-проектов. Десять участников получат до 2 000 000 ₽ на надежную инфраструктуру под задачи машинного обучения. Подать заявку могут и стартапы, и крупные компании. Успейте заполнить форму до 30 июня, чтобы принять участие. В заявке приложите ссылки на сайт и другие материалы — так вы повысите шансы на одобрение. Получить грант в Selectel ➡️ https://slc.tl/uxc7z Реклама. АО "Селектел". erid:2W5zFG3XGHP

Галлюцинации LLM: где модель помогает, а где уверенно врёт Большие языковые модели выглядят как всезнающие эксперты. Текст гладкий, уверенный, логичный. Ровно до тех пор, пока не выясняется, что все это были галлюцинации. Давай разберёмся, где галлюцинации — это ожидаемое поведение модели, а где они quietly превращаются в серьёзную проблему.

1. Где галлюцинации — это «нормально» Модель не знает, она продолжает LLM — это не база фактов, а сверхмощный автодополнитель. Её цель — сгенерировать правдоподобное продолжение, а не истину. Недостаток или неоднозначность данных Если вопрос редкий, свежий или нишевый, модель просто заполняет пробелы. Она не умеет сказать «я не знаю» без отдельного обучения. Креативные задачи В сторителлинге и брейншторме галлюцинации — это не баг, а фича. Проблемы начинаются, когда тот же режим включается в фактах и коде. 2. Где начинаются проблемы Фактические вопросы Чат-бот уверенно сообщает неверные даты, имена и события. И пользователь принимает это за правду. Генерация кода • Функции, которых не существует. • API, которых никогда не было. • Код выглядит правильно — пока не запускаешь. Критические домены Юриспруденция, медицина, финансы. Здесь «звучит убедительно» = потенциальная катастрофа. Уверенный тон без знаний Самое опасное — модель не сомневается. Она не краснеет, не делает пауз, не оговаривается. 3. Что реально снижает галлюцинации RAG (привязка к данным) Модель отвечает не «из головы», а по конкретным документам. Есть источник — меньше фантазий. Дообучение и выравнивание RLHF, domain fine-tuning, обучение говорить «я не уверен». Модель учат быть осторожной, а не болтливой. Чёткие инструкции: — отвечай только по контексту — если не знаешь — скажи — обоснуй каждый шаг Иногда этого уже достаточно. • Пост-проверки и правила • Тесты для кода • Проверка ссылок • Фильтры на запрещённые паттерны Попросить модель: — проверить себя — оценить уверенность — пересмотреть ответ 4. Что отличает надёжную систему от «просто LLM» — Модель не единственный источник истины — Есть данные, проверки и ограничения — Ошибка ловится до пользователя — Уверенность ≠ корректность

Галлюцинации — это не «плохая модель». Это следствие того, что LLM всегда старается ответить. И если не обложить её контекстом, проверками и правилами, она будет стрелять в ногу ровно так же уверенно, как и рассуждать. Data Science

Data Engineers в 2ГИС Сейчас ищем сразу двух Middle Data Engineer’ов в команды SMT и Holocron. Обе команды занимаются новой корпоративной дата-платформой: уходят от легаси, проектируют архитектуру заново и строят инфраструктуру для данных, которой будут пользоваться десятки команд внутри 2ГИС. Что по стеку: — Spark — Kafka — ClickHouse — S3 — Python / Scala — SQL Что по задачам: — ETL/ELT и пайплайны — highload Kafka-топики — миграция с Hadoop/HDFS — OLAP и BI — работа с большими объёмами данных — архитектурные решения и развитие платформы Подойдёт тем, кому интересно не просто поддерживать готовое, а строить data-инфраструктуру и влиять на технические решения. Можно удалённо Вакансии: Middle Data Engineer — SMT Middle Data Engineer — Holocron Другие инженерные инсайты от 2ГИС → в Telegram-канале RnD

ИИ в аналитике — новый стандарт для бизнеса Сегодня компании, внедряющие ИИ в аналитику, получают решения и инсайты быстрее конкурентов. Те, кто остаётся на старых подходах, теряют скорость и преимущество. Аналитика с искусственным интеллектом становится новым стандартом рынка — и те, кто не объединит бизнес-аналитику и ИИ сейчас, рискуют остаться за бортом. 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как ИИ ускоряет работу с данными, сокращает ручную отчётность и помогает получать ответы без долгой подготовки. Обсудим: — ИИ-помощников для аналитики и поиска закономерностей; — автоматизацию отчётности; — как быстрее находить ответы в данных; и многое другое. Эфир полезен аналитикам, ИТ-командам и руководителям. Количество мест ограничено — успейте зарегистрироваться. Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

🤣 Мем отлично отражает настроения в сообществе прямо сейчас ✖️ xCode Journal

Устал инициализировать претрейны весами Qwen? Приходи к нам — мы честно учим с нуля! 😉 Ищем Senior/Senior+ AI Engineer и продактов в RnD-команду: как отдельных специалистов, так и целые команды, — которые готовы разрабатывать прорывные AI-решения. Познакомиться ближе с нашими направлениями и оставить отклик можно на сайте. А если хотите следить за тем, как команда RnD ML Сбера исследует и разрабатывает AI-технологии, — подписывайтесь на Telegram-канал команды. Там делятся исследованиями, экспериментами и инсайтами из мира AI, а также свежими вакансиями 🚀