Data Science | Machinelearning [ru]

🖥 Как научить LLM работать с поиском в интернете Мы уже давно научили модели решать задачи, как математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты. ❓ Как работает агент? Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память. Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты. ❗️ Почему обычный «вики-ретривер» не подходит? InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа. ⁉️ Как обучают модель? Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение. 🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

InfoAgent наглядно демонстрирует, как можно улучшить работу LLM с поиском в интернете. Он учит модель не просто генерировать ответы, а проводить глубокий анализ данных, проверять факты и делать выводы, как это делал бы каждый их нас. В конечном итоге, это подход, который может стать незаменимым в продуктах, где важна точность, проверка источников и репродукция информации. Data Science

На Stepik вышел курс «MCP: создание передовых агентных приложений» Практическай материал по разработке AI-агентов и многосерверных систем на базе Model Context Protocol Шаг за шагом собираем своего AI-агента с серверами, инструментами, логикой для принятия решений и даже анализом изображений. Всё это на практических примерах, с схемами и кодом в терминале Что внутри: ✅ клиент-серверная архитектура MCP ✅ серверные конфигурации ✅ инструменты, ресурсы и промпты ✅ LangChain, LangGraph и LlamaIndex ✅ логика, координация инструментов ✅ логирование и отладка ✅ агент для анализа изображений ✅ подготовка решений к продакшен Скидка 25%, действует 48 часов 🔗Пройти курс на Stepik

⁣Что делать, если модели работают хуже, чем ожидалось Почти у всех в ML есть этот момент. Ты: 👉 почистил данные 👉 обучил модель 👉 потратил кучу времени 👉 посмотрел метрики…

И качество оказалось намного хуже, чем ты ожидал.

Первая мысль обычно:

«Нужна модель посложнее».

По опыту, это ошибка процентов в 80 случаев.

Чаще проблема вообще не в модели.

Первое, что стоит проверить — данные Очень часто оказывается, что: 👉 target шумный 👉 классы плохо разделяются 👉 половина фич бесполезна 👉 в данных мало сигнала

Некоторые задачи в принципе плохо предсказываются.

И это нормально. Есть ощущение, что многие ждут от ML магии:

«Если модель умная — она всё найдёт сама».

Не найдёт. Если в данных нет устойчивой закономерности, XGBoost её не создаст. Вторая проблема — leakage или плохой split Особенно в табличных данных. Иногда offline всё красиво: 👉 ROC-AUC = 0.95 👉 accuracy почти идеальная А потом модель разваливается на новых данных. И наоборот тоже бывает:

Метрики низкие, потому что split слишком жёсткий и реалистичный.

Ещё одна частая история — неправильная метрика Например: 👉 оптимизируют accuracy при сильном дисбалансе 👉 смотрят ROC-AUC там, где важен precision 👉 радуются хорошему loss, который ничего не значит для бизнеса

Модель может быть «математически хорошей» и бесполезной одновременно.

Baseline почти всегда недооценивают Иногда: 👉 логистическая регрессия 👉 среднее по группе 👉 простое правило руками дают результат близкий к сложной модели.

И это не провал.

Наоборот. Это хороший сигнал, что задача либо почти линейная, либо данных мало. Есть ещё неприятная вещь Некоторые задачи просто не стоят ML. Серьёзно. Бывает, что: 👉 данных недостаточно 👉 поддержка модели дороже выгоды 👉 бизнес-эффект минимальный Но многие продолжают: 👉 тюнить learning rate 👉 менять архитектуры 👉 гонять AutoML 👉 перебирать 40 моделей

Потому что «мы же делаем AI».

Хотя даже нормально не посмотрели: 👉 распределения 👉 ошибки модели 👉 качество target’а

А именно там обычно и лежит ответ.

Мифы про ИИ-агентов: что реально работает в 2026 году. Открытый урок курса «ИИ-агенты: продвинутое внедрение и использование» Вокруг ИИ-агентов много шума: одни ждут, что они заменят людей, другие считают, что это инструмент только для программистов, третьи уверены, что без сложного кода ничего полезного не получится. На практике всё интереснее: агенты уже помогают автоматизировать рутину, работать с браузером, собирать простые сценарии и решать прикладные задачи, но требуют правильного понимания своих границ. На открытом уроке 27 мая в 20:00 разберём популярные мифы про ИИ-агентов и покажем, что действительно работает в 2026 году. Посмотрим, как устроен браузерный агент, зачем он нужен и какие процессы может автоматизировать. Отдельно разберём, как создать агента без кода и почему для первых полезных решений не всегда нужен сложный программный слой. На живых демонстрациях покажем три сценария: браузерный агент, агент без кода и минимальный жизнеспособный агент, который уже решает реальную задачу. Урок не для тех, кто ждёт «замены человека одной кнопкой», хочет верить в магию ИИ без понимания ограничений или считает, что агенты сами по себе решают бизнес-задачи без постановки цели, контекста и контроля результата. 👉 Записаться: https://vk.cc/cYcwKD Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Agentic Vision: Google превращает зрение модели в рабочий процесс Google quietly выкатили Agentic Vision для Gemini 3 Flash, и это довольно важный сдвиг в том, как модели работают с изображениями. Вместо привычного «посмотри на картинку и ответь» теперь используется полноценный цикл Think–Act–Observe: модель сначала анализирует изображение и строит план, потом запускает код для обработки — детекцию, расчёты, измерения — и только после этого возвращается к рассуждению уже с новыми данными в контексте. Проще говоря, картинка превращается не в статичный вход, а в рабочее пространство для мышления. Типовой пример — подсчёт пальцев: модель не угадывает число, а реально детектит каждый палец, считает боксы и выводит результат. Лучше всего это заходит на сложных таблицах, схемах и мелких деталях, где обычное «визуальное понимание» раньше сыпалось. По метрикам прирост относительно обычной Gemini 3 Flash — в среднем 5–10%, а попробовать фичу уже можно и через API, и в AI Studio. Data Science

— Вот бы пару миллионов на развитие проекта… — Ваш запрос принят, проверяйте баланс 🤑 Такой диалог уже не кажется странным. Ведь Selectel запустил программу поддержки ИИ-проектов. Десять участников получат до 2 000 000 ₽ на надежную инфраструктуру под задачи машинного обучения. Подать заявку могут и стартапы, и крупные компании. Успейте заполнить форму до 30 июня, чтобы принять участие. В заявке приложите ссылки на сайт и другие материалы — так вы повысите шансы на одобрение. Получить грант в Selectel ➡️ https://slc.tl/uxc7z Реклама. АО "Селектел". erid:2W5zFG3XGHP

Галлюцинации LLM: где модель помогает, а где уверенно врёт Большие языковые модели выглядят как всезнающие эксперты. Текст гладкий, уверенный, логичный. Ровно до тех пор, пока не выясняется, что все это были галлюцинации. Давай разберёмся, где галлюцинации — это ожидаемое поведение модели, а где они quietly превращаются в серьёзную проблему.

1. Где галлюцинации — это «нормально» Модель не знает, она продолжает LLM — это не база фактов, а сверхмощный автодополнитель. Её цель — сгенерировать правдоподобное продолжение, а не истину. Недостаток или неоднозначность данных Если вопрос редкий, свежий или нишевый, модель просто заполняет пробелы. Она не умеет сказать «я не знаю» без отдельного обучения. Креативные задачи В сторителлинге и брейншторме галлюцинации — это не баг, а фича. Проблемы начинаются, когда тот же режим включается в фактах и коде. 2. Где начинаются проблемы Фактические вопросы Чат-бот уверенно сообщает неверные даты, имена и события. И пользователь принимает это за правду. Генерация кода • Функции, которых не существует. • API, которых никогда не было. • Код выглядит правильно — пока не запускаешь. Критические домены Юриспруденция, медицина, финансы. Здесь «звучит убедительно» = потенциальная катастрофа. Уверенный тон без знаний Самое опасное — модель не сомневается. Она не краснеет, не делает пауз, не оговаривается. 3. Что реально снижает галлюцинации RAG (привязка к данным) Модель отвечает не «из головы», а по конкретным документам. Есть источник — меньше фантазий. Дообучение и выравнивание RLHF, domain fine-tuning, обучение говорить «я не уверен». Модель учат быть осторожной, а не болтливой. Чёткие инструкции: — отвечай только по контексту — если не знаешь — скажи — обоснуй каждый шаг Иногда этого уже достаточно. • Пост-проверки и правила • Тесты для кода • Проверка ссылок • Фильтры на запрещённые паттерны Попросить модель: — проверить себя — оценить уверенность — пересмотреть ответ 4. Что отличает надёжную систему от «просто LLM» — Модель не единственный источник истины — Есть данные, проверки и ограничения — Ошибка ловится до пользователя — Уверенность ≠ корректность

Галлюцинации — это не «плохая модель». Это следствие того, что LLM всегда старается ответить. И если не обложить её контекстом, проверками и правилами, она будет стрелять в ногу ровно так же уверенно, как и рассуждать. Data Science

Data Engineers в 2ГИС Сейчас ищем сразу двух Middle Data Engineer’ов в команды SMT и Holocron. Обе команды занимаются новой корпоративной дата-платформой: уходят от легаси, проектируют архитектуру заново и строят инфраструктуру для данных, которой будут пользоваться десятки команд внутри 2ГИС. Что по стеку: — Spark — Kafka — ClickHouse — S3 — Python / Scala — SQL Что по задачам: — ETL/ELT и пайплайны — highload Kafka-топики — миграция с Hadoop/HDFS — OLAP и BI — работа с большими объёмами данных — архитектурные решения и развитие платформы Подойдёт тем, кому интересно не просто поддерживать готовое, а строить data-инфраструктуру и влиять на технические решения. Можно удалённо Вакансии: Middle Data Engineer — SMT Middle Data Engineer — Holocron Другие инженерные инсайты от 2ГИС → в Telegram-канале RnD

ИИ в аналитике — новый стандарт для бизнеса Сегодня компании, внедряющие ИИ в аналитику, получают решения и инсайты быстрее конкурентов. Те, кто остаётся на старых подходах, теряют скорость и преимущество. Аналитика с искусственным интеллектом становится новым стандартом рынка — и те, кто не объединит бизнес-аналитику и ИИ сейчас, рискуют остаться за бортом. 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как ИИ ускоряет работу с данными, сокращает ручную отчётность и помогает получать ответы без долгой подготовки. Обсудим: — ИИ-помощников для аналитики и поиска закономерностей; — автоматизацию отчётности; — как быстрее находить ответы в данных; и многое другое. Эфир полезен аналитикам, ИТ-командам и руководителям. Количество мест ограничено — успейте зарегистрироваться. Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

🤣 Мем отлично отражает настроения в сообществе прямо сейчас ✖️ xCode Journal

Устал инициализировать претрейны весами Qwen? Приходи к нам — мы честно учим с нуля! 😉 Ищем Senior/Senior+ AI Engineer и продактов в RnD-команду: как отдельных специалистов, так и целые команды, — которые готовы разрабатывать прорывные AI-решения. Познакомиться ближе с нашими направлениями и оставить отклик можно на сайте. А если хотите следить за тем, как команда RnD ML Сбера исследует и разрабатывает AI-технологии, — подписывайтесь на Telegram-канал команды. Там делятся исследованиями, экспериментами и инсайтами из мира AI, а также свежими вакансиями 🚀

⁣Почему open-source модели меняют рынок AI Ещё пару лет назад казалось, что AI будет полностью контролироваться несколькими большими компаниями.

У кого больше GPU и денег — тот и главный.

Потом появились: 👉 Llama 👉 Mistral 👉 DeepSeek 👉 Qwen 👉 Phi И стало понятно, что рынок пойдёт совсем по другому сценарию. Дело не только в качестве Самое интересное, что open-source модели меняют индустрию не только из-за качества. Хотя с качеством у них уже всё довольно неплохо. Проблема в другом:

Закрытые модели слишком сильно привязывают тебя к чужой инфраструктуре.

Сегодня API работает. Завтра: 👉 изменились цены 👉 урезали лимиты 👉 поменяли политику 👉 отключили регион 👉 модель стала хуже после обновления

И ты ничего не контролируешь.

Почему open-source меняет правила игры С open-source всё иначе. Хочешь: 👉 запускай локально 👉 дообучай 👉 квантизируй 👉 меняй inference stack 👉 оптимизируй latency 👉 держи данные внутри компании

Для бизнеса это огромная разница.

Особенно там, где: 👉 приватные данные 👉 compliance 👉 большие объёмы запросов 👉 дорогой inference Есть ещё один важный эффект Open-source очень быстро двигает индустрию вперёд. Потому что тысячи инженеров: 👉 тестируют модели 👉 находят слабые места 👉 пилят оптимизации 👉 делают inference-движки 👉 выпускают fine-tuning инструменты

Прогресс идёт не сверху вниз, а сразу со всех сторон.

Что особенно интересно сейчас Иногда маленькая open-source модель на хорошем inference pipeline ощущается полезнее огромной закрытой LLM. Особенно в проде. Потому что в реальности важны не только benchmark’и. Важны: 👉 цена 👉 контроль 👉 latency 👉 стабильность 👉 возможность встроить модель в систему Главная мысль Кажется, рынок AI постепенно уходит от идеи:

«Одна гигантская модель для всего».

К модели:

«Много специализированных моделей под конкретные задачи».

Как крепкий фундамент в ML работает в любой сфере Выпускница ШАДа Дарима Мылзенова применяла одно и то же ML-мышление в медицине (анализ КТ-снимков), нефтянке (изучение недр), стартапе по синтезу речи, а теперь — в финтехе. В интервью 8бит она рассказала про изнанку инженерии. Образование дало Дариме не просто формулы, а универсальный подход к работе. Неважно, что именно находится в фокусе инженера — будь то снимки легких человека или данные для голосовой платформы, которая сейчас помогает цифровизации целого региона. Главный вывод: крепкая база позволяет не привязываться к одной области, а переключаться между ними, сохраняя фокус на реальном импакте.

⁣Почему нормализация данных иногда ухудшает модель Новички в ML часто слышат:

«Всегда нормализуй данные».

И начинают масштабировать всё подряд. А потом качество модели… падает. Почему так происходит?

Потому что нормализация нужна не всегда.

Что вообще делает нормализация Она приводит признаки к одному масштабу. Например: 👉 возраст → 18–60 👉 зарплата → 1000–100000 После scaling: 👉 значения становятся сопоставимыми 👉 обучение становится стабильнее Когда нормализация действительно нужна Особенно важна для моделей, чувствительных к масштабу: 👉 Logistic Regression 👉 Linear Regression 👉 SVM 👉 KNN 👉 Neural Networks

Без scaling такие модели могут работать хуже или обучаться нестабильно.

А теперь главное Деревьям scaling обычно не нужен. Это: 👉 Random Forest 👉 XGBoost 👉 LightGBM 👉 CatBoost Почему? Потому что деревья делают split’ы:

feature < threshold

Им неважно: 👉 0.5 это или 5000 👉 масштаб почти не играет роли Как нормализация может ухудшить модель 1. Добавляет шум Иногда scaling: 👉 размывает распределения 👉 усиливает выбросы 👉 ухудшает separability

Особенно на плохих данных.

2. Ломает интерпретируемость Было: 👉 доход = 5000 Стало: 👉 доход = -0.73

Бизнесу это уже сложнее объяснять.

3. Неправильный scaling = leakage Классическая ошибка: 👉 scaling на всём датасете 👉 потом split

Test уже «утёк» в train.

4. CatBoost может стать хуже CatBoost хорошо работает с: 👉 категориальными фичами 👉 исходными распределениями

Иногда лишний preprocessing только мешает.

Самый важный инсайт Scaling — это не «улучшение данных».

Это инструмент под конкретную модель.

Что делать на практике Простое правило: 👉 линейные модели / distance-based → scaling нужен 👉 деревья → обычно не нужен В одном предложении

Нормализация полезна не всегда — для некоторых моделей она бесполезна, а иногда даже вредна.

Рассмотрим одну из самых динамичных задач компьютерного зрения — распознавание действий на видео. Пройдём путь от классических подходов (3D-свёртки, архитектуры SlowFast) до современных мультимодальных моделей, которые понимают контекст видео почти как человек. Результаты урока: Освоите базу распознавания действий, поймёте различия между классическими и современными архитектурами, узнаете, как применять визуально-языковые модели для глубокого анализа видео. Спикер и руководитель продвинутого курса по CV: Антон Витвицкий, руководитель команды компьютерного зрения в Boost Inc. с опытом 14+ лет Регистрирация https://vk.cc/cY1faP Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🤣 Инновации подъехали, забирайте ✖️ xCode Journal

Feature Engineering важнее выбора модели Самый непопулярный факт в ML: модель — это не главное. Можно часами выбирать между: XGBoost LightGBM CatBoost …и получить +1% к качеству. А можно поменять фичи — и получить +20%. Разберёмся, почему так 👇 Модель учится только на том, что ты ей дал Garbage in → garbage out Если признаки: - шумные - нерелевантные - плохо отражают задачу 👉 никакая модель не спасёт Даже самая большая. Пример из жизни Задача: предсказать отток клиентов Фичи: - возраст - город - тариф Модель: ок, но слабый результат Добавили: - время с последнего действия - частоту использования - изменение активности 👉 резкий рост качества Почему? Потому что фичи начали отражать реальное поведение Feature Engineering = внедрение знаний о задаче Модель не знает: - бизнес - контекст - причинно-следственные связи Зато ты знаешь. И когда ты создаёшь фичи — ты “вшиваешь” это знание в данные. Модель vs Фичи Что меняем → эффект Модель → +1–5% Гиперпараметры → +1–3% Feature Engineering → +10–50% Где FE особенно решает - Табличные данные - Маленькие датасеты - Бизнес-задачи 👉 там, где нет миллионов примеров, фичи — это всё Когда модель важнее - CV (изображения) - NLP (тексты) - Speech 👉 там фичи учатся автоматически Почему все игнорируют FE Потому что: - это сложно - это долго - нет “магической кнопки” - требует понимания данных Гораздо проще: “давай попробуем ещё одну модель” Главный инсайт ML — это не соревнование моделей. Это соревнование представлений данных. В одном предложении Лучший способ улучшить модель — 👉 перестать тюнить модель и начать тюнить данные

ИИ меняет подход к аналитике бизнеса 3 июня Visiology проведёт бесплатный онлайн-эфир о том, как AI помогает быстрее работать с данными, сокращать ручную отчётность и получать ответы без долгой подготовки дашбордов. Это революция в управлении аналитикой. Разберём, как корпоративный BI меняется после Power BI: self-service аналитика, AI-ассистенты, автоматизация отчётов, контроль метрик и сценарии для бизнеса, IT и аналитиков. Будет полезно: — аналитикам, которые хотят быстрее собирать отчёты и находить инсайты; — IT-командам, которые отвечают за BI-инфраструктуру и безопасность данных; — руководителям, которым нужны понятные метрики и быстрые управленческие решения. Участие бесплатное. Количество мест ограничено. Успейте зарегистрироваться. Узнать больше #реклама 16+ ai.visiology.com О рекламодателе

Устройтесь в Яндекс за выходные В мае и июне проводим онлайн-мероприятия быстрого найма — такой формат позволяет пройти всего две секции, вместо трёх в обычном найме, и финалы за выходные и сразу получить офер. ⚡️Ищем продуктовых, дата-аналитиков и датасаентистов с опытом на Python от 3 лет. — Зарегистрируйтесь до 27 мая. — 6 июня пройдите две технические секции: аналитические задачи на знание матстата и алгоритмическую задачу на знание алгоритмов и структур данных. — 7 июня познакомьтесь с командами и получите офер. Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-analytics-0626 ⚡️Ищем ML- и DL-инженеров с опытом в доменных областях NLP, CV, RecSys и Classic ML. — Зарегистрируйтесь до 20 мая. — 30 мая пройдите две технические секции: Classic ML и Livecoding, ML по своей основной доменной области (NLP, CV, RecSys, Classic ML). — 31 мая пройдите финальное интервью с командами и получите офер. Подробности и регистрация — на сайте: https://yandex.ru/project/events/wo-ml-0526

🎁 ChatGPT Plus бесплатно на год раздали всем жителям Мальты OpenAI уже подписала соглашение с правительством страны. Это первая страна, которая раздала подписку всем гражданам, а не только учителям или правительству. Единственное требование — быть жителем или резидентом + пройти курс цифровой грамотности по использованию нейронок.

«Искусственный интеллект формирует наше будущее. Эта инициатива гарантирует, что каждый гражданин имеет возможность стать частью этого будущего», — пишет их местный министр экономики.

✖️ xCode Journal