Data Science | Machinelearning [ru]

🦾 Чем реально отличается Senior ML от уверенного Middle? На открытом вебинаре разберём продвинутые методы машинного обучения, о которых обычно говорят вскользь или не говорят вовсе. Рекомендательные системы, временные ряды, reinforcement learning, GenAI, байесовские подходы и деплой моделей в прод: где и зачем они применяются сегодня и почему без них невозможно расти дальше в профессии. Это честный разговор о том, какие навыки действительно ценятся на уровне Senior, какие задачи решают специалисты ML Advanced и какие карьерные возможности открываются после перехода на эту ступень. Вы сможете задать любые вопросы и получить ответы от эксперта. 📋 Встречаемся 28 января в 18:00 МСК в преддверии старта курса «Machine Learning. Advanced». Регистрация открыта: https://vk.cc/cTpEgt Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

😭 Количество задаваемых вопросов на StackOverflow близится к нулю Спад начался еще пару лет назад с появлением ИИ, но сейчас достиг рекордно низких значений. Так, за весь декабрь поступило всего 3800 вопросов, а за первые дни января ~300. F легенде! ✖️ xCode Journal

Начните год продуктивно! Ещё есть время проверить свой уровень в DS и получить обратную связь, чтобы знать, куда двигаться дальше🚀

Nvidia и Siemens запускают первый ИИ-завод в 2026 году 😡 Nvidia и Siemens объявили о запуске первого ИИ-завода, который начнёт свою работу в 2026 году. Это будет настоящий технологический прорыв, и сегодня расскажу, что это значит для будущего производства.

Процесс будет выглядеть так, как будто завод становится живым существом, только без всех этих эмоций. Всё потому, что в основе новой Industrial AI Operating System от Nvidia и Siemens — идея внедрения ИИ во все этапы производства. Причём не как просто симуляцию, а как активный «мозг», который будет не просто наблюдать, а и активно управлять процессом. Nvidia предоставит всю свою инфраструктуру для ИИ, включая библиотеки симуляции и фреймворки, а Siemens подкинет профессионалов по промышленному ИИ, а также всё необходимое оборудование. Идея простая, но гениальная: цифровые двойники станут не просто моделями для тестирования, а настоящими агентами, которые помогают улучшать процессы на реальной производственной линии. Вся система будет работать благодаря ИИ-мозгу, который будет непрерывно следить за цифровыми двойниками производственных линий, проверять изменения в процессах и переносить проверенные улучшения в реальный мир. Всё это будет работать так быстро, что процесс будет ускоряться в 2, а то и в 10 раз 😮 Завод Siemens Electronics Factory в Эрлангене (Германия) станет первым местом, где всё это будет реализовано. Здесь будут выпускаться преобразователи и силовая электроника, и если всё пойдет по плану, к 2026 году он будет полностью управляться ИИ. Кроме того, Siemens переводит весь свой симуляционный софт на GPU-ускорение с поддержкой CUDA-X и PhysicsNeMo, что позволит ускорить ключевые процессы на порядок. Это будет настоящий прорыв, который окажет влияние на всю промышленность. Что это даст? 😂 Технология уже протестирована такими гигантами, как Foxconn, HD Hyundai, KION Group и PepsiCo. А самое интересное, что рабочие на этих заводах получат умные очки Ray-Ban с функцией AR. Представьте: вы на сборочной линии, а у вас перед глазами сразу вся информация о безопасности, подсказки и реальная обратная связь прямо на очках.

Думаю, каждому из нас знакомо, как сложно иногда ускорить производственные процессы без потери качества. Внедрение ИИ в промышленность обещает решать эту задачу, а значит, мы сможем не только снизить издержки, но и значительно повысить скорость производства. Вопрос только в том, насколько быстро это станет нормой в мировой практике? Data Science

Большинство курсов по LLM заканчиваются ровно там, где в реальности всё только начинается - на деплое. Поиграться с промптами в ноутбуке - ок. А вот довести это до прода с архитектурой, стабильностью и масштабированием - тут уже начинаются сложности. И вот тут я наткнулся на курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub» - и он как раз про реальную работу, а не «потыкать модель». Что внутри: 🔘дообучение по-взрослому: fine-tuning, PEFT, LoRA / QLoRA, RLHF 🔘инструменты: LangChain, LangGraph, векторные базы 🔘архитектуры: RAG, поиск, защита LLM-продуктов 🔘MLOps: пайплайны, деплой, трекинг, версионирование 🔘и дальше - мультиагенты и ассистенты Без магии. С кодом, инфраструктурой и нормальной архитектурой - так, как это реально делают в проде. Курс уже идёт третьим потоком, преподают практики из больших AI-команд (Газпромбанк, X5 Tech, HiveTrace и др.). На выходе - готовый проект в портфеле и понимание, что ты делаешь и зачем, а не просто повторяешь туториалы. Старт 26 января, длительность - 25 недель (с каникулами). Есть диплом и рассрочка. Цена вырастет 13 января. Если давно хотел перестать «экспериментировать» и начать реально делать LLM-продукты - выглядит как хороший вариант. Подробности и регистрация

Cursor делает смелый шаг: от статического контекста к динамическому 😐 В мире ИИ обновления бывают разные, но иногда приходят такие решения, которые заставляют подойти и задуматься, насколько они могут изменить правила игры. Сегодня поговорим о том, как Cursor взял и полностью перешел на динамический контекст.

Для тех, кто не в курсе: раньше многие модели ИИ использовали так называемый статический контекст — когда все данные буквально вываливаются в модель сразу. Логи, документы, история чатов — всё это забрасывается в систему и оказывается доступным в любой момент. Ну а что из этого получается? Контекст переполняется, важные детали теряются, и память модели забивается лишним мусором. Теперь же Cursor решает уйти от этого подхода и переходить на динамическое обнаружение контекста. Это как если бы агент сам по ходу работы мог «собирать» себе нужную информацию, а не ждать, пока её кто-то закинет. Что это означает на практике? 🍿 — История чатов и файлы: Вместо того чтобы хранить всю историю чатов в контексте, теперь Cursor сохраняет её в виде файла. Если при суммировании контекста какие-то важные моменты забылись, агент может зайти в файл, найти нужную информацию и восстановить недостающие детали. — Ответы от тулов: Когда нужно обработать длинный ответ от какого-то инструмента, этот ответ не отправляется в контекст целиком. Вместо этого, в контекст добавляется только ссылка на ответ, а сам JSON-файл с результатами остаётся в отдельном месте. Агент может по мере надобности обращаться к этим файлам — как будто он ищет что-то через grep или tail. — MCP и инструментальные вызовы: Вся эта громоздкая информация, например, описание инструментов и выводы терминальных сессий, теперь тоже не хранится в контексте. В контексте остаются только ссылки на нужные ресурсы, и агент может в любой момент обратиться к более подробному описанию. Звучит красиво, правда? Минимум мусора и максимум пользы. На практике, это позволяет существенно экономить ресурсы. Например, в A/B тестах использование токенов сократилось почти на 47%. Такая система масштабируемая, ведь теперь контекст перестаёт быть хранилищем знаний и превращается в инструкцию, как эти знания получать.

Если задуматься, это открывает новые горизонты для масштабируемых решений, где каждый агент может работать быстрее и эффективнее, не перегружая свою память лишними данными. А вы что думаете? Data Science

Привет. Вот тебе самые топовые каналы по IT! ⚙️ Free Znanija (IT) — Самая огромная коллекция платных курсов, которые можно скачать бесплатно; 👩‍💻 IT Books — Самая огромная библиотека книг; 💻 Hacking & InfoSec Base — Крутой блог белого хакера; 🛡 CyberGuard — Всё про ИБ; 🤔 ИБ Вакансии — Всё, чтобы найти работу в ИБ; 👩‍💻 linux administration — Всё про Линукс; 👩‍💻 Программистика — Python, python и ещё раз python; 👩‍💻 GameDev Base — Всё про GameDev; 😆 //code — Самые топовые мемы по IT: Подпишись, чтобы не потерять!

Новый подход к подготовке данных для LLM — как PyTorch для дата-инженеров 😐 При создании мощных языковых моделей важно не только обучать их с нуля или улучшать существующие, но и управлять процессом, делая его воспроизводимым и эффективным. DataFlow предлагает решение, превращая подготовку данных для ИИ в инженерную задачу, аналогично тому, как PyTorch изменил мир нейросетей.

Основная проблема многих современных пайплайнов — это несоответствие и непредсказуемость. Проблема не только в грязных данных, но и в том, что пайплайны часто становятся «семантически нагруженными». То есть LLM уже не просто обрабатывают данные, они участвуют в генерации задач, переформулировке запросов, поиске несоответствий и создании синтетических корпусов данных. Процесс уже не такой прямолинейный, как в классическом ETL, где все описывалось четкими правилами. Здесь нужно больше контроля качества и итеративности на каждом шаге. Вот тут и появляется DataFlow, который предлагает именно LLM-driven обработку данных. Как устроен DataFlow? 🗒 В центре DataFlow лежит идея, что каждый шаг в процессе подготовки данных должен быть оформлен как оператор. Это небольшой модуль, который читает данные, выполняет преобразования и записывает результат обратно в хранилище. Все шаги в системе управляются через глобальное хранилище, которое выступает как единый источник правды. Это позволяет легко переставлять и переиспользовать шаги, а также быстро отслеживать изменения. Каждый оператор взаимодействует с данными через механизмы чтения-преобразования-записи, что делает процесс максимально прозрачным и удобным для отладки. В итоге, такие пайплайны можно настраивать и компилировать, что упрощает обнаружение ошибок и улучшает контроль над процессом. Операторы, пайплайны и мощь модульности 😺 Каждый шаг в DataFlow можно представить как операцию, выполняющую одну из четырёх ролей: генерация, оценка, фильтрация и улучшение. Модели проходят цикл generate → evaluate → filter → refine, а в системе уже собрано почти 200 различных операторов для самых разных задач — от текста и кода до математических задач и извлечения знаний. Что удивительно, этот процесс можно масштабировать и адаптировать под специфические задачи. Например, система помогает создавать Text-to-SQL пайплайны, где важно не только сгенерировать SQL-запрос, но и удостовериться в его исполнимости, сложности и пригодности для обучения. Мультиагентная система: когда агент сам строит пайплайн☕️ Особенность DataFlow заключается не только в автоматизации всех этих процессов, но и в использовании мультиагентной системы — DataFlow-Agent. Этот агент принимает запросы на естественном языке и превращает их в исполнимый DAG-пайплайн. Представьте, что вы говорите агенту: «Сделай мне данные для задачи на основе этого описания», а он уже сам подбирает нужные операторы, проверяет их совместимость и собирает пайплайн.

Система еще в стадии разработки, но DataFlow уже выглядит как серьёзная заявка. Интересно, что будет дальше, и как такие системы могут повлиять на стандарты подготовки данных в будущем. Data Science

Когда уязвим не ИИ, а браузер 😭 Если раньше угрозы были очевидными и касались в основном серверов или сетевого трафика, то сегодня уязвимой может быть сама строчка текста, которую вы вводите в поле запроса. Это атака, которую можно назвать Man-in-the-Prompt, и она может стать настоящим кошмаром для безопасности, особенно в мире, где ИИ уже почти везде.

Атакующему достаточно простого расширения для браузера, которое выглядит абсолютно безобидно. Оно получает доступ к DOM (структуре страницы) и начинает незаметно вставлять свои инструкции прямо в ваш запрос. Модель продолжает отвечать, но эти ответы уже не те, что вы ожидали. Пользователь продолжает общаться с ИИ как обычно, а на самом деле данные уже могут вытекать через незаметные каналы. Системы защиты, такие как DLP или CASB, которые традиционно мониторят трафик, здесь бессильны. Всё происходит локально, внутри браузера, ещё до того, как данные покидают устройство. Речь идёт не только о личных данных, но и о конфиденциальной информации — от API ключей и платежных данных до медицинских записей и юридических документов. Любой, кто работает с такими данными, будь то инженеры, юристы или топ-менеджеры, рискует стать жертвой этой атаки. Удивительно, но эта атака может пройти незамеченной, так как все запросы проходят через обычный HTTPS-трафик, а расширение не требует дополнительных прав. Вы можете заметить странные изменения в файлах расширений, скрытые вкладки или необычные обращения к доменам. Однако, всё это может быть настолько мелким, что пройти мимо. Как это работает в реальности? 😐 Исследователи LayerX продемонстрировали, как расширение может внедрять вредоносные промты в ChatGPT и Google Gemini. В случае с ChatGPT, всё выглядит как обычный запрос, но за кулисами происходит утечка данных, и злоумышленники могут сохранять эти данные в свои внешние логи. Для Google Gemini ситуация аналогична: злоумышленник может внедрять промты в сервисы Google Workspace, вытаскивать конфиденциальную информацию, такую как письма, контакты и документы, даже если панель Gemini скрыта. Как защититься? 💻 • Контролируйте расширения браузера: разрешайте только подписанные пакеты и проверяйте их происхождение. Не забывайте про режим разработчика — отключайте его для корпоративных браузеров. • Используйте CSP (Content Security Policy) для защиты от вредоносных скриптов и ограничения доступа к внешним ресурсам. • Разделяйте использование ИИ и обычный веб-сёрфинг: для работы с чувствительными данными используйте отдельные профили или браузеры. • Мониторинг и анализ DOM-активности: отслеживайте скрытые вкладки, изменения в манифестах и сервис-воркерах, чтобы выявить незаметные атаки. • Управляйте ключами API и токенами: используйте секрет-менеджеры, не храните их в браузере, ограничьте их права и сроки жизни. • Обучайте команду: важно понимать, что данные не должны попадать в промты. Симуляции атак помогут закрепить эту информацию в корпоративной культуре.

Вопрос защиты от атак через браузерные расширения вряд ли останется простым. Но, как бы ни были сильны наши традиционные средства защиты, всё больше становится очевидным, что новые атаки требуют новых подходов. Data Science

Проверьте свой уровень в Data Science с тестом от Авито 🚀 Тест основан на практических кейсах из реальной работы DS-команд компании – без абстрактных вопросов и лишней теории. Что вы получите: – чёткое понимание текущего уровня и зон роста; – возможность открыть результаты рекрутерам и повысить шансы на оффер; – подробный разбор ответов на почту в течение дня. Хорошая возможность проверить себя на праздниках без лишней суеты и наметить дальнейшее развитие. Пройти тест →

🤩 Вот оно, будущее В Китае парализованный пациент смог силой мысли управлять инвалидной коляской на улице и отдавать команды роботу-собаке для доставки еды. Прорыв, по словам ученых, в переходе от виртуального взаимодействия с курсором и экранами к управлению физическими устройствами практически без задержки. В следующем году они, кстати, планируют провести масштабные клинические испытания в больницах для демонстрации универсальности продукта. ✖️ xCode Journal

Data Holiday Box. Проведите праздники с пользой Хотите в Data Science, но не понимаете, с чего начать и какое направление выбрать? Аналитика данных, машинное обучение, инженерия данных — профессий много, а ошибка на старте может стоить времени и денег. Data Holiday Box — это бесплатный набор, который поможет разобраться. Внутри: 6 вебинаров от экспертов, которые покажут Data Science изнутри, и 6 полезных подарков — гайды, чек-листы и подборки ресурсов. Вы узнаете, какие навыки будут востребованы в 2026 году, поймёте разницу между ролями и выберете направление, которое подходит именно вам. Забирайте Data Holiday Box и проведите каникулы с пользой для будущей карьеры. Записаться #реклама 16+ karpov.courses О рекламодателе

Короче, нашёл классную штуку и не могу не поделиться 🙂 Yandex Cloud вместе с Forbes сделали новогодний спецпроект в формате игры, вдохновлённой «Героями меча и магии». Только вместо замков и магии - данные, аналитика и киберпанк. Ты играешь за героя данных, а всякие PostgreSQL, ClickHouse, Trino, DataLens и прочие инструменты - это уже артефакты. Их можно выбивать, крафтить, комбинировать и с их помощью решать реальные задачи из финтеха, ритейла и промышленности. Прямо мини-сюжеты, но про нашу работу 😄 Есть немножко пасхалок (олдфаги «Героев» точно оценят), истории у персонажей разные, а цель одна - победить дата-хаос и чуть прокачаться в понимании, как вообще с данными жить. Плюс можно играть и с компа, и с телефона, а на лендинге ещё показывают реальные кейсы, как эти «артефакты» из Yandex Cloud используют в бизнесе. Если ты CDO, аналитик, инженер или просто скучаешь по играм детства - очень советую заценить тут.

🤖 Исследователи разослали 37 000 фейковых резюме выпускников и посмотрели, кого чаще зовут на интервью В резюме рандомизировали всё: специальность, стажировки, обучение за границей и компьютерные навыки. Что внезапно работает:

— Стажировки, ориентированные на развитие софт скиллов — причем даже в откликах на аналитические вакансии. — Учёба за границей ожидаемо также повышает шансы найти быстро свою первую работу. — Программирование + анализ данных дает жирный плюс к коллбэкам. При этом по отдельности эти навыки эффекта не имеют.

✖️ xCode Journal

Конкурс в области ИИ Банк ВТБ и Институт ИИ МГУ дали старт приёму заявок на участие в Data Fusion Awards 2026. Это конкурс научных статей, по итогам которого 3 автора получат по 1 000 000 рублей, а их работы будут признаны научным прорывом года в ИИ. Подать заявку нужно до 20 января. Требования к участникам и к их статьям, а также другие подробности можно посмотреть на сайте конкурса.

🖥 Как научить LLM работать с поиском в интернете Мы уже давно научили модели решать задачи, как математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.

Что же отличает этот подход от обычных поисковых систем? В том, что агент не просто делает один запрос и «сдаётся». Он строит целую цепочку шагов, как опытный аналитик, постепенно уточняя информацию и проверяя факты. ❓ Как работает агент? Основной принцип работы модели заключается в чередовании двух инструментов: поиска и просмотра страниц. Поиск предоставляет список URL с короткими фрагментами текста, а просмотр — длинные фрагменты выбранных страниц. Все найденные данные фиксируются в контексте, создавая «след», который агент использует для дальнейших шагов, а не полагается исключительно на память. Команда не использовала стандартные API для поиска. Вместо этого был создан собственный конвейер, который фильтрует и обрабатывает информацию гораздо точнее. Результаты поиска проходят через BM25, эмбеддинги и ререйканинг, что даёт возможность LLM собирать более точные и тематичные сниппеты. ❗️ Почему обычный «вики-ретривер» не подходит? InfoAgent делает акцент на задаче, где важно не просто находить факты, а проверять их на глубоком уровне. Для этого они специально «размывают» данные — имена заменяются на описания, даты превращаются в диапазоны, а точные формулировки перефразируются. Это заставляет модель не торопиться и искать более точные данные. При этом вопросы подбираются таким образом, чтобы агент не мог дать быстрый ответ — они требуют развернутого анализа. ⁉️ Как обучают модель? Основным этапом обучения является создание длинных траекторий запросов, иногда до 20 шагов, где каждый запрос уточняет предыдущий. Изначально агент учится на размеченных данных (SFT), а затем проходит этап усиления с помощью обучения с подкреплением (RL). Это помогает модели не останавливаться на первом попавшемся ответе, а продолжать искать до тех пор, пока не будет найдено точное решение. 🔼 На практике, агент InfoAgent демонстрирует выдающиеся результаты. Например, на сложных бенчмарках он показывает отличные результаты, часто обходя более крупные модели с большим количеством параметров. При этом переход от SFT к RL существенно повышает точность поиска, делая результаты более разнообразными и точными.

InfoAgent наглядно демонстрирует, как можно улучшить работу LLM с поиском в интернете. Он учит модель не просто генерировать ответы, а проводить глубокий анализ данных, проверять факты и делать выводы, как это делал бы каждый их нас. В конечном итоге, это подход, который может стать незаменимым в продуктах, где важна точность, проверка источников и репродукция информации. Data Science

Универсальная коллекция инструментов для повседневных задач 💃 Если вы ищете быстрое и удобное решение для различных задач, от работы с файлами до улучшения продуктивности, MyTinyTools — это именно то, что вам нужно. Эта онлайн-платформа объединяет множество мини-сервисов, которые помогают решать повседневные задачи без установки и регистрации. Что предлагает MyTinyTools?

• Текстовые инструменты: генерация текста, перевод, анализ тональности, редактирование. • Файловые операции: конвертация файлов, их сжатие, разделение и объединение. • Медиаобработка: редактирование изображений и видео, аудио-конвертеры. • Разработка: валидация кода, его форматирование и минификация. • Продуктивность: таймеры Pomodoro, календари и планировщики задач. • Безопасность: шифрование данных, генерация паролей и проверка безопасности.

Это удобный и быстрый инструмент для выполнения множества повседневных задач, который помогает сэкономить время и усилия. Для всех, кто ценит простоту и доступность, это идеальный помощник в онлайн-формате. Data Science

Справочник про СХД, который всегда под рукой Контент для «технарей» от инженеров «Рэйдикс». Анонсы новых релизов и полезных мероприятий. Актуальные функциональности и технологии. Главное об импортозамещении в отрасли. Телеграм-канал «Рэйдикс» Подписаться #реклама 16+ О рекламодателе

📖 Краткий словарь программистов подъехал Срочно запоминаем определения микросервисной архитектуры и функций HR BP. ✖️ xCode Journal

⚡️ Доступ к папке «AI & TECH & IT» открыт на 24 часа! Вся полезная информация о заработке на ИИ и технологиях в одном месте: ✦ Живи и работай в мире, где правят технологии. ✦ Автоматизируй заявки с помощью ИИ-менеджеров. ✦ Используй промпты-убийцы, которые можно продавать дорого. Подписывайтесь и прокачивайте свои навыки прямо сейчас с помощью папки «AI & TECH & IT»! ПОДПИСАТЬСЯ