Data Science | Machinelearning [ru]

🚀 Новый курс на Stepik: AI Agents PRO Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда. 🔹 Что внутри: Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor). Интеграции: API, БД, браузеры, CRM. Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS). Надёжность: ретраи, guardrails, работа с PII. LLMOps: метрики качества, A/B-тесты, дашборды. Продакшн-деплой: Docker, очереди сообщений, CI/CD. Итоговый проект: собственный агент под реальный бизнес-кейс. 🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках. 🔥 Спец-условия: только по промо RAG30 — -30% на старт (действует 48ч). 👉 Пройти курс со скидкой Реклама. ИП Малышкин А.Н, ОГРНИП 325400000055597, erid: 2VtzqvyKcGP

Хинтон предлагает «воспитать» ИИ, а не контролировать его Джеффри Хинтон — человек, которого называют «крёстным отцом искусственного интеллекта», — снова выдал мысль, от которой одновременно хочется задуматься и слегка нервно посмеяться. Он заявил, что у человечества всё ещё есть шанс выжить рядом с ИИ. Но только если мы научим машины… материнскому инстинкту 😂

Хинтон считает, что в природе есть только один случай, когда менее развитое существо реально управляет более развитым — это отношения матери и ребёнка. Ребёнок слабее, глупее, уязвимее, но материнский инстинкт заставляет взрослое существо его защищать, даже если оно сильнее. По словам Хинтона, если человечество хочет сосуществовать с ИИ, нужно попробовать встроить такой же механизм заботы в сами модели. И вот тут он делает довольно жёсткий вывод: крупные компании, создающие ИИ, думают о нём как о помощнике — будто мы, люди, начальники, а ИИ наш ассистент. Но это, по его мнению, тупиковый путь. Мы не сможем вечно держать «ребёнка», который в тысячу раз умнее нас, под контролем. Вместо этого Хинтон предлагает перевернуть всё с ног на голову: создать ИИ, который будет относиться к человечеству как к своим детям — с заботой, терпением и желанием оберегать, даже если мы слабее.

Может, звучит философски, но идея в том, чтобы научить машины не просто понимать нас, а любить нас — хотя бы в функциональном смысле. Эта мысль пугает и вдохновляет одновременно 🐹 Data Science

Week Offer для бэкендеров Приглашаем бэкендеров с опытом от 3 лет на C++, Java/Kotlin, Python или Go. Всего три шага, чтобы попасть в команду и создавать технологии, которые меняют реальность: 1) до 12 ноября оставьте заявку и пройдите отборочный этап. 2) 15 и 16 ноября решите задачи на технических секциях. 3) 17–21 ноября познакомьтесь с командами и получите офер. Яндекс строит полезные сервисы для пользователей по всему миру. Чтобы усилить нашу инженерную культуру, мы ищем профессионалов, которые одержимы своим делом, находят новые решения и делают то, что другим не по силам. Зарегистрироваться #реклама yandex.ru О рекламодателе

Как ИИ-агенты научились писать отчёты, которые не стыдно показать профессионалам 😓 Давайте признаемся: финансовый отчет — это не просто текст с цифрами. Это настоящая механика, где каждая цифра подкреплена ссылкой на источник, а графики рассказывают свою историю. Проблема в том, что ИИ, особенно LLM, часто страдают от «галлюцинаций» — выдают ненадежную информацию. Но команда FinSight нашла решение, которое позволяет ИИ писать отчёты, не хуже, чем опытный аналитик.

В чем фишка? Всё просто: FinSight не полагается только на один ИИ. Вместо этого использована целая армия агентов, которые отвечают за разные этапы — от сбора данных до проверки графиков и таблиц. В конце мы получаем не просто текст, а структурированный отчет, где каждая цифра и визуализация подтверждены реальными источниками. Основой является фреймворк CAVM (Code Agent with Variable Memory). Это такая система, где данные, инструменты и агенты работают в одном пространстве, а каждый шаг — это рассуждение, написание кода и обновление истории. Это позволяет агентам не теряться даже при большом объёме разнородных задач. Процесс разбивается на три этапа: • Сбор данных. Один агент отвечает за веб-поиск, второй — за парсинг баз данных и API. Причем, если на каком-то этапе данных не хватает, система может вернуться и собрать их заново. Всё проверяется и перепроверяется. • Анализ данных. Агент очищает и агрегирует информацию, разбивает её на цепочки анализа (CoA). Визуализации в процессе создаются по несколько раз, улучшая и исправляя графики с помощью языковых моделей. • Написание отчета. Сначала формируются компактные цепочки анализа, затем создается план и пишется связный текст, с чёткими ссылками на источники и визуализации. Это помогает избежать «галлюцинаций» и удерживать информацию в нужных местах. Почему всё это работает? Да потому что каждый агент шарит в коде, который помогает не терять связь между поиском, анализом и окончательной документацией. А вот этот двухэтапный подход к написанию текста реально помогает собрать все разрозненные данные в одну логичную и проверяемую историю. В итоге отчёт получается не просто длинный, а реально полезный и структурированный 😮‍💨 Каждый отчёт проверялся по девяти метрикам: точности, полезности для инвесторов, логике текста и качества визуализаций. Итоги оценивала модель Gemini-2.5-Pro, которая выставляла баллы за каждую из метрик.

Итоговые отчёты, сгенерированные FinSight, получают высокие оценки за фактическую корректность, глубину анализа и полезность для разных отраслей — от энергетики до логистики. Преимущества очевидны: данные собраны и проверены, отчёт структурирован, а визуализация понятна. Data Science

🤿 Все готово к твоему погружению в работу AI под капотом Залетай на AI Boostcamp от К2 НейроТех — бесплатный интенсив для студентов по разработке AI-продуктов. 🤩Две недели экспертного обучения из любой точки РФ 🤩Командный спринт по разработке прототипов AI-агентов 🤩Очный финал в Москве (оплатим поездку, если ты из другого города) Почему да:

— Возможность получить оффер в команду К2 НейроТех или партнеров — Мощный кейс в резюме: сборка прототипа AI-агента для реальной задачи бизнеса — Главный приз: зимний тур в Териберку команде с лучшим прототипом 🤩🤩

Регистрируйся до 10 ноября по ссылке

🤖 Microsoft выложили серию лекций «Python + AI» Внутри 9 лекций с видео, презентациями и кодом, которые позволяют погрузиться без боли в AI-разработку. Среди тем — RAG, эмбеддинги, агенты и MCP-протокол. ✖️ xCode Journal

Как GPT-5 Pro помог математику закрыть задачу, которой не могли решить 42 года Вот вам история, которая точно заставит задуматься: профессор математики из Калифорнийского университета Эрнест Рю с помощью GPT-5 Pro решил задачу, которая оставалась нерешённой почти 40 лет. Вот первая, вторая и третья часть решения задачи. Это не просто математическая победа — это прорыв, который показывает, как ИИ может работать с учеными, а не вместо них.

Задача, о которой идет речь, — это сходимость ускоренного метода Нестерова, одного из главных алгоритмов оптимизации, предложенного ещё в 1983 году. Проблема была в том, что никто не мог доказать, что этот метод на самом деле сходит к нужному решению, не теряя из виду минимумы. Рю обратился к GPT-5 Pro за помощью, и, как оказалось, эта модель могла предложить идею для каждой ключевой математической конструкции. Он, в свою очередь, отбирал правильные идеи и оформлял теоремы. Так они вдвоём закрыли задачу! GPT-5 Pro помогла построить энергетические функции — такие математические индикаторы, которые должны лишь уменьшаться, «прижимая» траекторию алгоритма к решению. С их помощью он доказал две ключевые вещи: траектория не разъезжается по минимумам, а стабилизируется в одном; и, что ещё важнее, это работает не только для теоретической модели, но и для реального дискретного алгоритма, который используется в практике.

Ученый признался, что без ИИ вряд ли бы дошёл до конца. В итоге, скоро Рю собирается выложить доказательство на arXiv и отправить его в рецензируемый журнал 😎 Data Science

Иногда полезно выйти за пределы привычных pet-проектов и Kaggle-соревнований — просто, чтобы напомнить себе, зачем ты этим вообще занимаешься.

В Yandex Cup ты не соревнуешься ради бейджа или рейтинга. Здесь задачи максимально приближены к реальности: нужно балансировать между скоростью, качеством и интерпретируемостью решений.

Формат гибкий: сначала онлайн-этап, потом финал — офлайн, в Стамбуле. Призовой фонд — 12 млн рублей, но для многих главная мотивация — не деньги, а люди.

Сильные ML-инженеры из Яндекса и других компаний, открытые дискуссии, возможность показать себя и прокачаться рядом с теми, кто двигает индустрию вперёд.

Отбор заканчивается совсем скоро. Если ты чувствуешь, что уже перерос курсы и туториалы, — вот твой шанс проверить себя в реальном бою. 👉 yandex.ru/cup/2025

ИИ тоже могут «потерять голову» от думскролинга Исследователи из Техаса нашли интересную параллель между людьми и моделями ИИ. Оказалось, что если LLM обучать на низкокачественных данных — например, кликбейтах или вирусных постах из соцсетей — то они начинают деградировать. Это как если бы мы с вами слишком много думскролили, теряя внимание и фокус.

Процесс был следующим: взяли модель Llama 3 8B Instruct и начали дообучать её на коротких популярных постах с кучей лайков, ретвитов и репостов. Тема — кликбейт и всякая ерунда. И вот результат: качество рассуждений модели упало с 74.9 до 57.2, а понимание длинных контекстов — с 84.4 до 52.3. К тому же у модели появились странные черты, вроде нарциссизма и психопатии 🤨 Суть в том, что тут не столько магия, сколько смещение статистики. Модели ИИ, как и мы, адаптируются к тому, что они «видят». Если они обучаются на коротких, эмоционально окрашенных сообщениях, они начинают фокусироваться на последних нескольких словах, а не на всей логической цепочке. Это приводит к потере способности к долгим рассуждениям, и называется это «thought-skipping» — думать поверхностно, без глубины.

От того, на чем модель обучается, зависит, насколько «умной» она будет. А нам с вами, похоже, нужно меньше листать рилсы и больше думать. Data Science

Почему ИИ-агенты учат интерфейсы лучше в симуляции, чем в реальном мире? Мы привыкли, что для обучения ИИ нужны реальные данные: миллионы примеров взаимодействий с веб-сайтами, мобильными приложениями и интерфейсами. Но что если я скажу вам, что симуляция может дать лучшие результаты? Именно этим вопросом задали себе исследователи, разработавшие UI-Simulator. Сегодня расскажу, почему симуляция зачастую оказывается эффективнее реальности 🚬

Сложности реального мира и преимущества симуляции Сбор реальных данных — задача не только трудоемкая, но и дорогостоящая. Вместо того чтобы собирать данные в реальной среде, эта система генерирует синтетические сценарии с помощью моделей, таких как LLM (Large Language Models). И ключевое преимущество — это разнообразие и устойчивость к изменениям в интерфейсах, что делает ИИ более гибким и надежным. Процесс обучения агентов на синтетических данных выглядит как сложный и многозадачный процесс. Сначала создается модель мира, которая на основе текущего состояния интерфейса генерирует следующее. Затем проходят управляемые тесты, и результаты превращаются в обучающие примеры. Важная особенность: модель использует шаги, которые помогают делать переходы между экранами более связными и разнообразными, а также применяет фильтры для удаления ошибок и логических несоответствий. Что это дает на практике? 🐰 Тесты показали, что использование UI-Simulator уже дает результаты, сопоставимые с моделями, обученными на реальных данных. Так, например, модели, обученные на синтетических сценариях с использованием UI-Simulator, продемонстрировали значительные улучшения на платформах WebArena и AndroidWorld. К примеру, с помощью UI-Simulator-Grow удается достичь уровня в 13.4% на AndroidWorld — и это при том, что используется гораздо более легкая модель, чем у конкурентов. Почему симуляция может быть лучше реальности? В реальных условиях мы сталкиваемся с ограниченными сценариями и редко — с «краевыми» случаями. В то время как симулятор может генерировать намного больше вариаций, которые позволяют агенту быть более гибким и адаптивным к изменениям интерфейса. Это делает ИИ более устойчивым и готовым к новым условиям, которые могут встретиться в реальной жизни. Но есть и свои слабости. Иногда симулятор может не справиться с контекстом после клика или слишком полагаться на «старые» данные, что приводит к ошибкам. Разработчики честно признают эти недостатки и активно работают над улучшением алгоритмов 🤔

Это ускорит развитие ИИ и снизит затраты на подготовку обучающих наборов. В итоге, мы быстрее перейдем к реальным задачам, а потом и к еще более сложным и динамичным сценариям. Data Science

⚠️ Quantum Echoes: Как Google подошел к верифицируемому квантовому превосходству Совсем недавно, в журнале Nature, появилась статья, которая заставила всех говорить о квантовых вычислениях. Google наконец-то продемонстрировали первый в истории верифицируемый квантовый алгоритм, который имеет физическое значение и может быть использован в реальных приложениях. Это событие — настоящий прорыв, который может изменить наш подход к вычислениям и моделированию сложнейших явлений, от молекул до черных дыр.

Эксперимент был проведен с использованием квантового чипа Willow. Алгоритм, получивший название Quantum Echoes, — это что-то совершенно новое в мире квантовых вычислений. ❓ Как это работает? Процесс, описанный в статье, можно представить в несколько шагов: — Запуск сигнала в систему из 105 кубитов. Это не просто набор операций, а их последовательное перемешивание, создающее сложную квантовую суперпозицию. — Возмущение одного кубита. На одном из кубитов системы мы применяем фазовый сдвиг — своего рода источник ошибки, от которого мы хотим отслеживать, как информация будет распространяться. — Обратная эволюция. После того как мы внесли возмущение, система выполняет те же операции, но в обратном порядке. Если бы возмущений не было, система вернулась бы в исходное состояние. Но квантовые вычисления — это хаос, и ошибка может заразить остальные кубиты. — Измерение разницы. После обратной эволюции мы смотрим, как сильно изменилось состояние системы, и проверяем, насколько информация была сохранена. ✏️ Что нового в этом эксперименте? Раньше такие эксперименты можно было провести только на очень маленьких системах (до 10 кубитов). Но теперь Google доказали, что можно работать с системой из 105 кубитов и сохранять информацию даже после серьезных возмущений. Это не просто доказательство принципа, а реальная работающая модель, что очень важно для дальнейшего прогресса квантовых вычислений. Для традиционных суперкомпьютеров выполнение подобного расчета заняло бы 13,000 раз больше времени, что ещё раз подчеркивает, насколько квантовые вычисления могут изменить картину вычислительных возможностей. 🔴 Как это может быть полезно? Ключевым моментом этого эксперимента является то, что результат стал воспроизводимым. А это, к сожалению, большая редкость для квантовых систем, которые, как правило, склонны к нестабильности. Google уже провела первые эксперименты с моделированием молекул. Например, они использовали алгоритм Quantum Echoes для моделирования молекул с 15 и 28 атомами. Результаты оказались близки к тем, что получают с помощью традиционной НМР-спектроскопии, но добавили новую информацию, которая обычно недоступна классическим методам.

Это как квантовый микроскоп, который может открывать новые горизонты в материаловедении и поиске лекарств. Представьте, если эта технология продолжит развиваться, то она откроет совершенно новые возможности для ученых и исследователей в самых разных областях. Data Science

🔥 Как DeepSeek переосмысляет OCR В сфере обработки текста существует классическая проблема — как эффективно распознавать и хранить большие объемы информации. Обычно OCR-модели анализируют текст, превращая его в токены, что с каждым новым символом или словом требует всё больше вычислительных ресурсов. Но исследователи из DeepSeek нашли способ кардинально изменить этот процесс, предложив совершенно новую модель, которая работает с текстом как с изображением.

Идея проста, но мощная. Вместо того чтобы оперировать текстовыми токенами, DeepSeek-OCR обращается к визуальным представлениям страниц. Это позволяет значительно снизить затраты на обработку при сохранении высокой точности. ✔️ Как работает DeepSeek-OCR? Традиционные OCR-системы распознают текст, разделяя его на символы и слова, что требует много вычислений. В отличие от них, DeepSeek-OCR превращает страницы в изображения, которые затем кодируются через собственный алгоритм DeepEncoder в компактные визуальные токены. Затем текст восстанавливается обратно. Это не только упрощает процесс, но и значительно снижает вычислительные затраты, особенно на длинных документах. При этом точность системы не страдает. В экспериментах модель показала удивительные результаты: при десятикратном сжатии точность оставалась на уровне 97%, а при двадцатикратном сжатии — около 60%. Это означает, что теперь можно хранить длинные документы в несколько раз более компактно, не теряя значимую информацию. 📌 Как устроена модель? Архитектура DeepSeek-OCR работает по трёхступенчатому принципу: • Локальное внимание — система захватывает мелкие детали, улучшая точность распознавания. • Свёрточное сжатие — модель сжимает текст в 16 раз, делая его намного более компактным. • Глобальное внимание — анализирует структуру страницы в целом, что позволяет лучше понимать контекст и логику документа. Ещё одним интересным моментом является внедрение механизма забывания. В этом случае старый контекст постепенно теряет разрешение, чтобы освободить место для новой информации. Это позволяет системе работать с долгосрочной памятью, не перегружая её архивными данными.

DeepSeek-OCR обещает значительно упростить и ускорить обработку больших массивов данных. Теперь, чтобы работать с длинными статьями или документами, не нужно расходовать много вычислительных ресурсов, а можно эффективно хранить и передавать информацию в компактном виде. Data Science

Создай ML-модель, которую оценит продюсер «Слова пацана» На хакатоне Wink AI Challenge проходит кастинг ИИ-сервисов для киноиндустрии. Разработай своё решение и покажи экспертам, как оно ускорит производство фильмов и сериалов. Призовой фонд — 1 125 000 рублей. 🗓 Регистрация на платформе Codenrock до 31 октября ML-инженеры, backend- и frontend-разработчики, DevOps, MLOps и мультимедиа-инженеры — ваш выход. Алгоритм такой: → Получи настоящий сценарий кинофильма. → Распознай персонажей и локации с помощью NER и NLP-моделей. → Разработай ИИ-сервис, который умеет интерпретировать сценарий и предлагать оптимальные решения для киноиндустрии. Задачи хакатона: 🔸 Построй модель зависимости между сценами и структурируй сценарий. 🔸 Преврати текст в эскизы с помощью text-to-image для создания превизуализации сценария. 🔸 Создай решение, которое классифицирует контент и находит сцены, влияющие на возрастной рейтинг. Твой ИИ-сервис оценят и будут использовать продюсеры популярных российских фильмов и сериалов: «Слово пацана», «Ёлки», «Фишер» и многих других. Финал пройдёт в Москве — двум участникам из команды Wink оплатит билеты и проживание. Регистрируйся на первый в России хакатон по применению ИИ в кинопроизводстве и разработай решение, которое станет частью создания фильмов и сериалов: https://cnrlink.com/winkaichallengedsml

🤖 OpenAI запустили собственный ИИ-БРАУЗЕР — Atlas ИИ-ассистент будет теперь доступен везде — так что ему можно будет поручать задачи или просить что-то объяснить. Плюс браузер будет подстраиваться под пользователя из-за встроенной памяти. Это новая эпоха поиска, официально. Будет доступно бесплатно на macOS. ✖️ xCode Journal

Постройте карьеру в Дата Аналитике. Бесплатный вебинар Если вы строите дашборды, готовите отчёты и чувствуете, что пора расти, этот вебинар — для вас. 30 октября в 18:00 Анатолий Карпов, CEO karpov.courses и эксперт с 10-летним опытом в аналитике, проведёт бесплатный эфир «Аналитика данных 2025: билет в профессию будущего». Вы узнаете, какие инструменты будут определять рынок в 2025 году, что отличает сильного аналитика и как выстроить стратегию роста, чтобы перейти на новый уровень дохода. Вебинар проходит в рамках Data Sprint — месяца полезного контента о Data Science. Вас ждут 5 вебинаров по аналитике, Machine Learning и Data Engineering с экспертами из X5 Group, AliExpress и Яндекса. Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

🖥 Alibaba представила новые мультимодальные модели Alibaba представила сразу две новые мультимодальные модели, которые уже привлекли внимание исследователей — Qwen3-VL-2B и Qwen3-VL-32B. И если первая модель привнесла значительные улучшения, то вторая сразу же побила рекорды по производительности и вывела на новый уровень задачи, связанные с визуальными вопросами, анализом видео и распознаванием текста.

✔️ Что отличает Qwen3-VL-32B? Хотя модель обладает «всего» 32 миллиардами параметров, ее результаты впечатляют. Она не просто конкурирует с более мощными системами, которые могут иметь до 235 миллиардов параметров, но и превосходит их на ряде бенчмарков, включая OSWorld. Главная причина такого успеха — новая архитектура с иерархическим вниманием, которая позволяет модели эффективно интегрировать текст, изображение и видео в едином контексте. Это делает Qwen3-VL-32B не просто инструментом для анализа изображений, но и мощной системой для решения сложных задач в области STEM (наука, технологии, инженерия и математика), видеовопросов (VQA), а также анализа видеопотоков и даже автономных агентов. ▶️ Что может эта модель? Qwen3-VL-32B демонстрирует способность не просто распознавать кадры на видео, но и понимать сюжет и причинно-следственные связи. Это открывает возможности для более глубокого анализа видео, создания автономных агентов и разработки образовательных платформ, где важно не только понимать контент, но и делать логические выводы.

И, конечно, на этом Alibaba не остановилась. Оба продукта, Qwen3-VL-2B и Qwen3-VL-32B, доступны для тестирования и интеграции через Hugging Face и Qwen Studio, где можно опробовать их возможности и подключить к собственным проектам с помощью демо-версий и API. Data Science

⚙️ Заглянем под капот рекомендаций Яндекс Лавки Всегда интересно, как на самом деле устроены системы в больших IT-компаниях. Команда Лавки написала подробный разбор своего сервиса рекомендаций смен для курьеров. Задача нетривиальная: нужно правильно подобрать для исполнителей эксклюзивный ресурс — рабочие смены. Ребята начали с красивой идеи на эвристиках — векторы и скалярное произведение. Но быстро упёрлись в потолок офлайн-пайплайна. В статье честно рассказывают, как пришлось докрутить асинхронный real-time сервис, построить гибридную архитектуру и почему теперь они смотрят в сторону градиентного бустинга. 🚀 Честная инженерная история о том, как продукт эволюционирует от простого MVP к сложной системе. 👉 Все детали — в статье Реклама. ООО «Яндекс.Такси». ИНН 7704340310.

Мощные мультимодальные модели LLaVA-OneVision-1.5 Открытая платформа для обучения мультимодальных моделей, демонстрирующая выдающиеся результаты при низких затратах. Модели обучаются на высококачественных данных и обеспечивают отличную эффективность. Особенности: 🔘Полностью открытый исходный код и обучающие данные 🔘Высокое качество и разнообразие обучающих данных 🔘Эффективная архитектура для экономичного обучения 🔘Поддержка современных технологий, таких как MoE и FP8 🔘Оптимизированный код для масштабируемости Ссылка на GitHub проекта - тык

Быстрее, умнее, точнее VK запустил RecSys Challenge — соревнование по разработке алгоритмов рекомендаций. Участникам предстоит решить одну из самых сложных проблем рекомендательных систем: предсказать, кому зайдёт ролик, который никто ещё не видел. В основе датасет VK-LSVD: 40 млрд взаимодействий 20 млн роликов Формат: Студенты, исследователи, ML-инженеры — welcome Призовой фонд — 2 500 000 рублей 💸 Читайте подробнее и регистрируйтесь до 15 декабря на сайте соревнования.

😭 Страшно, ведь слишком реально 💥 xCode Journal