Data Science | Machinelearning [ru]

Иногда полезно выйти за пределы привычных pet-проектов и Kaggle-соревнований — просто, чтобы напомнить себе, зачем ты этим вообще занимаешься.

В Yandex Cup ты не соревнуешься ради бейджа или рейтинга. Здесь задачи максимально приближены к реальности: нужно балансировать между скоростью, качеством и интерпретируемостью решений.

Формат гибкий: сначала онлайн-этап, потом финал — офлайн, в Стамбуле. Призовой фонд — 12 млн рублей, но для многих главная мотивация — не деньги, а люди.

Сильные ML-инженеры из Яндекса и других компаний, открытые дискуссии, возможность показать себя и прокачаться рядом с теми, кто двигает индустрию вперёд.

Отбор заканчивается совсем скоро. Если ты чувствуешь, что уже перерос курсы и туториалы, — вот твой шанс проверить себя в реальном бою. 👉 yandex.ru/cup/2025

ИИ тоже могут «потерять голову» от думскролинга Исследователи из Техаса нашли интересную параллель между людьми и моделями ИИ. Оказалось, что если LLM обучать на низкокачественных данных — например, кликбейтах или вирусных постах из соцсетей — то они начинают деградировать. Это как если бы мы с вами слишком много думскролили, теряя внимание и фокус.

Процесс был следующим: взяли модель Llama 3 8B Instruct и начали дообучать её на коротких популярных постах с кучей лайков, ретвитов и репостов. Тема — кликбейт и всякая ерунда. И вот результат: качество рассуждений модели упало с 74.9 до 57.2, а понимание длинных контекстов — с 84.4 до 52.3. К тому же у модели появились странные черты, вроде нарциссизма и психопатии 🤨 Суть в том, что тут не столько магия, сколько смещение статистики. Модели ИИ, как и мы, адаптируются к тому, что они «видят». Если они обучаются на коротких, эмоционально окрашенных сообщениях, они начинают фокусироваться на последних нескольких словах, а не на всей логической цепочке. Это приводит к потере способности к долгим рассуждениям, и называется это «thought-skipping» — думать поверхностно, без глубины.

От того, на чем модель обучается, зависит, насколько «умной» она будет. А нам с вами, похоже, нужно меньше листать рилсы и больше думать. Data Science

Почему ИИ-агенты учат интерфейсы лучше в симуляции, чем в реальном мире? Мы привыкли, что для обучения ИИ нужны реальные данные: миллионы примеров взаимодействий с веб-сайтами, мобильными приложениями и интерфейсами. Но что если я скажу вам, что симуляция может дать лучшие результаты? Именно этим вопросом задали себе исследователи, разработавшие UI-Simulator. Сегодня расскажу, почему симуляция зачастую оказывается эффективнее реальности 🚬

Сложности реального мира и преимущества симуляции Сбор реальных данных — задача не только трудоемкая, но и дорогостоящая. Вместо того чтобы собирать данные в реальной среде, эта система генерирует синтетические сценарии с помощью моделей, таких как LLM (Large Language Models). И ключевое преимущество — это разнообразие и устойчивость к изменениям в интерфейсах, что делает ИИ более гибким и надежным. Процесс обучения агентов на синтетических данных выглядит как сложный и многозадачный процесс. Сначала создается модель мира, которая на основе текущего состояния интерфейса генерирует следующее. Затем проходят управляемые тесты, и результаты превращаются в обучающие примеры. Важная особенность: модель использует шаги, которые помогают делать переходы между экранами более связными и разнообразными, а также применяет фильтры для удаления ошибок и логических несоответствий. Что это дает на практике? 🐰 Тесты показали, что использование UI-Simulator уже дает результаты, сопоставимые с моделями, обученными на реальных данных. Так, например, модели, обученные на синтетических сценариях с использованием UI-Simulator, продемонстрировали значительные улучшения на платформах WebArena и AndroidWorld. К примеру, с помощью UI-Simulator-Grow удается достичь уровня в 13.4% на AndroidWorld — и это при том, что используется гораздо более легкая модель, чем у конкурентов. Почему симуляция может быть лучше реальности? В реальных условиях мы сталкиваемся с ограниченными сценариями и редко — с «краевыми» случаями. В то время как симулятор может генерировать намного больше вариаций, которые позволяют агенту быть более гибким и адаптивным к изменениям интерфейса. Это делает ИИ более устойчивым и готовым к новым условиям, которые могут встретиться в реальной жизни. Но есть и свои слабости. Иногда симулятор может не справиться с контекстом после клика или слишком полагаться на «старые» данные, что приводит к ошибкам. Разработчики честно признают эти недостатки и активно работают над улучшением алгоритмов 🤔

Это ускорит развитие ИИ и снизит затраты на подготовку обучающих наборов. В итоге, мы быстрее перейдем к реальным задачам, а потом и к еще более сложным и динамичным сценариям. Data Science

⚠️ Quantum Echoes: Как Google подошел к верифицируемому квантовому превосходству Совсем недавно, в журнале Nature, появилась статья, которая заставила всех говорить о квантовых вычислениях. Google наконец-то продемонстрировали первый в истории верифицируемый квантовый алгоритм, который имеет физическое значение и может быть использован в реальных приложениях. Это событие — настоящий прорыв, который может изменить наш подход к вычислениям и моделированию сложнейших явлений, от молекул до черных дыр.

Эксперимент был проведен с использованием квантового чипа Willow. Алгоритм, получивший название Quantum Echoes, — это что-то совершенно новое в мире квантовых вычислений. ❓ Как это работает? Процесс, описанный в статье, можно представить в несколько шагов: — Запуск сигнала в систему из 105 кубитов. Это не просто набор операций, а их последовательное перемешивание, создающее сложную квантовую суперпозицию. — Возмущение одного кубита. На одном из кубитов системы мы применяем фазовый сдвиг — своего рода источник ошибки, от которого мы хотим отслеживать, как информация будет распространяться. — Обратная эволюция. После того как мы внесли возмущение, система выполняет те же операции, но в обратном порядке. Если бы возмущений не было, система вернулась бы в исходное состояние. Но квантовые вычисления — это хаос, и ошибка может заразить остальные кубиты. — Измерение разницы. После обратной эволюции мы смотрим, как сильно изменилось состояние системы, и проверяем, насколько информация была сохранена. ✏️ Что нового в этом эксперименте? Раньше такие эксперименты можно было провести только на очень маленьких системах (до 10 кубитов). Но теперь Google доказали, что можно работать с системой из 105 кубитов и сохранять информацию даже после серьезных возмущений. Это не просто доказательство принципа, а реальная работающая модель, что очень важно для дальнейшего прогресса квантовых вычислений. Для традиционных суперкомпьютеров выполнение подобного расчета заняло бы 13,000 раз больше времени, что ещё раз подчеркивает, насколько квантовые вычисления могут изменить картину вычислительных возможностей. 🔴 Как это может быть полезно? Ключевым моментом этого эксперимента является то, что результат стал воспроизводимым. А это, к сожалению, большая редкость для квантовых систем, которые, как правило, склонны к нестабильности. Google уже провела первые эксперименты с моделированием молекул. Например, они использовали алгоритм Quantum Echoes для моделирования молекул с 15 и 28 атомами. Результаты оказались близки к тем, что получают с помощью традиционной НМР-спектроскопии, но добавили новую информацию, которая обычно недоступна классическим методам.

Это как квантовый микроскоп, который может открывать новые горизонты в материаловедении и поиске лекарств. Представьте, если эта технология продолжит развиваться, то она откроет совершенно новые возможности для ученых и исследователей в самых разных областях. Data Science

🔥 Как DeepSeek переосмысляет OCR В сфере обработки текста существует классическая проблема — как эффективно распознавать и хранить большие объемы информации. Обычно OCR-модели анализируют текст, превращая его в токены, что с каждым новым символом или словом требует всё больше вычислительных ресурсов. Но исследователи из DeepSeek нашли способ кардинально изменить этот процесс, предложив совершенно новую модель, которая работает с текстом как с изображением.

Идея проста, но мощная. Вместо того чтобы оперировать текстовыми токенами, DeepSeek-OCR обращается к визуальным представлениям страниц. Это позволяет значительно снизить затраты на обработку при сохранении высокой точности. ✔️ Как работает DeepSeek-OCR? Традиционные OCR-системы распознают текст, разделяя его на символы и слова, что требует много вычислений. В отличие от них, DeepSeek-OCR превращает страницы в изображения, которые затем кодируются через собственный алгоритм DeepEncoder в компактные визуальные токены. Затем текст восстанавливается обратно. Это не только упрощает процесс, но и значительно снижает вычислительные затраты, особенно на длинных документах. При этом точность системы не страдает. В экспериментах модель показала удивительные результаты: при десятикратном сжатии точность оставалась на уровне 97%, а при двадцатикратном сжатии — около 60%. Это означает, что теперь можно хранить длинные документы в несколько раз более компактно, не теряя значимую информацию. 📌 Как устроена модель? Архитектура DeepSeek-OCR работает по трёхступенчатому принципу: • Локальное внимание — система захватывает мелкие детали, улучшая точность распознавания. • Свёрточное сжатие — модель сжимает текст в 16 раз, делая его намного более компактным. • Глобальное внимание — анализирует структуру страницы в целом, что позволяет лучше понимать контекст и логику документа. Ещё одним интересным моментом является внедрение механизма забывания. В этом случае старый контекст постепенно теряет разрешение, чтобы освободить место для новой информации. Это позволяет системе работать с долгосрочной памятью, не перегружая её архивными данными.

DeepSeek-OCR обещает значительно упростить и ускорить обработку больших массивов данных. Теперь, чтобы работать с длинными статьями или документами, не нужно расходовать много вычислительных ресурсов, а можно эффективно хранить и передавать информацию в компактном виде. Data Science

Создай ML-модель, которую оценит продюсер «Слова пацана» На хакатоне Wink AI Challenge проходит кастинг ИИ-сервисов для киноиндустрии. Разработай своё решение и покажи экспертам, как оно ускорит производство фильмов и сериалов. Призовой фонд — 1 125 000 рублей. 🗓 Регистрация на платформе Codenrock до 31 октября ML-инженеры, backend- и frontend-разработчики, DevOps, MLOps и мультимедиа-инженеры — ваш выход. Алгоритм такой: → Получи настоящий сценарий кинофильма. → Распознай персонажей и локации с помощью NER и NLP-моделей. → Разработай ИИ-сервис, который умеет интерпретировать сценарий и предлагать оптимальные решения для киноиндустрии. Задачи хакатона: 🔸 Построй модель зависимости между сценами и структурируй сценарий. 🔸 Преврати текст в эскизы с помощью text-to-image для создания превизуализации сценария. 🔸 Создай решение, которое классифицирует контент и находит сцены, влияющие на возрастной рейтинг. Твой ИИ-сервис оценят и будут использовать продюсеры популярных российских фильмов и сериалов: «Слово пацана», «Ёлки», «Фишер» и многих других. Финал пройдёт в Москве — двум участникам из команды Wink оплатит билеты и проживание. Регистрируйся на первый в России хакатон по применению ИИ в кинопроизводстве и разработай решение, которое станет частью создания фильмов и сериалов: https://cnrlink.com/winkaichallengedsml

🤖 OpenAI запустили собственный ИИ-БРАУЗЕР — Atlas ИИ-ассистент будет теперь доступен везде — так что ему можно будет поручать задачи или просить что-то объяснить. Плюс браузер будет подстраиваться под пользователя из-за встроенной памяти. Это новая эпоха поиска, официально. Будет доступно бесплатно на macOS. ✖️ xCode Journal

Постройте карьеру в Дата Аналитике. Бесплатный вебинар Если вы строите дашборды, готовите отчёты и чувствуете, что пора расти, этот вебинар — для вас. 30 октября в 18:00 Анатолий Карпов, CEO karpov.courses и эксперт с 10-летним опытом в аналитике, проведёт бесплатный эфир «Аналитика данных 2025: билет в профессию будущего». Вы узнаете, какие инструменты будут определять рынок в 2025 году, что отличает сильного аналитика и как выстроить стратегию роста, чтобы перейти на новый уровень дохода. Вебинар проходит в рамках Data Sprint — месяца полезного контента о Data Science. Вас ждут 5 вебинаров по аналитике, Machine Learning и Data Engineering с экспертами из X5 Group, AliExpress и Яндекса. Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

🖥 Alibaba представила новые мультимодальные модели Alibaba представила сразу две новые мультимодальные модели, которые уже привлекли внимание исследователей — Qwen3-VL-2B и Qwen3-VL-32B. И если первая модель привнесла значительные улучшения, то вторая сразу же побила рекорды по производительности и вывела на новый уровень задачи, связанные с визуальными вопросами, анализом видео и распознаванием текста.

✔️ Что отличает Qwen3-VL-32B? Хотя модель обладает «всего» 32 миллиардами параметров, ее результаты впечатляют. Она не просто конкурирует с более мощными системами, которые могут иметь до 235 миллиардов параметров, но и превосходит их на ряде бенчмарков, включая OSWorld. Главная причина такого успеха — новая архитектура с иерархическим вниманием, которая позволяет модели эффективно интегрировать текст, изображение и видео в едином контексте. Это делает Qwen3-VL-32B не просто инструментом для анализа изображений, но и мощной системой для решения сложных задач в области STEM (наука, технологии, инженерия и математика), видеовопросов (VQA), а также анализа видеопотоков и даже автономных агентов. ▶️ Что может эта модель? Qwen3-VL-32B демонстрирует способность не просто распознавать кадры на видео, но и понимать сюжет и причинно-следственные связи. Это открывает возможности для более глубокого анализа видео, создания автономных агентов и разработки образовательных платформ, где важно не только понимать контент, но и делать логические выводы.

И, конечно, на этом Alibaba не остановилась. Оба продукта, Qwen3-VL-2B и Qwen3-VL-32B, доступны для тестирования и интеграции через Hugging Face и Qwen Studio, где можно опробовать их возможности и подключить к собственным проектам с помощью демо-версий и API. Data Science

⚙️ Заглянем под капот рекомендаций Яндекс Лавки Всегда интересно, как на самом деле устроены системы в больших IT-компаниях. Команда Лавки написала подробный разбор своего сервиса рекомендаций смен для курьеров. Задача нетривиальная: нужно правильно подобрать для исполнителей эксклюзивный ресурс — рабочие смены. Ребята начали с красивой идеи на эвристиках — векторы и скалярное произведение. Но быстро упёрлись в потолок офлайн-пайплайна. В статье честно рассказывают, как пришлось докрутить асинхронный real-time сервис, построить гибридную архитектуру и почему теперь они смотрят в сторону градиентного бустинга. 🚀 Честная инженерная история о том, как продукт эволюционирует от простого MVP к сложной системе. 👉 Все детали — в статье Реклама. ООО «Яндекс.Такси». ИНН 7704340310.

Мощные мультимодальные модели LLaVA-OneVision-1.5 Открытая платформа для обучения мультимодальных моделей, демонстрирующая выдающиеся результаты при низких затратах. Модели обучаются на высококачественных данных и обеспечивают отличную эффективность. Особенности: 🔘Полностью открытый исходный код и обучающие данные 🔘Высокое качество и разнообразие обучающих данных 🔘Эффективная архитектура для экономичного обучения 🔘Поддержка современных технологий, таких как MoE и FP8 🔘Оптимизированный код для масштабируемости Ссылка на GitHub проекта - тык

Быстрее, умнее, точнее VK запустил RecSys Challenge — соревнование по разработке алгоритмов рекомендаций. Участникам предстоит решить одну из самых сложных проблем рекомендательных систем: предсказать, кому зайдёт ролик, который никто ещё не видел. В основе датасет VK-LSVD: 40 млрд взаимодействий 20 млн роликов Формат: Студенты, исследователи, ML-инженеры — welcome Призовой фонд — 2 500 000 рублей 💸 Читайте подробнее и регистрируйтесь до 15 декабря на сайте соревнования.

😭 Страшно, ведь слишком реально 💥 xCode Journal

Будущее Интернета: «Останется ли Интернет свободным?» 🤨 Тим Бернерс-Ли, создатель Всемирной паутины, поднял важнейший вопрос: «Останется ли Интернет свободным?» В своём последнем эссе он выразил обеспокоенность по поводу изменения курса, который изначально направлялся к открытой и доступной сети для всех.

На ранних этапах, благодаря инициативе Бернерса-Ли, такие технологии, как HTTP, стали бесплатными, чтобы гарантировать, что интернет будет доступен каждому, без необходимости платить за каждое действие в сети. Но теперь, по его словам, ситуация изменилась: крупнейшие платформы собирают и продают персональные данные, а алгоритмы, направленные на манипуляцию вниманием, наносят вред психическому здоровью. Основной тревогой является тот факт, что Интернет уже не является тем открытым пространством для обмена знаниями и свободного общения, как задумывалось. Сегодня мы стали не пользователями, а товаром, который продается. И, возможно, самыми опасными являются не технологии, а управление ими. Бернерс-Ли утверждает, что в области искусственного интеллекта власть сосредоточена в руках нескольких крупных компаний, и без немедленных изменений мы можем столкнуться с ещё более жёсткой централизацией.

Тим предупреждает, что нам нужно не только создавать новые технологии, но и искать пути их регулирования. Чтобы вернуть Интернет в его «естественное» состояние — открытым и доступным, необходимо создать глобальные институты для разработки и управления ИИ, аналогичные тем, что возникли после Второй мировой войны для управления атомной энергией. Что важнее: свобода пользователей или контроль?

❤️ — Свобода для пользователей 🐳 — Контроль и регулирование

Data Science

Генеративный ИИ и малварь: как нейросети изменили киберугрозы 😂 В последние два года мир кибербезопасности столкнулся с новым феноменом: вредоносные программы, которые генерируются с помощью «разлоченных» LLM-моделей. Эти модели, лишенные стандартных мер безопасности, могут без труда создавать фишинг-атакующие сообщения, вирусы и даже инструкции по эксплуатации уязвимостей. Примеры таких систем, как WormGPT и FraudGPT, ставят на первый план вопрос: насколько безопасны технологии, которым мы доверяем свою информацию?

Тем временем, уже известные киберпреступные группировки используют легальные LLM-модели для разработки вредоносных скриптов, обфускации кода и автоматизации атак. Но самые опасные угрозы связаны с интеграцией ИИ в сам процесс атаки — когда модель начинает работать не как простой инструмент, а как активный участник атаки. Она генерирует код, анализирует уязвимости и подстраивает действия в зависимости от ситуации. Новые типы атак: GenAI и полиморфные вирусы Примером такого подхода стала BlackMamba — вирус, который использует API ChatGPT для динамической генерации вредоносных кодов. Каждый запуск вируса создает новый уникальный вариант, что значительно затрудняет его обнаружение. Этот вирус не сохраняет вредоносные файлы на диске, а генерирует их «на лету», что делает его полиморфным и трудным для обнаружения традиционными антивирусами. Также стоит отметить инцидент с программой Skynet, где злоумышленники использовали промпт-атаку для обмана систем безопасности, заставляя их игнорировать вредоносный код. Однако настоящим прорывом в этой области стали атаки с использованием LLM для создания «вымогателей» — систем, которые могут самостоятельно проводить весь цикл кибератаки, от анализа цели до шифрования данных. Инцидент PromptLock: когда ИИ становится вымогателем Одним из самых опасных примеров стал инцидент с вирусом PromptLock, когда LLM-модели сами генерируют вредоносные скрипты на лету. В отличие от традиционных вирусов, которые имеют заранее запрограммированные действия, PromptLock может адаптировать свои атаки под конкретную ситуацию, делая их гораздо более эффективными и трудными для обнаружения.

Сейчас самые эффективные способы защиты — это системы, которые могут распознавать необычные паттерны поведения, даже если сами вредоносные программы не используют привычные сигнатуры. Генеративный ИИ создаёт новые угрозы, но и открывает возможности для инновационных методов защиты, которые будут важны в борьбе с киберугрозами. Когда ИИ уже не просто инструмент, а полноценный участник атак? Data Science

GPT-5 и «тест Гёделя»: шаг к открытиям? 🗒 Недавний эксперимент стал важным шагом в исследовании возможностей больших языковых моделей. В отличие от традиционных тестов на решение стандартных задач, «тест Гёделя» ставит задачу: может ли модель самостоятельно генерировать новые математические гипотезы и их доказательства? Это попытка выявить способность моделей к настоящим научным открытиям.

Что такое «тест Гёделя»? Название теста связано с именем Курта Гёделя, одного из самых известных математиков и логиков 20-го века, который стал символом строгих и фундаментальных доказательств. В этом тесте модели не просто решают заранее известные задачи, а пытаются сгенерировать новое знание — например, доказать гипотезы, которые ранее не были исследованы. Эксперимент был проведен профессором Мораном Фельдманом из Университета Хайфы и Амином Карбаси из Cisco Foundation AI. В качестве задачи выбрали пять свежих гипотез в области комбинаторной оптимизации и предложили GPT-5 несколько научных статей, не раскрывая сути гипотез. Модель должна была либо предложить доказательство, либо опровергнуть гипотезу, либо найти контрпример. Результаты эксперимента Результаты теста оказались неоднозначными. В трех из пяти случаев GPT-5 предложила решения, которые исследователи оценили как близкие к правильным — ключевая идея была правильной, но доказательства не были до конца сформированы. В одном случае модель даже смогла опровергнуть гипотезу и предложить альтернативное решение. Однако две задачи GPT-5 не смогла решить, не справившись с анализом и «склейкой» идей из различных статей. Хотя GPT-5 не прошла «тест Гёделя» в полном объеме, результаты эксперимента показывают важный шаг вперед. Если модель может сгенерировать математические идеи, даже если она не всегда может полностью доказать их, это открывает возможности для создания систем, способных на более глубокие научные открытия. Таким образом, GPT-5 — это не просто инструмент для обработки информации, а зачатки модели, которая в будущем может участвовать в процессе создания новых гипотез и их верификации.

Достижения GPT-5 в области научных исследований ещё ограничены, но уже дают представление о том, как языковые модели могут помогать в создании новых знаний. Возможно, в будущем такие системы смогут не только решать задачи, но и инициировать научные открытия. Data Science

Anthropic показал «LLM‑операционку» — приложение, которое кодит само себя 🍑 Anthropic выпустил research‑preview: идея простая и впечатляющая — большая модель генерирует софт на лету. Клик — и приложение поднимается из пустоты; открываешь файл — его содержимое тут же создаётся по запросу. Это не готовый продакшн‑фреймворк, а демонстрация возможностей Sonnet 4.5 и сценариев, где LLM выступает как «живой» разработчик/редактор. Ключевые фишки:

• Генерация интерфейсов и кода в реальном времени по интерактивным жестам • Мгновенное наполнение файлов и компонентов под ваш промпт • Демонстрационный сценарий — прототипирование без заготовок Почему стоит попробовать? Во-первых, это отличный способ показать, как быстро можно прототипировать идеи: вам не нужен boilerplate — модель сама создаёт структуру проекта, страницы, CRUD‑эндоинты и даже простую логику. Во‑вторых — это ещё один шаг к тому, чтобы LLM не просто писал куски кода, а управлял жизненным циклом приложения: от интерфейса до связки с бэкендом.

Текущая версия инструмента представляет собой превью, где вопросы вызывают безопасность, качество кода, необходимость тестирования и масштабируемость. Доступ ограничен: воспользоваться может только пользователь тарифа Max, и то в течение пяти дней, поэтому инструмент пока скорее служит маркетинговым демо для Sonnet 4.5, тем не менее, попробовать что-то новое всегда интересно. Data Science

Data.Meetup от Сбера: честно об агентизации😏 Отправляйтесь на жёсткую прокачку скилов — обсудим AI-Ready Data, аспекты построения AI-агентов, умный поиск, генерацию SQL и доступ агентов к данным одним кликом. Встречаемся 23 октября: в московском офисе Сбера! 👌

🤥 Разработчики врут на собеседованиях больше всех Такую статистику показало новое исследование. Больше половины работодателей в России сталкивались с приукрашенным резюме у кандидатов. При этом чаще всего врут разработчики ПО, за ними идут тестировщики и руководители проектов. А вот меньше всего обманывают эйчаров датасаентисты, аналитики, сетевые инженеры и специалисты технической поддержки. ✖️ xCode Journal

Поговорим про деньги в IT? Приглашаем опытных IT-специалистов пройти небольшой опрос про зарплаты и бенефиты в технологических компаниях. Это займёт не более 7 минут — а ваше мнение поможет одному крупному российскому работодателю делать актуальные оферы. Пройти опрос можно здесь