Machine learning Interview

Один One Day Offer вам или целых три — всем? 😉 25 октября Сбер проведёт сразу три экспресс-отбора кандидатов в две команды: GigaData и Kandinsky. Чем вам предстоит заниматься 👇 ✔️ Развивать GigaData — внутреннюю платформу Сбера, которая обрабатывает петабайты данных и миллиарды запросов в сутки. One Day Offer для Python‑разработчиков. ✔️ Работать над Kandinsky — обучать большие модели с нуля, собирать и подготавливать данные, исследовать самые эффективные методы дообучения моделей. — One Day Offer для Machine Learning Engineers с опытом в Deep Learning и компьютерном зрении (CV). — One Day Offer для Research и Deep Learning Engineers. Выбирайте то, что больше подходит под ваши навыки, и регистрируйтесь на One Day Offer!

⚡️ Художник представил анимацию, посвящённую эволюции глубокого обучения. Работа под названием “Evolution of Deep Learning by Hand” визуально показывает, как развивались ключевые идеи, сформировавшие современный мир нейросетей. Автор вручную изобразил путь от первых искусственных нейронов до сложных архитектур, чтобы почтить вклад Хинтона — одного из основателей глубокого обучения и лауреата Нобелевской премии.

🚀 Новый курс на Stepik: AI Agents PRO Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда. 🔹 Что внутри: Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor). Интеграции: API, БД, браузеры, CRM. Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS). Надёжность: ретраи, guardrails, работа с PII. LLMOps: метрики качества, A/B-тесты, дашборды. Продакшн-деплой: Docker, очереди сообщений, CI/CD. Итоговый проект: собственный агент под реальный бизнес-кейс. 🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках. 🔥 Спец-условия: только по промо AGENTS30 — -30% на старт (действует 48ч). 👉 Пройти курс со скидкой Реклама: Ип Малышкин А.А. ИНН: 402571325199, Erid: 2Vtzqxkqgu4

⚡️ Одна из самых наглядных визуализаций механизма внимания - темы, которую многим разработчикам долго было трудно по-настоящему понять. На первый взгляд формула кажется простой - её легко выучить и даже воспроизвести по памяти. Но разобраться интуитивно, как взаимодействуют Q (Query), K (Key) и V (Value), - совсем другое дело. Именно это видео или схема помогает «увидеть», что происходит внутри трансформера. #machinelearning #deeplearning #transformers #attention #LLM

Оксфордские учёные подтвердили худшие опасения: Интернет умирает Исследователи из Оксфорда выяснили: интернет больше не тот, что раньше: - В 2020 году ИИ создавал всего 5% контента, - В 2025 - уже 48%, а к следующему году прогнозируют более 90%. ИИ-текст стоит очень дешево, человеческий труд - от $10 до $100 за статью. Рынок выбрал скорость и дешевизну. Но настоящая проблема -**«model collapse»**: когда нейросети обучаются на тексте, созданном другими нейросетями. Это как ксерить ксерокопию - каждое поколение теряет детали и оригинальные идеи. Мир превращается в поток однообразного, усреднённого контента. ИИ сегодня создаёт “цифровую кашу”, а завтра будет учиться уже на ней. И каждый новый виток делает интернет чуть глупее. #AI #Oxford #ModelCollapse #Internet #AIGeneratedContent #LLM #AIEthics #DigitalDecay

Андрей Карпати о «ИИ-агентах»: > «Честно говоря, модели пока не дотягивают. > Мне кажется, индустрия делает слишком большой скачок и пытается выдать это за нечто невероятное. > Но это — просто *каша* (slop)! > Они не хотят с этим смириться. Возможно, дело в попытке привлечь инвестиции или в каком-то маркетинговом хайпе — я не уверен, что происходит.» Карпати критикует нынешнюю гонку вокруг AI-агентов, считая, что технологии ещё не готовы для реальных задач, а компании слишком рано продают идею «умных агентов», завышая ожидания рынка.

🧬 Google Research представила DeepSomatic — новый инструмент ИИ для анализа опухолевых геномов. Модель использует сверточные нейросети (CNN), чтобы находить соматические мутации — те самые изменения в ДНК, которые могут запускать рост раковых клеток. DeepSomatic превращает данные секвенирования ДНК в визуальные «карты» и обучается различать реальные мутации, наследственные варианты и шум от ошибок секвенирования. 📊 Обученная на огромном датасете CASTLE, модель показала: - более высокую точность, чем существующие инструменты (MuTect2, Strelka2, SomaticSniper); - способность работать даже без контрольного образца «здоровой ткани» (режим *tumor-only*); - устойчивость к разным видам рака и технологиям секвенирования. 💡 DeepSomatic — шаг к ИИ-управляемой прецизионной медицине. В будущем такие системы смогут анализировать геном опухоли за часы вместо дней, помогая врачам быстрее подбирать оптимальное лечение и открывать новые терапевтические мишени. 🔗 Подробнее в блоге Google Research: https://research.google/blog/using-ai-to-identify-genetic-variants-in-tumors-with-deepsomatic/

⚡️ Omni-Embed-Nemotron - новая единая модель от NVIDIA для поиска по тексту, изображениям, аудио и видео Модель обучена на разнообразных мультимодальных данных и может объединять разные типы входных сигналов в общее векторное представление. - Поддержка всех типов данных: текст, изображение, аудио, видео. - Основана на архитектуре Qwen Omni (Thinker-модуль, без генерации текста). - Контекст - до 32 768 токенов, размер embedding — 2048. - Оптимизирована под GPU, поддерживает FlashAttention 2. Это делает её идеальной для: - кросс-модального поиска (поиск текста по видео или изображению); - улучшения RAG-проектов; - систем мультимодального понимания контента. Просто, быстро и эффективно - всё в одном открытом решении. 🌐 Открытая модель: https://huggingface.co/nvidia/omni-embed-nemotron-3b @ai_machinelearning_big_data #crossmodal #retrieval #openAI #NVIDIA #OmniEmbed #multimodal #AIModels #OpenSource #Search #UnifiedEmbedding

🔥 Amurex — это ваш простой, но мощный помощник на основе искусственного интеллекта для проведения совещаний, который легко интегрируется в ваш рабочий процесс! 🌟 Созданный на основе передового искусственного интеллекта, Amurex гарантирует, что вы никогда не упустите ни одной детали, всегда будете в курсе всех дел и сделаете каждое совещание более продуктивным. 🌟 Благодаря таким функциям, как предложения в режиме реального времени, интеллектуальные сводки и последующие электронные письма, Amurex выступает в роли вашего личного второго пилота на всех встречах, экономя время и повышая эффективность. 🔐 Лицензия: AGPL-3.0 🖥 Github

Жиза

📢 Калифорния первой в США выпустила закон, обязывающий ИИ признавать, что они не люди Штат принял закон SB 243 - первый в стране, регулирующий AI-чат-ботов-компаньонов. Основные положения: ▪Если пользователь может подумать, что говорит с человеком, бот обязан показать уведомление, что он искусственный интеллект. Компании должны иметь протокол предотвращения суицида: блокировать подобный контент и направлять пользователей на горячие линии помощи. Этот протокол должен быть опубликован на сайте. При общении с несовершеннолетними бот обязан напоминать каждые 3 часа, что это ИИ, и советовать сделать перерыв. Запрещено выдавать себя за врача или иного специалиста в области здоровья. Для подростков должен быть фильтр от сексуального контента. С июля 2027 года операторы обязаны ежегодно отчитываться в Офисе по предотвращению самоубийств о своих действиях при выявлении риска. Пользователи смогут подавать в суд на компании — минимум на $1 000 за каждое нарушение. В тот же день подписаны сопутствующие меры: Закон SB 53 (сентябрь 2025) — обязывает крупных разработчиков ИИ публиковать протоколы безопасности. Новые правила о проверке возраста, предупреждениях на соцсетях и штрафах до $250 000 за дипфейк-порнографию. Закон принят после громких случаев и исков, связанных с вредными взаимодействиями подростков с чат-ботами, включая CharacterAI и дело о гибели пользователя ChatGPT. techcrunch #ai #news

МТС приглашает всех, кто пишет на С++, Go, Python, JS, Java, C# и других языках, на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках. Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей] Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге. Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей] Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы. 🎁 Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка. 📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл. Стоит участвовать, чтобы: — Освежить знания и прокачать новые навыки. — Заявить о себе на всю страну, получить карьерный буст и шанс лично пообщаться с HR-специалистами МТС. ⏰ Регистрация участников до 20 октября на сайте.

🔥 Разбор того, как Mixture-of-Experts (MoE) LLM можно сделать реально дешёвыми, если подогнать архитектуру под железо. В чём проблема - MoE включает только часть экспертов на токен → экономия compute. - Но при больших batch size растут коммуникации и память: - больше экспертов грузится, - KV-кэш раздувается, - узким местом становится память и сеть. Решение - expert parallelism - Эксперты размазаны по многим GPU. - Токен идёт к top-N экспертам + shared-эксперт. - В DeepSeek: 8 экспертов из 256 на слой × 58 слоёв. Чтобы справиться с коммуникациями: - внимание остаётся data parallel (кэш сидит на одном GPU), - гоняются только маленькие вектора активаций, - два микробатча: один считает, другой общается, - горячие эксперты дублируются, - токены стараются держать экспертов в пределах одного узла. Оптимизации - multi-head latent attention → сжатие KV-кэша до ~70KB вместо сотен KB. - перестройка математики внимания → меньше вычислений при длинных контекстах. - prefill и decode разделены, кэш даёт ~56% хитов → меньше затрат. Экономика - Стоимость = $/GPU-час ÷ токены/час. - Дешевле при больших batch size, быстрых interconnect, большем числе GPU. - Но если сервис обещает 20 токенов/сек на юзера → батчи меньше, цена выше. Практика - NVLink кластеры масштабируются отлично. - InfiniBand между DGX - bottleneck. - 72 GPU при batch 64 → миллиарды токенов в день за ~$0.40 / 1M токенов. Итог MoE становятся дёшевыми при: - больших батчах, - сжатом KV-кэше, - грамотном роутинге, - разделении префилла и декода, - быстрых interconnect. Это даёт гибкость: быстрый чат продаётся дороже, а bulk-генерация (синтетика, fine-tune) идёт почти по себестоимости. https://www.tensoreconomics.com/p/moe-inference-economics-from-first

ML-трек на чемпионате Yandex Cup Яндекс открыл регистрацию на Yandex Cup — международный чемпионат с призовым фондом 12 млн рублей и финалом в Стамбуле. В ML-треке можно участвовать с 14 лет. Это возможность выиграть от 100 тысяч рублей и попасть в Яндекс по упрощённой схеме. Этапы: — регистрация до 29 октября — онлайн-квалификация с 15 октября по 5 ноября — финал 5–7 декабря в Стамбуле Пора регистрироваться.

🧩 LightReasoner - когда маленькие модели учат большие рассуждать лучше Исследователи представили метод LightReasoner, который позволяет маленьким моделям обучать большие, показывая, где именно важно рассуждение. 💡 Главная идея: не обучать модель на всём тексте, а только на тех токенах, где рассуждение реально меняет ответ. Механика: система запускает «эксперта» и «новичка» на одной задаче и отслеживает, где их предсказания сильно расходятся. Эти точки и есть ключевые шаги, определяющие, пойдёт ли решение по правильному пути. После этого модель: - сохраняет только эти сложные шаги, - превращает преимущество эксперта в мягкую обучающую цель, - игнорирует лёгкие и очевидные токены. 📉 В результате: - обучение идёт на 90% быстрее, - количество обучаемых токенов сокращается на 99%, - при этом точность на математических бенчмарках остаётся такой же или выше, чем при обычном fine-tuning. Контрастный эффект особенно силён, если «новичок» отличается от «эксперта» не только размером, но и знаниями в конкретной области. Удаление любого из компонентов — отбора шагов или контрастных целей — ухудшает результаты. 📄 Статья: https://arxiv.org/abs/2510.07962

🖥 Учим Python на ферме - вышла новая игра, где вместо фарминга ты пишешь код Забудь про грядки и полив — теперь ферма работает на Python. Ты управляешь роботами, автоматизируешь процессы и наблюдаешь, как код превращается в урожай. Вместо мотыги - код, вместо удобрений - алгоритмы. Это не симулятор фермера, а тренажёр программиста с юмором и логикой. - Всё управление через код - роботы выполняют твои Python-команды; - Обучение встроено в геймплей — осваиваешь основы без нудных туториалов; - Без уровней и доната - ферма растёт вместе с твоими навыками; - Есть русский язык и IntelliSense, можно писать даже из VS Code; У игры уже 95% положительных отзывов в Steam. Игра превращает обучение Python в чистое удовольствие - просто запускаешь и начинаешь “программировать урожай”. 👉 Играть

🧠 LIMIT: Исследование пределов извлечения на основе эмбеддингов Репозиторий содержит набор данных LIMIT, созданный для проверки моделей эмбеддингов на теоретических принципах. Исследование показывает, что даже современные модели не могут вернуть определенные документы, подчеркивая ограничения текущего подхода с использованием одно-векторных эмбеддингов. 🚀Основные моменты: - Набор данных для тестирования моделей эмбеддингов. - Включает 50k документов и 1000 запросов. - Подчеркивает теоретические ограничения извлечения информации. - Код для генерации данных и экспериментов доступен в репозитории. 📌 GitHub: https://github.com/google-deepmind/limit #python

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров. Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели. Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума. Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова. 🔄 Как её сделали Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля. Они просто поменяли тип внимания и дообучили модель на новой задаче. Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную. Как это происходит: 1. Берут сильную GPT-подобную модель. 2. Меняют механизм внимания — теперь модель видит весь контекст сразу. 3. Продолжают обучение по диффузионной задаче. 4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления. ⚙️ Что под капотом ▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной. ▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим. ▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу. ✔️ Почему это интересно - Параллельная генерация - текст создаётся быстрее, без пошаговой задержки. - Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT. - Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM. - Полностью открытый код и веса - можно исследовать, изменять, запускать самому. - Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии. Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”. Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя. 🟠Blog: https://radicalnumerics.ai/blog/rnd1 🟠Code: https://github.com/RadicalNumerics/RND1 🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf 🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910 @ai_machinelearning_big_data #RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

Сэм Альтман рассказал очень любопытную деталь о Sora. Многие правообладатели наоборот хотят, чтобы их персонажи чаще использовались в видео, созданных с помощью Sora. Пока OpenAI старается провести грань между конфиденциальностью и защитой, владельцы прав всё чаще просят больше открытости и видимости. Они поняли, что когда пользователи создают креативные или вирусные видео с их персонажами, это повышает вовлечённость аудитории и популярность франшиз. Ограничивая использование, можно потерять охват - поэтому для многих теперь открытость стала выгодой, а не угрозой. 🟠Полное интервью

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥 Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно! 📌 Темы занятий: 1. Введение в мир нейро-сотрудников 2. Как работают LLM и их аналоги 3. Создание базы знаний для нейро-сотрудника (RAG) 4. Тестирование и отладка нейро-сотрудников 5. Интеграция нейро-сотрудников в Production Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов 🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!