Machine learning Interview

💡 RND1 - новая экспериментальная модель с 30 миллиардами параметров, построенная по архитектуре Sparse Mixture-of-Experts, где активно 3 миллиарда параметров. Она была преобразована из предварительно обученной авторегрессионной модели (Qwen3-30B-A3B) и затем дополнительно обучена на 500 миллиардах токенов, чтобы полностью поменять поведениие диффузионной модели. Обычные модели (AR, автогрессионные) пишут текст слово за словом, а RND1 создаёт всё предложение сразу и потом пошагово уточняет его, как будто “проявляет” текст из шума. Это - Diffusion Language Model (DLM), аналог диффузионных моделей, которые рисуют картинки, только здесь она “рисует” слова. 🔄 Как её сделали Команда Radical Numerics придумала, как превратить готовую модель в диффузионную без обучения с нуля. Они просто поменяли тип внимания и дообучили модель на новой задаче. Этот метод называется AR-to-Diffusion Conversion (A2D) - то есть конверсия из автогрессионной модели в диффузионную. Как это происходит: 1. Берут сильную GPT-подобную модель. 2. Меняют механизм внимания — теперь модель видит весь контекст сразу. 3. Продолжают обучение по диффузионной задаче. 4. Используют разные скорости обучения для разных частей сети, чтобы модель не забыла старое, но научилась новому способу мышления. ⚙️ Что под капотом ▪ Mixture-of-Experts (MoE) - у модели 30 млрд параметров, но реально работают только 3 млрд за раз. Это делает её мощной, но экономной. ▪ Непрерывное дообучение - старые знания не стираются, а “встраиваются” в новый режим. ▪ Огромные батчи - модель учится на больших партиях данных, чтобы стабилизировать обучение, ведь она не обрабатывает все токены сразу. ✔️ Почему это интересно - Параллельная генерация - текст создаётся быстрее, без пошаговой задержки. - Меньше затрат - активных параметров всего 3 млрд, при этом качество как у больших GPT. - Новая архитектура - открывает дорогу гибридным моделям, сочетающим плюсы AR и DLM. - Полностью открытый код и веса - можно исследовать, изменять, запускать самому. - Первый серьёзный шаг к самосовершенствующемуся ИИ- модель может не только обучаться, но и помогать в проектировании следующей версии. Это реально интересный метод, RND1 показывает, что ИИ можно не просто обучать, а перестраивать - менять его саму логику мышления без начала “с нуля”. Похоже, это может стать фундаментом для систем Recursive Self-Improvement (RSI), когда ИИ способен создавать и улучшать самого себя. 🟠Blog: https://radicalnumerics.ai/blog/rnd1 🟠Code: https://github.com/RadicalNumerics/RND1 🟠Report: https://radicalnumerics.ai/assets/rnd1_report.pdf 🟠Веса: https://huggingface.co/radicalnumerics/RND1-Base-0910 @ai_machinelearning_big_data #RND1 #RadicalNumerics #AI #DLM #DiffusionModel #MoE #OpenSource

Сэм Альтман рассказал очень любопытную деталь о Sora. Многие правообладатели наоборот хотят, чтобы их персонажи чаще использовались в видео, созданных с помощью Sora. Пока OpenAI старается провести грань между конфиденциальностью и защитой, владельцы прав всё чаще просят больше открытости и видимости. Они поняли, что когда пользователи создают креативные или вирусные видео с их персонажами, это повышает вовлечённость аудитории и популярность франшиз. Ограничивая использование, можно потерять охват - поэтому для многих теперь открытость стала выгодой, а не угрозой. 🟠Полное интервью

🔥 БЕСПЛАТНЫЙ КУРС ПО СОЗДАНИЮ НЕЙРО-СОТРУДНИКОВ НА GPT И ДРУГИХ LLM 🔥 Ищете практический и углубленный курс, чтобы освоить создание нейро-сотрудников? Мы создали курс из 5 объемных занятий. Это именно то, что нужно, чтобы прокачать свои навыки абсолютно бесплатно! 📌 Темы занятий: 1. Введение в мир нейро-сотрудников 2. Как работают LLM и их аналоги 3. Создание базы знаний для нейро-сотрудника (RAG) 4. Тестирование и отладка нейро-сотрудников 5. Интеграция нейро-сотрудников в Production Вот 5 тем курса - он максимально простой и доступный, общеобразовательный, без какого-либо сложного программирования 📚Прохождение этого курса, скорее всего, займет у вас от 1 до 3 часов 🤖 Присоединяйтесь к нашему бесплатному курсу и разберитесь в этой увлекательной теме с нами!

⚡️ Elon Musk’s xAI готовится привлечь $20 млрд — включая $7.5 млрд в виде equity и до $12.5 млрд в виде долга. Что показано: - NVIDIA может инвестировать до $2 млрд в equity, причём эта часть финансирована с привязкой к GPU-закупкам. - Структура сделки включает SPV, которая купит GPU, а сама компания xAI будет их арендовать на пять лет. Почему это важно: - схема снижает начальные капитальные затраты xAI — вместо покупки GPU сразу, они арендуют, что даёт гибкость. - крупный партнёр вроде NVIDIA усиливает доверие к проекту и подчёркивает, что аппаратная база остаётся ключевым фактором в развитии ИИ. - сочетание equity и долга в таких объёмах говорит о масштабном расширении инфраструктуры и серьёзных вычислительных мощностях. Возможные риски / вопросы: - зависимость от условий аренды: стоимость, обеспечение, апгрейды, срок замены оборудования. - долговая нагрузка может быть большой, особенно если доходы xAI не вырастут по плану. - риск устаревания оборудования: GPU-поколения меняются, и оборудование может устареть до конца пятилетнего срока аренды.

🔥Прими участие в Хакатоне от ИТ–холдинга Т1 в Минске и поборись за призовой фонд 600 000 рублей! Когда: 14–17 октября Формат: онлайн + финал на площадке Участвуй, если ты: 🔹обучаешься на технической или ИТ–специальности; 🔹развиваешься в направлении разработки, аналитики, AI/ML, NLP или DevOps; 🔹сможешь быть в Минске 17 октября. Выбери свой кейс: ✴️FaaS система биллинга: платите ровно за то, что используете. Создай биллинговую систему для FaaS – точный расчёт с учётом времени, вызовов и памяти. ✴️Smart Support: поддержка нового поколения. Разработай ИИ-ассистента для службы поддержки с real-time подсказками из базы знаний. Почему стоит участвовать: 🔘Кейс в портфолио и полезная обратная связь от менторов Т1; 🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний; 🔘Реальный опыт командной работы; 🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси. Регистрация открыта! ➡️ Успей до 12 октября по ссылке. #реклама О рекламодателе

🔮 IREE — мост между ML-моделями и железом Это не просто очередной фреймворк, а целая экосистема для компиляции ML-моделей в универсальное промежуточное представление, которое одинаково хорошо работает и в дата-центрах, и на мобильных устройствах. Основанный на MLIR инструмент привлёк внимание крупных игроков: AMD использовала его для участия в MLPerf с реализацией SDXL, а сам проект вошёл в LF AI & Data Foundation. Для тех, кто хочет разобраться глубже с его использованием, есть записи выступлений на AsiaLLVM и Vulkanised. 🤖 GitHub @machinelearning_interview

🎥 Генерация видео из кода с Code2Video Code2Video предлагает инновационный подход к созданию образовательных видео на основе кода. Проект позволяет визуализировать программные концепции, превращая код в наглядные видеоматериалы, что упрощает обучение и понимание. 🚀Основные моменты: - Генерация видео на основе программного кода. - Поддержка различных учебных тем. - Визуализация сложных концепций в доступной форме. - Открытый доступ к проекту и данным. 📌 GitHub: https://github.com/showlab/Code2Video #python

🎯 Новый вектор атак на ИИ — скрытые промпты в картинках Trail of Bits показали, что хакеры могут прятать инструкции в изображениях. Пока картинка оригинального размера — всё чисто. Но как только сервис (например, Gemini CLI или **Vertex AI Studio**) автоматически сжимает её, проявляется скрытый текст. 📌 Что это значит: - ИИ «видит» спрятанный промпт и исполняет его, думая, что это команда пользователя. - Так можно обойти фильтры и заставить модель делать то, что задумал атакующий. 🛠 Как защититься: - Инструмент Anamorpher (open-source) для генерации и проверки таких атак. - Защита: многоуровневая проверка картинок и отслеживание артефактов при масштабировании. ⚠️ Итог: даже безобидная картинка может оказаться «троянским конем» для ИИ-систем. 🔗Github: https://github.com/trailofbits/anamorpher 🔗 Подробнее: blog.trailofbits.com/2025/08/21/weaponizing-image-scaling-against-production-ai-systems/ #AI #Security #PromptInjection #TrailOfBits

🛰 ComputerRL — новый фреймворк, который учит AI-агентов работать с компьютером так же, как это делает человек. Главная идея — парадигма API-GUI: агент может и вызывать API, и кликать по кнопкам интерфейса. Благодаря этому исчезает разрыв между машинной автоматизацией и привычным для человека рабочим столом. Команда Zai проверила ComputerRL на модели GLM-4-9B-0414 и протестировала её на бенчмарке OSWorld. Результат — новый агент AutoGLM-OS-9B, который достиг рекордной точности и уверенно решает задачи автоматизации в desktop-средах. Проще говоря: теперь AI может не только «понимать» компьютер, но и полноценно работать с ним — запускать программы, управлять окнами и выполнять сложные действия. 📌 Статья 📌 Проект

🚀 В ByteDance Seed представили новую технику для обучения LLM - Knapsack RL Проблема: в классическом RL-тренинге распределение rollout-ов идёт равномерно. ✅ Простые задачи всегда решаются → нет градиента ❌ Сложные задачи всегда проваливаются → тоже нет градиента 💡 Решение: рассматривать exploration как задачу рюкзака (knapsack) и распределять вычислительный бюджет туда, где это реально даёт сигнал обучения. ✨ Результаты: 🔼 +20–40% больше ненулевых градиентов 🧮 До 93 rollout-ов на сложные задачи (без доп. вычислений) 📈 +2–4 средних балла, до +9 на пике в математических бенчмарках 💰 ~в 2 раза дешевле, чем равномерное распределение 📄 Подробности: huggingface.co/papers/2509.25849

😂 Сэм Альтман: 🗣️ Две недели назад: “Нам нужно $7 трлн и 10 ГВт энергии, чтобы победить рак.” 🗣️ Сегодня: “Мы запускаем соц сеть для персонализированного нейрослопа #AI #OpenAI #Altman

⚡ Менять автоэнкодер в latent diffusion моделях проще, чем кажется. 🚀 DC-Gen — это новый фреймворк для ускорения диффузионных моделей после обучения. Он переводит любую готовую модель в глубоко сжатое латентное пространство, снижая затраты и многократно ускоряя генерацию. 🔑 Основное - Высокое разрешение без потерь качества Версия DC-Gen-FLUX.1-Krea-12B выдаёт то же качество, что и оригинал, но работает в 53 раза быстрее на H100 при 4K. С NVFP4 картинка 4K генерируется всего за 3.5 секунды на одной NVIDIA 5090 (20 шагов). - 💸 Низкая стоимость адаптации Перевод FLUX.1-Krea-12B в глубоко-сжатый автоэнкодер требует всего 40 GPU-дней на H100. 📄 Статья: https://arxiv.org/abs/2509.25180 💻 Код: https://github.com/dc-ai-projects/DC-Gen 🎨 Модели : https://huggingface.co/collections/dc-ai/dc-gen-6899bb095082244f396203e1 #diffusion #deeplearning #AI

Ищете мощный сервер без переплаты? Выгодное решение для обработки и анализа больших данных — выделенный сервер конфигурации AR45-NVMe от Selectel. Он подойдет для эффективной работы с многопоточностью и Python, R, Spark в рамках одной машины, а также машинного обучения на CPU. Преимущества сервера: - 16 высокочастотных ядер, - Безлимитный интернет-трафик и приватная сеть — 1 Гбит/с, - DDoS-защита, публичный IPv4, SLA — 99,8%, - Автоустановка ОС и загрузка своих ISO-образов, - Техподдержка 24/7 и замена комплектующих за 3 часа. Закажите сервер конфигурации AR45-NVMe на сайте в несколько кликов: https://slc.tl/rurq6?erid=2W5zFK7J7NY

⚡️ Сэм Альтман о том, почему энергию на ИИ тратить необходимо 💡 Даже если ИИ будет потреблять сотни мегаватт или гигаватты, это оправдано, если он поможет открыть дешёвый и эффективный ядерный синтез и заменить тысячи ГВт углеродной генерации по всему миру. 🌍 «Мы обречены, если не найдём новые научные решения климатического кризиса. Без ИИ мы делаем это слишком медленно. Давайте попробуем с ним». 🔋 Альтман подчёркивает, что современные модели уже очень эффективны по метрике *watts per token* — и в сравнении с энергозатратами человека на размышления выглядят даже выгоднее. 📜 Он сравнил это с Google: в начале компанию критиковали за энергопотребление, но один поисковый запрос тратил куда меньше ресурсов, чем поездка в библиотеку. 👉 Если ИИ поможет найти дешёвый синтез, польза для климата многократно превысит его энергозатраты.

🚀 DeepSeek-V3.2-Exp - вышла новая экспериментальная версия ⚡ Главное: - Основана на V3.1-Terminus - Новый механизм Sparse Attention (DSA) → быстрее и дешевле работа с длинными контекстами - Качество почти без потерь, производительность как у V3.1 - 💰 API подешевел более чем на 50% 📊 V3.1 пока ещё будет доступна до 15 октября 2025. 🔗 Hugging Face: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp) 🔗 Tech Report: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf) 🔗Github: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf @ai_machinelearning_big_data #DeepSeek #AI #V32 #SparseAttention #LLM

Почему GPT-5 обучался меньше, чем GPT-4.5 Меньше pre-training, больше post-training. Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение. В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар. - Ключевые факты: - GPT-5 учился на меньшей базе, но с сильным упором на дообучение. - Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества. - В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B. - Почему не масштабировали как GPT-4.5? Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели. 👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования. 🔬 Новый отчёт от Epoch AI: https://epoch.ai/gradient-updates/why-gpt5-used-less-training-compute-than-gpt45-but-gpt6-probably-wont

🧠 Thinking Machines предложила новый способ обучения нейросетей — manifold Muon, который делает веса более стабильными и предсказуемыми. 🔑 Суть метода: - Веса ограничиваются на специальной математической поверхности (многообразии Стифеля), где они не могут «разъехаться». - Размер обновлений контролируется через спектральную норму, чтобы шаги обучения не искажали сеть слишком сильно. - Обновления считаются в касательном пространстве и возвращаются обратно на многообразие. 📊 На тестах CIFAR-10 метод оказался точнее AdamW и удерживал веса в стабильном диапазоне, хотя шаги обучения занимали больше времени. 🎯 Главная идея — ИИ может давать последовательные и надёжные ответы. То, что сейчас считается «рандомностью» моделей, авторы называют исправимым багом. Это может стать основой для создания безопасных AGI-систем, где нельзя допускать хаотичное поведение модели. https://thinkingmachines.ai/blog/modular-manifolds/

🧠 Hallucination Risk Toolkit for LLMs Этот инструмент позволяет оценивать риск галлюцинаций в больших языковых моделях без повторного обучения. Он преобразует запросы, используя закон декомпрессии, чтобы определить, стоит ли отвечать или отказываться, основываясь на целевом уровне обслуживания. 🚀Основные моменты: - Оценка риска галлюцинаций с помощью математической модели. - Поддержка двух режимов: с контекстом и без. - Использует только API Chat Completions от OpenAI. - Прозрачные математические расчеты для принятия решений. 📌 GitHub: https://github.com/leochlon/hallbayes #python

Wink AI Challenge — хакатон на стыке IT и кино. Участников ждут задачи, которые ускорят производство фильмов и сериалов за счёт прикладных AI-решений. Призовой фонд соревнования — 1 125 000 рублей. Регистрация до 31 октября: https://cnrlink.com/winkaichallengemlinterview Приглашаем на первый в России хакатон, посвящённый применению ИИ в кинопроизводстве, ML-инженеров, backend- и frontend-разработчиков, специалистов в DevOps, MLOps, а также инженеров в сфере мультимедиа. Вы сможете: 🔸 Разработать ML-модель, которую оценят и будут использовать продюсеры популярных российских фильмов и сериалов.   🔸 Решить кейсы, основанные на реальных задачах, с которыми продюсеры сталкиваются каждый день. 🔸 Использовать настоящие сценарии и видеоматериалы для анализа текстов, извлечения сущностей и генерации структуры съёмок. 🔸 Попрактиковаться в применении NLP, NER и мультимодальных данных в задачах кинопроизводства. Регистрируйтесь на платформе Codenrock и создайте ИИ-ассистента для кинопроизводства: https://cnrlink.com/winkaichallengemlinterview

📰 Реклама в ChatGPT — даже в платной версии? По данным источников, OpenAI рассматривает идею запускать рекламу прямо в ChatGPT. Ходят слухи, что Марк Симo ведёт переговоры с потенциальными кандидатами (в том числе бывшими коллегами из Facebook), чтобы собрать команду, которая займётся монетизацией — включая и подписки, и новые рекламные форматы. ⚖️ Почему это может быть правдой: - OpenAI тратит огромные суммы и остаётся убыточной. - Стартапы часто работают в минус, но рано или поздно нужно выходить на прибыльность. - Реклама — очевидный источник дохода. ⚖️ Почему это вызывает сомнения: - Платные пользователи могут потерять доверие, если реклама появится даже там. - Это ударит по бренду ChatGPT. - Вероятно, куда больший доход принесёт B2B-направление, а не потребительский сегмент. 📊 На сегодня около 3% пользователей платят за ChatGPT, а 97% используют бесплатный тариф. Поддерживать такую модель дорого, и OpenAI ищет варианты. Но станет ли реклама решением — пока не ясно. #OpenAI #ChatGPT #Ads #AIbusiness