Machine learning Interview

📸 Релиз Qwen-Image-2512! Дообученная версию Qwen-Image-2512 - для тех, кто хочет максимальный реализм и production-grade качество. Что улучшили: ✨ Резче детали, больше фотореализма ✨ Оптимизация под азиатскую эстетику лиц ✨ Круче генерация текста + картинки ✨ Отлично дружит с LoRA и кастомными пайплайнами Рекомендуемые параметры: ✅ CFG: 1.0 - 4.0 ✅ Steps: 10 - 50 ✅ Sampler: Euler / Simple ✅ Model Shift: 1.0 - 8.0 🤖 Model: https://modelscope.cn/models/wikeeyang/Real-Qwen-Image-V2

🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза. Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели. NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты. 🟡Логика метода разбита на 2 этапа: Поиск идеала (KVzip+). Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа. Аппроксимация (KVzap). Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов: KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%). KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).

🟡Все вместе это работает так Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется. 🟡Результаты тестов. Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде. Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs. 🟡Звучит, конечно, как гем, но давайте про минусы: 🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый. 🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.

🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало. 🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще. Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания. Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша. Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе. @ai_machinelearning_big_data #AI #ML #LLM #KVZAP #NVIDIA

⚡️ Хочешь обучить свой TTS с нуля и добавлять туда фичи “как тебе надо”, а не как у всех? Команда LEMAS (IDEA) открыла датасет, на котором они обучали LEMAS и это, похоже, крупнейший open-source мультиязычный speech-датасет вообще. Что внутри: - 150K+ часов аудио - 10 языков - word-level timestamps (разметка до уровня слов) - качество и масштаб уровня “обычно такое держат под замком” По сути - они выложили то, что большинство компаний никогда бы не отдали публично. И да, из этого “сокровища” уже родились 2 мощные модели: LEMAS-TTS - Zero-shot мультиязычный синтез речи (озвучка без дообучения на конкретного спикера) LEMAS-Edit - редактирование речи как текста: меняешь слова — меняется аудио Если ты работаешь со Speech AI, TTS, ASR, voice agents — это must-have релиз. Project: https://lemas-project.github.io/LEMAS-Project/ Dataset & model released: https://huggingface.co/LEMAS-Project

Проблема многих LLM-курсов — они заканчиваются там, где начинается реальная работа: на этапе деплоя. Крупнейшая магистратура по ИИ в России AI Talent Hub и GIGASCHOOL запустили хардовый и практический курс «LLM-инженер». Его фокус — на выводе проектов в прод, а не только на работе в ipynb. В программе: - Дообучение: fine-tuning, PEFT, LoRA / QLoRA, RLHF. - Инструменты: LangChain, LangGraph, векторные базы. - Архитектуры: RAG-системы, информационный поиск, защита LLM. - Продвинутые темы: мультиагентные решения и ассистенты. Курс запускается уже третьим потоком, а преподают практики из крупных AI-команд, включая директора по разработке моделей в Газпромбанке Кристину Желтову, NLP Lead'а из X5 Tech Александра Потехина и CEO HiveTrace Евгения Кокуйкина. ▪️Старт 26 января | 25 недель с каникулами; ▪️Диплом о профессиональной переподготовке; ▪️Повышение стоимости — 20 января Используй промокод NOW10 и получи скидку 10 000 руб Подробности и регистрация

🐸 Microsoft зарелизили FrogMini - модель для дебага и исправления багов. Что важно: - Базируется на Qwen3-14B - Показала SOTA на SWE-Bench Verified: Pass@1 = 45.0% 🔥 Как обучали: - Использовали SFT (supervised fine-tuning) - Данные - успешные debugging trajectories (пошаговые цепочки исправлений) - Эти траектории сгенерированы сильной teacher-моделью (например, **Claude**) - Источники багов - микс реальных и синтетических датасетов Идея простая, но мощная: учим модель не просто писать код, а думать как дебаггер - шаг за шагом. 📌 Теперь Qwen3-14B + правильные траектории = реальный tool для SWE задач. https://huggingface.co/microsoft/FrogMini-14B-2510

DeepSeek - глобальная доля рынка (по данным, собранным Microsoft) 🌍 Одно из самых неожиданных событий 2025 года - резкий взлёт DeepSeek. Главная причина успеха: открытость + доступная цена. DeepSeek быстро закрепился там, где западные AI-сервисы: - ограничены санкциями/блокировками - дорогие - плохо адаптированы под местные языки и условия Это отлично показывает важный инсайт: глобальное внедрение ИИ зависит не только от качества маркетинга, а от доступности, цены и контекста (экономика, язык, политика). Где рост самый сильный: - Китай - Россия - Иран - Куба - Беларусь - многие страны Африки Особенно выделяется Африка: по оценкам, использование DeepSeek там в 2-4 раза выше, чем в других регионах. ИИ-рынок начинает делиться не на “лучшие модели”, а на “те, которыми реально можно пользоваться”. https://www.microsoft.com/en-us/corporate-responsibility/topics/ai-economy-institute/reports/global-ai-adoption-2025/

🚀 AgentCPM-Explore - open-source агент на 4B, который реально тащит GAIA и сложные реальные задачи OpenBMB выкатили AgentCPM-Explore - модель всего на 4B параметров, но по агентным метрикам она выглядит как зверь. ✅ SOTA среди 4B агент-моделей По агентным бенчмаркам модель: - обгоняет всех на своём масштабе - превосходит часть 8B моделей - и даже конкурирует с некоторыми 30B+ и closed-source LLM 🧠 Deep Research как у “исследователя” Модель умеет: - длинные цепочки рассуждений (long-horizon reasoning) - 100+ ходов автономного диалога - проверять себя через несколько источников (cross-validation) - делать самокоррекцию как человек - динамически менять стратегию и использовать инструменты То есть это уже не “чатбот”, а мини-исследователь, который реально может вести задачу до конца. 🔓 Открыт не только модельный вес - открыт весь стек И это самое жирное: OpenBMB выкладывают не “голую модель”, а весь pipeline агентности: - AgentRL - асинхронный RL-фреймворк для обучения агентов - AgentDock - безопасная песочница инструментов (tool sandbox) - AgentToLeaP - платформа оценки tool-learning (в один клик) - полный датапайплайн и воспроизводимые training workflows Это полноценная open-source платформа для создания агентов, где можно реально учиться, экспериментировать и собирать своих автономных “ресёрчеров”. Кто уже тестил GAIA на своих агентах ? 🤗 Hugging Face: https://huggingface.co/openbmb/AgentCPM-Explore 🔗 GitHub: https://github.com/OpenBMB/AgentCPM

DeepTutor: AI-ассистент для персонализированного обучения и исследований 🎓🤖 Команда исследует, как агентный ИИ может помогать студентам и исследователям на каждом этапе: от чтения материалов до практики, идей и управления знаниями. DeepTutor объединяет: исследование, разбор теории, генерацию заданий и систему заметок в один инструмент, который понимает контекст твоего обучения. Что умеет DeepTutor - 📚 Smart Document Q&A Заливаешь учебники, статьи, технические доки— получаешь развёрнутые ответы с корректными цитатами. - 🎨 Визуализация и объяснения Сложные темы превращаются в понятные схемы и интерактивные страницы, адаптированные под твой темп. - 🎯 Генератор практики Создаёт тесты по твоим материалам — и даже может имитировать стиль реальных экзаменов. - 🔬 Исследования и идеи Помогает с научной работой, отчётами, брейнштормом и может параллельно вести несколько исследовательских тем. 🔗 Open Source: https://github.com/HKUDS/DeepTutor

В этом году масштабируем ML-пилот и не сойдем с ума 💯 80% времени зачастую уходят не на обучение ML-модели, а на объяснение коллегам, почему она принесет профит. А еще на переписывание пайплайна, документации, настройку CI/CD — и все это на этапе пилота. Самое коварное — в статистике, ведь только 10-20% ML-пилотов доходят до прода. Пока вы были на новогодних каникулах, Selectel вместе с экспертами из «Контура» и «Точка Банка» разобрались, какие ML-проекты достойны релиза. Про экономику ML-проектов и реальные кейсы масштабирования смотрите в новом выпуске подкаста «Сегодня на ретро». ▶️ Что еще интересного есть в Selectel? Если вы давно хотите развивать ML-проекты, но вам не хватает опыта, посмотрите и другие выпуски «Сегодня на ретро». В них Selectel делится реальными кейсами и бенчмарками успешных ML-моделей для разных бизнес-сегментов. Selectel не первый год помогает компаниям разворачивать надежную IT-инфраструктуру для AI-решений. И ес 80% времени зачастую уходят не на обучение ML-модели, а на объяснение коллегам, почему она принесет профит. А еще на переписывание пайплайна, документации, настройку CI/CD — и все это на этапе пилота. Самое коварное — в статистике, ведь только 10-20% ML-пилотов доходят до прода. Пока вы были на новогодних каникулах, Selectel вместе с экспертами из «Контура» и «Точка Банка» разобрались, какие ML-проекты достойны релиза. Про экономику ML-проектов и реальные кейсы масштабирования смотрите в новом выпуске подкаста «Сегодня на ретро». ▶️ Что еще интересного есть в Selectel? Если вы давно хотите развивать ML-проекты, но вам не хватает опыта, посмотрите и другие выпуски «Сегодня на ретро». В них Selectel делится реальными кейсами и бенчмарками успешных ML-моделей для разных бизнес-сегментов. Selectel не первый год помогает компаниям разворачивать надежную IT-инфраструктуру для AI-решений. И если вы готовы масштабировать пилоты, присмотритесь к мощностям Selectel. Реклама. АО "Селектел". erid:2W5zFJr9UdW

🚀 GLM-Image теперь open-source Почти все image-модели умеют делать красивые арты… но ломаются, когда нужно: - постер с текстом - PPT-слайд - инфографика с логикой - схема/диаграмма с подписями GLM-Image решает это иначе: он комбинирует Autoregressive-модель + Diffusion Decoder, и за счёт этого нормально держит структуру + текст + смысл. Что умеет: - ✅ #1 на CVTG-2K и LongText-Bench - ✅ идеальный многострочный текст - ✅ сложные диаграммы и логические схемы - ✅ заточен под NPU training (Ascend / MindSpore) 📌 Model: https://modelscope.cn/models/ZhipuAI/GLM-Image 📌 Github: https://github.com/zai-org/GLM-Image

🖥 Онлайн-книга: «Исследуем математику с помощью Python» 📘 Бесплатный онлайн-учебник по математике с практикой на Python. Это обновлённая версия книги *Exploring Mathematics with Your Computer*, где все примеры переписаны на Python и дополнены новыми главами. Книга разбирает идеи математики через код и эксперименты, охватывая: - основы алгоритмов и математического мышления - теорию чисел - вероятность и статистику - комбинаторику - численные методы - фракталы и хаос - геометрию и графику - марковские цепи - продолженные дроби - кривые и многое другое Каждая тема сопровождается пояснениями, упражнениями и примерами кода. Подходит тем, кто уже знает базовый Python и хочет через практику прокачать математику и алгоритмическое мышление. 📍 Ссылка на книгу: https://coe.psu.ac.th/ad/explore/

Сегодня ключевой вопрос уже не в том, использовать ли AI в работе, а в том, как именно его встраивать так, чтобы он приносил пользу, а не создавал новые проблемы. Когда AI подключается без четкой архитектуры, он быстро превращается в источник нестабильности: ответы начинают зависеть от случайного контекста, качество трудно контролировать, а система плохо переносит рост данных и пользователей. В результате технология, которая должна была упрощать работу, начинает требовать все больше внимания и ручного контроля. На вебинаре «Прототипирование LLM: от идеи до работающего AI-ассистента» karpovꓸcourses подробно разберут, как проектируются управляемые AI-системы: как выстраивается слой работы с данными через RAG, как ассистент получает доступ к внешним инструментам, как задается логика поведения и ограничения, и как все это соединяется в воспроизводимую архитектуру. Научитесь строить управляемые AI-системы на бесплатном вебинаре: https://clc.to/erid_2W5zFGvwQ3r Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFGvwQ3r

Автоматизируем рутину на максимум: вышла Manus Academy - платформа с бесплатными курсами по ИИ-агентам. Внутри - крепкая база, с которой уже легко заходить в продвинутый вайбкодинг: научат собирать приложения без кода, настраивать кастомные workflow, и писать промпты, которые реально работают (а не “вода”). https://academy.manus.im/

MIT: большие датасеты не всегда нужны - можно вычислить “минимум данных”, который гарантирует лучший ответ Мы привыкли думать так: чем больше данных соберём - тем точнее решение. Но исследователи (в том числе команда MIT) показали другой подход: можно алгоритмически определить минимальный набор измерений, который *уже гарантирует оптимальное решение*. То есть система отвечает на вопрос не “примерно”, а строго: 👉 *какие именно данные нужно собрать, чтобы получить точно лучшее решение* и где можно остановиться, не теряя качества. В чём суть (по-человечески): обычно мы собираем тонны данных “на всякий случай” - чтобы оценить всё подряд. А новый метод делает иначе: - находит конкурирующие оптимальные варианты - и измеряет только то, что реально способно изменить выбор лучшего - всё остальное - лишнее Главный кайф: это не “в среднем работает” и не “в большинстве случаев”. Метод даёт математическую гарантию: выбранного маленького набора данных *достаточно*, чтобы получить точный optimum. Почему это важно: в задачах вроде - логистики и маршрутизации - supply chain - энергосетей и power grid Каждое измерение может быть: дорогим, медленным, опасным или редким. И вместо бесконечного “соберём ещё данных” появляется принципиальное правило остановки: собираем только то, что реально влияет на оптимальный выбор - и получаем 100% уверенность. Это мощный сдвиг “сколько данных нужно?” становится не догадкой, а задачей проектирования с доказательством.

✔️ Tencent представила диффузионную языковую модель: в 6 раз быстрее классических LLM WeDLM-8B Instruct использует не авторегрессию, как обычные LLM, а диффузионный способ генерации текста. Что это даёт? 🚀 В задачах математического рассуждения модель работает в 3–6 раз быстрее, чем Qwen3-8B даже с оптимизациями vLLM - при сохранении качества. Этот релиз ломает старый миф, что «диффузионные модели не подходят для точных текстовых задач». На практике WeDLM показывает, что такой подход может конкурировать и даже обходить трансформеры по скорости инференса. Модель открыта и доступна под лицензией Apache 2.0: 🔗 https://wedlm.github.io 🔗 https://huggingface.co/tencent/WeDLM-8B-Instruct

🖥 На Stepik вышел курс, который учит работать с Docker на реальных проектах. Владение Docker - навык, который отличает новичка от профи, Сегодня почти всё разворачивается в контейнерах. Если ты не умеешь работать с Docker, ты медленнее, зависим от чужих настроек и постоянно ловишь баги «у меня локально работает». • как упаковывать проекты в контейнеры • как поднимать целые системы за минуты • как избегать типичных ошибок в продакшене • как делать стабильные и повторяемые окружения •в нем разобраны все возможные ошибки Только практика и реальные кейсы от авторов Docker Академии- с нуля до уверенного уровня. 🎁 Скидка 40 процентов действует 48 часов 👉 Записывайся и сделай Docker своим настоящим рабочим инструментом.

⚡️ Китайский AI-стартап MiniMax Group привлёк $619 млн на IPO в Гонконге. Акции разместили по верхней границе диапазона - HK$165: продано 29,2 млн акций. За компанией стоят крупные игроки: - Abu Dhabi Investment Authority (ADIA) - Mirae Asset Securities MiniMax - один из первых китайских разработчиков LLM, кто реально вышел на биржу. Компания основана в 2022 году (создатель - экс-топ SenseTime) и делает мультимодальный ИИ, который генерирует: - текст - картинки - видео - аудио - музыку Главное: большую часть денег MiniMax направит в R&D на ближайшие 5 лет. Китай быстро переходит из стадии “догоняем” в стадию: выводим LLM-компании на публичный рынок и масштабируем их как Big Tech.

🎥 Создание видео с LTX-2 LTX-2 - это уникальная модель для генерации видео с синхронизированным аудио и видео, предлагающая высокое качество и множество режимов работы. Она обеспечивает доступ к API и открытый доступ, что делает её идеальной для продакшн-решений. 🚀 Основные моменты: - Модель на основе DiT для аудио-видео генерации - Высокая точность и качество выходных данных - Поддержка нескольких режимов производительности - Открытый доступ и API для интеграции - Доступна демо-версия для тестирования 📌 GitHub: https://github.com/Lightricks/LTX-2

📌ИИ-модель от Стэнфорда диагностирует 130 заболеваний по анализу одной ночи сна. Стэнфордский университет натренировал SleepFM — фундаментальную модель для прогноза целого спектра патологий: от мерцательной аритмии и инфаркта миокарда до деменции и болезни Паркинсона.

Полисомнография — «золотой стандарт» изучения сна: человека обвешивают датчиками (ЭЭГ, ЭКГ, дыхание, мышцы) и пишут гигабайты сырых сигналов.

Но в ML-мире эти данные используются бездарно. Существующие модели тренировались на мелких датасетах сугубо под узкие задачи (найти апноэ, определить фазу сна). Огромный пласт физиологической информации о здоровье пациента просто игнорировался, потому что размечать вручную сотни часов записи под каждую болячку — невозможно. К тому же, если в одной клинике датчик ЭЭГ повесили чуть иначе или он отвалился, обычная модель ломалась. В университете поняли, что врачи-разметчики не нужны, нужны объемы. Они собрали огромный датасет из 585 тыс. часов записей сна более 65 тыс. пациентов и придумали уникальный алгоритм обучения SSL для будущей модели. 🟡LOO-CL (Leave-One-Out Contrastive Learning) Вместо того чтобы учить модель предсказывать диагноз, еt заставили решать пазл: система получает на вход сигналы от 3-x модальностей (сердце, мышцы, дыхание) и должна предсказать эмбеддинг четвертой (мозговые волны). Это заставляет нейросеть на базе 1D CNN и Transformers выучивать глубокие, скрытые связи между физиологическими процессами. 🟡Вторая фишка — Channel-Agnostic Attention. Модели все равно, какие именно датчики подключены и в каком порядке. Если канал отвалился или отсутствует, attention pooling просто перераспределяет веса, и инференс продолжается. 🟡SleepFM научилась читать по сну не только бессонницу. Получив на вход 1 ночь записи, модель предсказывает риск 130 заболеваний, причем она делает это точнее, чем специализированные модели, обученные с учителем: риск болезни Паркинсона выявляется в 89% случаев, деменции — в 85%, а вероятность сердечного приступа — в 81%. Авторы работы полагают, что с развитием носимой электроники такая диагностика может перекочевать из лабораторий в умные часы, а тесты модели доказали, что что в шуме сигналов сна может быть скрыта полная медкарта пациента. @ai_machinelearning_big_data #news #ai #ml

🧠 DFlash: как ускорить LLM без потери качества DFlash - это способ ускорить генерацию текста у больших моделей. Он работает так: одна модель быстро делает черновик, другая - проверяет его и исправляет ошибки. Почему это круто? 🚀 6.2× быстрее без потери качества на Qwen3-8B ⚡ в 2.5 раза быстрее EAGLE-3 Идея простая: • диффузионные модели - генерируют быстро, но иногда ошибаются • автогенеративные (AR) - очень точные, но работают медленно • DFlash сочетает оба подхода: диффузия — черновик → AR — проверка и подтверждение Получается: и быстро, и аккуратно, вместо того, чтобы выбирать одно. 🔗 Блог: https://z-lab.ai/projects/dflash/ 💻 Код: https://github.com/z-lab/dflash 🤗 Модели: https://huggingface.co/collections/z-lab/dflash