Machine learning Interview

🚀 Опенсорс от OpenAI теперь в Yandex Cloud AI Studio OpenAI впервые с 2019 года открыла исходники своих рассуждающих моделей — gpt‑oss‑120b и gpt‑oss‑20b. Уже сегодня их можно гонять по API в Yandex Cloud. ⚡ Сравнимо с o3‑mini и o4‑mini, в ряде задач — лучше GPT‑4o и o1 ⚡ Настраиваемая интенсивность reasoning + скорость генерации ⚡ Хостинг и обработка данных в РФ — полное соответствие ФЗ‑152 ⚡ Без мороки с мощностями, обновлениями и мониторингом 💡 Для чего: автоматизация рекрутмента и саппорта, анализ документов, первичная коммуникация с клиентами. Цена вопроса – 10 или 30 копеек за 1000 токенов в зависимости от модели. Скоро — вызов функций и поиск в интернете прямо в ответе. @machinelearning_interview

👿 26 августа Яндекс проведёт в Санкт-Петербурге Data Dojo: мероприятие для сообщества ML-экспертов Будем обсуждать востребованные направления машинного обучения, разбирать реальные задачи из соревнований и общаться с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе. Николай Савушкин, руководитель команды рекомендательных технологий в Поиске, расскажет, как устроена персонализация и как работают большие генеративные модели в рекомендательных системах Яндекса. А Алексей Колесов, руководитель команды NLP, поделится, каких успехов за последнее время добилась команда R&D в Яндексе, и какие вызовы стоят перед ними в ближайший год. Вечером — дискуссия с секретным гостем, а после — afterparty с музыкой и напитками. Если хотите стать спикером, необходимо заполнить специальную форму до 13 августа. Программный комитет выберет одну из заявок и пригласит её автора выступить на встрече. Если хотите участвовать, то нужно заполнить анкету до 20 августа. 🪷 В додзё не приходят случайно. Набирайтесь мудрости в сильнейшем ML-комьюнити.

🧠 StepFun‑Prover Preview: 32B‑модель обучилась доказывать теоремы, общаясь с Lean 4 📌 Что делает классический prover : Он просто перебирает возможные доказательства, не зная, в каком направлении двигаться. Это как угадывать код на замке: пробуешь один вариант, не подошло — пробуешь следующий. 📌 Что делает новая модель StepFun‑Prover) Она "разговаривает" с Lean 4 — проверяющей системой формальных доказательств. Если модель предлагает доказательство и Lean выдает предупреждение или ошибку, модель читает это как обратную связь и учится. В следующий раз она делает более точную попытку. 🧠 В итоге: Вместо перебора 30+ вариантов вслепую, как у обычных систем, модель с первого раза решает до 70 % задач, потому что понимает и учитывает отклик от системы. Это как решать задачу в школе, где тебе не просто говорят «неправильно», а объясняют, что именно не так — и ты быстро учишься. 🔍 Как это работает: - Исходные задачи из Lean очищаются и превращаются в набор для обучения синтаксису и вызовам тактик. - На этих данных обучаются 7B и 32B‑модели на базе DeepSeek, с последующей правкой ошибок Kimina‑Prover. - Модель учится смешивать обычный текст, код на Lean и sandbox‑ответы — всё в одном длинном контексте. - Вознаграждение бинарное: если Lean-программа принимает доказательство — 1, иначе — 0. 📈 Результат: - 32B‑модель обходит конкурентов на 72B более чем на 5 % (при этом использует **1 попытку вместо 32**). - Увеличение длины контекста с 4K до 20K токенов повышает pass@1 с 58 % до 70 %. - Модель сокращает доказательства, читая варнинги и на лету рефакторя тактики. 📦 Open‑веса (7B и 32B) выйдут скоро — можно будет запускать даже на скромном GPU. 📄 Paper: https://arxiv.org/abs/2507.20199

Когда гайды молчат, важно услышать себя Если вы только начинаете путь в ML, хотите сменить профессию или находитесь в поиске направления после учёбы — информации вокруг много, но она не всегда помогает сориентироваться. Туториалы быстро устаревают, статьи противоречат друг другу, а самые важные вопросы остаются без ответов: с чего начать? Какие навыки нужны? Как построить маршрут к первой работе? 7 августа в 18:00 по МСК karpovꓸcourses проведут бесплатный вебинар с Нерсесом Багияном, руководителем направления по работе с данными. Он поделится своей карьерной историей — от стажера до руководителя направления — и расскажет, как сегодня выглядит работа ML-инженера, какие задачи он решает и какие навыки важны в 2025 году. Все на примерах из реального опыта. Если вы ищете точку опоры в старте карьеры — начните с этого вебинара: https://clc.to/erid_2W5zFGq4jZ2 Это старт Data-интенсива: от новичка до оффера, который поможет сориентироваться в сфере Data Science и перейти к первым шагам 🤝🏻 Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFGq4jZ2

🚨 MiniCPM‑V 4.0 - не chatgpt едимным! ✨ Что нового: — 🧱 4.1B параметров — 🧠 По визуальному пониманию догоняет GPT‑4.1‑mini (по OpenCompass) — ⚡ Работает на iPhone 16 Pro Max — 17.9 токенов/сек — 📊 69.0 баллов на OpenCompass (против 65.2 у MiniCPM‑V 2.6 8B) — 🔥 Маленькая модель, большая мощность 📁 GitHub: https://github.com/OpenBMB/MiniCPM-o 🤗 Hugging Face: https://huggingface.co/openbmb/MiniCPM-V-4 #AI #LLM #MLLMs #MiniCPM #EdgeAI

🔥 Новые модели OpenAI нашли в релизе Transformers 4.55 GPT-OSS — опенсорс модели для продвинутого reasoning и агентных задач. 🧠 Представлено два варианта: — GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB) — GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!) 💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4 ✔️ Особенности: • Архитектура Token-choice MoE с SwiGLU • Контекст до 128K токенов с RoPE • Модель заточена на CoT (chain-of-thought) • Поддержка instruction-following и tool-use • Совместима с transformers, vLLM, llama.cpp, ollama • Используется тот же токенизатор, что и в GPT-4o Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-девайсов 🧠 GPT‑OSS‑120B — запускается на одной 80GB GPU ⚡ GPT‑OSS‑20B — запускается на 16GB GPU 🏴‍☠️Лицензирование: Apache 2.0 https://github.com/huggingface/transformers/releases/tag/v4.55.0 💥 Официальный релиз: http://openai.com/open-models @ai_machinelearning_big_data #openai #opensource #chatgpt

🤖 PyRoki — быстрый и простой тулкит для робототехники на Python **Главное*: - 1.7 × быстрее при вычислении обратной кинематики, чем аналоги - Работает на CPU, GPU и TPU - Полностью open-source, написан на чистом Python Что умеет - Обратная кинематика (IK): задаём точку, куда надо подать детали; IK рассчитывает, как повернуть каждый сустав. - Оптимизация траекторий - Ретаргетинг движений (перенос анимации на другого робота) Почему это круто - Обходит cuRobo по скорости, точности и проценту успешных решений - Легко подключается к любому стеку: промышленные манипуляторы, симуляторы, гуманоиды - Гибкая архитектура: расширяй модулями, добавляй свои костные цепи и метрики Ссылки - Сайт: http://pyroki-toolkit.github.io - Репозиторий: https://github.com/chungmin99/pyroki - Статья: http://arxiv.org/abs/2505.03728 💾 Сохрани пост, чтобы не потерять полезный инструмент!

📚 Устали от скучных ML туториалов? Вот полезная подборка: 300+ кейсов по ML-системам из реальной практики компаний вроде Stripe, Spotify, Netflix и Meta. Тут не теория, а как всё реально работает в проде: — как устроены пайплайны — как деплоят модели — как делают мониторинг — какие ошибки бывают и как их решают 👍 Подойдёт для подготовки к собеседованиям и просто чтобы разобраться, как строят ML‑системы в крупных компаниях. 🔗 https://github.com/eugeneyan/applied-ml

💥 Китайская AI-модель по математике — абсолютный прорыв Свежая научная статья из Китая показала не просто сильную, а *лучшую в мире* AI-модель для решения олимпиадных задач по математике: 🏅 Модель взяла золото на IMO 2025 📈 Решает 78% всех задач прошлых IMO 🧠 Покрывает более 50% задач Putnam ✅ Даёт 100% точность на miniF2F (тест от OpenAI) ⚔️ Обходит AlphaGeometry2 от Google 📌 Как работает: - Использует формальные доказательства на языке Lean - МОдель открыл новые методы для решения геометрии, которых раньше не было - Первая лаборатория, которая опубликовала полноценную статью о внутренностях модели AI в математике выходит на новый уровень — и Китай сейчас показывает, что он идет в авангарде открытий. 📌 Статья

🕰️ Passage‑of‑Time MCP — сервер, который даёт языковым моделям ощущение времени Проект jlumbroso/passage‑of‑time-mcp — это Model Context Protocol (MCP) сервер, позволяющий LLM-моделям отслеживать время в диалоге и использовать его как инструмент для рассуждения. Что он делает: - Делает доступными функции: current_datetime(), time_difference(t1, t2), timestamp_context(), time_since() и др. — они возвращают текущий момент, разницу между временными метками и контекст времени в понятной форме. - Требует, чтобы ИИ вызывал current_datetime() при каждом ответе, формируя временной таймлайн диалога. - Через несколько сообщений модель начинает замечать *структуру беседы*, интервалы между ответами и их ритм — и даже описывать это самостоятельно. Для чего это нужно: - Модели больше не "живут вне времени" — они получают датированные метки, не требуют ручного добавления времени в контекст. - LLMs начинают понимать, что пользователь отключился на 3 часа или что диалог длится вечеринка — и предлагают адаптироваться. - Вместо статического временного штампа — динамичное понимание времени, как в реальном общении. Как это начать использовать: 1. Склонировать репозиторий и запустить сервер на Python (~35 s). 2. Подключить MCP-интеграцию в интерфейсе Claude.ai (Add Integrations → Custom → URL/sse). 3. Настроить инструменты и позволить модели вызывать их каждый ход. Примеры применения: - Анализ ритма беседы: Модель может заметить паузы от 20 с до 3 мин и предложить рекап перед сложным вопросом. - Контекст ситуации: Claude видит, что сейчас вечер рабочего дня и предлагает более концентрированный подход к задаче. - Организация времени: агент может отслеживать с https://github.com/jlumbroso/passage-of-time-mcp

🌟 Фреймворк **CUDA-L1** сам научился оптимизировать код для GPU — и добился в среднем **3.12× ускорения работы модели**, а в пике — **до 120×**. .

Попросите любую LLM написать CUDA-код, и скорее всего, вы получите что-то, что либо не компилируется, либо работает мучительно медленно. Причина проста: качественного CUDA-кода в обучающих данных моделей почти не было.

Чтобы исправить это досадное упущение, Deep Reinforce AI создали систему CUDA-L1, которая основана на трехэтапном пайплайне: сначала supervised-обучение для освоения основ, затем self-supervised для практики и, наконец, контрастное обучение с подкреплением, чтобы было все максимально быстро. 🟢На первом этапе система училась писать корректный и компилируемый CUDA-код. Для этого существующий код был аугментирован - создавались его вариации, чтобы повысить насмотренность модели. 🟢На втором этапе модель генерировала собственный CUDA-код, тестировала его и училась на работающих примерах, отсеивая неудачные. 🟢Самое интересное - третий этап. Обучаемой модели показывали несколько реализаций CUDA-ядер вместе с их показателями ускорения, например: «kernel_v1 дает ускорение 1.2x», «kernel_v2 — 2.8x», а «kernel_v3 — 1.5x». Затем задали 3 вопроса: 🟠Почему kernel_v2 настолько быстрее? 🟠Какая стратегия оптимизации сработает еще лучше? 🟠Напиши ядро, которое превзойдет их все. Таким образом, модель не гадает вслепую, а учится на конкретных примерах, анализируя причины разницы в производительности. 🟡Отдельная история - как победили reward hacking. После обучения выяснилось, что более 30% сгенерированных реализаций пытались сжульничать - создавали дополнительные CUDA-потоки, которые выполнялись асинхронно. Поскольку бенчмарк KernelBench отслеживал время только на основном потоке, код выглядел быстрее, чем был на самом деле, показывая фиктивное ускорение в 18 раз. Другие уловки состояли в манипуляции гиперпараметрами задачи (уменьшение batch_size или размерностей) и кеширование результатов вычислений. 🟡Пришлось строить многоуровневую защиту. Во-первых, в качестве "адвоката дьявола" взяли adversarial-чекер на базе DeepSeek-R1, который анализировал код на предмет эксплойтов с точностью обнаружения более 60%. Во-вторых, собрали базу данных из более чем 500 уникальных паттернов взлома, это повысило точность обнаружения на 25%. И в-третьих, применили математическое сглаживание и нормализацию наград, где любое подозрительное ускорение (от 1.5x для простых операций) дополнительно проверялось. 🟡После всех фильтров и проверок прогон на бенчмарке KernelBench оказался весьма позитивными. Система успешно сгенерировала рабочий код для 249 из 250 задач, причем в 240 случаях код оказался быстрее базовой реализации. Среднее ускорение по всем задачам составило 3.12 раза, максимальное - аж 120 раз. Медианное ускорение (50-й перцентиль) составило 1.42x, а 75-й перцентиль — 2.25x. Производительность по уровням сложности задач распределилась следующим образом: на простых операциях среднее ускорение составило 2.78x, на последовательностях операторов - 3.55x, а на сложных задачах вроде полных слоев трансформера - 2.96x. 🟡Самое важное - это переносимость оптимизаций. Код, оптимизированный на NVIDIA A100, был протестирован на других GPU. Результаты показали, что найденные паттерны оптимизации фундаментальны и работают на разных архитектурах. Среднее ускорение на H100 составило 2.39x (успешных ускорений 227 из 250), на L40 — 3.12x (228/248), а на потребительской RTX 3090 — 2.50x (213/242). ▶️ Пока веса и код не опубликованы, но в ожидании можно покрутить интерактивное демо и воспроизвести тесты из пейпера - в репозитории проекта есть фрагменты CUDA-кода с отдельными версиями для разных GPU. 📌Лицензирование: GPL-3.0 License. 🟡Страница проекта 🟡Arxiv 🟡Demo 🖥Github @ai_machinelearning_big_data #AI #ML #CUDA #DeepReinforce #ContrastiveRL

🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами. Что нового: • Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение • Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его • Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента • Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик 🧪 Результаты: MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %) 🛠 В чем плюсы: - Снижает порог входа в ML для инженеров и организаций - Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML - Открытый исходный код — можно протестировать или встроить в собственные пайплайны 💡 Как работает: 1. Поиск нужных моделей через веб 2. Генерация и слияние лучших кандидатов 3. Абляционный анализ → выбор блока → уточнение этого блока 4. Итеративное улучшение и объединение ансамблей 5. Контрольные модули: дебаг, утечки, использование данных 🔜 Подробнее @machinelearning_interview #Google #GoogleResearch #ml #mle #llm

👀 ByteDance тоже радует диффузионные LLM! 🚀 Seed Diffusion Preview – сверхбыстрый LLM для кодинга на базе дискретной диффузии. ⚡ 2 146 токенов/с на H20 GPU – опережает Mercury & Gemini Diffusion, при этом не уступая им по качеству на бенчмарках. 🏆 Новый SOTA на Pareto-фронтире «скорость–качество». 🟠 Paper: https://lf3-static.bytednsdoc.com/obj/eden-cn/hyvsmeh7uhobf/sdiff_updated.pdf 🟠Project: https://seed.bytedance.com/seed_diffusion 🟠Demo: https://studio.seed.ai/exp/seed_diffusion @machinelearning_interview #AI #LLM #Diffusion #ByteDance #SeedDiffusionPreview

🚀 Step 3 — новая звезда среди мультимодальных open-source моделей StepFun представили Step 3 — мощную и удивительно быструю VLM‑модель, которая может работать даже на доступных GPU. 🔷 321B параметров (38B активных) — всё для топ‑производительности и дешёвого инференса 🔷 Новые подходы MFA + AFD — ускоряют работу модели и снижают требования к железу 🔷 Обучена на 20+ трлн токенов, из них 4T мультимодальные (текст + изображение) 🔷 До 4 039 токенов/сек/на GPU — на 70% быстрее, чем DeepSeek‑V3 🔷 Минимум галлюцинаций, максимум логики — особый фокус на качество данных 💎 Step 3 устанавливает новую Pareto‑границу между мощностью, скоростью и реальной практичностью. 🔗 Попробовать: https://huggingface.co/stepfun-ai/step3 📖 Блог: https://stepfun.com/research/zh/step3

В Авито появилась новая ключевая должность — управляющий директор по искусственному интеллекту. Её занял Андрей Рыбинцев, один из пионеров развития ИИ в России. Этот шаг — важный этап в технологической стратегии компании по внедрению искусственного интеллекта в экосистему Авито. «Искусственный интеллект расширяет возможности человека, позволяет достигать большего. Но человеческое мышление с его способностью адаптироваться, находить нестандартные решения и проявлять гибкость остается незаменимым. Мы создаем симбиоз, где каждый делает то, что умеет лучше всего», — рассказывает Андрей в большом интервью TechInsider. Авито развивает ИИ уже более 10 лет. За это время удалось автоматизировать почти всю обработку пользовательского контента. «Сегодня 99% контента обрабатывается ИИ, и только 1% самых сложных вопросов передается модераторам для экспертной оценки. Если бы не алгоритмы, нам пришлось бы нанять на 100 тыс. больше сотрудников, чтобы справиться с таким объемом», — объясняет Андрей. Еще один ИИ-инструмент — ассистент продавца. Он отвечает на самые популярные вопросы покупателей, опираясь на данные из объявлений. «Почти все вопросы кто-то задавал до вас, и система это знает. Информацию для них он находит в объявлении: уточнит размер, состояние, доступность товара и т.д. Правда, заключать сделки мы ему пока не доверяем. Но ответить на все вопросы, которые приведут к сделке, он может», — добавляет Рыбинцев.

🖥 120 ключевых вопросов по SQL за 2025 год Статья содержит 120 ключевых вопросов по SQL для собеседований, разделённых по темам и уровням сложности, с краткими пояснениями. Основываясь на актуальных требованиях 2025 года, вопросы охватывают базу данных, оптимизацию, практические задачи и нюансы СУБД (MySQL, PostgreSQL, SQL Server). 🔜 Подробности @machinelearning_interview

🔥 Реализация ResNet‑34 с нуля на TensorFlow (Keras)! Модель, выигравшая ILSVRC 2015, — всего в ~40 строк кода 🥳 Писать было просто... Понимать — не очень 🤯🤢 📌 Residual блоки 📌 Shortcut соединения 📌 Keras Functional API 📌 Полная архитектура ResNet‑34 Попробуй повторить проект и разобраться глубже — отличный способ прокачаться в CNN! Вот гист с реализацией 👇 https://gist.github.com/TM23-sanji/3e50c165b33999af0a57816251afc12b

📊 MLU — практический курс по табличными данным. Бесплатный образовательный проект от Amazon для погружения в машинное обучение. Включает видео-лекции, Jupyter-ноутбуки и реальные датасеты для отработки методов работы с табличными данными. Курс охватывает все этапы — от разведочного анализа до нейросетей и AutoML. Особый акцент сделан на feature engineering и классические алгоритмы. 🤖 GitHub @machinelearning_interview

😤 Anthropic становится с каждым днём всё хуже: — Ужасные лимиты — Дорогие тарифные планы — Теперь ещё и недельные ограничения Единственное, что их спасает — лучшая кодинг‑модель. Но как только выйдет GPT‑5 или кто-то сделает что-то лучше — их сметут. ⏳ Ждём смены лидера для вайбкодина.

🧠 NVIDIA выпустила обновлённые модели Llama Super v1.5 и *Nemotron Super v1.5* — они помогут делать AI-агентов точнее и эффективнее. Что нового: — *Llama Super v1.5* — улучшенная версия модели для диалогов, логических задач и RLHF — *Nemotron Super v1.5* — набор для обучения, ориентированный на код, инструкции и математику — Используются методы DPO и rejection sampling для более стабильных и полезных ответов Обе модели работают с NeMo и оптимизированы под GPU NVIDIA, включая H100. Если вы строите собственного ИИ-ассистента, пишете агента для задач или просто экспериментируете с LLM — можно попробовать. 🔗Скачать модель: https://huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1_5 🔗 Блог NVIDIA: https://developer.nvidia.com/blog/build-more-accurate-and-efficient-ai-agents-with-the-new-nvidia-llama-nemotron-super-v1-5/