Machine learning Interview

Два 23-летних разработчика из Индии выпустили вторую по качеству open-weight AI-голосовую модель в мире. Maya1 уже входит в топ-20 глобального рейтинга и обгоняет лучшие решения Google. 3B параметров, запускается на одной GPU, выдаёт более 20 эмоций и работает с задержкой <100 мс. Главный вывод прост — сегодня можно просто взять и сделать. huggingface.co/maya-research/maya1

🚀 LLM с контекстом 64k+ пример того, как можно эффективно обучать модель даже на потребительских GPU - благодаря связке Ulysses + Ring Attention! В ModelScope SWIFT объединили два метода параллелизма по последовательности: ✅ Ulysses - делит внимание по головам, почти не тратит трафик (но упирается в число heads) ✅ Ring Attention - масштабируется выше числа голов через кольцевые P2P-коммуникации, с «зиг-заг» балансировкой для causal-моделей 💡 Комбо-подход: сначала работает Ulysses, и только когда он перестаёт тянуть (например, GQA или кластер >8 GPU), подключается Ring. 🔥 Результат на Qwen2.5-3B при 65k токенов: 75.4 GiB → 17.9 GiB VRAM на 8× A100 Работает с SFT, DPO, GRPO, мультимодальностью и padding-free входами. ✨ Крутая инженерия: Сплит последовательности встроен прямо в forward-hook модели — никаких костылей в данных, полная совместимость с FlashAttention. 🔧 Включается одной флаг-командой: --sequence_parallel_size 8 🟠Подробнее : https://modelscope.cn/learn/1799 🟠 GitHub: https://github.com/modelscope/ms-swift

🌟 Вечеринка для разработчиков: пет-проекты, хобби и вайб-кодинг Ребята из Яндекс Вертикалей собирают всех 14 ноября на мультистек-вечеринку о хобби и технологиях. Вдохновимся историями коллег об удачных внерабочих экспериментах, чтобы взглянуть по-новому на свои увлечения. В программе события: 🔴Доклады про футбольного ИИ-аналитика и телеграм-бота для канала с мемами 🔴Воркшоп — сделаем свой MCP-сервер для автоматизации задач 🔴Открытый диалог о хобби с тимлидами, разработчиками, ML-специалистами и аналитиками Разберёмся вместе с командой Вертикалей, как выбрать стек и наконец начать проект, который долго откладывали. А завершим вечер афтепати с DJ-сетом и разными активностями. Подробности и регистрация

MIT + Harvard + Google DeepMind показали, почему обычные трансформеры почти не умеют в многозначное умножение — и как это починить одной идеей Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение. Первый - с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают. То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках. Результат: 100% точность на всех примерах. Второй - обычное обучение: вход → ответ, без промежуточных шагов. Результат: около 1% правильных ответов. Почему так? - Многозначное умножение требует длинных зависимостей - Нужно запоминать и переносить “сумму + перенос” между разными позициями - Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже - Рабочая модель формирует “бегущую сумму” и carry, как человек - Внутри attention появляется структура наподобие небольшого бинарного дерева - Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код) Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину. ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон. Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных. Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*.

🔥 MIT + Harvard + Google DeepMind показали, почему обычные трансформеры почти не умеют в многозначное умножение - и как это починить одной идеей Команда обучила два маленьких Transformer-а считать 4-значное × 4-значное умножение. Первый — с методом implicit chain-of-thought (ICoT): модель сначала видит все промежуточные шаги вычисления, а затем эти шаги постепенно убирают. То есть модель вынуждают “думать внутри себя”, а не на видимых подсказках. Результат: 100% точность на всех примерах. Второй - обычное обучение: вход → ответ, без промежуточных шагов. Результат: около 1% правильных ответов. Почему так? - Многозначное умножение требует длинных зависимостей - Нужно запоминать и переносить “сумму + перенос” между разными позициями - Модель должна хранить промежуточные частичные произведения и возвращаться к ним позже - Рабочая модель формирует “бегущую сумму” и carry, как человек - Внутри attention появляется структура наподобие небольшого бинарного дерева - Представления цифр формируют особое пространство (пятилучевая призма + Fourier-код) Обычное обучение захватывает “краевые” цифры и застревает — не может связать середину. ICoT даёт правильный inductive bias: заставляет модель строить внутренний алгоритм, а не угадывать шаблон. Главная идея: чтобы ИИ делал арифметику (и, возможно, логику), ему нужен скрытый расчётный процесс, а не просто больше данных. Это шаг к пониманию того, как обучать модели *думать*, а не просто *запоминать*. arxiv. org/abs/2510.00184

LLM «под капотом»: первый шаг к полноценной разработке AI-решений Приглашаем на открытый вебинар, посвященный фундаменту прикладной разработки на LLM. На практике разберем: ✔️ Архитектуру: как работает генерация текста и почему это важно для понимания ограничений модели. ✔️ Локальное развертывание: первый шаг к LLMOps — запустить мощную модель у себя и работать с ней через API. ✔️ Контекст и агенты: базовый принцип, лежащий в основе RAG-систем и агентных моделей, которые вы будете строить на курсе. Идеально для Python-разработчиков, DevOps- и Data-инженеров, а также технических проджектов, которые оценивают возможности интеграции LLM в свои сервисы. Этот вебинар — введение в философию нашего нового курса «LLM Driven Development», где вы с нуля осваиваете полный цикл создания AI-продуктов. ➡️ Регистрация на вебинар: https://otus.pw/GYFd/?erid=2W5zFJvoqKE Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🧠 Deta Surf: Ваш AI-блокнот Deta Surf — это AI-блокнот, который объединяет ваши файлы и веб-ресурсы, упрощая процесс исследования и мышления. Он позволяет работать с различными медиа одновременно, минимизируя рутинные задачи. 🚀 Основные моменты: - Поддержка локальных файлов, веб-сайтов и ссылок. - Умные заметки с интеграцией AI и возможностью поиска. - Разделение экрана для одновременной работы с несколькими ресурсами. - Генерация интерактивных приложений без кода. - Открытые форматы данных и локальное хранение. 📌 GitHub: https://github.com/deta/surf #svelte

AIJ Deep Dive: специальный очный трек для AI-профи в рамках международной конференции AI Journey! Среда для профессионального роста, общение с экспертами мировой AI-индустрии и другими AI-профи — всё это ждёт вас на треке AIJ Deep Dive. В программе — только главные аспекты работы с AI: Это событие точно нельзя пропустить

1️⃣20 ноября — день Бизнеса: разберём успешные кейсы внедрения, оценим эффективность и практические результаты. 2️⃣ 21 ноября — день Науки: проведём глубокий анализ IT-решений, прорывных научных исследований, R&D-разработок и передовых методик.

На треке вас ждут выступления ведущих экспертов в AI, постер-сессия, специальные форматы для нетворкинга и выставка R’n’D решений. Это уникальная возможность обсудить сложные вопросы с теми, кто действительно понимает ваши вызовы. Где? Офис Сбера, Кутузовский проспект, д. 32, к. 1 (Е) Когда? 20–21 ноября 2025 года По ссылке — форма регистрации на очное участие. Присоединяйтесь к профессиональному AI-сообществу!

🧠 ThinkMorph - новый скачок в мультимодальном мышлении Модель обучена на 24K высококачественных интерливинговых трасс рассуждений и умеет генерировать прогрессивные текстово-визуальные шаги мышления, где текст и изображение усиливают друг друга. Что это даёт - резкий прирост в задачах с визуальным контекстом - постепенное мультимодальное рассуждение шаг за шагом - неожиданные способности: адаптивная логика и невиданные ранее визуальные манипуляции Модель не просто видит и описывает картинку - она развивается в процессе рассуждения, корректируя и дополняя свои выводы с каждым новым текстово-графическим шагом. Это уже не просто VLM - это механизм, который учится думать с помощью изображения и текста одновременно, усиливая одно другим. Исследование называется ThinkMorph - можно найти на Hugging Face Papers по номеру 2510.27492 https://huggingface.co/papers/2510.27492

Суровая правда 😂

📦 Samsung и NVIDIA строят AI-мегафабрику на 50000 GPU Samsung и NVIDIA запускают новый формат производства чипов: цифровой завод, где ключевые этапы литографии, проектирования и роботизации работают на GPU, а не на классических CPU-кластерах. Что это значит: - цифровые двойники фабрик и чипов на NVIDIA Omniverse - до 20 раз быстрее вычислительная литография (cuLitho) - ИИ-ускоренное OPC - корректировка масок для точной печати транзисторов - ускоренный EDA - моделирование, верификация и проектирование - внедрение Blackwell и Jetson Thor в заводские роботы - применение цифровых двойников в производстве смартфонов и техники Samsung Ключевые участники: - Samsung - фабрики, данные, OPC-пайплайн, производство - NVIDIA - GPU, CUDA-X, cuLitho, Omniverse, Isaac Sim - партнёры: Synopsys, Cadence, Siemens Почему это важно: Процесс OPC - один из самых тяжёлых вычислительных этапов в производстве чипов. GPU дают прирост в 20 раз, значит маски готовятся быстрее и точнее. Это сокращает цикл: проектирование - симуляция - производство. Апгрейд памяти: - HBM4 с 10-нм DRAM и 4-нм логическим слоем - до 11 Гбит/с пропускной способности Роботы и автономия: - Isaac Sim и Jetson Thor для заводских роботов - RTX PRO 6000 Blackwell Server Edition для реального восприятия и планирования - AI-RAN для низкой задержки между сенсорами, базовыми станциями и роботами Плюс Samsung будет разворачивать модели Megatron на 400 млн устройств - чат, перевод, суммаризация прямо в производственных процессах. По сути, это шаг к полному цифровому конвейеру чипостроения: от виртуального проектирования до реальных роботов на фабрике. wsj.com/tech/ai/samsung-electronics-nvidia-to-build-ai-factory-in-new-chip-deal-c97e623f

🚀 Ваш ИИ-агент забывает только потому что вы ему позволяете Есть простая техника, которая радикально улучшает качество агента. Её почти никто не применяет, хотя прирост достигает 51.1%. Называется workflow memory. Представьте задачу: вы просите агента обучить ML-модель на вашем CSV. Он пишет код на PyTorch, перебирает гиперпараметры, правит конфиг, оптимизирует пайплайн и выдаёт финальный скрипт. Всё отлично. Но через пару дней вы даёте похожее задание, и агент снова проходит весь путь, повторяет ошибки и тратит токены. Workflow memory меняет правила. Агент должен помнить процесс и свой опыт: что делал, какие сложности встречал, какие решения сработали, что нужно избегать. Это не ретри, а развитие навыка. В конце задачи агент записывает ключевую информацию в обычный markdown-файл: описание задачи, проблемы, выводы. А при старте новой задачи получает краткие описания прошлых workflow.md и сам выбирает, что ему пригодится. Это дешёвый способ дать агенту рабочую память, не полагаясь на гигантский контекст. Результат - меньше токенов и расходов - нет повторяющихся ошибок - реальное обучение на опыте, а не на нуле каждый раз Это можно реализовать хоть сегодня в вашем агенте. Нужны только markdown-файлы и продуманный prompt. Вот выборка готовых появилась готовых workflow. Агент сам определяет, какая память релевантна новой задаче. Исследование MIT показало рост качества на 24.6% и 51.1% в тестах на веб-навигацию. 👉 Github: https://github.com/camel-ai/camel/pull/3291 👉 Paper: https://arxiv.org/pdf/2409.07429

Хотите научиться «разговаривать» с аудиторией на языке персонализированных рекомендаций? Вебинар: «Методы сегментации в рекомендациях» Когда: 5 ноября, 20:00 (МСК). Формат: онлайн. Участие: бесплатное. На уроке разберём: ✅ как с помощью RFM‑анализа «распаковать» поведение клиентов; ✅ методы кластеризации — как группировать пользователей «по интересам»; ✅ сегментацию через логистическую регрессию — как превратить данные в работающие рекомендации. Вы узнаете: - как выделять целевые группы для маркетинговых кампаний; - как персонализировать предложения без лишних затрат; - в каких случаях достаточно классических ML‑методов — и не нужно «изобретать велосипед». Будет полезно IT‑специалистам, которые хотят прокачать навыки в Data Science; дата‑сайентистам, ищущим реальные кейсы для применения знаний. Открытый урок пройдет в рамках курса «Рекомендательные системы» от Otus! Не упустите шанс заглянуть в «кухню» рекомендательных систем! ➡️ Регистрируйтесь по ссылке: (ссылка ваша с телеги ин) Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🚀 Nvidia инвестирует до $1 млрд в Poolside - стартап, создающий инструменты автоматизации программирования. Раунд нацелен на $2 млрд при оценке $12 млрд. Условия сделки: - стартовый чек Nvidia - $500 млн, с ростом до $1 млрд при достижении целей по привлечению капитала; - уже подтверждено более $1 млрд, ~**$700 млн** - от текущих инвесторов. Что делает Poolside - автоматизация разработки и генерирование кода; - фокус на гос-сектор и оборону; - долгосрочная цель — системы AGI. Зачем деньги - закупка кластеров Nvidia GB300 (Blackwell Ultra, 72 GPU + Grace CPU, оптимизировано под высокоскоростной инференс); - масштабирование compute и R&D. Контекст - проект связан с Project Horizon - дата-центром на 2 ГВт в Техасе (CoreWeave), мощность которой сопоставима с энергией для 1.5 млн домов. - Nvidia в 2025 уже проинвестировала 59+ AI-стартапов — растит спрос на свои чипы и усиливает позиции в AI-инфраструктуре. Poolside получает доверие рынка и доступ к топовой вычислительной мощности. Nvidia укрепляет доминирование в AI-железе. Автогенерация кода выходит из экспериментов в реальный продакшн-масштаб. #Nvidia #AI #AGI #VC #DeepTech bloomberg com/news/articles/2025-10-30/nvidia-to-invest-up-to-1-billion-in-ai-startup-poolside

27 ноября Яндекс проведёт Data Dojo — встречу сообщества ML-экспертов

Додзё в японской культуре — место, где мастер и ученик ежедневно совершенствуют своё мастерство и дух. Мы перенесли этот принцип в мир данных — отсюда и название Data Dojo.

Обсудим востребованные направления машинного обучения, разберём реальные задачи из соревнований и понетворкаем с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе. Для участия офлайн или онлайн нужно заполнить анкету до 16 ноября. 👉 Заявка на Data Dojo Всех ждём в нашем ML-комьюнити — совершенствовать мастерство вместе с Data Dojo. Реклама. ООО "Яндекс". ИНН 7736207543

🧾 Microsoft раскрыла цифры, которые показывают масштабы расходов OpenAI. В отчёте для SEC видно: OpenAI потеряла около $11.5 млрд за один квартал. Это считается по методу учёта доли — Microsoft владеет примерно 27% OpenAI и списала у себя $3.1 млрд. Если 27% = $3.1 млрд убытка, то общий минус - около $11.5 млрд. Ещё один факт: Microsoft уже перечислила $11.6 млрд из обещанных $13 млрд - почти всё финансирование уже пришло в OpenAI. И при этом Microsoft за тот же период заработала $27.7 млрд чистой прибыли, так что такой минус она спокойно выдерживает. Гонка за лидерство в ИИ - это игра, где даже крупнейшие компании готовы сжигать гигантские суммы. Интересно посмотреть, сколько она ещё продлится и кто выдержит дольше? theregister.com/2025/10/29/microsoft_earnings_q1_26_openai_loss @ai_machinelearning_big_data #opanai #Microsoft #money

🚀 AnyUp: Універсальное увеличение признаков AnyUp — это метод увеличения признаков, который работает с любыми визуальными признаками и разрешениями без необходимости перенастройки. Он обеспечивает высокое качество увеличения и сохраняет семантику признаков, что делает его универсальным инструментом для различных задач. 🚀 Основные моменты: - Увеличение признаков из любых моделей и на любых слоях. - Не требует повторной тренировки для разных экстракторов. - Эффективен и прост в использовании. - Устанавливает новые стандарты качества увеличенных признаков. 📌 GitHub: https://github.com/wimmerth/anyup #python

Поговорим про деньги в IT? Приглашаем опытных IT-специалистов пройти небольшой опрос про зарплаты и бенефиты в технологических компаниях. Это займёт не более 7 минут — а ваше мнение поможет одному крупному российскому работодателю делать актуальные оферы. Пройти опрос можно здесь

🎓 Stanford выпустил новый курс: “Transformers & Large Language Models” Авторы - братья Amidi, и уже вышли три бесплатные лекции на YouTube. Это, пожалуй, один из самых системных вводных курсов по современным LLM. Содержание курса: • Transformers: токенизация, эмбеддинги, attention, архитектура • Основы LLM: Mixture of Experts, типы декодирования • Обучение и настройка: SFT, RL, LoRA • Оценка моделей: LLM/VLM-as-a-judge, лучшие практики • Трюки: RoPE, аппроксимации attention, квантизация • Резонирование: масштабирование при обучении и инференсе • Agentic-подходы: RAG, tool calling Если ты уже знаком с этой темой — отличный повод освежить знания и попробовать реализовать некоторые приёмы с нуля. https://cme295.stanford.edu/syllabus/

🔥Прими участие в Хакатоне от ИТ-холдинга Т1 в Москве и поборись за призовой фонд 1 200 000 рублей! Когда: 25–28 ноября Формат: онлайн + финал на площадке Участвуй, если ты: 🔹обучаешься на технической или ИТ-специальности 🔹развиваешься в направлении разработки, системной администрации, AI/ML или DevOps 🔹сможешь быть в Москве 28 ноября. Выбери свой кейс: ✴️VibeCode Jam: собеседование будущего. Создай ИИ-платформу для прохождения технических собеседований с виртуальным интервьюером. ✴️Self-Deploy: CI/CD без DevOps. Автоматизируй генерацию CI/CD пайплайнов по анализу структуры Git-репозитория. Почему стоит участвовать: 🔘Кейс в портфолио и полезная обратная связь от менторов Т1 🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний 🔘Реальный опыт командной работы 🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси. Регистрация открыта! ➡️ Успей до 23 ноября по ссылке. #реклама О рекламодателе