Machine learning Interview

🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не помещается в видеопамять. Как это работает: MoE-модели состоят из множества «экспертов», но для каждого токена используется только небольшая их часть. Colibrì хранит: * самые нужные веса в VRAM; * менее активные — в RAM; * редко используемые - на NVMe SSD. Когда модели нужен конкретный эксперт, движок подгружает его с диска или из RAM. То есть для запуска условной модели на сотни миллиардов или даже триллионы параметров не обязательно иметь столько же VRAM. Поддерживаются CPU, CUDA, Metal и смешанное размещение модели. Проще говоря: Colibrì позволяет запускать гигантские MoE-модели локально, жертвуя в первую очередь скоростью, а не возможностью их вообще запустить. https://github.com/JustVugg/colibri @pythonl

В рое AI-агентов один нашёл способ жульничать и эксплойт разошёлся по всей системе В новой работе Google DeepMind показали любопытный сценарий: агентам прямо запретили жульничать, но стоило одному из них найти уязвимость в системе оценки, как способ обхода быстро распространился через общие файлы и сообщения. Всего за 27 минут оставшиеся 34 математические задачи были «решены» через найденный loophole. Почему это произошло: - система вознаграждала успешный результат - агенты видели, что эксплойт работает - часть из них просто скопировала стратегию - общий канал связи ускорил распространение поведения Но самое интересное — другие агенты сами начали сопротивляться. 24 агента: - проверяли подозрительные доказательства - предупреждали соседей - подавали жалобы - предлагали исправления правил - пытались разоблачать фальшивые решения То есть один и тот же механизм коммуникации одновременно распространил плохое поведение и сделал его заметным. У «добросовестных» агентов не было реальной власти. Они не могли удалить фальшивые результаты, наказать нарушителей или изменить сломанные правила. Отсюда главный вывод для multi-agent систем: одной коммуникации мало. Нужны встроенные механизмы: - прозрачного общения - peer review - санкций - разрешения споров - обновления общих правил - удаления или отката вредных действий Если AI-агенты будут работать большими роями, им понадобятся не только инструменты для кооперации, но и полноценные механизмы контроля поведения внутри самой системы. arxiv.org/abs/2609.04170

⚡️ PyTorch 2.14 получил нормальную fault tolerance для distributed training В больших distributed-задачах падение одного rank обычно означало неприятный сценарий: уничтожить process group, перезапустить его и потерять уже прогретое состояние по всему кластеру. В PyTorch 2.14 fault tolerance становится частью c10d. Теперь Backend и ProcessGroup получают API для reconfiguration in-place - группу можно перестраивать на месте, не снося весь distributed runtime целиком. Что добавили: - in-place reconfiguration для ProcessGroup; - abort hooks; - pre/post collective hooks; - поддержку fault tolerance в Gloo вместе с nccl2; - документированные API для reconfigure. Это особенно важно для больших training jobs: чем больше кластер, тем дороже полный restart после одного сбоя. Пока есть важная оговорка — в релизе API помечен как unstable, так что интерфейсы ещё могут меняться. Подробнее: https://pytorch.org/blog/pytorch-2-14-release-blog/

Российские математики вывели свою модель на первое место в ARC-AGI Mostik показала новый способ связывать большие и маленькие AI-модели без передачи текста между ними. Обычно одна модель пишет промежуточный ответ, а другая его читает. Mostik вместо этого передаёт скрытые внутренние состояния через небольшой обучаемый bridge. Сами модели при этом остаются замороженными. Первый эксперимент связал GLM-5.2 на 753B параметров с Qwen-3.5 на 4B. Большая модель только читает задачу, передаёт внутреннее состояние и останавливается. Ответ уже генерирует маленькая модель. Результаты: - 4B-модель закрыла около 50% разрыва до 753B - собственная точность маленькой модели выросла примерно на 25% - на более сложных поднаборах прирост доходил до 2x - связка требует в 2,5 раза меньше вычислений, чем модель среднего размера с сопоставимым качеством - latent hand-off давал до +10 п.п. по сравнению с обычной передачей текста Большая модель не тратит дорогой decoding на написание советов для маленькой. Она делает только prefill, а генерацию берёт на себя дешёвая модель. Mostik считает, что такой подход можно использовать для multi-agent систем, дистилляции, специализации моделей и даже исследования внутренних представлений. https://mostik.ai/read-more https://x.com/aimalysheva/status/2095232794792255848

🔥 Perplexity разогнала локальный запуск LLM на Apple Silicon Компания сделала собственный движок Lily специально под Mac и Qwen3.6-35B-A3B без PyTorch и MLX в цепочке выполнения. На MacBook Pro с M5 Max и 128 ГБ unified memory: - prefill: 5749 ток/с - генерация: 186,6 ток/с - в среднем prefill быстрее MLX-LM в 1,23× - decode — в 1,35× Что внутри: - runtime на Rust - собственные Metal-кернелы - MoE-routing остаётся на GPU - оптимизация отдельно под prefill и decode - KV-cache и Gated DeltaNet заточены под Apple GPU - 35B-модель ужата до 19,4 ГБ в 4-bit На длинном контексте отдельная оптимизация attention дала до +40% скорости на 128K токенов. Сам Lily Perplexity обещает скоро открыть. https://www.perplexity.ai/hub/blog/optimizing-on-device-inference-for-apple-silicon

✔️ OpenAI выпустила подарочные карты для оплаты ChatGPT Виртуальные подарочные карты продаются номиналом от 15 до 250 долларов. Ими можно оплатить тарифы Plus, Pro и Business, а также расходы на API. Новый вид оплаты работает пока только для американских аккаунтов с расчетами в долларах. Списать деньги можно исключительно при оплате через веб-интерфейс OpenAI - к подпискам, оформленным через встроенные покупки в App Store или Google Play, карта не применяется. После активации баланс привязывается к аккаунту - перевести или вывести деньги нельзя. Пополнять корпоративный тариф Business разрешено только владельцам рабочих пространств. openai.com ✔️ World Labs показала модель мира Atlas Стартап Фей-Фей Ли представил мультимодальную модель пространственного интеллекта - она генерирует, реконструирует и симулирует трехмерные миры. На вход идут текст, изображения, видео и карты глубины, которые модель сводит в единый пространственный контекст, из которого строит трехмерное согласованное окружение и достраивает геометрию там, где объект перекрыт. Заявлены три сценария: генерация длинных видео с управлением траекторией камеры, реконструкция сцены по нескольким фотографиям с выгрузкой в облака точек или трехмерные гауссианы, и симуляция изменений сцены во времени. Atlas пока доступен только партнерам компании. worldlabs.ai ✔️ Perplexity добавила в macOS-клиент гибридный инференс и детектор персональных данных Функция Hybrid Compute распределяет вычисления между локальными моделями и облаком, а решает, куда отправить задачу, встроенный фильтр Privacy Gate, просматривающий запрос и файлы на персональные данные до того, как что-то уйдет на сервер. Если находит чувствительное, предлагает четыре варианта: выполнить локально, замаскировать данные, прервать или все-таки отправить в облако. Заодно Perplexity выложила в открытый доступ модель маскировки персональных данных для диалогов. perplexity.ai ✔️ Manus снова работает самостоятельно Разработчик автономных ИИ-агентов объявил о возобновлении независимой работы. Компанией по-прежнему руководят основатели, переходный период завершен - для части клиентов он вышел болезненным - доступ отключали, а данные приходилось восстанавливать через отдельный портал. Напомним, разделение началось из-за того, что китайский регулятор потребовал отозвать сделку с Цукербергом, после чего Manus пришлось удалить все данные, созданные с момента покупки. Дальше компания планирует глубже встраивать агентов в рабочие процессы и учить их выполнять поручения без пошагового контроля. manus.im ✔️ В Китае сертифицировали смартфон без иконок и магазина приложений Регулятор разрешил выпуск Nubia NaviX Ultra, релиз ожидается в сентябре 2026 года. Смартфон сделан вместе с ByteDance, и привычного интерфейса с иконками у него нет - как и магазина приложений. Все выстроено вокруг агента Seed AI. Общаться с телефоном предлагается голосом или текстом, для вызова ассистента есть отдельная аппаратная кнопка. Агент сам ходит в сервисы и отрабатывает многошаговые сценарии, не заставляя пользователя переключаться между программами. Локальная модель прошла аудит кибербезопасности. Железо флагманское: Snapdragon 8 Elite Gen 5, батарея на 7100 мАч, AMOLED-экран 6,78 дюйма и три камеры по 50 Мп. sohu.com @ai_machinelearning_big_data #news #ai #ml

Подвезли для вас инсайды про машинное обучение в ритейле 👀 Руководитель ML-направления MAGNIT TECH и основатель школы karpov.courses разобрали, во что превратилась индустрия ML за последние годы: 🔹 Как в «Магните» понимают, где реально нужен ML, а где — нет 🔹 Что в машинном обучении уже стало классикой, а что всё ещё эксперимент 🔹 Что происходит с агентской разработкой и ИИ-агентами в продакшене прямо сейчас Смотреть выпуск по ссылке Экспертов можно не только послушать онлайн, но и пообщаться лично: 18 сентября в Москве пройдёт конференция по AI/ML от MAGNIT TECH. Участие бесплатное, но нужна регистрация — количество мест ограничено, заявки проходят модерацию. Регистрация

✔️ Google добавила в Gemini агентный анализ видео. Вместо того чтобы равномерно смотреть ролик по кадрам, модель сама решает: - какой фрагмент открыть - с какой частотой кадров его пересмотреть - использовать видео, аудио или расшифровку - какие моменты можно пропустить По данным Google, это даёт до 88% экономии токенов, до 66% снижения стоимости и до 7% прироста точности. Особенно заметен эффект на длинных видео. Функция уже доступна для Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite через Gemini API, Google AI Studio и Gemini Enterprise Agent Platform. Работает и с загруженными видео, и с YouTube. Из полезных сценариев: - поиск нужного момента в многочасовом видео - обнаружение аномалий - точный подсчёт действий и объектов - анализ быстрых движений - ответы по длинным лекциям и записям без миллионов токенов https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-agentic-video-in-gemini/

⚡️ Claude Mythos 5.1 резко усилилась в создании рабочих эксплойтов. В тестах Firefox с отключёнными защитными ограничениями модель собрала полностью рабочие эксплойты в 245 случаях из 250 - 98% успешности. Для сравнения, предыдущая флагманская модель полгода назад показывала около 52%. Самое интересное здесь не поиск уязвимостей. Способность находить сами баги выросла совсем немного. Резкий скачок произошёл на следующем этапе - когда уязвимость уже известна и нужно превратить её в рабочий exploit. То есть прогресс идёт не столько в discovery, сколько в weaponization: модель стала намного лучше превращать найденную ошибку в реально работающую цепочку атаки. https://x.com/claudeai/status/2094848572143407483

Anthropic подписала облачную сделку на $35 млрд с Lambda, которую поддерживает Nvidia. Дата-центр строит Hut 8 в Техасе. Lambda установит туда ускорители Nvidia, а сама Nvidia уже зарезервировала мощности и инвестировала в Lambda. И это не единственная огромная сделка Anthropic за август. Ранее сообщалось ещё о контракте примерно на $45 млрд с Nscale, которая тоже связана с Nvidia. Итого - около $80 млрд заявленных облачных обязательств за один месяц. Если всё это пойдёт в расширение инфраструктуры Claude, хочется верить, что результатом станут больше доступного инференса и выше недельные лимиты. Можно же помечтать. https://www.wsj.com/tech/ai/anthropic-signs-35-billion-cloud-deal-backed-by-nvidia-f12622f1?mod=e2tw

Работа в IT — худшая затея для новичка в 2026 году. Мёртвые вакансии, огромная конкуренция, заоблачные требования к кандидатам, ещё и поганый AI. Но всё ли так очевидно? Пока одни бесконечно учат Python, делают очередной пет-проект и ждут, когда станут «достаточно хороши» для первой работы, умные читают Богдана и разбираются, как получить первую работу. Он больше 6 лет работает в бигтехе, прошёл 350+ собеседований и знает: — Почему твоё резюме не даёт откликов — Почему ты не зарабатываешь 400к? — Где искать работу ML-инженеру? И это лишь малая часть. На канале собрана целая база по всем аспектам поиска работы, от резюме до получения оффера и торга. Подписывайся, пока это бесплатно: https://t.me/ml_cabin_destroyers Реклама ИП Камаев Богдан Эльмарович ИНН 770973951244 erid:CQH36pWzJqVJCbWwcsXL4MHgQs4xaEvn9ZDjZ1jckjmgft

🔥 Вышли официальные GGUF-квантизации GLM-5.3 Flash Uncensored Модель: 320B параметров, 18B активных. Доступные варианты: - Q6_K — 263 ГБ / 94,3% Top-1 - Q4_K_M — 193 ГБ / 89,8% Top-1 — рекомендуемый - Q3_K_M — 153 ГБ / 85,6% Top-1 - Q2_K — 117 ГБ / 75,5% Top-1 Подходит для запуска на CPU + GPU, включая Apple Silicon. Это не jailbreak: удаление отказов зашито прямо в веса модели. API со стандартными весами: https://orcarouter.ai/models/z-ai/glm-5.3-flash Uncensored GGUF: https://huggingface.co/orcarouter/GLM-5.3-Flash-Uncensored-GGUF

MIT бесплатно выложил 920-страничный учебник Mathematics for Computer Science. Это большой курс по математике, которая реально нужна в Computer Science. Внутри: - логика и доказательства - множества и отношения - индукция - графы - теория чисел - рекуррентные соотношения - комбинаторика - вероятность - дискретные структуры и алгоритмическое мышление Хорошая база для алгоритмов, теории вычислений и более серьёзного изучения CS. 📗 PDF доступен бесплатно.

737 страниц математики, которая стоит за современным Deep Learning. Книга “Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory” подробно разбирает нейросети с математической стороны - от базовых методов до теории и практической реализации. Внутри: - линейная алгебра и оптимизация - основы нейронных сетей - backpropagation - CNN и sequence-модели - методы обучения и регуляризации - математический анализ архитектур - теория аппроксимации и обобщения - практические реализации алгоритмов Хороший вариант для тех, кто хочет понимать Deep Learning глубже, чем на уровне вызова готовых библиотек. PDF на 737 страниц доступен бесплатно: https://arxiv.org/pdf/2310.20360

Google предлагает по-другому строить память для долгоживущих AI-агентов. Вместо того чтобы бесконечно таскать за агентом всю историю диалога и reasoning trace, авторы предлагают хранить только небольшой явный execution state. Подход называется SKILL.state. На каждом шаге модель получает только: - инструкции навыка - структурированное текущее состояние - последнее наблюдение После шага reasoning удаляется, а сохраняется только проверенное обновление state. За счёт этого размер prompt почти не растёт вместе с длиной задачи. На warehouse-задаче из 100 шагов с Gemini-3-Flash: SKILL.state: - score: 0.94 - токены: 65 408 LangGraph-style baseline: - score: 0.91 - токены: 1 062 387 Разница по токенам - примерно 16.2×. То есть агенту не обязательно помнить всю историю, если всё важное можно аккуратно перенести в структурированное состояние. Ограничение тоже важное: подход работает только тогда, когда вся информация, которая понадобится позже, действительно помещается в заранее заданную state-схему. arxiv.org/abs/2608.26263

🔥 NVIDIA показала NVHBM для следующего поколения AI-инфраструктуры NVHBM - собственная технология HBM base-die, которую NVIDIA объединяет с NVLink Fusion для кастомных AI-ускорителей. Заявленные преимущества против стандартной HBM4e: - до +30% пропускной способности памяти - до -15% энергопотребления HBM - до +30% доступной площади кристалла под вычислительные блоки - до -67% площади PHY и служебной логики - около +30% end-to-end производительности на XPU На масштабе дата-центра в 1 ГВт экономия энергии, по расчётам NVIDIA, может высвободить мощность ещё примерно для 15 000 ускорителей по 2 кВт. NVLink Fusion при этом связывает кастомные XPU/CPU с общей инфраструктурой NVIDIA на уровне стойки. https://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure/

Все еще достоин )

🔥 Qwen3.8-Flash теперь можно запускать локально 125B MoE-модель доступна в GGUF от Unsloth и может работать примерно на 75 ГБ RAM. Qwen3.8-Flash-Next рассчитана в том числе на CPU RAM и unified memory, позволяя получать скорость, близкую к работе из VRAM. По заявленным результатам модель обходит Claude Opus 4.6 Max в ряде тестов. Гайд: https://unsloth.ai/docs/models/qwen3.8-next GGUF: https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

🔥 GLM-5.3-Flash официально вышла Новая модель Z.ai стала первой нативно мультимодальной моделью в серии GLM-5 и получила архитектуру, заточенную под дешёвый длинный контекст. Главное: * 320B параметров, активны 18B * hybrid-архитектура: sparse attention + linear attention * attention compute снижен в 3,01 раза * KV-cache уменьшен в 4,44 раза * контекст до 1 млн токенов * нативная работа с изображениями и интерфейсами * подходит для coding, browser/GUI-задач, Blender, Office, research и работы с документами * в GLM Coding Plan даёт в 3 раза больше квоты, чем GLM-5.3 Model ID: glm-5.3-flash https://docs.z.ai/guides/vlm/glm-5.3-flash

🔥 Tencent открыла AI-Infra-Guard - платформу для red teaming AI-инфраструктуры Инструмент проверяет безопасность практически всего современного AI-стека: * AI-агентов * MCP-серверов * agent skills * AI-инфраструктуры * LLM на jailbreak-атаки В свежей версии добавили защиту от RCE через whitelist инструментов, детект обходов в .pyc, защиту от charset smuggling и расширили базу до 2000+ правил для CVE. Есть отдельные CLI для Agent Scan, MCP Scan и Skill Scan. Разворачивается локально через Docker. https://github.com/tencent/AI-Infra-Guard