Data Secrets

Alibaba нашли способ сократить потребность в GPU на 82% Немножко контекста. Чаще всего в облаке, на котором хостится несколько моделей, каждую модель привязывают к определенным GPU. Например, Llama-70B → 8× A100. И даже если к модели в данный момент никто не обращается, видеокарта все равно остается зарезервированной и простаивает, потому что веса уже подгружены. В Alibaba выяснили, что такой невинный простой на самом деле кушает море ресурсов. Оказалось, что на их облаке 17.7% всех GPU были заняты моделями, которые обрабатывали лишь 1.35% всех запросов. Во-первых, это жутко неэффективно. Во-вторых, такую систему очень сложно масштабировать, если появятся еще модели. Поэтому китайцы взялись за оптимизацию и предложили штуку под названием Aegaeon (не спрашивайте, как это выговаривать). Это система, в которой вместо однозначного сопоставления «модель-видеокарта», каждая GPU может обрабатывать несколько моделей одновременно. Это чем-то похоже на Kubernetes: кластер превращается в единый пуллинг, который умеет динамически выделять и освобождать память. Основная идея в том, что система переключается на уровне токенов, а не целых запросов. Обычно модель загружается в память целиком и работает, пока не закончит ответ. Aegaeon же разбивает процесс на prefill и decode, и чередует их между моделями прямо во время генерации. Это происходит без полной инициализации: планировщик кэширует нужные части в VRAM, а остальное подгружает при необходимости. Так что задержки есть, но минимальные – в пределах 3-5%. Сейчас Aegaeon уже работает непосредственно в Alibaba Cloud. И инженеры заявляют, что им удалось снизить количество необходимых GPU с 1192 до 213. Это минус 82%! Голь на выдумку хитра, а уж китайцы, которым запретили ввоз GPU, тем более 🍿 dl.acm.org/doi/10.1145/3731569.3764815

Вдохновляемся на рабочую неделю

🚀 Новый курс на Stepik: AI Agents PRO Если вы работаете с ML/DS и хотите перейти от моделей → к готовым продуктам на базе LLM, без понимания агентов уже никуда. 🔹 Что внутри: Архитектура агентов (FSM, DAG, Supervisor–Worker, Critic–Executor). Интеграции: API, БД, браузеры, CRM. Retrieval-Augmented Generation (Qdrant, Weaviate, FAISS). Надёжность: ретраи, guardrails, работа с PII. LLMOps: метрики качества, A/B-тесты, дашборды. Продакшн-деплой: Docker, очереди сообщений, CI/CD. Итоговый проект: собственный агент под реальный бизнес-кейс. 🎯 По итогу вы сможете строить и выкатывать production-ready AI-агентов, а не просто писать демки в ноутбуках. 🔥 Спец-условия: только по промо AGENTS30 — -30% на старт (действует 48ч). 👉 Пройти курс со скидкой

Маск предложил Андрею Карпаты дуэль по AI кодингу с Grok-5 Он сравнил это с соревнованием Deep Blue против Каспарова. На такое мы бы, конечно, посмотрели. Но Карпаты только отшутился и сказал, что он скорее объединится с Grok-5, чем будет играть против него. Напоминаем, что Илон считает, что Grok-5 может стать AGI. А пару дней назад он также заявил, что модель будет учиться почти мгновенно, как люди, благодаря динамическому обучению с подкреплением.

OpenAI немного переборщили с маркетингом и опозорились на весь Твиттер Помните, мы рассказывали, что GPT-5 "решила" открытую задачу по математике из списка Эрдёша? Кратко освежаем память: решить-то модель задачу решила, вот только решение было не ее. Она откопала его в литературе 20-летней давности. То есть задача уже была кем-то решена кучу лет назад, просто люди об этом забыли и пометили ее как "нерешенную". Ну так вот. У истории появилось продолжение, и при этом не совсем приятное. Ровно таким же образом GPT-5 "решила" еще 10 задачек из того же списка AKA нашла их решение в забытой литературе. И вроде бы все норм: моделька молодец, умеет качественно серчить материал, честно сообщает об источниках и все такое. Вот только сотрудники OpenAI почему-то решили запостить это вот с такими словами: "GPT-5 нашла решения еще 10 открытых задач по математике". И да, с одной стороны, где-то там они сослались на прошлые твиты, в которых прямо говорили, что решения были найдены именно в литературе, а не выдуманы моделью. С другой стороны, если читатель не знаком с предысторией (что очень вероятно), то для него это однозначно звучит как "ИИ открыл новую математику". Невольно появляется ощущение, что OpenAI на то и рассчитывали, и выбрали такую формулировку специально, чтобы похайпиться. Но Твиттер подобного не прощает, и в итоге вместо хайпа они заслужили только волну насмешек и обвинений. Даже нобелевский лауреат из Google Демис Хассабис прокомментировал ситуацию как "Это позор". В итоге твит с неудачной формулировкой был удален, а авторы оправдались тем, что ничего такого в виду не имели. Верим 🤖

Как Google оптимизируют датацентры с помощью ИИ Вспомните тетрис. Там нужно уложить фигурки как можно плотнее, чтобы не было пустого места. В облачных датацентрах типа Google Cloud возникает очень похожая задача. Есть физические сервера, на которых запускаются виртуальные машины для разных задач. Эти ВМ появляются, работают какое-то время и исчезают. При этом кто-то берет ВМ под тест, и она работает 15-20 минут, а кто-то хостит на ней БД месяцами. Заранее узнать, сколько будет жить ВМ, нельзя. При этом есть конкретная опиимизационная задача: уложить их так, чтобы максимально эффективно и плотно использовать ресурсы. Как в тетрисе. Простая оптимизация тут не сработает именно из-за наличия неопределенности. Так что Google подумали и прикрутили вероятностную ML-модель. Она предсказывает распределение вероятностей срока жизни ВМ, основываясь на генеральном распределении (оно, кстати, сильно скошенное), метаданных ВМ, поведении пользователя, способе создания и тд. На выходе мы получаем что-то типа «С вероятностью 80% эта ВМ проживет час, с вероятностью 15% – день, и 5% – дольше недели». Это называется survival analysis. Занятно, что прогноз динамически и обновляется со временем. Например, если виртуалка всё ещё работает через 10 дней, модель пересматривает оценку. И вот основываясь на таком предсказанном распределении уже работают опимизационные алгоритмы. Например, планировщик, который пытается несколько одинаковых ВМ на один сервер, чтобы освободить его полностью позже. Или алгоритм, который наоборот ставит короткоживущие ВМ на сервера с долгоживущими, чтобы заполнить мелкие пробелы, которые иначе были бы потеряны. Ну и метрики. Google уже протестили подход на своих серверах и (внимание!) простои оборудования снизились в среднем на 5%. Представьте, сколько это в долларах 🙂 Отличная работа и крутой кейс research.google/blog/solving-virtual-machine-puzzles-how-ai-is-optimizing-cloud-computing/

Школа Высшей Математики открывает набор на курс по созданию AI агентов Обычно подобные курсы часто заканчиваются на этапе теории (ну либо вся практика – это просто no-code инструменты). Но ШВМ сделали практично и хардово, так что смело можно рекомендовать. – Начнется все с быстрого напоминания того, что вообще такое LLM – с акцентом на особенности и ограничения их как алгоритма – Дальше будет подробный разбор RAG, алгоритмов векторного поиска и метрик – А потом начнется основная часть и все самое актуальное: мультиагентные системы, LangGraph и LangChain, MCP, обучение и подкреплением и так далее. Что особенно нравится: каждую тему объясняют буквально From first principles, то есть математично. Например, когда вы будете проходить мультиагентные системы, то будете анализировать их совместные статистические распределения. Настоящая редкость в индустрии курсов. Ну и практика, практика, и еще раз практика. В рамках курса вы сами напишете несколько агентных систем – в том числе для ваших собственных задач. Автор курса и спикер – исследователь данных в Sber, Глеб Шевчук-Генне. Он много занимался файн-тюнингом LLM (в т.ч. GigaChat), внедрением RAG в корпоративные системы, а также проектами в области NLP, CV и мультиагентных систем. Регистрироваться нужно здесь: ссылка P.S. Для наших подписиков дали промокод на -25%: DS25 🎁

У Дваркеша Пателя вышло огромное интервью с Андреем Карпаты Естественно, там есть что обсудить. Поехали по самым ярким цитатам и мыслям: ⚪️ До AGI еще десятилетия, несмотря на то, что прогнозируют нам CEO стартапов. Агенты еще долго не смогут никого заменить полноценно: не хватает интеллекта, мультимодальности, надёжного компьютер-юза, долгой памяти/континуума обучения. ⚪️ RL – костыль. Он работает «через соломинку»: слишком мало полезного сигнала для слишком большого количества действий. То есть мы совершаем длинную цепочку действий, а в конце получаем в качестве реварда всего одно число. Этот сигнал размазывается на всю последовательность, даже если некоторые шаги были удачные, а другие нет. Получается огромный шум и слабое обучение. ⚪️ Скайнета не будет, но из-за ИИ человечество рискует потерять контроль. По мере автоматизации люди будут все меньше и меньше принимать решения, и в конце концов мы вообще перестанем понимать, что происходит: весь мир станет для людей черным ящиком. Think about it, как говорится. Обязательно смотрим полностью здесь -> youtu.be/lXUZvyajciY

GPT-5 всего на 58 процентров близка к AGI Исследовали из 28 лучших работаторий объединились, чтобы наконец-то дать четкое определение AGI. Это первая научная работа, в которой это понятие смогли истолковать не просто как-то там, а количественно. И, между прочим, среди авторов – Йошуа Бенджио, один из отцов ИИ. Итак, определение (короткое, но очень емкое):

AGI – это ИИ, который может сопоставимо с образованным взрослым человеком проявлять широту (versatility) и глубину (proficiency) когнитивных способностей.

Но как это можно измерить? Все просто и изящно. В психометрии есть такая широко признанная модель человеческого мышления: Cattell-Horn-Carroll (CHC). CHC разбивает интеллект на 10 основных когнитивных способностей: фактические знания и здравый смысл, понимание и написание текста, математика, способность решать новые задачи и делать выводы, удержание и обработка информации в кратковременной памяти, долговременное запоминание и обучение новому, извлечение знаний, понимание и создание изображений, работа с музыкой и речью, скорость обработки информации. По каждому из этих параметров можно оценить и человека, и, следовательно, модель. Что, собственно, и сделали ученые. В итоге получилось, что GPT-4 является AGI всего на 27%, а GPT-5 – на 58% – что само по себе очень неплохой скачок, НО все еще лишь чуть больше половины когнитивного профиля образованного взрослого. Самые слабые стороны, в целом, предсказумые: долговременная память, визуальное и аудио восприятие, скорость реакции и гибкое мышление. Вроде как определение получилось объекктивно неплохое (главное, что измеримое). Ну и точно лучше чем у OpenAI и Microsoft. Напоминаем, что они определили AGI как ИИ, приносящий $100 млрд прибыли в год 💀

МТС Web Services запустила продукт для управления ПО и лицензиями. Продукт MWS Softora способен сократить расходы на программное обеспечение и снизить нагрузку на IT-поддержку. Система автоматизирует всю работу с ПО от планирования и закупки до контроля использования и списания, объединяя данные из различных источников. Пользователи могут воспользоваться витриной приложений. Оттуда сотрудники могут сами установить программы без участия IT-отдела, чем ускоряют весь процесс на 76%. А количество заявок на согласование падает сразу на 70%. Еще один важный аспект – точность данных повышается до 95%. Также предусмотрены контроль лицензий, борьба с нелегальным ПО и перерасходом бюджета. Всего в каталоге более 10 тысяч приложений, в том числе альтернативы санкционным программам. Больше плюшек – по ссылке.

rm -rf

Microsoft выкатили ОС для экстравертов Они прикрутили к Windows 11 Copilot и назвали это «компьютером, с которым можно разговаривать». Пока это похоже на чуть улучшенную версию Siri. Агент реагирует на «Hey, Copilot» и может помочь с какой-нибудь не очень сложной задачей: типа разобраться в работе приложения или найти какой-нибудь файл. Отличная новость, но мы пошли дальше молча стучать по клавиатуре самостоятельно 🎮

Google объединяются с одной из крупнейших компаний в области ядерного синтеза, чтобы вырабатывать энергию в помощью ИИ CFS, с которыми Google заключили сделку, уже много лет занимаются выработкой термоядерной энергии. Она считается самым чистым из возможных видов топлива: экологично, безопасно и неисчерпаемо – три в одном. Один из основных подходов к синтезу такой энергии – это контролируемое движение сверхгорячего ионизированного газа (плазмы) внутри специальной трубы – токамака. Но чтобы управлять плазмой, нужно очень точно моделировать, как тепло, ток и вещество движутся через газ и взаимодействуют с ним. Это очень сложные расчеты, с которыми не справляются даже суперкомпьютеры. Но Google надеются, что именно эту задачу возьмет на себя их моделька под названием Torax. Torax – это специальный симулятор транспорта плазмы / RL-агент (опенсорсный, кстати), который позволяет быстро и эффективно проводить много виртуальных экспериментов без потребления энергии токамака, за счет чего преодолевается точка безубыточности. Кроме того, агент как бы сам может управлять плазмой и распределением тепла, быстро находя лучшие стабильные конфигурации. Это буквально выработка сверхмощной энергии под управлением ИИ. Звучит как будущее. deepmind.google/discover/blog/bringing-ai-to-the-next-generation-of-fusion-energy/

Хотите попробовать Kandinsky 5.0 Video Lite? Теперь это можно сделать в облаке Cloud․ru, используя сервис Evolution Notebooks с GPU Nvidia V100. Настройте среду для генерации ComfyUI и создавайте видео до 10 секунд для рекламы, презентаций и прототипов.

😶‍🌫️Никаких сложных настроек 😶‍🌫️Удобный интерфейс 😶‍🌫️Контроль за процессом генерации 😶‍🌫️Результат — короткие видео в высоком качестве для ваших проектов

Сервис Evolution Notebooks сейчас в стадии Public Preview, так что все это можно сделать бесплатно. Ловите гайд

Тот самый китайский агент Manus AI обновился до версии 1.5 Что интересного: – Средняя продолжительность выполнения задач снизилась до 4 минут вместо 15 благодаря переработанному движку. То есть теперь система работает примерно в 4 раза бодрее. – Качество выросло примерно на 15%. Удовлетворенность пользователей – на 6. Система теперь умеет справляться с более сложными составными тасками. – Безлимитный контекст! – Добавили Collaboration (совместная работа нескольких пользователей в одной сессии) и Library (единое хранилище для всех файлов и артефактов, созданных агентом). – Отдельно хвастаются тем, как прокачали веб-разработку. Агент якобы впервые поддерживает создание и деплой production-ready full-stack приложений с одного промпта: с бэкендом, базами данных, авторизацией, встроенным ИИ, аналитикой и системой версий. Вряд ли в реальности это такая сказка, надо тестить. Попробовать можно тут, вроде есть бесплатный trial

Когда OpenAI в декабре раскатит эротику, помните о главном

О, вышел PyTorch 2.9 Что новенького: 🟦 FlexAttention стал доступен еще шире. Добавили на Intel GPU, плюс появились flash-decoding оптимизации на x86 CPU (ускорения инференса трансформеров без спец. CUDA-ядер). 🟦В torch.compile теперь можно переключать поведение на graph breaks, то есть выбирать, падать с ошибкой или продолжать. 🟦 Официальные бинарники теперь выходят сразу с вариантами для ROCm (AMD), XPU (Intel GPU) и CUDA 13. Это сильно упрощает GPU-старт из коробки вне NVIDIA, особенно на ROCm. 🟦 Обновили стабильный libtorch ABI. Теперь должно быть меньше сюрпризов при сборке и обновлении сторонних C++/CUDA экстеншнов. 🟦 Выкатили symmetric memory – новую модель памяти, которая должна облегчить написание multi-GPU ядер и кода. Кстати, релиз собрали из 3216 коммитов от 452 контрибьюторов. Опенсорс – сила 💪 pytorch.org/blog/pytorch-2-9/

О, вышел PyTorch 2.9 Что новенького: 🟦 FlexAttention стал доступен еще шире. Добавили на Intel GPU, плюс появились flash-decoding оптимизации на x86 CPU (ускорения инференса трансформеров без спец. CUDA-ядер). 🟦В torch.compile теперь можно переключать поведение на graph breaks, то есть выбирать, падать с ошибкой или продолжать. 🟦 Официальные бинарники теперь выходят сразу с вариантами для ROCm (AMD), XPU (Intel GPU) и CUDA 13. Это сильно упрощает GPU-старт из коробки вне NVIDIA, особенно на ROCm. 🟦 Обновили стабильный libtorch ABI. Теперь должно быть меньше сюрпризов при сборке и обновлении сторонних C++/CUDA экстеншнов. 🟦 Выкатили symmetric memory – новую модель памяти, которая должна облегчить написание multi-GPU ядер и кода. Кстати, релиз собрали из 3216 коммитов от 452 контрибьюторов. Опенсорс – сила 💪 pytorch.org/blog/pytorch-2-9/

Почему генеративный ИИ все еще не изменил мир Генеральный директор MWS AI (входит в МТС) Денис Филиппов дал неплохое интервью Коммерсанту, в котором озвучил довольно нестандартную мысль: зрелых продуктов и готовых кейсов в ИИ все еще мало, даже на международном рынке. Да, у нас есть LLM и все такое. НО какого бы уровня ни достигла технология, на практике это пока лишь единицы процентов внедрений, которые стали бизнес-критичными. А тем временем для большинства компаний огромный пласт возможностей лежит именно в развитии узких продуктовых решений на базе опенсорса, а не в разработке собственных языковых моделей. В качестве примера он привел кейс о разработке и внедрении командой MWS AI сервиса речевой аналитики в процесс проверки технического состояния горного транспорта в крупной горно-металлургической компании. –> Специалист проводит осмотр техники и записывает свои заключения на диктофон –> Запись передается на сервер, где автоматически транскрибируется и улучшается LLM –> На основе транскрипта LLM заполняет анкету по технической готовности транспорта и отправляет готовый док ответственному Итог: процесс теперь занимает минуту вместо часа человеческого труда. На рутинных проверках при 100 осмотрах в день может достигать более 15 000 часов. Как раз такие решения в понятной для бизнеса форме и меняют индустрию. Полное интервью тут

Вышла Veo 3.1 1. Первое и главное обновление – улучшили гибкость и контролируемость (и немножно качество). Например, можно убирать элементы из сцены или дорисовывать что-то прямо в кадр. Плюс, теперь доступна загрузка референсов для сохранения стиля, персонажей или даже одежды. 2. Поработали со звуком. Тепеть аудио-сопровождение звучит естественнее, а липсинки выглядят более синхронными. Даже на русском языке работает норм. 3. Доступная длина генераций не изменилась, но добавили Scene Extension: можно продолжать видео с последних кадров. Google сегодня в ударе. Блогпост | Попробовать