Machinelearning

🧠 Как «вклеить» объект в картинку так, чтобы он выглядел естественно? Это одна из самых сложных задач в семантической генерации: 🔸 нужно сохранить структуру сцены 🔸 вставить объект по текстовому описанию 🔸 и найти уместное место, а не просто налепить поверх Большинство моделей с этим не справляются — объект добавляется не к месту или портит фон. Новый метод Add-it от NVIDIA решает эту задачу без обучения модели. Он расширяет механизм внимания в диффузионных моделях, чтобы учитывать сразу три источника: 1. Оригинальное изображение 2. Текстовый промпт 3. Промежуточную сгенерированную картинку 📌 Такой подход позволяет: – сохранить геометрию сцены – встроить объект туда, где он действительно мог бы быть – не терять мелкие детали и текстуры 📊 Результаты: – Add-it без дообучения обходит supervised‑модели – На новом бенчмарке Additing Affordance показывает SOTA результат по «естественности размещения» – В слепых тестах люди выбирают его в 80% случаев – Улучшает метрики качества генерации 🟠Github: https://github.com/NVlabs/addit 🟠Demo: https://huggingface.co/spaces/nvidia/addit 🟠Paper: https://arxiv.org/abs/2411.07232 🟠Project: https://research.nvidia.com/labs/par/addit/ @ai_machinelearning_big_data #NVIDIA #Diffusion #Addit #StableDiffusion #AIgen #ControllableGeneration

🎁 РАЗЫГРЫВАЕМ MacBook Air! Разыгрываем шикарный 13-дюймовый MacBook Air! Отличная рабочая машинка! Условия участия максимально простые: 🔸Подписаться на телеграм-канал: @machinelearning_interview 🔸Подписаться на телеграм-канал: @ai_machinelearning_big_data 🔸Нажать кнопку "Участвовать" ниже. ВСЁ! Вы участник! Бот выберет одного человека, которому мы подарим этот MacBook. Доставка по зоне СДЭК. Итоги подведём 14 августа. Всем удачи! Пусть победит самый приятный человек! ⚠️ Если бот подвис — не беспокойтесь, вас все равно зарегистрирует, просто выполните условия и нажмите «Участвую».

📌Sampled Maximal Marginal Relevance (SMMR): новый метод от ученых из T-Bank AI Research ускоряет работу рексистем и позволяет быстрее и разнообразнее формировать рекомендации в онлайн-сервисах по сравнению с другими известными методами. Метод SMMR эффективнее решает эту проблему однотипных рекомендаций, случайным образом выбирая объекты из подходящего круга, а не только самые похожие. Благодаря этому рекомендации становятся разнообразнее, и пользователь чаще открывает для себя новое. Скорость метода SMMR также превосходит известные аналоги, такие, как MMR (Maximal Marginal Relevance) и DPP (Determinantal Point Process). Алгоритм выбирает несколько объектов за одну итерацию и увеличивает объем выборки с каждым шагом. Это приводит к снижению количества необходимых шагов с 100 до 5–10 на размере выборки из 3000 кандидатов. По итогу, скорость новой методики в 2–10 раз выше MMR и DPP, а рост разнообразия рекомендаций составил 5–10%. SMMR эффективно работает на больших объемах данных за счет снижения вычислительной сложности. По сравнению с классическими подходами, для списков из нескольких тысяч объектов алгоритм требует в 10–100 раз меньше итераций. При этом уровень случайности носит управляемый характер благодаря параметру «температуры». С его помощью степень случайности при выборе объектов можно регулировать, тем самым настраивая алгоритм под конкретные задачи. Метод успешно протестировали на трех открытых датасетах: MovieLens (фильмы), Dunnhumby (покупки) и MIND (новости). Результаты оказались стабильными как в потребительских сценариях (подбор фильмов, товаров), так и в более динамичных — например, в рекомендациях новостей. Результаты представлены на ACM SIGIR, которая проходит прямой сейчас в Падуе. Cам метод уже размещен в открытой библиотеке на гитхабе. Кстати на Turbo ML Conf 2025 в Москве будет отдельная большая секция по рексистемам, не пропустите. @ai_machinelearning_big_data #news #ai #ml #ai #llm

📌Sampled Maximal Marginal Relevance (SMMR): новый метод от ученых из T-Bank AI Research ускоряет работу рексистем и позволяет быстрее и разнообразнее формировать рекомендации в онлайн-сервисах по сравнению с другими известными методами. Метод SMMR эффективнее решает эту проблему однотипных рекомендаций, случайным образом выбирая объекты из подходящего круга, а не только самые похожие. Благодаря этому рекомендации становятся разнообразнее, и пользователь чаще открывает для себя новое. Скорость метода SMMR также превосходит известные аналоги, такие, как MMR (Maximal Marginal Relevance) и DPP (Determinantal Point Process). Алгоритм выбирает несколько объектов за одну итерацию и увеличивает объем выборки с каждым шагом. Это приводит к снижению количества необходимых шагов с 100 до 5–10 на размере выборки из 3000 кандидатов. По итогу, скорость новой методики в 2–10 раз выше MMR и DPP, а рост разнообразия рекомендаций составил 5–10%. SMMR эффективно работает на больших объемах данных за счет снижения вычислительной сложности. По сравнению с классическими подходами, для списков из нескольких тысяч объектов алгоритм требует в 10–100 раз меньше итераций. При этом уровень случайности носит управляемый характер благодаря параметру «температуры». С его помощью степень случайности при выборе объектов можно регулировать, тем самым настраивая алгоритм под конкретные задачи. Метод успешно протестировали на трех открытых датасетах: MovieLens (фильмы), Dunnhumby (покупки) и MIND (новости). Результаты оказались стабильными как в потребительских сценариях (подбор фильмов, товаров), так и в более динамичных — например, в рекомендациях новостей. Результаты представлены на ACM SIGIR, которая проходит прямой сейчас в Падуе. Cам метод уже размещен в открытой библиотеке на гитхабе. Кстати на Turbo ML Conf 2025 в Москве будет отдельная большая секция по рексистемам, не пропустите. @ai_machinelearning_big_data #news #ai #ml #ai #llm

📌Sampled Maximal Marginal Relevance (SMMR): новый метод от ученых из T-Bank AI Research ускоряет работу рексистем и позволяет быстрее и разнообразнее формировать рекомендации в онлайн-сервисах по сравнению с другими известными методами. Метод SMMR эффективнее решает эту проблему однотипных рекомендаций, случайным образом выбирая объекты из подходящего круга, а не только самые похожие. Благодаря этому рекомендации становятся разнообразнее, и пользователь чаще открывает для себя новое. Скорость метода SMMR также превосходит известные аналоги, такие, как MMR (Maximal Marginal Relevance) и DPP (Determinantal Point Process). Алгоритм выбирает несколько объектов за одну итерацию и увеличивает объем выборки с каждым шагом. Это приводит к снижению количества необходимых шагов с 100 до 5–10 на размере выборки из 3000 кандидатов. По итогу, скорость новой методики в 2–10 раз выше MMR и DPP, а рост разнообразия рекомендаций составил 5–10%. SMMR эффективно работает на больших объемах данных за счет снижения вычислительной сложности. По сравнению с классическими подходами, для списков из нескольких тысяч объектов алгоритм требует в 10–100 раз меньше итераций. При этом уровень случайности носит управляемый характер благодаря параметру «температуры». С его помощью степень случайности при выборе объектов можно регулировать, тем самым настраивая алгоритм под конкретные задачи. Метод успешно протестировали на трех открытых датасетах: MovieLens (фильмы), Dunnhumby (покупки) и MIND (новости). Результаты оказались стабильными как в потребительских сценариях (подбор фильмов, товаров), так и в более динамичных — например, в рекомендациях новостей. Результаты представлены на ACM SIGIR, которая проходит прямой сейчас в Падуе. Cам метод уже размещен в открытой библиотеке на гитхабе. Кстати на Turbo ML Conf 2025 в Москве будет отдельная большая секция по рексистемам, не пропустите. @ai_machinelearning_big_data #news #ai #ml #ai #llm

🛠 Вышел новый генератор CAD‑моделей по чертежам — и он реально работает! GenCAD умеет превращать чертежи в 3D‑модели и сразу генерирует параметрический CAD‑код. Для сложных и детализированных объектов он пока не подойдет, но с простыми деталями вроде винтиков и креплений справляется отлично. 📎 Идеально для быстрого прототипирования стандартных элементов. 📄 Статья: https://openreview.net/pdf?id=e817c1wEZ6 🔗 Сайт: https://gencad.github.io 💻 Код: https://github.com/ferdous-alam/GenCAD @pythonl - погружение в Python

🔥 Сейчас проходит ICML 2025 — одна из главных конференций по машинному обучению. Команда AI VK всю неделю делится обзорами самых интересных работ. 📌 Сегодня в центре внимания — трансформерная архитектура нового поколения: быстрая, простая и без softmax. Авторы статьи *“MatMuls are Enough”* предлагают кардинально упрощённую модель, в которой механизм внимания сводится к чистым матричным перемножениям без нелинейностей, dropout и маскировок. 🔧 В архитектуре: ▪️ Удалён softmax — вообще ничего не добавлено взамен ▪️ Вместо нескольких голов внимания — одна большая ▪️ Упрощены нормализации и убраны residual-соединения ▪️ Всё написано на чистом PyTorch, без CUDA-оптимизаций 📈 Результат — линейная сложность по длине текста, отличная переносимость между устройствами и SOTA на GLUE и Long Range Arena. Честно говоря, очень достойный претендент на главную инженерную идею ICML. @ai_machinelearning_big_data

🔅 Elon Musk винит "плохие данные" за провалы Grok. Но это не вся правда Elon Musk заявил, что проблемы Grok (например когда модель считала себя Гитлером) связаны с "плохими обучающими данными", и пообещал, что в версии v7 всё будет исправлено, потому что они "очистят датасет". ▶️ Звучит просто. Но если всё дело в данных — зачем тогда продолжают выпускать Grok-4, зная, что он обучен на том же грязном корпусе? Это больше похоже на попытку перевести фокус с реальных проблем, которые глубже и серьёзнее: – Выравнивание (alignment) становится всё сложнее – Проблемы не только в данных, а в самой архитектуре, управлении памятью, RLHF и недостаточной прозрачности – “Грязные данные” — это симптом, а не корень Возможно, Grok просто не справляется с масштабом, и это не фиксятся «переобучением на v7». 📌 Мы всё ещё в той точке, где модели растут быстрее, чем понимание того, как их контролировать. @ai_machinelearning_big_data #elonmusk #grok

🛢 В мире, где данные — новая нефть, растёт спрос на дата-инженеров. Ведь именно они знают, как такую нефть добывать, обрабатывать и хранить. И пока компании осознают потребность в этих специалистах, конкуренция на рынке низкая, а зарплаты — высокие. Освоить ключевые компетенции дата-инженера поможет онлайн-магистратура Нетологии и НИУ ВШЭ «Инженерия данных». За 2 года вы на практике: — изучите Python, Java, Scala, Kotlin и SQL, — научитесь проектировать пайплайны и обрабатывать данные, — научитесь работать с системами хранения данных и базами данных в облаке. Программа даёт широкий простор для переквалификации, поэтому после учёбы сможете перейти в MLOps, DevOps или менеджмент. Онлайн-формат позволяет учиться без отрыва от привычной жизни и совмещать занятия с работой. При этом у вас будет отсрочка от армии, льготы на проезд и все остальные бонусы очного обучения. Станьте магистром программной инженерии с дипломом одного из лучших вузов страны и получите веское преимущество при приёме на работу: https://netolo.gy/efRq Реклама. ООО "Нетология". ИНН 7726464125 Erid: 2VSb5yEYQzt

🖥 Дженсен Хуанг: США должны продавать чипы даже Китаю — это усилит наше лидерство в AI Глава NVIDIA объяснил, почему экспорт AI-чипов — это не слабость, а стратегия: 🗣 «Половина AI-разработчиков в мире — китайцы. Пусть они строят свои системы на нашей технологии.» 💡 Что он имеет в виду: — Если весь мир (включая Китай) работает на американских чипах, платформах и фреймворках, — США получают техническое и инфраструктурное преимущество, — А значит — долгосрочное лидерство в AI, даже если некоторые страны развивают собственные модели. 🔍 А как же риски? Военные, шпионские? > «Они не будут строить военные системы на чужих чипах. Просто не могут себе это позволить.» Технологии, от которых зависикурентт твой кон— это не оружие. Это рычаг влияния. И чем больше стран завязаны на американском стеке — тем выше шансы, что США останутся в центре мировой AI-инфраструктуры. • Полное интервью Дженсена @ai_machinelearning_big_data #ai #Ml #nvidia

🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку. Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI. Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя. 📌 Почему это важно: - Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели) - У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ - Приобретение Mistral может стать экстренной попыткой догнать конкурентов Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время. #Apple #Mistral #AI #LLM #ГонкаИИ @machinelearning_interview

📌 ThinkSound: новый video-to-sound инструмент ThinkSound — духовный наследник mmAudio — который способен генерировать звук к видео с высокой точностью. ▪ Поддерживает chain-of-thought промпты: позволяет по шагам объяснить, как должен звучать объект (например: «это металл, он падает на плитку, должно звучать звонкой эхо») ▪ Учитывает контекст сцены, физику движения объектов, состав материалов и многое другое ▪ Работает с видео как reasoning-модель, а не просто визуально-аудиофильтр В демках можно послушать звук шагов на песке, звон разбитого стекла, шум дождя — всё сгенерировано на лету, без записанных сэмплов. Из минусов - сложно подобрать промпт, но когда получается, то модель выдает годноту. 🟡Github: https://github.com/FunAudioLLM/ThinkSound 🟡Демо: https://thinksound-project.github.io/ 🟡Статья: https://arxiv.org/pdf/2506.21448 🟡Проект: https://ThinkSound-Demo.github.io @ai_machinelearning_big_data #python #cot #videotosound

🔅 Vibe Kanban — оркестрация AI-кодеров в одном окне Позволяет можно запускать и управлять сразу несколькими AI-агентами для кодинга: Claude Code, Gemini CLI, Codex — всё в одном дашборде. ▶️Что умеет: - параллельный запуск агентов - визуальный трекинг задач - переключение между моделями на лету — встроенный review и контроль над результатами — backend на Rust, frontend на React, всё разворачивается локально Полностью open-source 🟡 Репозиторий: https://github.com/BloopAI/vibe-kanban 🟡Документация: https://www.vibekanban.com/ @ai_machinelearning_big_data #ai #aiagent #opensource #Claude #Gemini

🌟 Теперь поговорим подобнее про Kimina-Prover-72B: Это модель, которая не просто доказывает теоремы, а учится на своих ошибках. Kimina-Prover-72B создана на базе Qwen2.5-72B, которая бьет рекорды в формальной математике на Lean 4 и ее облегченные версии 8 и 1,7 миллиарда параметров.

Numina - это некоммерческая научная коллаборация, ориентированная на развитие ИИ в области математики. Ее миссия: создание и публикация обширных баз данных математических задач, разработку open-source ИИ-решателя для их обработки и инструментов для поддержки совместной работы людей и ИИ в фундаментальных науках.

На популярном бенчмарке miniF2F Kimina-Prover-72B достигла внушительной точности в 92.2%, оставив позади Deepseek-Prover-V2 671B. 🟡Ключевая фишка Kimina-Prover - агентный фреймворк для поиска доказательств Test-Time Reinforcement Learning. Вместо того чтобы пытаться решить сложную задачу в лоб, система научилась декомпозировать ее. Она самостоятельно генерирует, комбинирует и применяет промежуточные утверждения, или леммы, выстраивая из них длинные логические цепочки. По сути, это рекурсивный поиск: для доказательства основной теоремы модель может сначала доказать несколько вспомогательных лемм. 🟡Механика доказательств. Система отслеживает «рейтинг полезности» каждой леммы и отбраковывает те, что ведут в тупик. Вторым эшелоном идет механизм проверки на вменяемость. Прежде чем использовать новую лемму, модель пытается доказать ее отрицание. Если это удается, значит, лемма противоречива и ее сразу выбрасывают. Такая комбинация гарантирует логическую строгость и надежность всего доказательства. 🟡Kimina-Prover умеет учиться на ошибках. В отличие от других систем, которые в случае неудачи просто начинают заново, Kimina-Prover умеет читать сообщения об ошибках от компилятора Lean и предлагать исправления. Для этого ее специально дообучали на датасете из комбинаций «неверное доказательство – фидбэк – верное доказательство». Чтобы обучение шло стабильно, использовали стратегию Batched Failure Replay: все неудачные попытки с одной итерации собираются и используются как обучающий батч для следующей. И это оказалось куда эффективнее, чем бездумный перебор вариантов при том же бюджете вычислений. 📌Лицензирование: MIT License. 🟡Статья 🟡Набор моделей 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #TTRL #Reasoning #KiminaProver

⚡️Соберите свой первый проект для портфолио аналитика Как получить первый коммерческий опыт до выхода на первую работу, положить в портфолио классный пет-проект и впечатлить работодателя умением не просто действовать по шаблону, а сходу решать задачи бизнеса? Для этого мало просто разобраться в Python и SQL, нужно набивать руку на реальных кейсах и тренировать насмотренность — смотреть на то как решают эти задачи опытные аналитики. Решить такой кейс и добавить его к себе в портфолио можно будет на вебинаре с Андроном Алексаняном, аналитиком с 8 летним опытом и по совместительству CEO Simulative. В прямом эфире он решит реальный кейс компании: проанализирует продажи на Wildberries с помощью Python. Что будем на вебинаре: 🟠Напишем скрипт на Python, который каждый час собирает статистику о ранжировании карточки на WB по ключевым запросам; 🟠Построим наглядные визуализации для отслеживания динамики ранжирования. 😶Зарегистрироваться на бесплатный вебинар

✔️ Евросоюз опубликовал свод правил для ИИ-разработчиков в преддверии AI Act. Брюссель выпустил практическое руководство, которое должно помочь компаниям подготовиться к вступлению в силу Закона об ИИ. Документ детализирует требования к моделям общего назначения по трем ключевым направлениям: прозрачность, авторское право и безопасность. Разработчикам предстоит документировать источники данных для обучения, предоставлять интерфейсы для аудита и внедрять фильтры для защищенного контента. Требования по безопасности включают обязательное проведение red-teaming и оценку рисков. Нормы станут обязательными со 2 августа 2025 года, и их публикация сигнализирует об отказе регулятора откладывать сроки, несмотря на просьбы бизнеса. Штрафы за несоблюдение могут достигать 35 миллионов евро или 7% от оборота. digital-strategy.ec.europa.eu ✔️ GitHub Copilot упрощает модель оплаты за своего кодинг-агента. GitHub изменил модели тарификации для Copilot coding agent, делая ее более предсказуемой. Теперь каждая сессия работы с агентом, будь то создание нового pull-request или изменение существующего, будет стоить ровно один «премиум-запрос». Это изменение устраняет неопределенность в расходах. Независимо от сложности задачи и количества затронутых файлов, стоимость сессии остается фиксированной. По заявлению GitHub, такой подход позволит пользователям делегировать агенту до 20 раз больше задач в рамках своей месячной подписки. Стоит отметить, что хотя использование премиум-запросов стало предсказуемым, расход минут GitHub Actions все еще зависит от времени, которое требуется агенту на выполнение работы. Функция доступна в публичной бета-версии для всех платных планов GitHub Copilot. github.blog ✔️ Создатели Manus полностью ушли из Китая из-за геополитики. Стартап Butterfly Effect, разработчик популярного ИИ-агента Manus, ликвидировал всю свою команду в Китае. Это часть стратегии по минимизации геополитических рисков, поскольку основной целевой рынок компании - США. Ранее стартап уже перенес штаб-квартиру из Китая в Сингапур, куда переехали и его основатели. Компания, получившая поддержку от фонда Benchmark, теперь активно нанимает сотрудников в новых офисах в Калифорнии и Токио. Решение полностью свернуть операции в КНР отражает растущую тенденцию среди технологических стартапов с глобальными амбициями. Они вынуждены дистанцироваться от Китая, чтобы избежать политического давления и обеспечить себе доступ на западные рынки. theinformation.com ✔️ Reka выложила в опенсорс модель Flash 3.1 Стартап Reka, основанный выходцами из DeepMind и FAIR, представил новую открытую модель Reka Flash 3.1. Эта модель с 21 миллиардом параметров показывает высокую производительность в задачах, связанных с программированием, и позиционируется как сильная основа для создания ИИ-агентов. Она уже доступна на Hugging Face, через API и в Playground. Одновременно компания выпустила библиотеку Reka Quant. Она позволяет сжимать модель до 3.5 бит практически без потери производительности - падение метрик составляет всего 1.6% по сравнению с 6.8% у стандартных методов. reka.ai ✔️ AWS запускает маркетплейс для ИИ-агентов, Anthropic в числе первых партнеров. Amazon Web Services на следующей неделе представит собственный маркетплейс для ИИ-агентов. Платформа, запуск которой ожидается на саммите AWS в Нью-Йорке, позволит стартапам напрямую предлагать свои разработки огромной базе корпоративных клиентов облачного гиганта. Anthropic станет одним из ключевых партнеров на старте, что даст ему серьезное преимущество в конкуренции с OpenAI. Модель работы будет напоминать магазины приложений: AWS будет взимать комиссию, а разработчики смогут продавать своих агентов по подписке. Запуском собственной площадки Amazon следует тренду, заданному конкурентами. Аналогичные маркетплейсы уже есть у Google Cloud, Microsoft, Salesforce и ServiceNow. techcrunch.com ✔️ OpenAI упустили Windsurf — Google нанял ключевых людей и взял лицензии, не покупая компанию. Google заплатил $2.4 млрд, на $600 млн меньше, чем OpenAI. @ai_machinelearning_big_data #news #ai #ml

🔥 Китай выпускает новую топовую моделб: Kimi K2 — llm уровня Claude 4, которая обходит DeepSeek v3, Qwen и даже GPT-4.1 Размер — 1 триллион параметров, при этом: 📊 В бенчмарках: - 65.8% на SWE-bench Verified, против 50.2% у Claude Sonnet 4 и 40.8% у GPT-4.1 - Лучшие результаты среди открытых моделей по кодингу, математике и агентным задачам - Архитектура MoE на базе DeepSeek V3, 1 трлн параметров, 32B активны. Также доступна через API: - $0.15 за миллион входных токенов (при попадании в кэш) - $0.60 за миллион входных токенов (если кэш не сработал) - $2.50 за миллион выходных токенов Почти в 5 раз дешевле, чем Claude 4 Sonnet и Gemini 2.5 Pro! 🟡 Github @ai_machinelearning_big_data #kimi #china #llm #ml #ai

🩺 Боксер 5 лет жил с щелчком в челюсти. За долгие годы 17 врачей не смогли ему помочь, рентген ничего не показывал. Чат-бот выдал диагноз за минуту: смещение сустава и рекомендовал сделать - простое упражнение языком. Он попробовал — и щелчок исчез. 🔜 Добро пожаловать в эру ИИ-медицины. Пациенты загружают симптомы или даже МРТ — и получают точные диагнозы с вероятностью до 92%. LLM доверяют сложнейшие кейсы: спинальные патологии, редкие болезни крови и другие «неуловимые» диагнозы. 📊 Новые метрики подтверждают эффективность ИИ: — MAI-DxO — MAI-DxO — это система оркестрации медицинского ИИ (AI orchestration system), разработанная для объединения разных моделей и инструментов диагностики в единую "умную" систему, которая диагностирует в 4 раза точнее, чем врачи — HealthBench -это открытый бечмарк для оценки медицинских навыков и точности диагностики, содержит 5000 реальных медицинских cлучаев в формате чатов между пациентом и моделью. Что самое интересно: — Когда ИИ работает один — точность диагнозов 95% — Когда вмешивается человек — точность диагноза падает до 75%: врачи зачастую занижают тревожность, упускают детали Иногда именно ИИ замечает то, что упустили 17 специалистов. 📌 Источник #ai #ml #medecine

🌟 LMCache: умное кэширования для LLM-инференса. LMCache - проект, который предлагает решение по сохранению KV-кэша на CPU, диске или даже в специализированной памяти NIXL. По сути, это инструмент, который превращает одноразовые вычисления в многократно используемые блоки, экономя время и ресурсы. Представьте, что в чат-боте пользователи часто ссылаются на один и тот же системный промпт или историю диалога. Обычно модель заново обрабатывает эти данные, но LMCache просто загружает готовый кэш. Выгрузка KV-кэшей освобождает GPU для новых задач, уменьшая TTFT (время до первого токена) вплоть до 10 раз. 🟡LMCache гибкий. Кэши можно не только выгружать, но и делиться между разными инстансами LLM. Проще говоря, если два пользователя одновременно обращаются к разным копиям модели с одинаковым запросом, система не будет дублировать работу: результаты одного prefill’а станут доступны всем. Это работает даже для неполных префиксов, например, при частичном совпадении входных данных. 🟡LMCache умеет в раздельную предобработку. Prefill и decode, которые обычно выполняются на одном GPU, теперь могут быть разнесены: первый этап обрабатывается на мощных узлах, а второй на оптимизированных для генерации. Для распределенных систем такая техника повысит пропускную способность. Тесты разработчиков проекта показывают, что в реальных задачах задержка снижается в 3–10 раз, а GPU-циклы экономятся на повторных вычислениях. Проект тесно интегрируется с vLLM, в репозитории есть большой набор с примерами, документация и советы по установке и настройке. ⚠️ Калькулятор KV-кеша с выбором модели, ее типа данных и количества токенов, который поможет прикинуть, сколько VRAM можно сэкономить. 📌Лицензирование: Apache 2.0 License. 🖥 Github @ai_machinelearning_big_data #AI #ML #LLM #LMCache #KVCache #Github

🔥 В России появилась первая магистратура по ML в гибридном формате Центральный университет разработал программу онлайн-обучения с привилегиями очной формы: студенческий билет со всеми льготами, отсрочка от армии, диплом очной формы и живая проектная работа на очных буткемпах в Москве. 🟡Формат. Онлайн-семинары в мини-группах до 12 человек, а каждый семестр — неделя интенсивов в Москве: работа над реальными задачами бизнеса. Проживание во время интенсива для студентов из регионов полностью оплачивается. 🟡Преподаватели. Ведущие специалисты отрасли, например, главные тренеры школьной сборной России, которая одержала победу в первой Международной олимпиаде по искусственному интеллекту в Болгарии в 2024 году, они же тренируют сборную в этом году к Международной олимпиаде в Китае: Александр Дьяконов – руководитель направления «Искусственный интеллект» в Центральном университете, Data Scientist №1 в мире по версии Kaggle (2012), лауреат премии «Лучший ИТ-преподаватель России» (2014) и Александр Гущин – индустриальный руководитель направления «Искусственный интеллект» в Центральном университете, Kaggle Grandmaster (№5 в мире в 2017). А также Виктор Кантор – основатель ML Inside, лауреат Forbes «30 до 30», один из лучших экспертов по ML в России. Программа предоставляет актуальные ML-инструменты глубокую теоретическую базу, карьерную поддержку, главное — проектное портфолио уже в процессе обучения и возможность получить грант, покрывающий 75% от стоимости обучения. 🟡Даты. Заявки принимаются до 20 августа, начало обучения с сентября 2025 года Цель программы — подготовка специалистов, которые уверенно ориентируются как в теории, так и в решении прикладных задач. @ai_machinelearning_big_data #news #ML