immers.cloud | Облако с GPU
Відкрити в Telegram
immers.cloud — облачный GPU-сервис с широким выбором видеокарт для ML, генеративных моделей, 3D и рендеринга. Самый большой ассортимент GPU Tesla и RTX 💻 👉 Наш сайт https://immers.cloud/ 🎧 @immerscloudsupport Чат по ИИ - https://t.me/immersAI
Показати більше967
Підписники
+124 години
+67 днів
+2130 днів
Завантажуємо дані
Схожі канали
Хмара тегів
Вхідні та вихідні згадування
---
---
---
---
---
---
Залучення підписників
листопад '26лист '26
листопад '26
+24
в 0 каналах
жовтень '26
+22
в 0 каналах
Get PRO
вересень '26
+19
в 0 каналах
Get PRO
серпень '26
+21
в 1 каналах
Get PRO
липень '26
+11
в 0 каналах
Get PRO
червень '26
+14
в 0 каналах
Get PRO
травень '26
+11
в 0 каналах
Get PRO
квітень '26
+13
в 0 каналах
Get PRO
березень '26
+12
в 0 каналах
Get PRO
лютий '26
+17
в 0 каналах
Get PRO
січень '26
+30
в 0 каналах
Get PRO
грудень '25
+32
в 1 каналах
Get PRO
листопад '25
+16
в 0 каналах
Get PRO
жовтень '25
+18
в 0 каналах
Get PRO
вересень '25
+25
в 0 каналах
Get PRO
серпень '25
+27
в 0 каналах
Get PRO
липень '25
+38
в 0 каналах
Get PRO
червень '25
+26
в 1 каналах
Get PRO
травень '25
+24
в 1 каналах
Get PRO
квітень '25
+40
в 0 каналах
Get PRO
березень '25
+15
в 1 каналах
Get PRO
лютий '25
+27
в 1 каналах
Get PRO
січень '25
+40
в 1 каналах
Get PRO
грудень '24
+54
в 1 каналах
Get PRO
листопад '24
+29
в 0 каналах
Get PRO
жовтень '24
+97
в 1 каналах
Get PRO
вересень '24
+91
в 3 каналах
Get PRO
серпень '24
+191
в 0 каналах
Get PRO
липень '24
+518
в 0 каналах
Get PRO
червень '24
+707
в 1 каналах
| Дата | Залучення підписників | Згадування | Канали | |
| 19 листопада | 0 | |||
| 18 листопада | +2 | |||
| 17 листопада | +1 | |||
| 16 листопада | +1 | |||
| 15 листопада | +2 | |||
| 14 листопада | +1 | |||
| 13 листопада | 0 | |||
| 12 листопада | +2 | |||
| 11 листопада | +2 | |||
| 10 листопада | +1 | |||
| 09 листопада | 0 | |||
| 08 листопада | +2 | |||
| 07 листопада | +2 | |||
| 06 листопада | +1 | |||
| 05 листопада | +1 | |||
| 04 листопада | +3 | |||
| 03 листопада | +1 | |||
| 02 листопада | 0 | |||
| 01 листопада | +2 |
Дописи каналу
+5
Новые тарифы и лимиты для публичного API immers.cloud
👋 Добавили подписки и оплату за токены. Тариф можно выбрать в личном кабинете.
Чем отличаются тарифы:
1️⃣ Бесплатный тариф действует по умолчанию. Подходит для знакомства с моделями и тестовых запросов.
2️⃣ Подписки позволяют отправлять больше запросов в минуту. В планах «Широкий лимит» также выше лимиты на три часа, неделю и месяц.
3️⃣ Оплата за токены подойдет, если лимитов подписки недостаточно. Для входных токенов с кешем и без него, а также для выходных токенов действуют отдельные цены.
⚡ Трехчасовой, недельный или месячный лимит можно сбросить вручную за отдельную плату. Сброс доступен раз в 7 дней.
📲 В карточках сравнили цены и лимиты и показали на примере, когда API снова начнет принимать запросы.
➡️ Тарифы и лимиты публичных эндпоинтов
➡️ Цены на частные эндпоинты и токены
➡️ Получить токен доступа
➡️ Посмотреть потребление и суммы к оплате
18 лист, 09:06
| 2 | Новые тарифы и лимиты для публичного API immers.cloud
👋 Добавили два способа оплаты для публичных эндпоинтов. Теперь можно выбрать подписку с повышенными лимитами, платить за использованные токены или работать на бесплатном тарифе.
Как выбрать тариф под свою задачу:
1️⃣ Бесплатный действует по умолчанию. Подходит, чтобы познакомиться с моделью и проверить ее на своих запросах.
2️⃣ Подписка пригодится, если базовых лимитов не хватает. В одних планах увеличен лимит запросов в минуту, в других также можно отправлять больше запросов за неделю и месяц.
3️⃣ Оплата за токены подойдет, если лимитов подписки недостаточно. Сумма к оплате зависит от количества использованных входных, выходных и кешированных токенов.
⚡ Если исчерпали трехчасовой, недельный или месячный лимит, его можно сбросить вручную за отдельную плату. Сброс доступен раз в 7 дней.
📲 Подробнее в слайдах.
➡️ Тарифы и лимиты публичных эндпоинтов
➡️ Цены на частные эндпоинты и токены
➡️ Получить токен доступа
➡️ Посмотреть потребление и суммы к оплате | 104 |
| 3 | Что изменилось в MiniMax-M3.1-Flash
👋 MiniMax-M3.1-Flash разработали для программирования, работы с инструментами и задач кибербезопасности. Это MoE-модель с открытыми весами и контекстом до 1 млн токенов. Из 428 млрд параметров около 23 млрд задействуются на каждый токен. Модель принимает текст, изображения и видео, а отвечает текстом.
▪️ Разреженное внимание MSA
В M3 первые три слоя языковой части использовали полное внимание. В новой версии их перевели на MiniMax Sparse Attention (MSA). Теперь все слои языковой части вычисляют точное внимание только по выбранным блокам контекста. На длинных запросах это сокращает объем вычислений.
▪️ Обучение с учетом квантования
Маршрутизируемых экспертов MoE и компоненты внимания адаптируют к пониженной точности еще при обучении. Веса в форматах MXFP8 и NVFP4 занимают меньше видеопамяти.
▪️ Спекулятивное декодирование DSpark
DSpark заменил прежнюю схему декодирования. Модуль предсказания токенов входит в комплект и требует поддержки DSpark во фреймворке.
📲 На слайдах разобрали архитектуру, сравнили результаты бенчмарков и собрали требования к запуску.
☁️ Модель можно развернуть на 6 × A100 за 1 259,13 ₽/ч в immers.cloud. | 389 |
| 4 | GLM-5.3-Flash: что стоит за контекстом в миллион токенов
👋 GLM-5.3-Flash — мультимодальная MoE-модель Z.ai для программирования и агентных задач. В ней 320 млрд параметров, из которых около 18 млрд активируются на токен. Контекстное окно до 1 048 576 токенов.
Что важно:
▪️ Работа с изображениями и видео
Модель поддерживает текст, изображения и видео: анализирует таблицы, диаграммы и другие визуальные материалы, отвечает на вопросы о видеозаписях.
▪️ Гибридное внимание KDA + DSA
Линейные слои KDA хранят представление истории в состоянии фиксированного размера, а разреженные слои DSA выбирают значимые позиции из контекста. IndexPool дополнительно сжимает ключи индексатора DSA, снижая расход памяти и задержку поиска. При этом общий расход памяти для KV-cache продолжает расти с длиной контекста.
▪️ Настройка режима мышления
В режиме мышления доступны три уровня reasoning_effort: low, high и max. По умолчанию выбран max.
📲 Подробнее об архитектуре, бенчмарках, сценариях использования и требованиях к инференсу в слайдах.
➡️ Модель стоит протестировать на задачах в репозиториях, многошаговой автоматизации с инструментами и анализе документов с таблицами и графиками.
☁️ Протестировать модель на собственных задачах можно в immers.cloud на конфигурации 2 × H200 от 841,52 ₽/ч.
#ИИ_Модели | 418 |
| 5 | DeepSeek-V4-Flash-Vision-Exp: зрение для ИИ-агентов
👋 DeepSeek-V4-Flash-Vision-Exp — экспериментальная мультимодальная MoE-модель на базе DeepSeek-V4-Flash. Она принимает текст и изображения, а отвечает текстом. В модели около 305 млрд параметров с учетом DSpark, около 13 млрд активируются на токен. Поддерживаются контекст до 1 048 576 токенов, режим мышления и работа с внешними инструментами.
Что важно:
▪️ Понимание изображений с ViT
Главное дополнение к языковой основе Flash — визуальный кодировщик Vision Transformer. Он преобразует фрагменты изображения в признаки, а двухслойный адаптер согласует их с представлениями языковой модели. Это позволяет учитывать расположение элементов интерфейса, структуру диаграмм и содержимое иллюстраций.
▪️ Длинный контекст с CSA + HCA
CSA сжимает последовательность в 4 раза и использует Lightning Indexer для выбора релевантных сжатых блоков. HCA применяет глобальное внимание к представлению, сжатому в 128 раз. Скользящее окно сохраняет последние 128 токенов без сжатия для обработки ближайшего контекста.
▪️ Генерация с DSpark
Как и в Flash-0731, модуль DSpark предлагает несколько следующих токенов для проверки основной моделью. Этот механизм используется при спекулятивном декодировании.
📲 Подробнее об архитектуре, бенчмарках, сценариях использования и требованиях к инференсу — в слайдах.
➡️ Модель стоит протестировать на анализе документов с графиками и иллюстрациями, разработке ПО и агентных задачах со скриншотами и инструментами.
☁️ Для проверки на собственных задачах модель можно протестировать в immers.cloud на конфигурации 2 × H200 от 841,52 ₽/ч.
#ИИ_Модели | 448 |
| 6 | 5 ИИ-моделей для двух RTX 4090
Подобрали модели для программирования, работы с документами и создания ИИ-агентов:
1. Gemma-4-26B-A4B-it
Для анализа кода, сложных рассуждений и создания мультимодальных помощников, работающих с текстом и изображениями.
▶️ Запустить модель
2. Qwen3.6-35B-A3B
Для исправления ошибок, редактирования многофайловых проектов и создания ИИ-агентов для работы с терминалом и анализа скриншотов.
▶️ Запустить модель
3. granite-4.1-8b
Для корпоративных помощников, RAG-систем, анализа технической документации и автоматизации бизнес-процессов.
▶️ Запустить модель
4. GigaChat3.1-10B-A1.8B
Для поддержки клиентов на русском языке, анализа длинных документов, работы с кодом и создания RAG-систем.
▶️ Запустить модель
5. NVIDIA-Nemotron-3.5-Lightning-30B-A3B
Для специализированных ИИ-агентов, работы с внешними инструментами, программирования и генерации структурированных ответов.
▶️ Запустить модель
📲 Листайте слайды, выбирайте модель для своих задач и создавайте собственный ИИ-эндпоинт на immers.cloud. | 412 |
| 7 | 🎃 Бу, испугались? Не бойтесь, это я, Иммерсик!
🎁 Принес угощение, которое пригодится вашим проектам. Дополнительные средства на балансе можно направить на инференс, обучение моделей, рендеринг и другие задачи на GPU.
🍹 Используйте их для текущих нагрузок и новых экспериментов. При той же сумме платежа вы сможете выполнить больше работы.
👉 Пополнить баланс и получить +30%.
(Количество активаций бонуса ограничено) | 415 |
| 8 | Qwen на RTX 3090: +56% к скорости после обновления llama.cpp
👋 В основной код llama.cpp добавили оптимизацию CUDA-вычислений, ускоряющую генерацию на RTX 3090 и RTX 4090.
llama.cpp позволяет запускать языковые модели в формате GGUF с разной точностью весов, в том числе с экстремальным сжатием. В этом обновлении ускорили отдельные вычисления с квантованными весами.
🔄 Что изменили
Оптимизировали MMVQ — CUDA-kernel для эффективного умножения матрицы на матрицу, предназначенный для ускорения генерации токенов на квантованных весах.
Для Q2_K, Q3_K и Q6_K переработали скалярные произведения: за итерацию обрабатывается больше данных, а масштабирование выполняется после накопления целочисленных сумм.
Для части низкобитных форматов один блок GPU теперь обрабатывает две строки матрицы, совместно используя загруженные данные входного вектора. Это увеличивает параллелизм обращений к памяти.
✔️ Результаты
В опубликованном автором изменения тесте Qwen3.5-9B Q3_K_S скорость генерации выросла:
• RTX 3090: с 81,04 до 126,22 токена/с, примерно +56%;
• RTX 4090: со 162,65 до 174,93 токена/с, примерно +8%.
📊 Измерения выполнены в llama-bench: 256 входных и 128 генерируемых токенов. Код вычислений для Q4_K и Q8_0 этим изменением не затрагивался.
🚀 Ускорение получили на прежней модели и GPU благодаря обновлению движка. Чтобы воспользоваться этими улучшениями, можно собрать актуальную версию llama.cpp с поддержкой CUDA и загрузить подходящую GGUF-модель.
☁️ Такой стек можно развернуть на облачном сервере immers.cloud, самостоятельно выбирая квантованные веса на HF, при этом оплата будет взиматься только за время работы сервера.
➡️ Выберите сервер с RTX 4090 или RTX 3090 для собственного инференса LLM. | 458 |
| 9 | Whisper large-v3 теперь доступна через публичный эндпоинт
👋 В каталог Immers Foundation Models добавлена Whisper large-v3 от OpenAI – одна из наиболее популярных моделей ASR с улучшенной точностью распознавания и расширенной языковой поддержкой.
Мультимодальная модель обработки речи на архитектуре sequence-to-sequence, способная выполнять транскрибирование, идентификацию языка, определение голосовой активности и перевод на английский без предварительного дообучения.
⚙️ Архитектурные улучшения по сравнению с large-v2:
• 128 мел-частотных бинов вместо 80 для захвата более тонких акустических деталей (критично для тональных языков и сложной фонетики).
• Датасет и метод обучения: Обучение с использованием weak supervision на корпусе данных объемом ~5 млн часов.
• Языковая поддержка: более 100 языков
Сценарии применения:
☑️ Автоматическое субтитрирование видео, подкастов, вебинаров.
☑️ Перевод аудио-контента в реальном времени.
☑️ Голосовое управление и диктовка текста.
☑️ Анализ звонков в контакт-центрах (для извлечения текста).
☑️ Базовая модель для дообучения под узкоспециализированные задачи.
➡️ Оценить качество распознавания и протестировать возможности модели можно через публичный эндпоинт. Получить токен для подключения через API можно на странице управления токенами. | 558 |
| 10 | DeepSeek-V4-Pro-0813: модель для разработки ПО и ИИ-агентов
👋 DeepSeek-V4-Pro-0813 — открытая текстовая MoE-модель: 1,6 трлн параметров в основной модели, из которых 49 млрд активируются на токен. Она поддерживает контекст до 1 048 576 токенов, режим мышления и работу с внешними инструментами.
Что важно:
▪️ Гибридное внимание CSA + HCA
CSA сочетает сжатие KV-cache с выбором релевантных записей, а HCA применяет полное внимание к сильно сжатой последовательности. Вместе они сокращают объем вычислений и память для KV-cache на длинном контексте.
▪️ Устойчивая передача сигнала с mHC
Модель сохраняет архитектурную основу Preview, включая связи mHC. Они усиливают обычные остаточные связи, помогая устойчиво передавать информацию между слоями.
▪️ Ускорение генерации с DSpark
Новый модуль предлагает блоки токенов для проверки основной моделью. Он сочетает параллельное предсказание с легким последовательным модулем, который учитывает зависимости внутри блока. Длина проверки адаптируется к уверенности в кандидатах и нагрузке на систему.
📲 Подробнее об архитектуре, бенчмарках, сценариях использования и требованиях к инференсу — в слайдах.
➡️ Модель стоит протестировать на изменении больших кодовых баз, многошаговых задачах с инструментами и анализе объемных документов.
☁️ Для проверки на собственных задачах модель доступна в Immers Foundation Models на конфигурации 8 × H200 от 3 341,41 ₽/ч.
#ИИ_Модели | 500 |
| 11 | Qwen3.8-2.4T-A95B: открытые веса флагмана для сложных задач
👋 Qwen3.8-2.4T-A95B — текстовая MoE-модель для программирования, исследований и длительных агентных сценариев. Из 2,4 трлн параметров на каждом токене активируются около 95 млрд. Контекст составляет 262 144 токена с возможностью расширения до 1 млн.
Что важно:
▪️ Гибридное внимание
Архитектура чередует три слоя Gated DeltaNet с одним слоем Gated Attention. Такое сочетание линейного и полного внимания снижает требования к памяти для KV-кэша при работе с длинными текстами.
▪️ Планирование и выполнение задач
Главное развитие новой версии — усиление агентных возможностей. Модель ориентирована на многошаговую работу: планирование действий, анализ результатов и пересмотр решений с учетом обратной связи от инструментов и среды.
▪️ Управляемая глубина рассуждений
Параметр reasoning_effort задает глубину анализа, а preserve_thinking сохраняет историю рассуждений между сообщениями. Это помогает продолжать сложную задачу с учетом предыдущих этапов. Режим мышления остается обязательным даже при снижении глубины анализа.
📲 Подробнее об архитектуре, настройках, бенчмарках и сценариях использования смотрите в слайдах.
💬 Для знакомства можно бесплатно попробовать Qwen3.8-Max в официальном чате Qwen. | 545 |
| 12 | Готовый образ с Hermes Agent: ИИ-помощник для многоходовых задач
🤖 Hermes Agent управляет работой больших языковых моделей и помогает им выполнять задачи с помощью внешних инструментов.
⚙️ Благодаря продвинутому function calling модель анализирует запрос, разбивает его на шаги и выбирает нужные действия: вызывает API, запускает скрипты и использует результаты для следующих этапов работы.
👨💻 Вы описываете задачу на естественном языке, а агент берет на себя маршрутизацию и управление контекстом, сохраняя информацию о предыдущих действиях.
🚀 В маркетплейсе immers.cloud доступен готовый образ Ubuntu с настроенным Hermes Agent и необходимыми системными зависимостями. Это позволяет развернуть сервер без ручной установки компонентов.
📲 В слайдах рассказываем о возможностях агента, входе в веб-интерфейс и доступе для коллег.
➡️ Запускайте сервер с Hermes Agent в immers.cloud и поручайте ИИ задачи, которые требуют конкретных действий. | 461 |
| 13 | Трамп советуется с Grok, а кто управляет вашим ИИ?
📰 По сообщению TIME, Трамп спрашивал Grok, как венесуэльцы отреагируют на захват Николаса Мадуро. По словам источника журнала, чат-бот предположил, что многие поддержат его свержение.
ИИ становится собеседником при обсуждении важных решений. Для бизнеса это повод задуматься: где обрабатываются рабочие данные, кто определяет доступ к ним и на каких условиях работает модель?
📲 Как собственное развертывание дает больше контроля над ИИ читайте в слайдах.
📌 Один из вариантов — Qwen3.8-27B с открытыми весами под Apache 2.0. Модель можно развернуть в выбранной инфраструктуре, настроить под свои процессы и проверить на задачах с документами, кодом и внутренними данными.
🚀 Начните с выбора модели под свою задачу. В каталоге Immers Foundation Models можно познакомиться с Qwen3.8-27B и другими открытыми моделями, изучить их возможности и попробовать публичные эндпоинты.
➡️ Перейти в каталог Immers Foundation Models | 455 |
| 14 | 5 ИИ-моделей для одной RTX 4090
Подобрали модели для создания ИИ-помощников, программирования и обработки документов:
1. Gemma-4-12B-it
Для создания мультимодальных помощников: работы с текстом, изображениями, видео и речью, а также программирования и анализа документов.
▶️ Запустить модель
2. Qwen3.5-9B
Для анализа длинных документов, распознавания текста и изображений, а также автоматизации задач с помощью ИИ-агентов.
▶️ Запустить модель
3. gpt-oss-20b
Для сложных рассуждений, программирования и создания ИИ-агентов, которые используют внешние инструменты.
▶️ Запустить модель
4. PaddleOCR-VL-1.6
Для извлечения текста, таблиц и формул из PDF и сканов с сохранением структуры документа и порядка чтения.
▶️ Запустить модель
5. Unlimited-OCR
Для распознавания многостраничных документов за один проход: оцифровки архивов, книг, научных статей и юридических материалов.
▶️ Запустить модель
📲 Листайте слайды, выбирайте модель для своих задач и создайте собственный ИИ-эндпоинт на immers.cloud. | 539 |
| 15 | Qwen3.8-Flash-Next: гибридное внимание для ИИ-агентов
👋 Qwen3.8-Flash-Next — экспериментальная мультимодальная MoE-модель: 125 млрд параметров в основной языковой модели, из которых 6 млрд активируются на токен. Она работает с текстом, изображениями и видео, поддерживает нативный контекст 262 144 токена и расширение до 1 млн с YaRN.
Что важно:
▪️ Разреженное глобальное внимание
Архитектура сочетает три рекуррентных слоя Gated DeltaNet с одним слоем Qwen Sparse Attention. QSA отбирает релевантные блоки токенов и вычисляет внимание по выбранному подмножеству, сокращая объем вычислений на длинном контексте.
▪️ N-граммные встраивания
Дополнительная таблица на 51 млрд параметров обогащает представления токенов векторами для коротких последовательностей. Она размещается в оперативной памяти хоста, поэтому всю таблицу не нужно хранить в VRAM.
▪️ Gated Residual
Четыре параллельные ветви остаточного потока обеспечивают управляемую передачу информации между слоями, расширяя возможности преобразования представлений.
📲 Подробнее об архитектуре, бенчмарках, сценариях использования и требованиях к инференсу — в слайдах.
➡️ Модель стоит протестировать на изменении кодовых баз, многошаговых задачах с инструментами и анализе больших документов.
☁️ Для проверки в собственной инфраструктуре модель доступна в Immers Foundation Models на конфигурации 2 × H100 от 703,08 ₽/ч.
#ИИ_Модели #LLM | 476 |
| 16 | 🎉 С Днем работника ЦОД!
👨🔧 Работать в дата-центре — это как быть за кулисами спектакля, который никогда не заканчивается. На сцене запускают приложения, обучают нейросети и выпускают новые сервисы. За кулисами проверяют, выдержит ли инфраструктура следующий выход.
Здесь важно услышать необычный шум, заметить изменение на графике и вовремя разобраться в причине. А день, за который не произошло ничего примечательного, вполне может быть результатом большой работы.
📲 В карточках заглядываем за кулисы immers.cloud и рассказываем, как устроен наш дата-центр.
🍹 Спасибо всем, кто заботится об этой инфраструктуре. Пусть после смены хватает сил на собственные планы, а телефон молчит до утра.
➡️ Узнайте подробнее, как устроен наш дата-центр | 462 |
| 17 | ❓ FAQ по публичным эндпоинтам Immers Foundation Models — отвечаем на вопросы о тарифах и ограничениях.
📌 При подключении моделей к приложению возникают вопросы: от чего зависит стоимость, как узнать об изменении тарифов и какие лимиты нужно учитывать при работе с API?
📲 В карусели разбираем:
— От чего зависят цены на модели и как меняются тарифы;
— Как пользователи узнают об изменении стоимости;
— Есть ли ограничения на количество токенов в минуту и одновременных запросов;
— Как учитываются лимиты для аккаунтов, API-ключей и моделей;
— Можно ли увеличить RPM для коммерческого сервиса;
— Допускается ли использовать несколько токенов для увеличения суммарного RPM.
⚙️ Эти ответы помогут разобраться в условиях использования публичного API immers.cloud и учитывать их при планировании расходов и нагрузки на ваш сервис.
➡️ Больше информации — в FAQ на сайте immers.cloud. | 476 |
| 18 | 🎉 С Днем системного аналитика!
👨💻 Работать системным аналитиком — это как вести детективное расследование. У каждого участника своя версия того, как должна работать система.
В документах встречаются противоречия, важный свидетель в отпуске, а за фразой «тут все просто» скрывается неожиданный поворот сюжета. И стоит задать один точный вопрос, как у дела появляются новые обстоятельства.
❤️ Спасибо, что распутываете сложные истории и помогаете людям с разными взглядами договориться о том, что мы строим и как это должно работать.
🎁 Праздничный подарок от immers.cloud:
Пополните свой счет и получите +20% бонусов по этому промокоду! | 479 |
| 19 | 📢 Глава Anthropic призвал замедлить развитие ИИ
📰 Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», в котором предложил снизить темп наращивания возможностей передовых моделей, чтобы исследования безопасности успевали за их развитием.
По его словам, ИИ все активнее участвует в создании следующего поколения систем. Такое ускорение может опередить способность людей понимать и контролировать их поведение.
📲 В карточках — инцидент, который усилил его опасения.
Что это значит для команд, внедряющих ИИ?
📌 Практический вывод из этой дискуссии — уделять больше внимания проверке моделей перед внедрением: оценивать качество ответов на собственных задачах, устойчивость к ошибкам и допустимые полномочия агентов. Производительность и стоимость запуска также стоит измерять на реальной нагрузке.
🚀 Для такой оценки в immers.cloud можно познакомиться с открытыми моделями через доступные публичные эндпоинты, а для собственного развертывания подобрать GPU-сервер. Это позволяет начать с тестирования и выбрать конфигурацию под требования проекта.
➡️ Выбрать модель и GPU-конфигурацию | 456 |
| 20 | Сравнительный анализ инференса модели openai/gpt-oss-20 на RTX 4090 и H100 NVL
Что важно:
🟠 RTX 4090 достигает предела масштабирования пропускной способности на уровне ~15 RPS. Объема VRAM хватает для одновременного размещения не более двух контекстов максимальной длины (131k токенов) и при одновременной обработке более 200 запросов начинается вытеснение (preemption) данных из KV-кэша (фактически удаление).
Это приводит к необходимости повторного вычисления значений KV для вытесненного запроса с первого токена, что увеличивает показатели TTFT, ITL и E2E latency.
🟠 KV_OFFLOAD снижает негативный эффект вытеснения путем сохранения уже рассчитанных значений для вытесняемых запросов на хосте, но вносит дополнительные задержки из-за передачи данных между GPU и CPU.
🟠 H100 NVL не допускает вытеснения и обеспечивает линейное масштабирование пропускной способности (запросов / сек) с увеличением RPS благодаря четырехкратному преимуществу в объеме доступной памяти под KV-кэш и при этом обладает гораздо более мощными вычислительными возможностями.
▶️ Арендовать сервер с Н100 NVL
📬 Подписывайтесь на нас в МАХ | 497 |
