Чернов пишет

NVIDIA выкатили Nemotron 3 Ultra (550B-A55B) - свою самую сильную open-weight модель на сегодня, причём вместе с полной схемой обучения. Главный фокус на эффективность инференса в реальных long-context agentic сценариях, где модель долго держит контекст, работает с инструментами и выполняет многошаговые задачи. Открыли почти всё: • base-модель • post-trained версии • reward checkpoints • NVFP4-квантованные версии • тренировочные данные • рецепты обучения Технически внутри тоже интересно: • 550B параметров всего, 55B активных • гибридная архитектура Mamba2 + Transformer • примерно 4:1 в пользу Mamba относительно Attention • претрейн в NVFP4 на 20T токенов • LatentMoE-архитектура • двухэтапный MOPD post-training • нативная поддержка MTP 🤗BF16 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 🤗NVFP4 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 📜Technical Report: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf @ai_machinelearning_big_data