Machinelearning

👾Самое время собрать свою команду из IT-акул: Открыта регистрация на самый масштабный онлайн-хакатон в мире! 💸 40 млн рублей призового фонда: — 1 млн рублей — для тех, кто займёт первое место — 600 тысяч — второе — 400 тысяч — третье 💼 20 актуальных задач от ведущих компаний страны: Газпромбанк.Тех, VK Tech, Kaspersky, АФЛТ-Системс (Группа «Аэрофлот»), Союзмультфильм, Avito, Итэлма. ⏳ 14 дней на разработку решений Принять участие могут: ✔️ граждане РФ и других стран от 18 лет ✔️ специализация: Front / Back / FullStack, Web-разработчика, UX / UI дизайнеры, Product / Project-менеджеры, Data Scientists, Data Engineers, аналитики и другие специалисты ✔️ местоположение — неважно, всё проходит онлайн Других ограничений нет! 📅 Успейте зарегистрироваться до 18 сентября! Регистрация по ссылке 👉🏻 https://i.moscow/lct?utm_source=sp&utm_medium=social&utm_campaign=ai_machinelearning_big_data/?erid=2VtzqxNwh1L 📲 А больше новостей и подробностей — на нашем канале, подписывайтесь: https://t.me/leaders_hack

✨ Awesome-falsehood — это подборка «заблуждений программистов», в которые мы часто верим, но которые на самом деле ложные. В списке собраны распространённые ошибки и мифы из разных областей: даты и время, email, география, телефонные номера, почтовые адреса, интернационализация, работа с сетью, бизнес-логика, мультимедиа, типографика, идентификация пользователей, общество и даже наука. - Помогает не попадаться на типичные грабли. - Каждый раздел содержит реальные примеры и пояснения, почему привычные предположения не работают. - От банального «валидный email всегда содержит один @» до сложного — «почтовый адрес можно записать в фиксированном формате» или «часовые пояса не меняются». 🔥 Репозиторий давно стал must-read для разработчиков, чтобы проектировать системы без скрытых багов. 👉 Провеить свои заблуждения иожно здесь: https://github.com/kdeldycke/awesome-falsehood @ai_machinelearning_big_data #awesome #github

🌟 Сколько-сколько? В новом «Вопросе со звёздочкой» руководитель группы прикладного ML в Яндекс Доставке Андрей Нарцев объясняет, от чего зависит цена на доставку и как машинное обучение, алгоритм батчинга и большие языковые модели помогают исполнителям получать доход. ↘️ Недавно мы рассказывали про возможности Яндекс Доставки. Подписывайтесь 🔴 @yandex

⚡️ Полнометражный документальный фильм про Python На Youtube вышла документалка о том, как создавался язык программирования Python и о том, как IT-сообщество сделало его одним из основ современной кодовой базы. Для тех, кто хочет посмотреть на русском, можно открыть ссылку в Яндекс Браузере и включить нейросетевую озвучку живыми голосами. @ai_machinelearning_big_data #coding #Python

🎯 🔁 Еще один любопытный робот от UC Berkeley Разработчики показали гуманоида, играющего в настольный теннис, который отбивает 106 ударов подряд . Работает полностью автономно, без телоуправления. - Планировщик прогнозирует путь мяча и выбирает точку, время и скорость удара. - Контроллер на основе RL превращает план в согласованные движения рук и ног, удерживая баланс при замахе. - Обучение основной на видео с реальных матчей, поэтому удары выглядят естественно, а не «роботизировано». - Контур управления работает быстрее секунды, что позволяет вести долгие ность: надёжная реактивная манипуляция на универсальном роботе, @ai_machinelearning_big_data #Berkeley #robots

🦾 Демонстрация Unitree G1 прошла на UFC Shanghai Президент UFC Дана Уайт столкнулся с неожиданным приемом робота на шоу в Шанхае. В мае те же G1 участвовали в «Mecha Fighting Series» на World Robot Competition в Ханчжоу Живые спорт-ивенты всё чаще становятся витриной для робототехники. @ai_machinelearning_big_data #Unitree #ufc #robots

⚡️ Practical ML Conf – хардовая конференция Яндекса о прикладном машинном обучении. В этом году она пройдет 27 сентября в Москве и онлайн. Лидеры ML/AI рынка в третий раз соберутся, чтобы разобрать реальные кейсы и работающие решения, а не абстрактные исследования. 🟡Темы: - RecSys - тренд на трансформеры и генеративные подходы - NLP - от хаоса LLM в 2023 к зрелым бизнес-решениям - CV - диффузионные модели и VLM В этом году было подано рекордное количество заявок, оргкомитету пришлось попотеть, чтобы выбрать самые достойные доклады при конкурсе из 8 заявок на место. 🟡Вот примеры некоторых из них: - Яндекс - От classifier-free guidance к диалогу: куда движется генерация изображений? - Sber AI - Создание памяти для LLM на примере GigaChat - Т-Банк - Синтетические данные против дефицита реальных: как мы прокачиваем LLM 🌟 Что еще нового в этом году: - Отдельный онлайн-трек с докладами - Keynote от Андрея Окунькова, лауреата Филдсовской медали. Это кстати эксклюзивная информация для ML-сообщества, анонса о выступлении Окунькова еще не было на сайте 🔥 Количество мест ограничено ▶️Регистрируйтесь, чтобы не пропустить Реклама ООО «ЯНДЕКС» ИНН 7736207543

⚡️ OLMoASR: открытые ASR-модели от AI2. Институт искусственного интеллекта Аллена выпустил OLMoASR, семейство из 6 моделей для автоматического распознавания английской речи. ▶️Линейка моделей: 🟢OLMoASR-tiny.en (39M); 🟢OLMoASR-base.en (74M); 🟢OLMoASR-small.en (244M); 🟢OLMoASR-medium.en (769M); 🟠OLMoASR-large.en-v1 (1.5B) обученная на 440 тыс. часов аудио; 🟠OLMoASR-large.en-v2 (1.5B) обученная на 680 тыс. часов аудио; По результатам тестов на 21 датасете, модели OLMoASR показали производительность, сопоставимую с Whisper от OpenAI, а в некоторых случаях и превзошли ее, особенно при работе с длинными аудиозаписями. Проект полностью открытый: опубликованы не только веса моделей, но и датасет, код для обработки данных, а также скрипты для обучения и оценки. Все компоненты, включая код и данные, доступны на GitHub и Hugging Face. 📌Лицензирование:  Apache 2.0 License. 🟡Статья 🟡Набор моделей 🟡Техотчет 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #ASR #OLMoASR #AI2

📘 На Stepik вышел курс — «LLMOps & Evaluation (PRO)» Уже работаете с RAG/агентами и хотите навести порядок с качеством и наблюдаемостью? Курс про то, как измерять, улучшать и сопровождать LLM-фичи в реальных условиях. Что внутри: • оффлайн и онлайн-оценки (golden set, LLM-as-judge) • quality-гейты в CI/CD • наблюдаемость: p95 latency, cost/req, дрейф, алерты • практика для RAG: гибридный поиск + cross-encoder rerank 🎓 Сертификат Stepik по завершении — можно добавить в резюме или профиль LinkedIn 🚀 Начните сегодня. Действует стартовая скидка 25% в течение 24 часов 👉 Пройти курс на Stepik

✔️ Microsoft AI представила первые полностью собственные ИИ-модели. Корпорация анонсировала 2 новые модели, разработанные полностью внутри компании: MAI-Voice-1 для синтеза речи и большую языковую модель MAI-1-preview. Разработку возглавляет Мустафа Сулейман, сооснователь DeepMind, который теперь руководит подразделением Microsoft AI. Модель MAI-Voice-1 может генерировать минуту высококачественного аудио менее чем за секунду на одном GPU. Она уже используется в некоторых функциях Copilot и доступна для тестирования разработчиками. MAI-1-preview - первая собственная фундаментальная языковая модель Microsoft. Она уже проходит тестирование на LMArena, и в ближайшие недели ее начнут интегрировать в отдельные функции Copilot. Внешним разработчикам также предоставят ранний доступ. microsoft.ai ✔️ Copilot появился на телевизорах и мониторах Samsung. Microsoft интегрировала Copilot в линейки Neo QLED, OLED и The Frame телевизоров и мониторов Samsung . Ассистент доступен через операционную систему Tizen в интерфейсе «Samsung Daily+» и активируется кнопкой микрофона на пульте. Пользователи могут задавать вопросы, получать рекомендации и искать информацию о фильмах. Ответы предоставляются в виде голосовых реплик и визуальных карточек с изображениями и рейтингами. На экране появляется анимированный персонаж, синхронизирующий мимику с разговором. Функция бесплатна, но на старте доступна только в некоторых регионах. microsoft.com ✔️ Google открыла бесплатный доступ к ИИ-видеоредактору Vids. Google сделала Vids доступным для всех владельцев аккаунтов Google. Ранее инструмент был эксклюзивом для подписчиков Workspace. Бесплатная версия включает базовые шаблоны, доступ к стоковым медиа и часть ИИ-возможностей. Одновременно с этим, подписчики Workspace и Google AI получили новые премиум-функции: image-to-video на базе Veo 3, фотореалистичные ИИ-аватары, способные зачитывать текст пользователя, и функция автоматической обрезки, которая убирает паузы и слова-паразиты из записанной речи. В будущем появятся функции шумоподавления и поддержка вертикальных форматов кадра. workspace.google.com ✔️ Anthropic начнет обучать модели Claude на данных пользователей. Компания объявила о кардинальном изменении своей политики конфиденциальности. Теперь данные из чатов и сессий кодирования пользователей будут использоваться для обучения ИИ-моделей компании, а срок их хранения увеличится до 5 лет. Новые правила вступают в силу 28 сентября. Изменение коснется всех потребительских тарифов Claude, включая бесплатный. При этом оно не затронет корпоративные и образовательные планы, а также использование через API. Пользователям будет предложено сделать выбор во всплывающем окне. Важно отметить, что опция, разрешающая использование данных, включена по умолчанию. Хотя решение можно будет изменить в любой момент в настройках, это не будет иметь обратной силы для уже собранных данных. anthropic.com ✔️ Исследование: люди начали использовать в речи слова, характерные для ChatGPT. В Университете штата Флорида провели исследование 22 миллионов слов из подкастов и спонтанной речи и обнаружили статистически значимый рост употребления терминов, которые часто используют большие языковые модели, в частности, ChatGPT. С момента публичного запуска чат-бота в конце 2022 года частота использования слов "surpass", "boast", "meticulous" и "strategically", выросла более чем вдвое. В то же время, частота их синонимов, не популярных у ИИ, не изменилась. Исследователи отмечают, что впервые в новейшей истории лингвистики наблюдается столь быстрый и масштабный сдвиг в словарном запасе, вызванный нечеловеческим фактором. news.fsu.edu @ai_machinelearning_big_data #news #ai #ml

🚀 Grok Code Fast 1 — новая модель от xAI, созданная специально для быстрого и доступного агентного программирования! 🙌 Модель уже доступна бесплатно на популярных платформах: GitHub Copilot, Cursor, Cline, Kilo Code, Roo Code, opencode и Windsurf. ⚡ Особенновсти - Новая лёгкая архитектура, разработанная с нуля - Заточена на скорость и эффективность - Отличные результаты в TypeScript, Python, Java, Rust, C++, Go 💰 Стоимость через xAI API: - $0.20 / 1M входных токенов - $1.50 / 1M выходных токенов - $0.02 / 1M кешированных токенов 🟠Подробности: https://x.ai/news/grok-code-fast-1 🟠 Гайд по промпт-инжинирингу: https://docs.x.ai/docs/guides/grok-code-prompt-engineering @ai_machinelearning_big_data #xAI #Grok #AI #coding

🖥 OpenAI представили gpt-realtime: свою самую продвинутую на сегодня модель «речь-в-речь». Цены: > $32 за 1 миллион аудио-входных токенов > ($0.40 за 1 миллион кэшированных входных токенов) > $64 за 1 миллион аудио-выходных токенов 📊 MultiChallenge (Audio), точность следования инструкциям: - gpt-realtime: 30.5% - gpt-4o-realtime-preview-2025-06-03: 26.5% - gpt-4o-realtime-preview-2024-12-17: 20.6% 🎯 ComplexFuncBench (Audio), точность выполнения инстврукий по голосу: - gpt-realtime: 66.5% - gpt-4o-realtime-preview-2025-06-03: 58.9% - gpt-4o-realtime-preview-2024-12-17: 49.7% Чем интересна: - Скачок в понимании голосовых инструкций и точном следовании аудио-командам - Меньше косяков в понимании речи - Модель готова для реального продакшена в голосовых ассистентах и колл-ботах GPT-Realtime обучали на качественных голосовых данных и с помощью специализированных reward-моделей. OpenAI прокачали следование инструкциям отдельным тренингом — на бенчмарках по instruction following модель обходит предыдущие версии. 🟢 Попробовать @ai_machinelearning_big_data

AI VK & Pro: как это было Вчера прошел первый ивент AI VK & Pro в .оригинале: встреча про рекомендательные системы собрала, кажется, всех, кто делает RecSys (и не только). Ребята раздали стиля. Из интересного: команда RecSys VK рассказала про стратегию рекомендаций в VK, про технологии глубокого понимания контента, про единую рекомендательную платформу и многое другое Определенный плюс вайб: DJ-сеты, интерактивы, турнир по су-е-фа и нетворк Спасибо организаторам и спикерам за контент и настроение. Если делаете рекомендации, такое пропускать не стоило @ai_machinelearning_big_data

⚡️ 200+ готовых сценариев для n8n Нашёл простой и полезный ресурс: GitHub-репозиторий с 200+ бесплатными workflow для n8n. Темы: продажи, маркетинг, учёт финансов, кодинг и личная продуктивность. Что такое n8n - Open-source инструмент для автоматизации без кода - Визуальный конструктор: соединяете блоки и получаете процесс - Есть сотни интеграций: почта, CRM, таблицы, мессенджеры, вебхуки - Можно добавлять свою логику на JavaScript - Запуск по расписанию или по событию, работает в облаке или на своём сервере Как воспользоваться: 1) Скачайте нужный workflow (.json) и импортируйте в n8n 2) Вставьте свои API-ключи и учётные данные в блоки 3) Проверьте шаги и включите запуск по cron или webhook ▪ Github @ai_machinelearning_big_data #n8n #ai #ml

Новое решение на базе ИИ сможет анализировать снимки МРТ мозга младенцев за несколько минут вместо нескольких дней Нейросеть, созданная Яндексом совместно со студентами ШАДа и экспертами СПбГПМУ, поможет улучшить качество диагнозов и повысит точность и скорость диагностики ДЦП и нарушений развития нервной системы на ранней стадии. Как правило, ручная расшифровка снимков МРТ занимает у врачей до 72 часов. В случае, если это не первое исследование, то срок может увеличиться. Новый веб-сервис оценивает развитие мозга новорожденных за минуты, сокращая время анализа в десятки раз и позволяя врачам выбрать наиболее эффективную терапию для ребенка. ⚙️ Техническая реализация: — Использовали 1500 обезличенных МРТ-снимков детей, которые предразметили в BIBSNet (Baby Intensity‑Based Segmentation Network — сегментационная сеть, основанная на фреймворке nnU‑Net) и распараллели процесс в Docker-контейнерах на 20 ВМ, что позволило быстро получить основу, которую доработали врачи. — Протестировали несколько архитектур (U-Net, U-Net++, DeepLabV3) и бэкбонов (ResNet, ResNeXt). Лучшим экспериментом стало обучение U‑Net с ResNeXt50 в качестве сети для извлечения признаков с помощью функции потерь DiceLoss. Метрикой качества выступала IoU. — Скорость обученной нейронной сети, запущенной на CPU, составляет порядка 3 секунд и не нуждается в дорогих GPU на стороне клиники. В будущем код разработки планируют выложить в открытый доступ, чтобы её могли использовать в других медицинских проектах. Подробности о том, как разрабатывали нейросеть — на Хабре.

📌 Andreessen Horowitz выпустили пятый рейтинг TOP 100 ИИ-приложений. Главный вывод из пятого ежегодного списка Top 100 AI Apps — экосистема ИИ начинает приходить в равновесие. В веб-рейтинге появилось всего 11 новых имен, что заметно меньше, чем было мартовском отчете. В мобильном сегменте, напротив, новичков больше — целых 14, но это связано с тем, что App Store активно вычищают "клонов ChatGPT", освобождая место для оригинальных приложений. 🟡Главным событием стало укрепление позиций Google. Их флагманский ассистент Gemini занял 2 место после ChatGPT и в вебе, и на мобильных устройствах. Правда, разрыв пока существенный: в вебе Gemini набирает примерно 12% от трафика ChatGPT. А вот на мобильных платформах ситуация иная - у Gemini уже почти половина ежемесячно активных пользователей ChatGPT.

Интересная деталь: почти 90% мобильной аудитории Gemini сидит на Android, тогда как у ChatGPT доля Android-пользователей составляет 60%.

Помимо Gemini, в топ-10 ворвался Google AI Studio. Следом идeт NotebookLM на 13-м месте, а экспериментальная площадка Google Labs заняла 39-ю строчку, получив в мае 2025 года прирост трафика более чем на 13% после запуска видеомодели Veo 3. 🟡В общей битве ChatGPT все еще лидирует. Grok занял четвeртое место в вебе и 23-е на мобильных. Его мобильный рост особенно впечатляет: с нуля в конце 2024 года до более чем 20 миллионов MAU сейчас. В июле 2025 года, после релиза модели Grok 4, использование приложения подскочило почти на 40%. У Марка Цукербкрга успехи скромнее: 46-е место в вебе и полное отсутствие в мобильном топе. Perplexity продолжает уверенно расти, а вот Claude и DeepSeek показывают смешанные результаты. DeepSeek особенно сильно просел в вебе, потеряв более 40% трафика со своего пика в феврале 2025 года. 🟡Отдельного внимания заслуживает Китай. Сразу 3 компании, ориентированные на внутренний рынок, вошли в топ-20 веб-рейтинга: Quark от Alibaba (№9), Doubao от Bytedance (№12) и Kimi от Moonshot AI (№17). Более 75% их трафика приходится на Китай, где доступ к ChatGPT или Claude ограничен. Ещё более поразительна картина на мобильных устройствах. По оценкам, 22 из 50 приложений в топе были разработаны в Китае, но используются преимущественно за его пределами. Особенно сильна их концентрация в категории "фото и видео": одна только компания Meitu представлена 5-ю продуктами, включая BeautyPlus и Wink. Bytedance также не отстаёт с ассистентами Doubao и Cici. 🟡Ветераны рейтинга — 14 компаний, которые попадали в каждый из 5 списков Top 100 AI Apps. Это ChatGPT, Civitai, Poe, Perplexity, LeonardoAI, VEED, Gamma, QuiliBot, CutOut, Character AI, Midjourney, Photoroom, Eleven Labs и HuggingFace. Из этой "звёздной" команды только 5 компаний разрабатывают собственные модели, 7 используют сторонние API или опенсорс-решения, а 2 являются агрегаторами моделей. @ai_machinelearning_big_data #news #ai #ml

✔️ Grok Code Fast 1: быстрая модель кодинга для разработчиков. xAI выпустила модель Grok Code Fast 1, ориентированную на разработчиков и быстрое написание кода. Модель предлагает контекстное окно в 256 000 токенов при стоимости использования $0.20 за миллион входных токенов и $1.50 за миллион выходных. Grok Code Fast 1 до 2 сентября доступна бесплатно в GitHub Copilot. Первые пользователи отмечают, что модель работает в несколько раз быстрее Claude Code и эффективно справляется с поиском и исправлением ошибок, хотя для лучших результатов требует детальных запросов. github.blog ✔️ Китай обнародовал стратегию тотального внедрения ИИ в экономику. Правительство Китая опубликовало план "AI Plus", который ставит целью глубокую интеграцию ИИ практически во все сферы экономики. Документ призывает к усилению финансовой поддержки, строительству сверхбольших вычислительных кластеров и развитию отечественной экосистемы ИИ-чипов и ПО. К 2027 году Пекин планирует внедрить ИИ более чем в 70% ключевых отраслей - от производства и здравоохранения до госуправления и потребительской электроники, а к 2030 году этот показатель должен превысить 90%. Дорожная карта предусматривает массовое распространение беспилотных автомобилей, роботов, ПК, смартфонов и носимых устройств до 2035 года. На фоне этого, китайские производители чипов намерены в следующем году утроить национальное производство ИИ-ускорителей, чему будет способствовать запуск новых фабрик. ft.com ✔️ ByteDance представила универсальную модель генерации видео. ByteDance анонсировала Waver 1.0, модель для генерации из текста в видео, изображения в видео и текста в изображение. Система поддерживает разрешение до 1080p и длину роликов от 2 до 10 секунд. По заявлениям разработчиков, Waver отлично справляется со сложным движением и превосходит аналоги на бенчмарках Waver-Bench 1.0 и Hermes. В основе Waver 1.0 - гибридная архитектура DiT и двух текстовых энкодеров: flan-t5-xxl и Qwen2.5-32B. Для генерации в 1080p используется отдельный компонент Waver-Refiner, который повышает разрешение с помощью диффузионного процесса. Для улучшения реализма на этапе инференса применяется технология APG, подавляющая артефакты. Планы по публикации весов модели не заявлены, но попробовать Waver можно в Discord-сообществе. waver.video ✔️ OpenAI и Anthropic провели перекрестное исследование безопасности своих моделей. В рамках беспрецедентного сотрудничества OpenAI и Anthropic протестировали друг у друга модели, чтобы создать эталон для независимой оценки ИИ. Исследователи получили временный взаимный доступ к API-интерфейсам конкурирующих систем. Результаты выявили взаимные профили рисков. Модели Claude Opus 4 и Sonnet 4 отказывались отвечать на вопросы, в которых были не уверены в 70% случаев. В то же время, модели OpenAI, o3 и o4-mini, пытались дать ответ гораздо чаще, но при этом генерировали больше галлюцинаций. Руководители обеих компаний согласились, что оптимальным был бы подход, сочетающий более частые отказы при неопределенности с меньшим количеством ложной информации. Компании надеются повторить подобное перекрестное тестирование в будущем и призывают другие лаборатории присоединиться. bloomberg.com ✔️ PromptLock: вирус-шифровальщик, использующий локальную модель. Исследователи из ESET выявили новый тип программы-вымогателя под названием PromptLock, который использует локально развернутую модель gpt-oss-20b от OpenAI для генерации уникальных вредоносных скриптов при каждом запуске. Поскольку модель работает на зараженной машине через Ollama API, вирус не делает сетевых запросов для получения инструкций, что позволяет ему обходить традиционные системы обнаружения вторжений. Анализ показал, что PromptLock способен похищать данные и шифровать файлы, а в будущих версиях, вероятно, сможет и полностью уничтожать информацию. Уже замечены версии для Windows и Linux, и, по мнению экспертов, адаптация под macOS не составит труда. thehackernews.com @ai_machinelearning_big_data #news #ai #ml

🔹 Современные LLM способны решать широкий круг задач — от генерации кода до подготовки аналитических отчётов. Но на практике многие сталкиваются с тем, что ответы модели слишком общие, неточные или требуют значительной доработки. Причина в том, что результат напрямую зависит от формулировки запроса. Грамотный промт превращает LLM из «демонстрации технологий» в рабочий инструмент, который экономит время и снижает количество ошибок. 📘 На Stepik стартовал курс «Prompt Engineering: искусство работы с ИИ» Что вы освоите: * методы составления чётких и воспроизводимых запросов; * управление форматом вывода (код, JSON, таблицы, структурированные тексты); * построение последовательных цепочек промтов для комплексных задач; * практические подходы к проверке и улучшению качества ответов модели; * примеры применения в IT, аналитике, управлении и образовании. 🎯 Формат курса: концентрированные уроки с обязательной практикой. 🎓 По итогам — сертификат Stepik и собственный набор рабочих промтов, готовых к применению в реальной работе. ⚡ В течение 24 часов действует скидка 25% 👉 Пройти курс на Stepik

🌟 NVIDIA Jet-Nemotron: гибридная архитектура, которая быстрее SOTA-моделей в 53 раза. Jet-Nemotron - новая архитектура языковых моделей, которая, по заявлениям NVIDIA, превосходит по эффективности топовые опенсорс-модели. На H100 обещают ускорение пропускной способности при генерации до 53.6 раз, если работать с контекстом в 256 тыс. токенов и максимальным размером батча. Такой скачок производительности стал возможен благодаря двум ключевым инновациям: пайплайну PostNAS и новому блоку линейного внимания JetBlock. 🟡PostNAS (Post Neural Architecture Search). Суть PostNAS состоит в отказе от дорогостоящего обучения новых архитектур с нуля. Вместо этого берут уже предварительно обученную модель и запускают процесс постобработки. Пайплайн сначала анализирует модель и определяет, какие слои внимания вносят наибольший вклад в её работу, а какие - не так уж и важны. Дальше он ищет оптимальное расположение для слоёв полного внимания и подбирает улучшенный дизайн для остальных блоков. 🟡JetBlock - модуль линейного внимания. Его фишка - динамические сверточные ядра, генерируемые на лету в зависимости от входных данных и применяемые к value-токенам. Прямое сравнение с Mamba2 Block, проведенное на идентичных данных и с одинаковыми параметрами обучения, показало существенный прирост в точности при сохранении той же пропускной способности во время обучения и инференса. 🟡Третий элемент успеха - аппаратно-ориентированный поиск архитектуры. Вместо того чтобы использовать количество параметров в качестве прокси-метрики для эффективности, авторы напрямую оптимизируют архитектуру под целевое железо (H100), используя в качестве цели именно пропускную способность генерации. Ключевое открытие тут в том, что размер KV-кэша, а не количество параметров, является критическим фактором, ограничивающим скорость генерации на длинных контекстах, поскольку декодирование упирается в пропускную способность памяти. Фиксируя размер кэша, они провели поиск по размерности ключей/значений и числу голов внимания, обнаружив конфигурации, которые при том же объеме кэша и схожей пропускной способности используют больше параметров для достижения более высокой точности. Итоговый дизайн Jet-Nemotron, построенный на базе Qwen 2.5, включает всего 2 full-attention слоя (для retrieval) и 2 слоя со скользящим вниманием (SWA, для MMLU), остальные — JetBlock. Что касается конкретных моделей, то уже есть Jet-Nemotron-2B и Jet-Nemotron-4B. По результатам тестов, они как минимум не уступают по точности ведущим эффективным моделям, например, Qwen3, на целом ряде бенчмарков. При этом младшая модель Jet-Nemotron-2B работает в 21 раз быстрее, чем Qwen3-1.7B-Base, а старшая, Jet-Nemotron-4B, обгоняет её уже в 47 раз. ▶️ Код и веса моделей обещают опубликовать сразу после завершения юридической проверки. 🟡Страница проекта 🟡Arxiv 🖥GitHub (Coming Soon) @ai_machinelearning_big_data #AI #ML #LLM #NVIDIA #JetNemotron

6️⃣7️⃣8️⃣9️⃣🔟 Поиск айтишников вышел за рамки GitHub и Хабр Теперь мы идём прямо на улицы города, чтобы найти будущих лидеров цифровой трансформации. Может, это именно ты? Подавай заявку до 18 сентября. Погнали менять будущее вместе с нами, hackathon is coming...👀 💥 Подробности в нашем канале