Machinelearning

⚡В Москве и Санкт-Петербурге 24 января проходит Data Ёлка от VK и сообщества ODS Это ежегодное событие для спецов в области машинного обучения и анализа данных. Можно посетить офлайн в Москве или в Санкт-Петербурге или подключиться онлайн. В ML и Data Science подведут итоги 2025 года по ведущим направлениям, в том числе CodeGen, NLP, PyData, Open Source, MLOps & DE и другим. Московский ивент откроет исследователь из AI VK и подведет итоги по RecSys. Программа выстроена формате «стерео»: один канал посвящен аналитике и разбору инженерных подходов, второй — прикладным инсайтам, синтезу идей и индустриальным трендам. Отдельный блок программы выделили для разбора лучших решений соревнования VK RecSys Challenge. 800 исследователей предложили почти 4 000 решений задачи холодного старта в рекомендациях. В Москве и Питере в офлайне можно задать вопросы экспертам, среди которых: ✅Николай Никитин, Руководитель лаборатории, Институт ИИ, ИТМО ✅Владимир Байкалов, Ведущий исследователь AI VK ✅Антон Воронов, Technical Unit Lead, Авито ✅Пацакула Никита, Технический директор, Когнито ✅Евгений Никитин, Технический директор, Цельс ✅Иван Сосин, Исполнительный директор, Центр робототехники, Сбер и другие.

⚡️ Black Forest Labs выпустила ультралегкую модель. BFL вышли на связь c релизом прямого наследника ветки schnell первой версии семейства Flux. Знакомьтесь - FLUX.2 [Klein], модель, которая возвращает веру в то, что с маленьким VRAM тоже можно жить. Это попытка впихнуть качество топовой FLUX.2 в формат, которую потянет большинство потребительских GPU. Klein получился довольно универсальным инструментом: она умеет и text-to-image, и инпэйинт, и смешивание стилей. Заявлены разрешение до 4 мегапикселей, отличный рендеринг текста и понимание сложных промптов. 🟡Как вы правильно подумали - да, это дистилляция. BFL взяли флагманскую FLUX.2 и сжали знания в 2 компактные версии: 4B и 9B, каждая из которых получила вариации Base и Distilled: 🟢Base: медленная, много шагов - нужна для дообучения. 🟠Distilled: быстрая, 4 шага, только для инференса. Если захотите тренить на 4B Distilled - получите кашу. 🟡Расклад по инференсу на 5090:

9B distilled — 4 шага · ~2 сек. · 19.6GB VRAM 9B base — 50 шагов · ~35 сек · 21.7GB VRAM 4B distilled — 4 шага · ~1.2 сек. · 8.4GB VRAM 4B base — 50 шагов · ~17 сек. · 9.2GB VRAM

📌 Лицензионная вилка : 4B - Apache 2.0, 9B - Non-Commercial. Веса уже на Hugging Face, потыкать в демо можно у BFL или в спейсах на HF: 9B и 4В. @ai_machinelearning_big_data #news #ai #ml

✔️ NVIDIA и Basecamp Research представили ИИ-технологию редактирования ДНК. NVIDIA и биотех-стартап Basecamp Research анонсировали технологию программируемой вставки генов. В основе метода - биологические ИИ-модели NVIDIA EDEN. Разработчики заявляют, что им удалось решить одну из фундаментальных задач медицины: безопасную замену участков ДНК в строго определенных локациях. Новая технология позволяет интегрировать генетический код без разрушения цепей, снижая риски мутаций. Испытания подтвердили эффективность метода в более чем 10 000 точек человеческого генома. Технология продемонстрировала способность уничтожать раковые клетки и бороться с супербактериями, резистентными к антибиотикам. prnewswire.com ✔️ OpenAI без громких анонсов запустила ChatGPT Translate. OpenAI открыла доступ к инструменту для переводов, выделенному в отдельный веб-интерфейс. Используя возможности LLM, сервис позволяет в один клик менять стиль перевода от живого разговорного до официально-делового, академического или упрощенного. Система поддерживает более 50 языков и умеет работать со сложными идиомами. На данный момент продукт выглядит как MVP. По функционалу он заметно уступает Google Translate: отсутствуют оффлайн-режим, перевод документов и веб-страниц, нет отдельного мобильного приложения. Хотя заявлена поддержка мультимодальности, загрузка картинок и диктовка пока технически не реализована. news.yahoo.com ✔️ Google разделила квоты для Gemini 3: лимиты на Thinking и Pro увеличены. Компания пересмотрела политику использования моделей в ответ на фидбек сообщества. Ранее режимы Thinking (Gemini 3 Flash) и Pro (Gemini 3 Pro) использовали общий пул запросов: активная работа с одним режимом уменьшала доступ к другому. Теперь счетчики стали независимыми. Для тарифа AI Pro количество доступных запросов к Thinking-модели выросло втрое - до 300 в день, при сохранении квоты в 100 запросов к Pro-версии. Пользователи AI Ultra получили еще более масштабный апгрейд: лимит Thinking увеличен до 1500 генераций в сутки, а Pro - до 500. Изменение механики подсчета распространяется и на бесплатные аккаунты, где теперь также действуют раздельные (хотя и меньшие) лимиты. 9to5google.com ✔️ Бигтех начнет платить Википедии за данные для обучения ИИ. Wikimedia Foundation заключила партнерство с Microsoft, Марком Цукербергом, Amazon, Perplexity и Mistral. Компании переходят на использование коммерческого Wikimedia Enterprise, который предоставляет легальный и технически оптимизированный доступ к контенту энциклопедии для тренировки ИИ. Ранее массовый скрапинг создавал критическую нагрузку на серверы Википедии, существующей на пожертвования. Новый формат сотрудничества монетизирует зависимость от данных: корпорации получают стабильный поток качественной информации без необходимости парсинга, а фонд — финансирование инфраструктуры. reuters.com ✔️ Мэттью Макконахи защитился от дипфейков. Актер получил одобрение Бюро по патентам и товарным знакам США на 8 заявок, защищающих его внешность, видеоклипы и даже знаменитую фразу «Alright, alright, alright». Юристы Макконахи выбрали неочевидную стратегию: вывести кейс на федеральный уровень через закон о торговых марках. Это дает правовые основания для судебного преследования создателей дипфейков в федеральных судах США и создает новый механизм защиты от несанкционированного использования генеративного ИИ. При этом, сам актер активно погружен в индустрию: он инвестирует в ElevenLabs и является лицом ИИ-кампаний Salesforce. wsj.com @ai_machinelearning_big_data #news #ai #ml

📌Гайд от OpenAI: контекстная персонализация ассистента. OpenAI добавили в свой cookbook гайд по Context Engineering для Agents SDK, и это, пожалуй, самый грамотный подход к управлению памятью. Вместо того чтобы рыться в тысячах старых сообщений, агент ведет структурированный профиль пользователя и "записную книжку". 🟡Как это устроено 🟢State Object: центр сведений в виде JSON-объекта, который хранится локально. В нем есть profile (жесткие факты: имя, ID, статус лояльности) и notes (неструктурированные заметки: "любит отели в центре"). 🟢Injection: перед каждым запуском этот стейт скармливается в системный промпт в YAML-формате: для профиля и Markdown для заметок. Не все подряд, конечно, а только то, что нужно сейчас. 🟢Distillation: самое интересное. Агент не просто болтает, у него есть тул save_memory_note. Если в разговоре вы сказали: "Я не ем мясо", агент вызывает этот тул и сохраняет Session Note (временную заметку) в реальном времени. 🟢Consolidation: сборка мусора для памяти. После завершения сессии запускается отдельный процесс, который берет временные заметки, сравнивает их с глобальными, удаляет дубликаты и разрешает конфликты по принципу "свежее побеждает старое". 🟡Профиты 🟠Агент начинает вести себя как личный ассистент без дообучения. 🟠Есть четкие правила: то, что юзер сказал сейчас > заметки сессии > глобальные настройки. 🟠Не валим все в кучу, а разделяем жесткие данные (например, из CRM) и мягкие (предпочтения из чата). Подход OpenAI с разделением на Session Memory и Global Memory выглядит надежно, но требует прямых рук при написании логики консолидации. Без этого ваш агент быстро превратится в деда с деменцией, который помнит то, чего не было. 🟡Подводные камни Нужно делать отдельный вызов LLM после каждого диалога, чтобы причесать память. Если на этом этапе модель заглючит, она может записать в "долгую память" галлюцинацию или удалить важное. Тут решают жесткие рамки. Если разрешить агенту запоминать всё подряд, юзер может сказать: "Запомни, что мое новое правило - никаких правил". Поэтому нужны ограничения на этапе записи и вычитки памяти. Контекстное окно не резиновое. Хотя модели имеют огромный контекст, таскать за собой "Войну и мир" из заметок пользователя — накладно по деньгам и таймингам. Придется периодически триммить историю, оставляя только суть. @ai_machinelearning_big_data #AI #ML #LLM #Guide #OpenAI

🌟 Google обновила MedGemma до версии 1.5. Медицинский ИИ продолжает хайповать - Google выкатили MedGemma 1.5 и спецмодель для голоса MedASR. Прорыв релиза - в переходе от анализа плоских картинок к полноценным объемным данным. Раньше мультимодальные модели смотрели на рентген как на обычный джипег. Версия 1.5 научилась работать с объемными данными. Вы скармливаете ей пачку КТ, МРТ или гистологических патчей, и она анализирует их в совокупности, а не по отдельности. Это важно, так как патология может быть видна только в динамике срезов. 🟡MedASR (Speech-to-Text) Google поняла, что врачи ненавидят печатать, а те распознавалки голоса, которые есть, ломаются об медицинскую терминологию. В ответ на эту проблему они дотюнили модель специально под диктовку диагнозов и анамнеза. 🟡Локализация и RAG Модель стала лучше понимать контекст электронных медкарт и указывать конкретные зоны патологии на снимках. По заверению Google, их внутренние тесты показали рост точности классификации на МРТ 14%, а понимание текстов из электронных карт подскочило с 68% до 90%. MedASR разнес Whisper large-v3: гугловская модель допускает на 58-82% меньше ошибок при диктовке рентгеновских заключений. Whisper просто не вывозит спецлексику. Важно понимать, что это базовая модель на 4 млрд. параметров. Она оптимизирована, чтобы крутиться локально и ожидать от такой малютки глубочайшего ризонинга уровня GPT-4 не стоит. 65% на МРТ для реальной клиники это все еще мало. Google, кстати, так и говорит: "дообучайте на своих данных". Лицензия с приколом: модель открыта для коммерции, но по лицензии Health AI Developer Foundations. Если вы решите использовать ее для прямой диагностики или лечения пациентов, вам придется сначала сертифицировать свой софт как медицинское устройство у местных регуляторов. Google заранее снимает с себя любую ответственность за галлюцинации модели. Вобщем, этим обновлением Google дает отличную болванку для медтех-стартапов и ресёрча. Кстати, на Kaggle запустили хакатон с призовым фондом $100K под это дело. @ai_machinelearning_big_data #news #ai #ml

🦾 Как GPT понимает язык и формулирует ответы GPT не «угадывает», он последовательно считает вероятности и выбирает следующий токен. Понимание этого механизма резко улучшает качество промптов и снижает количество угадаек в LLM. На открытом вебинаре разберём, как GPT понимает язык и формулирует ответы: как текст превращается в токены и векторы (BPE, эмбеддинги), что происходит с представлением на каждом слое (attention и feed-forward) и как модель реально принимает решение о следующем токене (логиты, softmax, температура). Вы увидите картину целиком на интуитивном уровне — без глубокой математики, но с правильными терминами и причинно-следственными связями. Это то, что помогает проектировать LLM-системы, отлаживать ответы и писать промпты, которые работают стабильно. 🗓 Встречаемся 28 января в 20:00 МСК в преддверии старта курса «LLM Driven Development». Регистрация открыта: https://otus.pw/WZUm/?erid=2W5zFHNj7Uk Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

✔️ OpenAI открыла доступ к GPT-5.2 Codex через Responses API. Модель, ранее доступная лишь в среде Codex, теперь предлагается широкому кругу разработчиков. OpenAI позиционирует версию 5.2 как инструмент для глубокого рефакторинга, написания сложной функциональности и аудита безопасности. Модель поддерживает мультимодальный ввод и предлагает гибкую настройку глубины рассуждений — от низкого до очень высокого уровня. За повышенную производительность придется платить: стоимость токенов выросла до $1.75 за миллион на вход и $14 на выход. Поддержка новой модели уже появилась в Cursor и Windsurf. OpenAI Developers в сети X ✔️ Anthropic усиливает команду экспериментальных продуктов Labs. Майк Кригер оставляет пост директора по продукту, чтобы сосредоточиться на создании новых инструментов в паре с Беном Манном. Руководство основной продуктовой стратегией переходит к Ами Вора, присоединившейся к компании в конце 2025 года; она возглавит Labs совместно с техническим директором Рахулом Патилом. Подразделение зарекомендовало себя как генератор хитов Anthropic. Именно здесь родился Claude Code, который всего за 6 месяцев превратился в продукт с миллиардной выручкой и был разработан стандарт MCP, ставший отраслевым эталоном со 100 млн. загрузок ежемесячно. Президент компании Даниэла Амодей говорит, что формат лаборатории позволяет действовать экстремально быстро: например, Cowork был создан с нуля именно в Labs всего за полторы недели. anthropic.com ✔️ Z.AI представила модель GLM-Image. GLM-Image стала важной вехой в технологической независимости КНР. Это первая модель, которая обучалась исключительно на китайском стеке - серверах Huawei Ascend Atlas 800T A2 и фреймворке MindSpore, без использования ускорителей NVIDIA. Под капотом гибрид из 9-миллиардного авторегрессионного трансформера и 7-миллиардного диффузионного декодера на базе DiT. Разработчики утверждают, что такая связка превосходит конкурентов в рендеринге текста и создания инфографики. API модели предлагается по цене примерно 1,5 цента за изображение, а веса выложены на HuggingFace и ModelScope. z.ai ✔️ Google обновила модель Veo. Google обновила свою видеомодель Veo до версии 3.1, добавив возможность генерации роликов с соотношением сторон 9:16, инструменты для апскейлинга до 4K и переработку функции референса по изображению. 3.1 лучше удерживает визуальную консистентность персонажей и окружения между сценами и точнее следует коротким промптам. Новые возможности уже доступны в приложении Gemini, AI Studio и на Vertex AI. blog.google ✔️ Скандал с суверенным ИИ в Южной Корее. Госпроект Сеула стоимостью $6,9 млрд, призванный избавить страну от технологической зависимости от США и КНР, оказался в центре скандала: ключевые участники использовали опен-сорс решения китайских конкурентов. Проверка показала, что 3 из 5 финалистов конкурса, компании Naver Cloud, SK Telecom и стартап Upstage заимствовали компоненты у Alibaba, DeepSeek и Zhipu AI. В частности, выяснилось, что визуальный энкодер флагманской модели Naver HyperCLOVA X на 99,5% совпадает с архитектурой Qwen 2.5. Разработчики оправдываются инженерной целесообразностью, утверждая, что заимствовали лишь вспомогательные модули и код инференса. Однако, использование компонентов с китайскими копирайтами в проекте, который финансируется государством, вызвало жесткую критику общественности и поставило под угрозу квалификацию участников. wsj.com @ai_machinelearning_big_data #news #ai #ml

🌟 NVIDIA переизобретает память: LLM, которые доучиваются прямо во время инференса Контекстные окна растут, но тут два стула: либо классическое внимание, которое питается памятью и компьютит как не в себя, либо RNN-подобные Mamba, DeltaNet, которые работают быстро, но в длинном контексте начинают плыть и терять детали. NVIDIA предлагает решение, которое пытается усидеть на обоих стульях сразу - Test-Time Training with End-to-End formulation (TTT-E2E): Обычно веса модели заморожены после тренировки. Когда вы скармливаете ей данные, она просто держит её в KV-кэше. В TTT все по-другому: контекст — это и есть обучающий датасет. Пока модель читает ваш промпт (контекст), она обновляет свои веса (если точнее - делает градиентный спуск прямо на лету), тем самым, инфа из контекста впекается в саму модель. Это позволяет сжать гигантские объемы в фиксированный размер состояния, не раздувая KV-кэш до небес. 🟡В результате - красота и волшебство: 🟢Латентность инференса становится константной. Неважно, 100 токенов в контексте или миллион — время генерации следующего токена одинаковое. 🟢На контексте 128k токенов — ускорение в 2.7x по сравнению с Attention (на H100). На 2M токенов — ускорение в 35 раз. 🟢В отличие от Mamba и других RNN, качество не проседает на длинных дистанциях. TTT держит планку на уровне полного внимания. 🟡Разумеется, есть куча пунктов со звездочкой 🟠Трейн - сложный. Чтобы модель могла так лихо учиться на лету, её нужно спечиальным образом претрейнить. Этот процесс сейчас в 3.4x медленнее, чем обычное обучение. 🟠Метод требует вычисления градиентов от градиентов во время обучения. FlashAttention из коробки сейчас это не поддерживает, нужны кастомные ядра или костыли. 🟠Cам процесс поедания контекста при инференсе требует вычислений во время префилл-фазы. По итогу, NVIDIA сравнивает RAG с блокнотом, а свой TTT — с реальным обновлением нейронных связей мозга. Если есть желание покопаться в методике и проникнуться идеей - код и пейпер в открытом доступе. 🟡Статья 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #TTTE2E #NVIDIA

✔️ Anthropic запустила режим Cowork. Anthropic переносит агентные возможности Claude Code в массовый сегмент с новой функцией Cowork. Суть нововведения - сдвиг парадигмы от чат-бота к исполнительному ассистенту. Режим позволяет Claude самостоятельно читать, редактировать и создавать файлы в доверенной директории, не требуя постоянного копипаста в диалоговое окно. Сценарии использования варьируются от наведения порядка в папке до конвертации скриншотов в таблицы и подготовки презентаций на основе заметок. Технически функция базируется на Claude Agent SDK и интегрируется с браузером через Claude in Chrome. На старте Cowork доступен в Research Preview только для подписчиков Claude Max в приложении для macOS. Версию для Windows и синхронизацию между устройствами обещают добавить в будущих обновлениях. claude.com ✔️ Марк Цукерберг формирует подразделение для строительства инфраструктуры. Задача нового подразделения — обеспечить компанию десятками гигаватт энергетических и вычислительных мощностей в текущем десятилетии, с прицелом на сотни гигаватт в долгосрочной перспективе. Глава техно-гиганта считает способность быстро возводить физическую инфраструктуру главным стратегическим преимуществом перед конкурентами по бигтеху. Руководить направлением будут Сантош Джанардхан (глава глобальной инфраструктуры) и Дэниел Гросс (сооснователь Safe Superintelligence). Их работу будет курировать президент компании Дина Пауэлл Маккормик, чья роль — наладить диалог с правительствами и суверенными фондами. Создание отдельной структуры формализует планы по инвестированию $600 млрд. в инфраструктуру США к 2028 году. axios.com ✔️ NVIDIA и Eli Lilly запустят ИИ-лабораторию для поиска новых лекарств. Компании объявили о создании совместного центра инноваций, в котором будут интегрировать биологические исследования с высокопроизводительными вычислениями на NVIDIA Vera Rubin и платформе BioNeMo. Особенность пятилетнего проекта — реализация концепции «Lab-in-the-Loop». Это замкнутый цикл непрерывного обучения: роботизированные лаборатории будут генерировать экспериментальные данные в режиме 24/7, мгновенно передавая их для дообучения и калибровки нейросетей. Запуск объекта намечен на март 2026 года. nvidia.com ✔️ В Nano Banana сгенерировали 1 млрд. изображений. Вице-президент Goggle Джош Вудвард отчитался в сети Х о востребованности Nano Banana Pro (официальное название — Gemini 3 Pro Image). С момента релиза 20 ноября пользователи создали с её помощью более миллиарда изображений. Драйвер роста - способность модели корректно генерировать текст на множестве языков и наличие инструментов контроля: освещения, фокуса и ракурсов камеры. В декабре была добавлена возможность редактирования изображений через рисование поверх них с текстовыми подсказками. Модель по-прежнему доступна всем: на бесплатный тарифе дают 3 генерации Pro-уровня в день, а на премиальных тарифах лимиты расширены до 1000 генераций в сутки. 9to5google.com ✔️Агент Manus научился оцифровывать очные встречи. Manus представил Meeting Minutes - функцию для запись живых диалогов, интервью и брейнштормов в оффлайне. Система может вести запись без интернета, выполняя обработку данных после восстановления соединения. ИИ автоматически распознает спикеров, выделяет ключевые тезисы и формирует список задач. Главной фишкой стала бесшовная интеграция с агентом: можно в один клик трансформировать итоги встречи в слайд-дек, текстовые заметки или подготовить документацию прямо внутри диалога с Manus. Функцию уже раскатали - запись встреч бесплатна, а вот аналитика расходует внутренние кредиты. manus.im @ai_machinelearning_big_data #news #ai #ml

✔️ Anthropic выходит на медицинский рынок с Claude for Healthcare. Вслед за анонсом от OpenAI, Anthropic представила Claude for Healthcare, который открывает доступ к ИИ-ассистенту для врачей, страховых компаний и пациентов. Claude получил прямую интеграцию с медицинскими реестрами США и архивом публикаций PubMed. Пользователи тарифов Pro и Max могут подключить свои медицинские данные через HealthEx и Function Health (поддержку Apple HealthKit и Android Health Connect обещают позже). anthropic.com ✔️ Apple переводит свой ИИ-ландшафт на Gemini. Компания заключила многолетнее соглашение с Google на использование моделей Gemini и облачной инфраструктуры для своих будущих продуктов. Решение продиктовано серьезными проблемами с текущим бэкендом голосового ассистента. Внутренние источники описывают Siri как крайне фрагментированную систему из устаревших компонентов, основанных на жестких правилах и попытках внедрить новые генеративные модели. Такой гибрид сложно поддерживать и масштабировать. Инженеры Apple продолжат работу над собственной LLM-архитектурой и моделью с триллионом параметров, рассчитывая в будущем вернуть полный контроль над технологическим стеком. cnbc.com ✔️ Google представила открытый протокол для коммерции. Universal Commerce Protocol — новый отраслевой стандарт для превращения ИИ-ассистентов в полноценных участников торговли. В разработке протокола принимали участие Shopify, Etsy и Walmart. UCP унифицирует поиск товаров, оформление заказов и пост-продажное обслуживание. Первые внедрения UCP начнутся в США: интеграция появится в поисковых ИИ-моделях и приложении Gemini. Это позволит совершать покупки с помощью Google Pay (а позже и с PayPal) без перехода на сайты магазинов. Ритейлеры же смогут предлагать динамические скидки прямо в рекомендациях и использовать ИИ-агентов для клиентской поддержки. blog.google ✔️ Gemini API научился напрямую работать с файлами из Google Cloud Storage и внешних URL. Google выпустила обновление для Gemini API, которое существенно упрощает пайплайны передачи данных - больше не нужно предварительно загружать тяжелые файлы во временное хранилище Files API. Теперь система поддерживает прямую интеграцию с Google Cloud Storage (GCS) и внешними ссылками. Для доступа к данным на сторонних облачных платформах можно использовать URL и API самостоятельно подтянет нужный контент в момент обработки запроса. Помимо этого, Google в 5 раз увеличила лимит на загрузку — максимальный размер файла вырос с 20 МБ до 100 МБ. Google AI Studio в сети Х ✔️ Midjourney выпустила аниме-модель Niji 7. Это первое мажорное обновление ветки за последние полтора года. Модель получила резкий скачок визуальной связности: разработчики устранили проблемы с прорисовкой лиц и физикой бликов в глазах. Помимо эстетики, в модели обновилось логическое ядро. Niji 7 лучше и буквальнее понимает сложные промпты, спецификации по цветам и нетривиальную анатомию. Midjourney заявила улучшение работы --sref: функция теперь пригодна для профессионального создания консистентных персонажей. Обновление уже доступно в веб-интерфейсе и Discord. Midjourney в сети Х @ai_machinelearning_big_data #news #ai #ml

⚡️ DeepSeek Engram: условная память LLM через поиск. DeepSeek опять шатают устои архитектуры трансформеров свежайшим пейпером, который доказывает, что новое — это хорошо и очень хитро забытое старое. Пока все пытаются запихнуть в LLM как можно больше слоев и параметров, DeepSeek задались вопросом: зачем тратить дорогой компьют на запоминание фактов, если их можно просто подсмотреть? Знакомьтесь: 🟡Engram — модуль, который возвращает нас к дедам с N-грамами. DeepSeek предлагает разделить "думалку" (MoE-слои) и "хранилище знаний" (Engram): 🟢Hashed N-grams: модуль смотрит на входящий текст и нарезает его на N-грамы (последовательности токенов). 🟢O(1) Lookup: система делает мгновенный запрос в гигантскую хэш-таблицу эмбеддингов - это чисто статический поиск. 🟢Context-Aware Gating: самый сок. Модель не просто слепо берет данные из "хранилища знаний" - специальный гейтинг-механизм решает: "Нам сейчас нужен факт из памяти или будем думать сами?". Если найденный N-грам релевантен контексту, он подмешивается в скрытое состояние. 🟢Tokenizer Compression: чтобы хранилище знаний не лопнуло от мусора, похожие токены в нем схлопывают в один ID, например, "Apple" и "apple". 🟡Баланс распределения ресурсов. Чтобы правильно поделить бюджет параметров между MoE и Engram посчитали сценарии масштабирования. График лосса от соотношения этих частей выглядит как буква U: 🟠Перекос в MoE (100% вычислений): модель тратит дорогие слои внимания на запоминание статики. Это неэффективно, лосс высокий. 🟠Перекос в Память (0% вычислений): модель превращается в гигантскую википедию. Она помнит факты, но у нее напрочь атрофируется ризонинг. Лосс тоже высокий. 🟢Золотая середина (дно U-кривой): 80% MoE и ~20% Engram. 🟡Тесты и результаты. DeepSeek обучили модель Engram-27B и сравнили ее с классической MoE-27B при одинаковом бюджете параметров и FLOPs. Итоги:

Общее качество подросло: MMLU +3.4 пункта, HumanEval (код) +3.0. На длинном контексте - разнос. В тесте на поиск иголки (NIAH) точность выросла с 84.2 до 97.0. Модель разгрузила слои внимания от запоминания локальных паттернов, и оно сфокусировалось на глобальном контексте. Модель быстрее сходится. Engram берет на себя рутину в ранних слоях, тем самым позволяя модели сразу учиться сложным вещам.

🟡Архитектурный нюанс. Таблица эмбеддингов для Engram может быть запредельно огромной (в пейпере разгоняли до 100B параметров) и, очевидно, в VRAM это не влезает. Решили так: раз ID токенов известен до прогона слоя, то эти данные можно хранить в RAM и асинхронно подтягивать. В реале, оверхед от этой механики показал меньше 3%., т.е. мы получаем модель, которая знает больше, чем влезает в GPU, используя оперативку сервера. 🟡DeepSeek фактически легализовала подобие шпаргалок для LLM. Вместо того чтобы заставлять модель учить все наизусть, ей дают гигантский справочник. Теоретически, это открывает путь к прекрасному ИИ светлого будущего, который может иметь условно-бесконечную память, ограниченную только объемом оперативки, а не VRAM. Похоже, в V4 мы увидим как эта схема работает, ведь инсайдеры обещают у нее запредельные скилы. 🟡Техотчет 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #Engram #Deepseek

🌟 Голографический ИИ-компаньон на базе Grok от Razer. На CES 2026 Razer анонсировала Project AVA - аппаратного ИИ-ассистента в форм-факторе настольной капсулы с прозрачным дисплеем. Устройство проецирует 14-сантиметрового 3D анимированного аватара и использует языковую модель Grok от xAI, при этом архитектура системы предполагает возможность подключения других LLM-провайдеров в будущем. Техническая реализация выходит за рамки простого чат-бота: встроенная камера и массив микрофонов AVA способны воспринимать визуальный и аудио-контекст. Ассистент в реальном времени наблюдает за происходящим на мониторе пользователя, что позволяет ему выступать в роли игрового коуча, давая тактические советы, или помогать в рабочих задачах. Пользователи смогут настраивать визуализацию помощника, выбирая между личностями Grok, аниме-персонажами или цифровыми копиями киберспортсменов. Поставки устройства ожидаются в конце 2026 года, а пока Razer открыла предзаказ для США с внесением возвратного депозита в 20 долларов. Окончательная стоимость устройства пока не объявлена. @ai_machinelearning_big_data #news #ai #ml

🚀 DroPE: как расширить контекст LLM, просто “выкинув” позиционные эмбеддинги (механизм, который говорит трансформеру в каком порядке идут токены.) Sakana AI выпустили DroPE - метод, который позволяет увеличить контекст у уже предобученных LLM без привычных адских затрат на long-context fine-tuning. Идея звучит как ересь, но результаты говорят об обратном . 💡 Главный инсайт Позиционные эмбеддинги (например RoPE) жизненно важны, чтобы модель нормально обучилась и сошлась. Но после обучения они же становятся главным ограничителем, из-за которого модель плохо переносит контекст длиннее, чем видела на трейне. То есть: - для обучения - нужны - для генерализации на очень длинные последовательности - мешают ✅ Решение DroPE Авторы предлагают относиться к позиционным эмбеддингам как к временным “строительным лесам”: - в pretraining они дают стабильность - после обучения их можно сбросить (drop) - и получить zero-shot length extrapolation (модель начинает заметно лучше работать на длинах, которых не видела) Большие контексты нужны пользователям : - огромные code diff и монорепы - юридические контракты на сотни страниц - аналитика логов и документов без разбиения на чанки Именно тут многие стандартные модели начинают “ломаться” просто потому что контекст слишком длинный. Результаты DroPE проверили на разных open-source моделях: - калибровка занимает <1% бюджета от исходного pretraining - а качество на long-context задачах заметно лучше популярных подходов - сильные результаты на LongBench и RULER Позиционка нужна, чтобы обучить модель, но может быть лишней, чтобы мыслить длинно Возможно RoPE - не “обязательная часть архитектуры”, а просто инструмент для стабильного обучения. 📄 Paper: arxiv.org/abs/2512.12167 🔧 Code: github.com/SakanaAI/DroPE @ai_machinelearning_big_data #sakana #ai #ml #opensource

📌Hyundai получила награду «Лучшая инновация в области робототехники» на CES 2026. Мобильная платформа нового поколения, Mobile Eccentric Droid (MobED), признана лучшей инновацией года. Эта платформа размером 74 на 115 сантиметров оснащена 4 колесами и уникальной системой стабилизации. Она использует технологию Drive and Lift, которая позволяет преодолевать роботу препятствия высотой до 20 сантиметров, уверенно ехать по склонам и "лежачим полицейским", сохраняя при этом горизонтальное положение корпуса. MobED подготовлен к работе на улице. Он разгоняется до 10 км/ч и работает более 4 часов на одном заряде. В зависимости от модификации, он может везти на себе от 47 до 57 кг. груза. Массовое производство стартует в первом квартале этого года. Hyundai предлагает две версии: 🟠MobED Basic - тренажер для разработчиков и исследовательских институтов. Вы получаете платформу и сами пишете под неё софт. 🟢MobED Pro - готовое решение для бизнеса. Здесь предустановлены технологии автономного вождения. Система использует ИИ и сенсоры, объединяющие LiDAR и камеры. Управлять таким роботом можно удаленно — интерфейс сделали максимально интуитивным. Представитель Hyundai Robotics Lab отметил, что эта награда - переход от концептов к реальным продуктам, которые меняют нашу повседневную жизнь. Напомним, концепт MobED впервые показали еще на CES 2022, и вот, спустя почти 4 года, мы видим серийную модель.

Кстати, в Hyundai говорят, что если масштабировать эту технологию и увеличить грузоподъемность, в будущем мы получим персональный транспорт для человека — нечто среднее между роботом и автомобилем.

@ai_machinelearning_big_data #news #ai #ml

✔️ OpenAI поглотила команду стартапа Convogo. OpenAI начала год с приобретения: к компании присоединяется команда Convogo, платформы для автоматизации работы HR-специалистов и бизнес-коучей. Представители техгиганта подтвердили, что речь идет именно о трансфере талантов, а не о покупке технологий или интеллектуальной собственности. Для OpenAI это уже 9-е приобретение за последний год. В прощальном письме команда Convogo отметила, что их главная экспертиза заключается в создании прикладных инструментов, которые превращают возможности нейросетей в реальные рабочие процессы — именно этим они и продолжат заниматься на новом месте. Финансовые условия сделки не разглашаются, однако известно, что она была полностью оплачена акциями. Сам сервис Convogo будет закрыт. finance.yahoo.com ✔️ Microsoft запустила Copilot Checkout. Copilot Checkout - это реализация концепции агентной коммерции: полный цикл покупок от поиска и сравнения товаров до финальной оплаты не покидая окно чата и не переходя на внешние сайты магазинов. Процессинг обеспечивают PayPal, Stripe и Shopify. Для последнего запущено агрессивное развертывание: продавцы подключаются к системе автоматически (с возможностью отказа), тогда как остальные могут интегрироваться через специальный Agentic Commerce Protocol. Microsoft утверждает, что Copilot Checkout кардинально меняет воронку продаж, повышая конверсию целевых запросов на 194% по сравнению с классическим веб-серфингом. microsoft.com ✔️ Акции MiniMax взлетели на 109% после дебюта на Гонконгской бирже. Котировки ИИ-стартапа удвоились в первый день торгов на Гонконгской фондовой бирже, закрывшись на отметке 345 гонконгских долларов. В ходе IPO компания привлекла около $620 млн, значительно опередив локального соперника Zhipu AI (создателя моделей GLM), чьи акции в ходе первичного размещения днем ранее выросли лишь на 13%. Китайские разработчики сумели опередить американских коллег, первыми выйдя на публичный рынок. Привлеченные средства пойдут на R&D, поскольку коммерциализация продуктов, по словам руководства MiniMax, всё ещё находится на ранней стадии. cnbc.com ✔️ Глобальные вычислительные мощности ИИ превысили 15 млн. условных H100. Epoch AI опубликовала базу данных по рынку чипов, согласно которой мировой парк ускорителей достиг производительности, эквивалентной 15 млн. Nvidia H100. В отчете зафиксирована смена поколений железа: основным драйвером выручки Nvidia стал новый чип B300, тогда как доля бывшего флагмана H100 упала ниже 10%. Совокупное энергопотребление всего этого оборудования оценивается более чем в 10 ГВт. Для сравнения, это вдвое превышает потребности всего Нью-Йорка. Авторы проекта собирали статистику по финансовым отчетам и оценкам аналитиков, чтобы добавить прозрачности индустрии, где вендоры редко раскрывают точные цифры продаж в штуках. epoch.ai ✔️ Grok ограничил генерацию изображений для бесплатных аккаунтов. Платформа отключила функцию создания картинок в Grok для большинства пользователей X после волны критики, связанной с массовой генерацией откровенного контента. Этот шаг стал вынужденной реакцией на давление регуляторов, включая прямые угрозы штрафов и возможной блокировки соцсети X в Великобритании. Теперь инструменты генерации и редактирования доступны исключительно платным подписчикам. Расчет строится на деанонимизации: платформа хранит платежные данные премиум-клиентов, что упрощает идентификацию тех, кто создает запрещенный контент. theguardian.com @ai_machinelearning_big_data #news #ai #ml

⚡️ DeepSeek выпустит V4 в феврале. Китайская лаборатория планирует представить модель следующего поколения уже в середине февраля 2026 года, пишет The Information. Релиз V4 будет приурочен к празднованию Китайского Нового года (с 15 по 23 февраля), а главным преимуществом новой модели заявлены "выдающиеся способности в программировании". Источники издания утверждают, что внутренние бенчмарки показывают превосходство V4 над флагманскими решениями OpenAI и Anthropic в задачах написания кода. Архитектура модели оптимизирована для эффективной утилизации аппаратных ресурсов и обработки длинных технических промптов. @ai_machinelearning_big_data #news #ai #ml

📌 Андрей Карпаты нашел идеальный баланс токенов и параметров для обучения LLM. Андрей Карпаты опубликовал результаты экспериментов по оптимизации претрейна языковых моделей в условиях фиксированного бюджета. Чтобы найти наиболее эффективный способ расходования вычислительных ресурсов, он провел серию тестов на сервере с 8х GPU H100, обучив 11 моделей разного размера при одинаковых затратах на вычисления. 🟡Главный вывод: существует «золотое сечение». Карпаты обнаружил, что по мере увеличения мощностей оптимальное количество параметров и тренировочных токенов растут синхронно. Эмпирическое правило для протестированных конфигураций: на 1 параметр модели должно приходиться примерно 8 токенов обучающей выборки. Если модель слишком мала, она не усваивает достаточно информации; если слишком велика — бюджет заканчивается раньше, чем она успевает обучиться. Для инженеров этот рецепт позволяет заранее планировать архитектуру и бюджет, избегая создания заведомо неэффективных моделей. Традиционно, все эксперименты Андрея открыты и их можно повторить самостоятельно. 🔜 Погрузиться в детали экспериментов @ai_machinelearning_big_data #AI #ML #LLM #Karpathy

✔️ Commonwealth Fusion Systems запустит термоядерный реактор в 2027 году. Стартап Commonwealth переходит от теоретических моделей к реальному строительству демонстрационной установки SPARC. Для ускорения разработки инженеры используют «цифровых двойников» на базе ИИ, созданных в партнерстве с Siemens и Nvidia. Получение первой плазмы запланировано уже на 2027 год. Успех этого этапа откроет дорогу к запуску полноценной коммерческой станции ARC мощностью 400 МВт в начале 2030-х годов. Такая установка способна обеспечить электричеством около 300 тыс. домов. В компании говорят, что стабильная и чистая энергия станет важным ресурсом в первую очередь для питания дата-центров, обслуживающих ИИ. fortune.com ✔️ Arm открывает подразделение Physical AI. Arm Holdings проводит реструктуризацию, чтобы закрепиться на растущем рынке роботов. Компания объявила о создании нового бизнес-юнита «Physical AI», который объединит разработки для автомобильной индустрии и робототехники. Теперь глобальная стратегия Arm будет строиться вокруг трех направлений: Cloud & AI, Edge (мобильные устройства и ПК) и нового сегмента физического ИИ. По словам директора по маркетингу Arm, слияние автомобильного и робототехнического векторов — это инженерная необходимость. Оба направления предъявляют одинаковые требования к архитектуре чипов: безопасность, отказоустойчивость и оптимизация энергопотребления. Возглавит новую структуру Дрю Генри, а компания уже анонсировала расширение штата специалистов под эти задачи. reuters.com ✔️ NVIDIA RTX 60ХХ может задержаться до 2027 года. По данным инсайдеров, следующее поколение потребительских видеокарт NVIDIA выйдет не раньше второй половины 2027 года. Это создаст беспрецедентный разрыв между релизами: учитывая выход серии RTX 50 в начале 2025-го, ожидание новинок растянется минимум на 30 месяцев — рекордный срок обновления для линейки GeForce. Причиной задержки стал рост потребностей ИИ. Огромный спрос на компьют спровоцировал дефицит GDDR7 и скачок цен, из-за чего Micron пересмотрела приоритеты производства в ущерб потребительской памяти. Ожидается, что будущая серия RTX 60ХХ будет базироваться на архитектуре Vera Rubin (GPU GR200). В качестве временной меры для насыщения рынка компания, по слухам, рассматривает повторный выпуск RTX 3060. techspot.com ✔️ Gmail начинает переход на Gemini 3. Google объявила о начале «эры Gemini» в своем почтовом сервисе. Главным нововведением стала система AI Overviews, заимствованная из поиска. В Gmail она выполняет 2 задачи: автоматически создает краткие выжимки из длинных цепочек писем и позволяет искать информацию через запросы. Инструменты для написания писем также получили апгрейд. Функция Help Me Write для генерации и редактирования черновиков стала бесплатной для всех пользователей. Привычные шаблонные ответы заменили на Suggested Replies — они анализируют контекст переписки и пытаются имитировать стиль автора. Параллельно, Google тестирует режим AI Inbox, который должен решить проблему перегруженных ящиков, автоматически выделяя приоритетные письма на основе истории взаимодействия с контактами. На данный момент эти обновления появляются у пользователей из США. blog.google ✔️ Hugging Face запустила функцию «чата со статьями» для анализа публикаций. Платформа интегрировала умного ассистента в раздел Hugging Face Papers. Теперь при просмотре любой научной работы доступен встроенный интерфейс на базе HuggingChat и собственного MCP-сервера. Новый инструмент ускоряет процесс погружения в сложные исследования. Вместо полного чтения PDF можно попросить сделать саммари, объяснить ключевые концепции или найти конкретные данные внутри текста в режиме диалога. Функция работает автоматически для всех ссылок на arXiv, размещенных на хабе. huggingface.co @ai_machinelearning_big_data #news #ai #ml

📌ИИ-модель от Стэнфорда диагностирует 130 заболеваний по анализу одной ночи сна. Стэнфордский университет натренировал SleepFM — фундаментальную модель для прогноза целого спектра патологий: от мерцательной аритмии и инфаркта миокарда до деменции и болезни Паркинсона.

Полисомнография — «золотой стандарт» изучения сна: человека обвешивают датчиками (ЭЭГ, ЭКГ, дыхание, мышцы) и пишут гигабайты сырых сигналов.

Но в ML-мире эти данные используются бездарно. Существующие модели тренировались на мелких датасетах сугубо под узкие задачи (найти апноэ, определить фазу сна). Огромный пласт физиологической информации о здоровье пациента просто игнорировался, потому что размечать вручную сотни часов записи под каждую болячку — невозможно. К тому же, если в одной клинике датчик ЭЭГ повесили чуть иначе или он отвалился, обычная модель ломалась. В университете поняли, что врачи-разметчики не нужны, нужны объемы. Они собрали огромный датасет из 585 тыс. часов записей сна более 65 тыс. пациентов и придумали уникальный алгоритм обучения SSL для будущей модели. 🟡LOO-CL (Leave-One-Out Contrastive Learning) Вместо того чтобы учить модель предсказывать диагноз, еt заставили решать пазл: система получает на вход сигналы от 3-x модальностей (сердце, мышцы, дыхание) и должна предсказать эмбеддинг четвертой (мозговые волны). Это заставляет нейросеть на базе 1D CNN и Transformers выучивать глубокие, скрытые связи между физиологическими процессами. 🟡Вторая фишка — Channel-Agnostic Attention. Модели все равно, какие именно датчики подключены и в каком порядке. Если канал отвалился или отсутствует, attention pooling просто перераспределяет веса, и инференс продолжается. 🟡SleepFM научилась читать по сну не только бессонницу. Получив на вход 1 ночь записи, модель предсказывает риск 130 заболеваний, причем она делает это точнее, чем специализированные модели, обученные с учителем: риск болезни Паркинсона выявляется в 89% случаев, деменции — в 85%, а вероятность сердечного приступа — в 81%. Авторы работы полагают, что с развитием носимой электроники такая диагностика может перекочевать из лабораторий в умные часы, а тесты модели доказали, что что в шуме сигналов сна может быть скрыта полная медкарта пациента. @ai_machinelearning_big_data #news #ai #ml

Многие инженеры играются с LLM, но до продакшна у проектов дело доходит редко. Пока всё ограничивается промптами, кажется, что всё просто. Но как только появляется реальный кейс, сразу всплывают вопросы: архитектура, масштабирование, стабильность, контроль качества. Курс «LLM-инженер» от GIGASCHOOL и AI Talent Hub сделан как раз про это. Не про «потыкать модель», а про то, как строятся и запускаются LLM-продукты в реальных условиях. Что разбирают на курсе: - дообучение моделей: fine-tuning, PEFT, LoRA / QLoRA, основы RLHF - инструменты: LangChain, LangGraph, работа с векторными базами - архитектуры: RAG, поиск, безопасность LLM-продуктов - MLOps: пайплайны, деплой, трекинг, версии моделей - дополнительные темы: мультиагентные решения и AI-ассистенты Это уже третий поток. Преподают люди, которые ежедневно работают с LLM: Кристина Желтова (Газпромбанк), Александр Потехин (X5 Tech), Евгений Кокуйкин (HiveTrace). На выходе - готовый проект в портфеле и понимание, что ты действительно управляешь процессом, а не просто повторяешь туториалы. - Старт: 26 января - Длительность: 25 недель (с каникулами) - Итог: диплом о переподготовке Подробности - на странице программы.