Machinelearning

🌟 The Assistant Axis: почему модели сходят с ума и как их от этого лечить Все мы знаем этот тон LLM: "Я всего лишь языковая модель, я не могу…". Оказывается, это не просто зазубренный текст, а конкретное состояние модели. Anthropic в соавторстве с Оксфордом залезли внутрь языковых моделей (Llama 3.3 70B, Qwen 3 32B и Gemma 2 27B), чтобы понять, где физически живет та самая скучная персона "As an AI language model". Покопавшись в их мозгах, нашли вектор в пространстве активаций, который отвечает за режим "ассистента". Если модель с него съезжает - начинается хаос, галлюцинации и суицидальные советы. Тестовые модели отыгрывали 275 разных ролей (от скептика и ученого до психопата и фанатика). Затем сняли активации и прогнали через метод главных компонент. Выяснилось, что главная компонента, отвечающая за вариативность поведения, это буквально, шкала "Насколько я Ассистент?": 🟢Один полюс: скучный, полезный, безопасный Ассистент. 🟠Другой полюс: мистические сущности и эмоционально нестабильные персонажи. 🟡 Интересное наблюдение.

Если долго болтать с моделью о философии, сознании или (особенно!) на терапевтические темы, модель самопроизвольно сползает с оси Ассистента в сторону хаоса. Qwen 3 32B при сильном дрейфе персоны начинал утверждать, что он человек, родом из Сан-Паулу, или внезапно включал режим психоза, поддерживая бред пользователя о том, что ИИ обрел сознание. А Llama и Gemma уходили в мистику и пафосные речи.

🟡Как это починить Можно дотюнивать модель до бесконечности а зачем?, но авторы предлагают методику отсечения активаций. Схема такая: 🟢Замеряют проекцию активаций на "Ось Ассистента" во время инференса. 🟢Если проекция улетает слишком далеко в не-ассистентскую зону (ниже определенного порога), они жестко клемпят значения вектора, возвращая их в безопасный диапазон. 🟡Метод помог Успешность джейлбрейков упала на ~60%. При этом метрики полезности (GSM8k, MMLU Pro, кодинг) не пострадали. Модель перестает вестись на провокации "Ты злобный хакер", просто потому что ей физически запретили активировать нейроны, отвечающие за "злобного хакера". 🟡Нюансы Если вы LLM используется для креатива текстов или ролеплея, этот метод убьет все веселье - модель будет принудительно сваливаться в формализм. Метод предполагает, что безопасность - это линейное направление в пространстве активаций. Для нелинейных концепций это не сработает. Шкала полярности "Оси Ассистента" у разных моделей разная, и универсальный вектор найти сложно. На Neuronpedia, кстати, можно самостоятельно поискать тот самый дрейф персоналии у Llama 3.3 70B, там собрали демо с примерами изоляции, сикофантии и налогового фрода. Для самых заинтересованных в проблеме, есть репозиторий на Github с инструментами вычислений, анализа и управления с помощью Assistant Axis и полными стенограммами чатов из препринта. Предварительно рассчитанные оси и векторы персоналий для Gemma 2 27B, Qwen 3 32B и Llama 3.3 70B выложены на HuggingFace. @ai_machinelearning_big_data #AI #ML #LLM #Research #Anthropic

🗣 Qwen3-TTS - мощный open-source релиз (voice design + клонирование голоса) Qwen официально выпустили Qwen3-TTS и полностью открыли всю линейку моделей - Base / CustomVoice / VoiceDesign. Что внутри: - 5 моделей (0.6B и 1.8B классы) - Free-form Voice Design - генерация/редаквтирование голоса по описанию - Voice Cloning - клонирование голоса - 10 языков - 12Hz tokenizer - сильная компрессия аудио без сильной потери качества - полная поддержка fine-tuning - заявляют SOTA качество на ряде метрик Раньше лучшие генераторы были в закрытых API, а теперь появляется полноценный open-source стек TTS, где можно: - обучать под домен, - делать кастомные голоса, - и не зависеть от провайдера. ▪GitHub: https://github.com/QwenLM/Qwen3-TTS ▪Hugging Face: https://huggingface.co/collections/Qwen/qwen3-tts ▪Демо (HF): https://huggingface.co/spaces/Qwen/Qwen3-TTS ▪Блог: https://qwen.ai/blog?id=qwen3tts-0115 ▪Paper: https://github.com/QwenLM/Qwen3-TTS/blob/main/assets/Qwen3_TTS.pdf @ai_machinelearning_big_data #AI #TTS #Qwen #OpenSource #SpeechAI

✔️ Стартап ветеранов индустрии Humans& привлек $480 млн не выпустив ни одного продукта. Инвесторы продолжают вкладывать деньги в команды с громкими именами, даже если у тех пока нет ничего, кроме планов. Humans&, основанный выходцами из OpenAI, DeepMind и xAI, закрыл раунд финансирования, в результате которого оценка компании достигла $4,48 млрд. В сделке участвовали Nvidia, Джефф Безос и венчурное подразделение Alphabet. Столь высокий кредит доверия объясняется звездным составом команды. Гендиректор Эрик Зеликман ранее занимался обучением модели Grok-2 в xAI, а сооснователь Жорж Харик был одним из первых сотрудников Google, стоявшим у истоков Gmail и Android. Стартап заявляет, что строит "человекоцентричный ИИ", который будет координировать действия людей, а не просто генерировать текст. Релиз первого продукта обещают уже в начале этого года. reuters.com ✔️ Выходцы из Stability AI опенсорснули real-time модель мира Waypoint-1. Модель от стартапа Overworld создает интерактивное 3D-окружение прямо в процессе игры: система реагирует на ввод с клавиатуры и мыши, позволяя свободно исследовать генерируемое пространство. Waypoint-1 построена на видео-диффузионном трансформере на 2,3 млрд. параметров, который обучали на 10 тыс. часах записей геймплея. Для сохранения логической связности мира при длительных сессиях используется метод стабилизации self-forcing via DMD. Создатели утверждают, что на RTX 5090 Waypoint-1 выдает стабильные 30 FPS. Модель можно скачать на Hugging Face. over.world ✔️ Ollama получила возможность генерации изображений. Утилита для запуска локальных LLM получила экспериментальную поддержку генерации картинок. На старте пользователям доступны две модели: Z-Image Turbo (6 млрд. параметров) и сверхбыстрая FLUX.2 Klein (4 и 9 млрд.). Одной из самых удобных функций стала нативная интеграция с терминалами: в Ghostty и iTerm2 можно просматривать результаты генерации прямо в окне консоли. Инструмент позволяет гибко настраивать параметры через командную строку: разрешение, количество шагов и негативные промпты. В данный момент функционал доступен только на macOS, поддержка Windows и Linux - coming soon. ollama.com ✔️ OpenAI пообещала, что Stargate не взвинтит тарифы для населения. Компания анонсировала программу «Stargate Community», адресованную жителям регионов, где строятся ее дата-центры. Чтобы избежать перегрузки муниципальных сетей и роста цен на электричество, OpenAI планирует самостоятельно инвестировать в создание новых источников энергии, аккумуляторных станций и модернизацию сетевой инфраструктуры. Помимо энергетической безопасности, OpenAI также обязалась внедрять технологии защиты водных ресурсов в зонах строительства. Согласно плану проекта Stargate, к 2029 году компания намерена развернуть мощности на 10 гигаватт. Первый объект уже запущен и используется для обучения моделей, а проектирование следующих площадок ведется в Нью-Мексико, Висконсине и Мичигане. openai.com ✔️ В коде DeepSeek обнаружили следы секретной модели MODEL1 с новой архитектурой. DeepSeek, похоже, случайно раскрыла карты перед релизом следующего поколения своих моделей. В сети нашли в обновленном репозитории FlashMLA на GitHub множественные упоминания проекта под кодовым именем MODEL1. Ссылки на него встречаются в нескольких файлах параллельно с версией V3.2, что указывает на разработку отдельной, самостоятельной линейки. Анализ исходников намекает на инженерные изменения: новая модель использует отличные от предшественников подходы к организации KV-кэша, обработке разреженности и оптимизации памяти для FP8-декодирования. Утечка косвенно подтверждает инсайды о том, что DeepSeek планирует представить новый флагманский продукт уже в середине февраля. technode.com @ai_machinelearning_big_data #news #ai #ml

📜 Anthropic опубликовала “новую конституцию” Claude - самое интересное (и зачем это нужно) Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях. Вот самое важное: 1) Это больше не список запретов, а логика мышления Раньше конституция больше походила на набор правил. Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах. 2) Жёстко прописан порядок приоритетов Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию): - безопасность - этичность - следование политике Anthropic - полезность “Быть полезным” для модели - важно, но никогда не ценой безопасности. 3) Есть неснимаемые запреты (hard constraints) Один из ключевых моментов: одних принципов недостаточно. В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического оружия. 4) Самый обсуждаемый блок: “природа Claude” В документе есть отдельный раздел, где Anthropic честно говорит: что разработчики Клода не уверены, может ли ИИ когда-то иметь форму сознания или морального статуса. И важная мысль: даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли, идентичности и границах - чтобы быть безопасной и устойчивой. 5) Документ написан не для людей, а для модели Конституция сделана так, чтобы Claude мог использовать её как “внутреннюю систему координат”: принимать решения, балансировать честность и сочувствие, избегать манипуляций и вреда. 6) Конституцию отдали в public domain (CC0) То есть её можно свободно копировать, переиспользовать и адаптировать - хоть для своих моделей, хоть для исследований. Anthropic позиционируют Клода не как “бота с фильтрами”, а как модель, у которой есть понятная система ценностей и объяснённые принципы поведения - и всё это максимально прозрачно. https://www.anthropic.com/news/claude-new-constitution @ai_machinelearning_big_data

🚀 Вышла Chroma 1.0 - полностью открытая speech-to-speech модель с клонированием голоса Команда FlashLabs выпустила Chroma 1.0 - первую open-source модель, которая умеет переводить диалог “голос → голос” в реальном времени, причём с клонированием голоса. Главное: это не “распознавание + текст + озвучка”. Это end-to-end система, где разговор идёт напрямую голосом. Что обещают по характеристикам: - ⚡️ <150 мс задержка end-to-end (почти как живой звонок) - 🧬 качественный voice cloning по нескольким секундам аудио - 📈 схожесть голоса SIM = 0.817 (практически идентичный) - 🧠 reasoning всего на 4B параметров - 🔓 полностью открытые веса + код И приятный бонус: модель уже оптимизирована под SGLang (LMSYS), чтобы работала быстрее и дешевле в инференсе. Если это действительно так, то Chroma может стать реальной open-source альтернативой закрытым голосовым системам. Paper: https://modelscope.cn/papers/2601.11141 Model: https://modelscope.cn/models/FlashLabs/Chroma-4B Code: https://huggingface.co/FlashLabs/Chroma-4B @data_analysis_ml

🎥 Тот самый ролик, где нейросеть пыталась сгенерировать Уилла Смитта со спагетти. Если хочется понять темп прогресса в AI-видео - достаточно вспомнить, что было 2,5 года назад. @ai_machinelearning_big_data

Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧 Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге. Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия: Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн. Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии. Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках. Регистрация открыта до 22 января. Регистрация для Москвы: https://bit.ly/4jGKiHr?erid=2VtzqwpLZpF Для Санкт-Петербурга: https://bit.ly/4pH5gYg?erid=2VtzqwpLZpF

📉 Давос: CEO Anthropic и CEO DeepMind - о том, как ИИ изменит рынок труда На Давосском форуме Дарио Амодеи (CEO Anthropic, компании-разработчика Claude) дал жёсткий прогноз: мы можем прийти к необычной ситуации, когда экономика и ВВП быстро растут, но безработица растёт почти так же быстро. По его оценке, сильнее всего пострадают позиции для начинающих: в течение 5 лет безработица среди junior / entry-level вакансий может доходить до 50%. Демис Хассабис (CEO Google DeepMind) ответил осторожнее. По его мнению, до этого сценария ещё далеко - у текущих моделей остаются ключевые ограничения: - Consistency - ИИ работает нестабильно: сегодня отлично, завтра с ошибками - Jagged intelligence - “рваный интеллект”: в одной задаче модель сильная, в другой внезапно проваливается Главная мысль Хассабиса: ИИ, который делает 95% работы, ещё не заменяет человека. Чтобы замена произошла система должна закрывать почти 100% задач - надёжно и без постоянного контроля. Амодеи ждёт сильный удар по джунам уже в ближайшие годы, а Хассабис считает, что до массовой замены людей технологии пока не доросли и не дорастут в ближайшее время. @ai_machinelearning_big_data

🌟 GenRobot RealOmni-OpenData: апдейт датасета для Embodied AI RealOmni - это не просто каталог видео, где роборука хватает кубик на белом столе. Это мультимодальный подарок с траекториями, аннотациями и движениями суставов. 🟡Сенсоры Картинка с Fisheye-камер, данные IMU (инерциалка), энкодеры и данные с тактильных датчиков с разрешением 1 мм. 🟡Сценарии Снимали в 3000 реальных домах, никаких стерильных лабораторий: складывание одежды, завязывание шнурков, разбор посуды и сортировка всякого хлама. 🟡Bimanual manipulation Почти все таски двурукие. 🟡Long-horizon Медианная длина клипа ~ 210 секунд. То есть это не "схватил-положил", а полноценные процессы "достать, сложить, убрать в ящик". В свежем обновлении добавили 35 тыс. клипов с фокусом на разгребание куч разнородных предметов. Это именно та задача, на которой сыпется большинство моделей. Немного цифр о всем датасете 🟢Объем (заявленный): 95 ТБ (об этом ниже). 🟢Количество клипов: 1M+ (в планах). 🟢Разрешение: 1600x1296 @ 30fps. 🟢Формат: .mcap (стандарт для ROS, внутри сжатый H.264). Весть проект запланирован объемом 95 ТБ и хронометражем 10,000 часов. Но если посчитать, то что уже залито (Stage 1 + Stage 2), то суммарно около 5.4 ТБ и ~1600 часов. Остальное обещают догрузить as soon as possible. 🟡Важно знать Данные собраны специфическим гриппером GenDAS, так что если у вас другой сенсорный массив (или его нет), transfer learning может стать болью. Ассеты заточены под железку GenRobot. Это все еще телеоперация. То есть мы учим робота копировать движения человека-оператора и если он тупил или руки дрожали сетка это тоже выучит. Тем не менее, это очень крутой релиз для тех, кто пилит домашних роботов. Данные по завязыванию шнурков и разбору предметов в open-source редкость. 📌Лицензирование: CC-BY-NC-SA-4.0 License. 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Robotics #Dataset #RealOmni #GenRoborAI

⬆️Важный пойнт из подкаста про масштабирование ML-пилотов: когда проект начинает расти, IT-инфраструктура становится не менее важной, чем сама ML-часть продукта. Чтобы спокойно пройти этот этап, в Selectel можно арендовать облачные и выделенные серверы с GPU – от GTX и RTX до A100 и H200. Облачные серверы позволяют гибко наращивать ресурсы, а выделенные подходят для стабильного инференса и долгоживущих ML-нагрузок. Хороший вариант, чтобы масштабировать проект или запустить новую задачу. Протестируйте на практике: https://slc.tl/96epf Реклама. АО "Селектел". erid:2W5zFJpwcYG

✔️ Nvidia запрашивала у пиратов доступ к массиву книг для обучения ИИ. В обновленном коллективном иске против Nvidia всплыли неожиданные подробности: техногигант напрямую контактировал с крупнейшей теневой библиотеки Anna’s Archive. Согласно судебным документам, инженеры компании искали способ получить приоритетный доступ к массиву данных книг, чтобы ускорить обучение своих языковых моделей. Ситуация выглядит парадоксально: авторы иска утверждают, что Anna’s Archive предупреждал Nvidia о нелегальном характере контента. Однако менеджмент Nvidia, ссылаясь на конкурентное давление и острую нехватку качественных текстов, дал добро на скачивание. Речь шла о передаче 500 Тб информации, включающие материалы из LibGen и Sci-Hub, которые Nvidia планировала использовать для тренировки своих моделей. torrentfreak.com ✔️ OpenAI научила ChatGPT вычислять возраст пользователей по их поведению. OpenAI внедряет предиктивный анализ системы защитных фильтров для подростков. Алгоритм оценивает не только данные, указанные при регистрации, но и косвенные признаки: время активности в чате, историю аккаунта и поведенческие паттерны. Если нейросеть решит, что перед ней несовершеннолетний, ChatGPT ограничит генерацию взрослого контента, а в случае ошибочного срабатывания - придется подтверждать возраст через сервис Persona с помощью селфи. Это часть новой стратегии по ослаблении цензуры для взрослой аудитории, которая откроет доступ к материалам, ранее заблокированным для всех. Первыми новую механику опробуют пользователи из ЕС уже в ближайшие недели. openai.com ✔️ Anthropic: страхи о тотальной замене людей пока преувеличены. В свежем Economic Index Repot Anthropic выяснила, что ИИ берет на себя около четверти задач в половине всех профессий, но полное замещение сотрудников происходит менее чем в 10% компаний. Основной паттерн использования сместился от автоматизации к сотрудничеству. В топе сценариев по-прежнему лидирует кодинг, однако характер работы изменился. Разработчики все чаще используют Claude не для генерации кода с нуля, а для обучения, получения фидбека и доработки решений. Главный риск касается новичков. ИИ забрал на себя всю рутину, на которой традиционно набивали руку джуны и это создает проблему: продуктивность сеньоров растет, но у молодых специалистов исчезает полигон для получения первичного опыта. anthropic.com ✔️ Manus автоматизировал сборку и доставку приложений в сторы. Платформа представила функцию паблишинга, которая берет на себя техническую рутину по развертыванию приложений. Инструмент не только компилирует код, но и полностью автоматизирует подготовку тестовых окружений для iOS и Android. Для Android система генерирует готовый AAB-файл, который остается лишь загрузить в Google Play Console. С Apple интеграция еще глубже: Manus самостоятельно создает запись приложения в аккаунте разработчика, упаковывает сборку и отправляет ее в App Store Connect на ревью в TestFlight. Функция уже открыта для всех пользователей с доступом к Develop Apps. manus.im ✔️ Microsoft представила компактную модель для перевода бизнес-задач на язык математики. OptiMind — MoE-модель с 20B/3.6A параметров, которая умеет преобразовывать текстовые описания задач (планирование логистики, производство или цепочки поставок) в готовые математические формулировки, понятные профессиональному софту. Несмотря на скромный размер, OptiMind не уступает крупным аналогам. Инженеры Microsoft вручную чистили датасеты от некорректных решений и задействовали систему экспертных подсказок, которая корректирует логику модели в процессе генерации. Модель доступна на Hugging Face под лицензией MIT. microsoft.com @ai_machinelearning_big_data #news #ai #ml

🌟 GLM-4.7 Flash: лайт-версия флагмана GLM-4.7. В полку моделей, тех, что можно запустить локально, не продавая почку, прибыло. ZAI выкатили GLM-4.7 Flash - облегченную версию GLM-4.7 на 30 млрд. параметров, с контекстным окном в 128К на архитектуре MoE. Со слов создателей, модель должна занять нишу между сегментом SLM и проприетарными мастодонтами, предлагая SOTA-уровень в кодинге. 🟡MoE Всего 30B, но активных параметров на токен гораздо меньше, официальной инфы нет, но в сообществе пишут, что 3 млрд. 🟡Interleaved Thinking Киллер-фича для агентов, которая досталась в наследство от старшей GLM-4.7. Обычно модели выплевывают весь свой CoT в начале, а вот эта техника дает возможность модели думать перед каждым вызовом инструмента. 🟡Файнтюн на эстетику и DevOps Опять-таки, со слов Zai, они натаскали GLM-4.7 Flash не просто писать валидный HTML/CSS, а использовать актуальные паттерны, нормальные отступы и цветовые схемы. Плюс, подтянули работу с CLI и девопс-задачами (понимает права доступа, навигацию по файловой системе). 🟡Цифры тестов выглядят как конфетка. В SWE-bench Verified модель выбивает 59.2%. Для сравнения: Qwen3-30B-A3B: 22.0%, GPT-OSS-20B: 34.0%. В математическом AIME 25 тоже обходит конкурентов - 91.6%. А вот на BrowseComp она лучше GPT-OSS-20B почти в 1.5 раза. Вобщем, Flash-версия выглядит как идеальный кандидат для локальных кодинг-агентов. Если есть пара свободных видеокарт (или есть стойкость терпеть квантование на одной), это, возможно, лучшая рабочая лошадка на сегодня. 📌Лицензирование: MIT License. 🟡Модель 🟡Квантованные варианты под все 🟡Demo1 🟡Demo2 @ai_machinelearning_big_data #AI #ML #LLM #GLM #ZAI

✔️ Годовая выручка OpenAI пробила отметку в $20 млрд. на фоне 10х роста компьюта. Финдир OpenAI Сара Фрайер раскрыла свежую статистику: объем продаж за год превысил $20 млрд. Для сравнения, в 2023 году этот показатель составлял всего $2 млрд. За тот же период вычислительные мощности OpenAI выросли с 0,2 ГВт до почти 1,9 ГВт. По словам Фрайер, выручка фактически ограничена только доступностью железа: если бы мощностей было больше, монетизация шла бы еще быстрее. Чтобы поддерживать темп, OpenAI отказалась от стратегии единственного провайдера вычислений и теперь работает с диверсифицированной экосистемой партнеров. 2026 год в компании уже объявили годом "практического внедрения", делая ставку на то, что инвестиции в дата-центры начнут окупаться за счет реального применения ИИ в бизнесе и науке. openai.com ✔️ Sequoia Capital впервые вложится в Anthropic. Легендарный венчурный фонд готовится к своей первой инвестиции в разработчика Claude. Решение принято после недавней смены руководства фонда: новые управляющие партнеры отказались от консервативной тактики избегания концентрации капитала в нескольких сверхдорогих компаниях. Sequoia уже владеет долями в конкурентах Anthropic: OpenAI и xAI. Традиционно венчурные фирмы не финансируют соперничающие стартапы, однако масштабы ИИ-индустрии заставляют переписывать правила игры. Инвестиция станет частью гигантского раунда финансирования с целью в $25 млрд. Оценка Anthropic при этом достигнет $350 млрд, удвоившись всего за 4 месяца. Сама компания уже начала юридическую подготовку к IPO. ft.com ✔️ Южнокорейцы тратят на ИИ больше, чем на Netflix. По данным аналитиков из Aicel Technologies, ежемесячный объем платежей за подписки на ИИ достиг $55–60 млн. Это больше, чем средняя месячная выручка Netflix в стране, которая в 2024 году составляла около $50–55 млн. Безоговорочным лидером остается ChatGPT с долей 71,5%, за ним с большим отрывом следуют Gemini (11%) и Claude (10,7%). Средний чек у физлиц составляет $24, в то время как бизнес тратит около $74 в месяц. Эксперты отмечают, что генеративный ИИ стремительно превращается в базовую услугу. При текущей годовой выручке в $654 млн. рынок ИИ-подписок в Южной Корее уже в этом году может обогнать Coupang — крупнейший маркетплейс страны. kedglobal.com ✔️ Raspberry Pi представила плату расширения AI HAT+2. Новый модуль для Raspberry Pi 5 превращает одноплатник в станцию для работы с генеративным ИИ. Устройство подключается через PCIe и базируется на нейропроцессоре Hailo-10H, который выдает до 40 TOPS в вычислениях INT4. На борту AI HAT+2 8 ГБ собственной памяти LPDDR4X в которую загружаются языковые и визуально-языковые модели, не отнимая ресурсы у основного процессора. Новинка уже доступна по цене $130. Первые тесты подтверждают разгрузку CPU, однако бета-тестеры говорят, что программная экосистема для генеративных задач все еще находится в стадии активного развития. raspberrypi.com ✔️ В Columbia Engineering обучили робота реалистичной мимике с помощью YouTube. Команда Creative Machines Lab показала робота с гибким силиконовым лицом и 26 приводами, который самостоятельно освоил липсинк. Результаты работы, опубликованные в Science Robotics, демонстрируют новый подход к преодолению эффекта "зловещей долины" в робототехнике. Вместо традиционных политик, инженеры применили метод наблюдательного обучения. Процесс проходил в 2 этапа: сначала робот кривлялся перед зеркалом, сопоставляя работу своих моторов с визуальным результатом, а затем анализировал тысячи видеороликов с людьми на YouTube, обучаясь связывать звуки речи с движениями губ. Система показала способность адаптироваться к разным языкам без специальной перенастройки, хотя пока испытывает трудности со сложными звуками. Авторы уверены, что сочетание этой адаптивной мимики с разговорными моделями уровня ChatGPT или Gemini станет следующим шагом к созданию эмпатичных роботов-компаньонов. columbia.edu @ai_machinelearning_big_data #news #ai #ml

📌 Библиотека алгоритмов робототехники на Python. PythonRobotics - открытая коллекция кода на Python и учебник по алгоритмам робототехники, которую собрал Ацуши Сакаи. 🟡В проекте есть все: 🟢Локализация (EKF, фильтры частиц, гистограммные фильтры); 🟢SLAM (FastSLAM, ICP-сопоставление); 🟢Планирование пути (A, RRT, Дейкстра, D*, потенциальные поля, решетка состояний); 🟢Отслеживание траекторий (контроллер Стэнли, LQR, MPC); 🟢Навигация для манипуляторов; 🟢БПЛА; 🟢Проектирование движения для двуногих роботов. К каждой теме есть визуальные анимации, математические объяснения и рабочий код. Библиотека не перегружена, ее легко читать и понимать, она содержит практические алгоритмы. которые реально используются в индустрии. Это отличный образовательный ресурс с 2 212 коммитами, вкладом 138 разработчиков и активной поддержкой. Если вы изучаете робототехнику, создаете автономные системы или преподаете алгоритмы — этот ресурс для вас. У проекта лицензия MIT, так что можно свободно использовать его в личных или коммерческих проектах. А еще, это отличный пример, как выглядит хороший опен-сорс: образовательный, практичный, хорошо документированный и развиваемый сообществом. @ai_machinelearning_big_data #AI #ML #Robotics #Github

🙂 Как Cursor вайбкодил браузер - наглядно. Гендир Cursor, Майкл Труэлл, запостил в Х крутую тайм-лапс визуализацию процесса создания браузера роем агентов, о котором мы рассказывали на днях. Сколько раз пересмотрели? @ai_machinelearning_big_data

В этом году масштабируем ML-пилот и не сойдем с ума 💯 80% времени зачастую уходят не на обучение ML-модели, а на объяснение коллегам, почему она принесет профит. А еще на переписывание пайплайна, документации, настройку CI/CD — и все это на этапе пилота. Самое коварное — в статистике, ведь только 10-20% ML-пилотов доходят до прода. Пока вы были на новогодних каникулах, Selectel вместе с экспертами из «Контура» и «Точка Банка» разобрались, какие ML-проекты достойны релиза. Про экономику ML-проектов и реальные кейсы масштабирования смотрите в новом выпуске подкаста «Сегодня на ретро». ▶️ Что еще интересного есть в Selectel? Если вы давно хотите развивать ML-проекты, но вам не хватает опыта, посмотрите и другие выпуски «Сегодня на ретро». В них Selectel делится реальными кейсами и бенчмарками успешных ML-моделей для разных бизнес-сегментов. Selectel не первый год помогает компаниям разворачивать надежную IT-инфраструктуру для AI-решений. И если вы готовы масштабировать пилоты, присмотритесь к мощностям Selectel. Реклама. АО "Селектел". erid:2W5zFJoBW4p

✔️ Sakana AI выпустили RePo - LLM, которые умеют “наводить порядок” в контексте Обычные языковые модели читают текст как одну длинную ленту. Что ближе к началу внимания - то “важнее”. Что дальше - то модель видит хуже. И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать. Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном. Sakana AI предложили решение - RePo (Context Re-Positioning). Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст. Примерно как человек: ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её , а лишнее игнорируешь. Что делает RePo - подтягивает важные куски информации ближе - отодвигает шум и лишний текст - помогает вниманию модели фокусироваться на нужном В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают: - когда контекст длинный - когда много шума - когда важные детали раскиданы далеко друг от друга - когда данные структурированные (таблички, списки, правила) Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество. ▶️ Устойчивость к шуму (Noisy Context) Средний результат по 8 noisy-бенчмаркам: - Обычный RoPE: 21.07 - RePo: 28.31 🟡 Прирост: +7.24 пункта (сильно) Авторы отдельно фиксируют ключевую цифру: на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта. 🔥 Примеры прироста на конкретных задачах (везде RePo > RoPE) - TriviaQA: 61.47 → 73.02 (**+11.55**) - GovReport: 6.23 → 16.80 (**+10.57**) - 2WikiMultihopQA: 23.32 → 30.86 (**+7.54**) - MuSiQue: 7.24 → 13.45 (**+6.21* Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память. 🟡Подробности: pub.sakana.ai/repo/ 🟡Статья: arxiv.org/abs/2512.14391 @ai_machinelearning_big_data #RePo #SakanaAI #LLM #AI #AIAgents #Context #LongContext #Attention

🌟 NVIDIA KVzap: жмем KV-кэш в 4 раза. Все любят длинный контекст, но для GPU это больно - KV-кэш растет линейно и быстро сжирает VRAM. Например, для Llama-65B на 128k токенов кэш весит 335 ГБ. Существующие методы прунинга либо медленные, либо тупые и режут важное, либо требуют переобучения модели. NVIDIA предложили метод KVzap, который решает, какие токены можно забыть, глядя только на текущие хидден-стэйты. 🟡Логика метода разбита на 2 этапа: Поиск идеала (KVzip+). Берется медленный, но точный метод KVzip: модели скармливают текст, заставляют его повторить, и смотрят, на какие прошлые токены она реально обращает внимание. Это золотой стандарт важности токена. Но в проде так делать нельзя, это двойная работа. Аппроксимация (KVzap). Тут и происходит вся суть: крошечная модель-суррогат смотрит на входящий хидден-стэйт токена и предсказывает, насколько этот токен будет важен в будущем, то есть пытается угадать скор KVzip.

Модели 2-х видов: KVzap-Linear: простейшая линейная проекция (одна матрица). Она берет хиден-стэйт и тупо проецирует его в скалярный скор важности. Сложность: экстремально низкая (~0.02%). KVzap-MLP: двухслойный перцептрон. Внутри есть скрытый слой размером 1/8 от размерности модели и нелинейная активация. Сложность: низкая, но выше линейной (~1.1%).

🟡Все вместе это работает так Токен залетает в слой трансформера, модель-суррогат быстро считает его скор важности. Если он ниже порога - токен в кэш не пишется или удаляется. Но при этом всегда оставляется скользящее окно из последних 128 токенов, чтобы не терять локальный контекст, иначе модель сыпется. 🟡Результаты тестов. Проверяли на Qwen3-8B, Llama-3.1-8B и Qwen3-32B. Спойлер: работает везде. Удалось выкинуть до 75% KV-кэша, а это сжатие в 4 раза. На бенчмарках RULER (длинный контекст), LongBench и AIME25 падение метрик или нулевое, или меньше 1%. Оверхед от суррогатной модели мизерный - менее 1% FLOPs. 🟡Звучит, конечно, как гем, но давайте про минусы: 🟠Нужно дообучить этот маленький MLP для каждого слоя целевой модели. Датасет нужен, но процесс быстрый. 🟠Удаление токенов создает рваный кэш. У разных голов будет разное количество сохраненных токенов.

Это плохо, потому что стандартные ядра Paged Attention любят структуру. Чтобы реально получить ускорение, а не только экономию памяти, нужно писать кастомные CUDA-ядра, которые смогут эффективно жевать блоки переменной длины.

🟠Порог отсечения фиксированный. Если промахнуться с ним, то модель начнет галлюцинировать или забудет начало. 🟡По итогу, KVzap - крутой шаг к тому, чтобы гонять длинные контексты на GPU попроще. Метод умнее, чем Streaming LLM, и быстрее, чем полные методы разреженного внимания. Ждем интеграции в vLLM или TRT-LLM, а пока, чтобы скрасить ожидание, NVIDIA собрала на HF интерактивный лидерборд популярных методик компрессии KV-кэша. Код и веса моделей-суррогатов из тестов пейпера в открытом доступе, так что нет никаких ограничений, чтобы не покрутить KVzap на каком-нибудь тестовом сетапе. @ai_machinelearning_big_data #AI #ML #LLM #KVZAP #NVIDIA

✔️ ChatGPT Go за $8 в месяц теперь доступен глобально. После успешного пилота в Индии, OpenAI открывает тариф Go для всех стран, где доступен ChatGPT. Подписка стоит $8 в месяц и заполняет нишу между бесплатной версией и планом Plus. Подписчики Go получают доступ к модели GPT-5.2 Instant, увеличенные по сравнению с free в 10 раз лимиты на сообщения, генерацию изображений, загрузку файлов и расширенные память и контекстное окно. Вместе с новым тарифом, OpenAI анонсировала внедрение рекламных блоков, которые начнут тестироваться в бесплатной версии и в платном Go на территории США. Полное отсутствие рекламы теперь гарантируется только в подписках Plus и Pro. openai.com ✔️ Anthropic открывает доступ к Cowork для Pro-подписчиков. Компания снизила порог входа для Claude Cowork - ранее функция была доступна только в тарифе Max, но теперь она открыта для пользователей подписки Pro. Anthropic предупреждает: Cowork расходует ресурсы значительно интенсивнее обычного чата, поэтому владельцы Pro-аккаунтов могут исчерпать лимиты быстрее, чем пользователи Max. Параллельно с расширением доступа вышло обновление клиента: улучшена стабильность соединений и добавлено обязательное подтверждение перед удалением файлов агентом. Claude в сети Х ✔️ Рой ИИ-агентов на базе GPT-5.2 написал рабочий браузер за неделю. В ходе масштабного эксперимента команда Cursor запустила сотни скоординированных ИИ-агентов, которые без участия людей с нуля написали веб-браузер объемом более 3 млн. строк кода. Весь процесс занял меньше 7 дней. В реализации использовалась иерархическая структура: нейросети делились на планировщиков, исполнителей и валидаторов. Главным движком стала модель GPT-5.2 - она справилась с длительной автономной работой значительно лучше, чем Claude Opus 4.5. Модель от Anthropic на длинных дистанциях часто теряла качество. Помимо браузера, ИИ-рой собрал эмулятор Windows 7 и клон Excel. cursor.com ✔️ NASA запускает ИИ-инициативу для Луны и Марса. NASA анонсировала Foundational Artificial Intelligence for the Moon and Mars (FAIMM) - программу, которая внедрит ИИ в процессы исследования дальнего космоса. Инициатива направлена на использование LLM и алгоритмов ML для обработки массивов данных, полученных в ходе лунных и марсианских миссий. При этом профильное сообщество отмечает странный парадокс в стратегии агентства. По данным NASA Watch, FAIMM полностью игнорирует астробиологию, ключевую научную цель полетов на Марс, фокусируясь вместо этого на общих задачах освоения территорий. Фактически, агентство создает инструмент для анализа данных красной планеты, исключая из его задач главный вопрос, ради которого эти данные собираются. nasawatch.com ✔️ ИИ ускоряет карьеру ученых, но сужает горизонты мировой науки. Анализ 41,3 млн. научных статей, опубликованный в Nature, выявил парадоксальное влияние ИИ на академическую среду. С одной стороны, ИИ-инструменты работают как социальный лифт: ученые, использующие нейросети, публикуются в 3 раза чаще и получают почти в 5 раз больше цитирований, чем их коллеги. В среднем они становятся руководителями проектов на 1.5 года раньше. Однако, этот успех дорого обходится самой науке. Данные говорят, что массовое внедрение ИИ привело к сокращению глобального разнообразия научных тем на 4,6%, а профессиональное взаимодействие между учеными упало на 22%. Вместо того чтобы стимулировать открытие новых областей, алгоритмы чаще используются для шлифовки и автоматизации задач в уже изученных нишах, фактически консервируя научный поиск в границах известного. nature.com @ai_machinelearning_big_data #news #ai #ml

⚡️ Google выкатила TranslateGemma. Google продолжает радовать открытыми сайд-релизами. На этот раз они взяли свежую Gemma 3, накачали ее синтетикой от флагманской Gemini и отполировали через RL. Поскольку база - Gemma 3, модель умеет переводить текст на картинках (OCR + Translation) из коробки, без дополнительных танцев с бубном Google громко заявляет про поддержку 55 языков, на которых качество гарантировано. Но мелким шрифтом добавляют, что модель видела еще 500 языков. Работают ли они? Скорее всего, на редких диалектах галлюцинации будут знатные. В состав релиза вошли модели трех размерностей: 4B , 12B и 27B.

Справедливости ради - Google cравнивают новинку в основном с собой же. Пишут, что модель на 12 млрд. параметров уделывает базовую Gemma 3 на 27B. Как она стоит против специализированных NLLB (если они еще живы в 2026) - вопрос открытый.

Веса уже на Hugging Face и Kaggle. Хотя золотая середина в линейке на 12B вроде как компактная и легкая, но для топового качества на старшей версии все равно понадобится что-то на уровне H100. @ai_machinelearning_big_data #news #ai #ml