Data Secrets

Просто выпуск Друзей от ноября 1999 года

К 2030 году появятся компьютеры, которые смогут выполнять столько же функций, сколько и настоящий человеческий мозг

Они что-то знали 💡

Китайская лаборатория BAAI выпустила открытую SOTA модель для робототехники RoboBrain 2.0 – это модель общего назначения для управления роботами. Это не просто VLA, а «модель мозга». Модель поддерживает рассуждения и долгосрочное агентное планирование, устойчивое восприятие 3D-пространства и рассуждения на основе сцены, а также долгосрочную обновляемую память. Под капотом: Vision Encoder + MLP Projector. На вход принимает и видео, и картинки, и, конечно, текст. Через адаптеры все подается в LLM энкодер, который и выполняет поставленные задачи. Пока доступна модель на 7В, скоро выйдет на 32В. Модель побольше на робо-бенчах обгоняет и открытых, и закрытых конкурентов. В том числе Claude Sonnet 4 и o4-mini. Радует, что снова появляется явный тренд на открытую робототехнику GitHub | HuggingFace

Доброе утро, поклонники AI! Сегодня — тот день, когда всё внимание приковано к событию в ТехноХабе Сбера в Петербурге! Именно здесь открывает новый день международная сессия AI Journey — с актуальными темами, живыми спикерами и технологиями, которые меняют отрасли. Сегодня в программе суперэксперты из Индии, Китая и Сербии, а российскую сторону представляют Сбер, Сколтех, Институт AIRI и другие технологические лидеры AI-индустрии. 🔗 Подключайтесь к трансляции — всё самое интересное начинается сейчас.

«Китайские шпионы систематически похищают технологические ИИ-секреты США» – Александр Ванг Александр Ванг заявил, что хоть США пока и опережает Китай в железе и алгоритмах, Азия уже скоро вырвется вперед благодаря: 1. Шпионажу. Китай с 2018 года реализует масштабный государственный ИИ-план. В том числе они масштабно засылают шпионов в американские компании. Пример – «Инженер Google украл проектную документацию по ИИ-чипам и начал на её основе бизнес в Китае». Своих же исследователей китайцы строго изолируют и проверяют. 2. Разметке. В Китае насчитывается более 2 миллионов человек, которые занимаются аннотированием данных – против всего 100 000 в США. Данных для обучения у них уже больше. 3. Информационной войне. Китай использует ИИ для создания передовых инструментов в области влияния на сознание и тем самым манипулируют общественностью. Вот такие байки от будущего главы ИИ в Meta. Верим? Источник: новое интервью

Ученые из Anthropic предложили новый метод самообучения моделей Традиционно файн-тюнинг строится на размеченных людьми данных. Но со временем данных становится больше, и задачи ИИ усложняются. А значит, находить квалифицированных разметчиков все сложнее (и дороже), да и в целом разметка становится менее надежной. Решение от Anthropic и университетов-партнеров – алгоритм под названием «Internal Coherence Maximization» или ICM, то есть Максимизация внутренней когерентности. С помощью него тюнить модели можно вообще без человеческой разметки. Когерентность – это принцип из философии, который означает, что все сущее находится во взаимосвязи. Собственно, тут все построено на нем, и модель в ICM должна сама определить, какой ответ на вопрос правильный, основываясь на двух критериях: 1️⃣ Взаимная предсказуемость. Это означает, что каждый ответ должен надежно следовать из предыдущих. Модель проверяет, есть ли закономерности и соответствует ли ее ответ остальным аналогичным случаям. 2️⃣ Логическая согласованность. Здесь модель проверяет свои собственные ответы на противоречия, чтобы метки логически не спорили друг с другом (наример, если 2+3 = 5, то 3+3 уже не может быть равно 5). Вот и все. Сначала мы подсовываем модели совсем небольшой размеченный датасет, а затем она, используя эти два правила, обучается "автономно". На некоторых тестах метрики на таком обучении даже превосходят метрики от обычного файн-тюнинга с человеческой разметкой. И в самой разметке модель тоже иногда допускает меньше ошибок: например, на тесте определения пола автора текста, на котором люди выбивают не более 60% случаев, ICM достигла точности в 80%. Конечно, работает это только с концептами, которые уже хоть как-то знакомы модели + пока есть сложности с длинным контекстом. И тем не менее, выглядит все еще многообещающе. alignment-science-blog.pages.dev/2025/unsupervised-elicitation/paper.pdf

OpenAI завезли в Codex прикольное обновление: теперь агент может генерировать несколько вариантов ответов В настройках можно установить их количество – от 1 до 4. Особенно удобно, когда надо, например, быстро получить несколько путей устранения бага или увидеть разные варианты имплементации.

Китайские инженеры летают в Малазию с рюкзаками жестких дисков с данными, чтобы обучать модели Если раньше китайские стартапы обходились черным рынком для покупки чипов Nvidia, то теперь, после ужесточения контроля США, они перешли на следующий уровень: теперь, вместо ввоза чипов, они вывозят данные. Об этом написал WSJ. Сообщается, что некоторое время назад четыре сотрудника китайского ИИ-стартапа летели из Пекина в Куала-Лампур, и каждый вез с собой 15 жестких дисков с 80Тб данных для обучения модели. Судя по всему, операция была тщательно спланирована. Данные решили переправить так, потому что онлайн передача заняла бы много времени и привлекла внимание. По прилете в Малазию сотрудники арендовали 300 серверов Nvidia, на которых, предположительно, сейчас и обучают модели. Чего только не сделаешь ради падающего лосса. Скоро голубями будут отправлять 🥲

Claude Opus написал статью-ответ на резонансную работу Apple The Illusion of Thinking Его дисс называется The Illusion of the Illusion of Thinking и Opus в нем числится первым из двух авторов. Вот это папира, лежит на arxiv. Док небольшой, всего три страницы. Если кратко, Клод предъявляет ряд претензий к дизайну экспериментов Apple. Вот основные: 1️⃣ Автоматическая система оценки работала неправильно. Она засчитывала ответ только если модель могла явно перечислить все шаги решения, не различая не различая ситуацию «не могу» и «могу, но не буду перечислять всё». Также некорректными были исходные метрики сложности задач: авторы считали ее просто по числу шагов, не учитывая количество вариантов решения, NP сложность и другие нюансы. 2️⃣ Авторы давали модели нерешаемые задачи. Например, тестировали River Crossing с N ≥ 6 при вместимости лодки 3. Такие задачи математически не имеют решений, но модели все равно получают 0 баллов за «провал». 3️⃣ Ограничений по длине ризонинга не должно было быть. Якобы в задачах типа Башни Ханоя модели не провалились в рассуждениях, как утверждается в оригинале, а остановились из-за ограничения на количество токенов. При этом если попросить вывести ответ в другом формате (например, написать функцию для решения задачи) – все работает. Ризонинг-модель пишет диссы на человеческую статью про ризонинг. Добро пожаловать в 2025 ☠️

И снова Черное Зеркало: OpenAI объединяется с производителем Барби, чтобы выпускать игрушки с ИИ Стартап снова захватывает новую для себя область распространения своих моделей. На этот раз они подписали соглашение о сотрудничестве с Mattel. Это производители Барби, Hot Wheels, UNO, Polly Pocket и других бестселлеров в мире игрушек. Первый совместный продукт компании планируют выпустить к концу года. Ставку обещают сделать на безопасность 😎

Reinforcement Pre-Training: новая трендовая статья от ученых из Microsoft и Пекинского университета Стандартное предобучение LLM сводится к максимизации предсказанной вероятности истинного следующего токена по контексту. То есть модель просто предсказывает следующие токены и мы сверяем их с истинными. В этой статье же предлагают иной подход – next-token reasoning (ака а давайте добавим обучение с подкреплением еще и сюда). Это значит, что мы не дожидаясь тюнинга, с самого первого этапа обучения – предобучения на текстах – учим модель рассуждать. Здесь задача сети не просто предсказать следующий токен, а сначала сгенерировать chain-of-thought, а только затем – токен. Награда выдается за точное совпадение с истинным префиксом. Такое RPT-обучение сопоставимо по эффективности с увеличением модели в 2 раза. То есть RPT-14B показывает заметный прирост по сравнению с ванильно обученной R1-Distill-Qwen-14B и по среднему показателю next-token accuracy достигает уровня R1-Distill-Qwen-32B. Конечно, и компьюта на такой трейн требуется в разы больше. Но есть еще один плюс: RPT-модель, за счет того, что для нее CoT уже знаком с претрейна, дает гораздо более хорошую базу для дальнейшего RL, то есть в будущем с помощью RL RPT бустанется в разы лучше, чем обычная базовая модель. Занятно, конечно arxiv.org/abs/2506.08007

А еще там 7 лет исполнилось легендарной статье, на которой строилась вся ИИ-индустрия 🍷

Директором нового ASI-отдела в Meta станет Александр Ванг На днях мы писали о том, что Meta пересобирает свой ИИ-отдел, и занимается этим лично Цукерберг. Сегодня стало известно, что главой нового подразделения станет молодой миллиардер Александр Ванг. Ванг – создатель Scale AI. Он не классический представитель рисерча, зато он – супер талантливый предприниматель и стратег. Ему всего 28, но он уже построил многомиллиардную компанию, успешно ей управляет и привлекает лучших инженеров. Для того, чтобы Александр работал на Meta, компания выкупает 49% акций Scale AI за 15 миллиардов долларов. Футболисты курят в сторонке 🚨

Breaking: в Твиттере обнаружили отца вайб-кодинга

Научное сообщество подтвердило корректность работы Платформы A/B тестирования от X5 Собственная платформа А/В тестирования применяется в Х5 с 2022 года, за это время на ее базе провели более 500 экспериментов. И вот наконец сейчас она официально была верифицирована научным сообществом, а именно – экспертами Международной лаборатории стохастических алгоритмов и анализа многомерных данных факультета компьютерных наук НИУ ВШЭ. Верификация подразумевает и проверку соответствия современным научным практикам методологии, и корректность её реализации. С помощью платформы Х5 имеет возможность анализировать влияние различных факторов на эффективность работы конкретных магазинов ее сетей и, соответственно, считать реальный экономический результат от тех или иных изменений. Причем изменения могут быть как позитивные, так и негативные. Напомним, Х5 управляет сетями “Пятёрочка”, “Перекрёсток” и “Чижик”, так что масштаб для тестирования огромен, а значение такой разработки внутри компании сложно переоценить. Тем более, что теперь она официально верифицирована.

Директор национальной разведки США радостно заявила толпе, что скормила ChatGPT 80000 страниц секретных документов об убийстве Кеннеди Талси Габбард на днях выступала на конференции Amazon Web Services и рассказывала про плюсы ИИ. В числе прочего она как бы между прочим рассказала, как советовалась с чат-ботом по поводу того, какие секретные материалы стоит опубликовать, а какие лучше оставить в тайне. «Это значительно ускорило обработку этих документов» – добавила она. После конференции она, правда, заявила, что это была система развернутая внутри контура разведки (но это не точно)

Sakana AI релизнули модель для генерации моделей Она называется Text-to-LoRA. LoRA – это метод файнтюнинга, когда мы вместо полного дообучения всей сети настраиваем для нужных нам задач специальные низкоранговые адаптеры. Это довольно эффективный метод, но и он требует сбора данных и какого-никакого обучения. Sakana же предлагают модель, которая на лету генерирует сразу готовые LoRA адаптеры из обычного текстового промпта. Например, на вход: «хочу модель для анализа отзывов в картах». На выход: готовые веса адаптера, которые не надо обучать, а остается только запустить. Под капотом у T2L лежит классический hypernetwork-подход. Гиперсеть получает на вход эмбеддинг описания задачи вместе с эмбеддингами для каждого слоя исходной модели, а потом через серию MLP-блоков генерирует нужные низкоранговые матрицы A и B, которые сразу прикладываются к базовым весам. Это и есть готовый LoRA-адаптер. На тестах это работает хорошо: в среднем +8 % к точности над исходником. Это примерно на уровне или даже лучше, чем ручные LoRA и мульти-задачные LoRA. Представьте, насколько это снижает порог входа в тюнинг моделей для не-инженеров Статья | GitHub

Avito раскрыли много интересных деталей про свою AI-кухню Совсем недавно компания открывала двери своего московского офиса в рамках Data Fest. Во время выстеплений инженеры Avito раскрыли много занятных тех.деталей об A-Vibe. Собрали основное: ➖ A-Vibe работает в два раза быстрее конкурентов на русском языке за счет кастомного токенизатора. Подменить токенизатор не так то просто: о том, как конкретно это делали можно почитать в нашей статье. Плюс, дообучение: 700 миллиардов токенов из открытых датасетов, обезличенные данные Авито и даже олимпиадные задачи. ➖ Модель также хорошо умеет работать с изобрежениями. Для обучения создали датасет из 200 тысяч изображений реальных объявлений и миллиона пар вопрос-ответ, используя большие VLM для генерации разметки. На проде модель уже генерирует описание к объявлениям и используется в рексис. ➖ В поддержке Авито агенты уже используют ИИ-инструменты. LLM научили переписывать ответы сотрудников поддержки, делая их более эмпатичными и грамотными. А когда диалог переходит от одного сотрудника к другому, модель делает саммари диалога, чтобы человек быстрее понял контекст. ➖ Оказывается, у Avito есть собственная единая платформа для всех ML-задач. Внутри – хранилище фичей, система разметки данных людьми и LM, а также решение для для оптимизации инференса (опенсорс!). Главная цель – чтобы каждый сотрудник мог создать и запустить модель без кода. Уже сейчас платформа экономит 30% железа и кучу рабочего времени. ➖ Над A-Vibe частично работали стажеры. Ребята работают над имплементацией свежих статей, пытаются решать проблемы типа взрыва градиентов и обучают модели с нуля. Один стажёрский проект даже сократил расходы на автоматическую проверку звонков в 10 раз. Редкий случай, когда удается взглянуть на ИИ в бизнесе под таким углом. Авито – респект

Хорошие новости: OpenAI удвоили лимиты на o3 для Plus юзеров Конечно, o3-pro все еще недоступна в подписке за 20 долларов, но зато, после падения цен, в ней удвоились лимиты на обычную o3. Раньше было 100 запросов в день, теперь будет 200. Хватит практически на все. Кстати, вчера исполнилось ровно 5 лет API OpenAI. Его запустили 11 июня 2020 года, после выхода GPT-3.

CEO Nvidia Дженсен Хуанг рассказал, как он продал первую видеокарту OpenAI

«Это был 2016 год и мы создали суперкомпьютер для AI. 0 клиентов, 0 интереса, 0 хайпа. Только непонимание. Но оказалось, что один молодой стартап был заинтересован. Я подумал, что сейчас наконец-то продам видеокарту, но потом узнал, что это был non-profit стартап. Но я все равно взял видеокарту и повез им ее сам. Стартап назывался OpenAI»

Источник: свежий VivaTech Paris 2025

Автоматизируйте ML-эксперименты с GitLab CI/CD и CML 📅 17 июня в 20:00 мск — бесплатный вебинар с Николаем Осиповым Хотите, чтобы эксперименты запускались сами, метрики попадали в Merge Request, а модели легко воспроизводились? На вебинаре: — Интегрируем GitLab CI/CD в ML-процесс — Используем CML для автоматической визуализации результатов — Запускаем обучение моделей при каждом коммите — Настраиваем работу в облаке и версионирование через Git 📌 Полезно для: — Data Scientists, внедряющих MLOps — ML-инженеров, автоматизирующих пайплайны — Техлидов, выстраивающих эффективный ML-конвейер 🎯 Итог: настроите стабильную и воспроизводимую систему ML-разработки — без ручного запуска, с чистыми метриками и контролем версий. Присоединяйтесь к бесплатному вебинару и получите скидку на большое обучение онлайн-курса «MLOps». 👉 Регистрируйтесь по ссылке и начните выводить ML на прод https://otus.pw/RZLI/?erid=2W5zFGwMVAg  Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.