Data Secrets

Первый российский гуманоид вышел на сцену и даже успел улыбнуться, сделать два шага и попытку помахать зрителям рукой, прежде чем… Ну в общем, смотрите до конца

Снова вспоминается эта прекрасная иллюстрация происходящего

SoftBank продал всю свою долю в Nvidia, чтобы подсобрать денег на финансирование OpenAI Вчера стало известно, что 25 октября SoftBank продал акций Nvidia на 5.83 миллиарда долларов. Руководство заявило, что это никак не связано с изменением отношения к Nvidia: скорее это стратегический шаг для «ИИ-расширения». Помимо акций Хуанга, SoftBank также продал почти все свои акции T-mobile на 9.17 миллиардов и увеличил размер маржинального кредита под залог акций Arm. Все эти деньги им нужны для того, чтобы… финансировать OpenAI. В декабрьском раунде компания планирует вложить в стартап 22.5 миллиарда (учитывая, что до этого уже переводили 10 миллиардов). Кроме того, около 20 миллиардов пойдет на Stargate (тоже, по сути, OpenAI), а еще 10-11 миллиардов – на сделки с Ampere Computing и проекты по робототехнике. По итогу, доля SoftBank в OpenAI увеличится с 4 до 11%. В компании, видимо, посчитали, что это круче, чем владеть акциями Nvidia. К тому же, здесь они принимают непосредственное участие в проектах. Акции Nvidia на фоне новости упали аж на 3%. Но ничего, им вернется: ведь все мы знаем, куда OpenAI потратит деньги, которые получит от SoftBank 😊

Топ-10 неожиданных концовок собеседования

⚡️ Ян Лекун планирует уходить из Meta и открывать собственный стартап Об этом пишет Financial Times. По их словам, ученый уже находится на ранней стадии переговоров с инвесторами для своей новой компании. Заниматься будет, угадайте чем? Конечно же, всевозможными world models, о которых он уже кучу лет рассказывает буквально в каждом своем интервью и выступлении. Видимо, Лекуна все-таки не устроила новая корпоративная структура, в которой он должен подчиняться молодому зеленому Александру Вану. Хотя сам ученый пока не комментирует ситуацию.

Как снизить риски при работе с AI в облаке 🔗 Практические рекомендации для IT-специалистов В прошлом году количество инцидентов с использованием AI выросло на 56%.

Ошибки в работе с AI открывают двери для: 😶‍🌫️манипуляций через промпт-инъекции 😶‍🌫️несанкционированного доступа к пользовательским данным 😶‍🌫️атак, связанных с недобросовестными поставщиками ПО

Чтобы рассказать, как правильно работать с AI-инструментами в облаке, Cloud.ru собрал подробный бесплатный гайд — «Защищенный AI в облаке: как избежать киберугроз».

Внутри инструкции по: 😶‍🌫️контролю доступа 😶‍🌫️аудиту логов 😶‍🌫️правильной настройке изоляции 😶‍🌫️и не только

Забрать гайд можно по ссылке

Внезапный факт: Anthropic может выйти в плюс гораздо раньше OpenAI WSJ проанализировали финансовые отчеты обеих компаний и выяснили, что Anthropic, судя по всему, пройдет точку безубыточности уже в 2028. OpenAI же в 2028 все еще будет уходить в минус, причем в немаленький: по предварительным оценкам, убыток составит ~74 миллиарда долларов. Ранее OpenAI обещали, что начнут зарабатывать в 2029, но теперь ясно, что это случится не раньше 30 года. Уж слишком много они планируют потратить на инфраструктуру (журналисты пишут об 1.4 триллионах за 8 лет). Стратегия Anthropic другая, у них расходы растут примерно с той же скоростью, что и доходы. И кстати, 80% их выручки все еще приходится на корпоративных клиентов.

Meta* поделились деталями о новой модели GEM, которая теперь лежит в основе их рекомендательных систем Это гибридная архитектура на основе трансформера (вдохновенная, естественно, LLM). Заявляется, что модель настолько хороша, что уже привела к заметному росту конверсий на рекламу: +5% в Instagram и +3% в Facebook за второй квартал. Скачки очень существенные, поэтому давайте смотреть, что у модели внутри. Главных технических фишечки тут три: В итоге мы получаем: (а) масштабируемость; (б) возможность эффективно учитывать все фичи и их связи; (в) адекватное поведение модели на длинных последовательностях. Ну и судя по скачкам конверсий, работает это неплохо. Еще пишут, что планируют добавить ризонинг. Если интересуетесь рексисами, обязательно почитайте статью полностью

RL не улучшает навыки ризонинга модели Тренд на негативные статьи о том, что "что-то не работает или работает не так, как мы думали", остается с нами. В этот раз хайпует китайская работа под названием "Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?". Мы все привыкли к тому, что в целом ризонинг – это про RL*. Но в этой статье показано, что на самом деле ничего сверхъестественного RL не вносит, а просто переупаковывает то, что уже было в распределении базовой модели. Как это проверяли? Основная метрика – pass@k: задача считается решенной, если среди k попыток модели (сэмплов) есть хотя бы одна правильная. Для авторской гипотезы метрика как раз очень подходит, потому что отражает именно потенциал модели решать задачу при разумном числе попыток. И вот что получается. При малых k RLVR-модели действительно чаще попадают в правильный ответ (то есть у них выше pass@1), но при росте k базовые модели догоняют и превосходят RLVR практически на всех наборах задач и семейств моделей. Это значит, что эти методы не расширяют границы решаемости задач (в том числе математических и кодовых), они просто повышают эффективность семплирования уже существующих траекторий aka вероятность сразу пойти по нужному пути, и поэтому работают. Плохо ли это? Нет. Но означает, что и слишком больших надежд на RLVR возлагать не стоит: все равно все опять упирается в претрен. * Дисклеймер: в статье речь именно про RLVR, то есть Reinforcement Learning with Verifiable Rewards. RLHF, например, сюда не относится, но вот куча других популярных алгосов, типа PPO/GRPO/Reinforce++ и тд – да.

PostgreSQL опубликовали топ-50 главных контрибьюторов проекта: в список вошел Андрей Бородин, руководитель разработки СУБД с открытым исходным кодом в Yandex Cloud На данный момент PostgreSQL является самой популярной опенсорсной СУБД в мире. Особенно в сегменте ИИ- и ML-проектов: векторный поиск помогает моделям быстрее находить и анализировать нужную информацию. Например, PostgreSQL применяют при создании ChatGPT. Получить статус контрибьютора в проекте очень нелегко: нужно не просто коммитить, но и проходить долгое строгое ревью. Процент коммитов, которые в конечном счете одобряют, довольно мал, – доработка должна быть действительно существенной. Андрей стабильно контрибьютит с 2016, четвертый раз входит в топ-50 контрибьюторов года и теперь имеет статус major contributors. Их в проекте всего 52, этот статус выше, чем significant contributor, и означает, что разработчик "оказывает существенное влияние на кодовую базу и процессы". Интересно, что вклад команды Бородина не ограничивается только ядром PostgreSQL. Недавно они разработали SPQR (Stateless Postgres Query Router), систему с открытым исходным кодом для горизонтального масштабирования PostgreSQL через шардирование. Она уже доступна сообществу: если любите Postgres, потрогать проект можно здесь. Отдаем дань уважения 👒

Внезапно: по мнению Яна Лекуна LLM-модели — это не «пузырь» На его взгляд, здесь нет инвестиционного пузыря: LLM уже сейчас находят практическое применение и будут ещё долго приносить пользу. Пузырь – это не сами LLM, а вера в то, что одни только они смогут достичь уровня человеческого интеллекта, то есть AGI. Дальнейший прогресс требует прорывов, а не просто большего объема данных и вычислений. «Мы упускаем что-то важное»

Российские исследователи нашли способ обучать LLM логическим рассуждениям быстрее и дешевле Исследователи из T-Bank AI Research совместно с Центральным университетом представили новый метод, который позволяет развивать способность к логическим рассуждениям у больших языковых моделей без дорогостоящего полного переобучения. Исследование станет хорошим подспорьем для дальнейшего изучения интерпретируемости ИИ. Вместо того чтобы менять миллиарды параметров, они добавили небольшие подсказки-векторы, которые усиливают логические шаги модели в нужном направлении. Такой подход сохраняет все преимущества большой модели, но требует значительно меньше вычислительных ресурсов. Эффективность метода протестили на шести бенчмарках по математическому рассуждению: при изменении всего 0.0016% параметров сохраняется 100% качество полного дообучения. Потребление памяти сокращается с гигабайтов до сотен килобайт. Метод уже затестили на LLM Qwen и LLaMA. Потенциально он сможет встраиваться в существующие пайплайны, например, чат-боты, системы проверки кода или аналитические платформы. Поэтому даже университетские лаборатории и небольшие компании смогут обучать reasoning-модели. Метод представили на одной из ведущих международных конференций в области ИИ по эмпирическим методам обработки естественного языка (EMNLP 2025) уровня А* в Китае.

А вот так выглядит первая тестовая производственная линия Теслы для Optimus В 2026 должна появится еще одна, уже более крупная. Это пока пилот. Компания пишет, что их цель – это достичь себестоимости в 20к долларов на робота, и тестируют они их прямо тут же, на заводе и в лабораториях (что может пойти не так?)

Плохая новость: сейчас больше статей в Интернете пишется ИИ, чем людьми По графику видно, что разрыв пока небольшой, но увеличивается 👽 Аналитику нашли вот тут. Сейчас немножко расскажем о том, как это считали. 1. Взяли популярный CommonCrawl и случайно выбрали 65к страниц со статьями, написанными с 2020 по 2025 год. 2. Статьи делили на чанки и закидывали в Surfer AI Detector. Если более половины текста в статье классифицировалось как AI-made, то статья определялась как написанная ИИ, иначе – как написанная людьми. 2.1. Еще делали проверку на false-positives по датам (например, понятно, что до появления ChatGPT большинство статей должны класссифицироваться как человеческие). Впервые доля ИИ-статей превысила человеческие в ноябре 2024, потом был короткий период надежды, и теперь ИИ снова доминирует. Из хорошего: ИИ-статья в данном случае – это не обязательно прям от и до, возможно было какое-то ленивое редактирование человеком. Ну и еще авторы говорят, что пока таких статей довольно мало в топах поисковых выдач, что тоже не может не радовать.

Ноябрь — месяц One Day Offer в GigaChat и Kandinsky 📆 В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели. Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!

Понедельник, настроение: P.S. Сожалеем о его потерях

Сэм Альтман в интервью: «Думаю, все корпоративные приложения можно заменить на общую платформу на основе ИИ»

«В Slack много всего хорошего, но иногда он создает много фейковой работы. Думаю, что вместо этого можно создать что-то новое: что-то вроде офисного пакета на основе ИИ, который заменит docs, slides, email, Slack и тд. Это будет что-то на основе агентов, которые выполняют основную часть работу и эскалируют ее человеку, только когда это действительно необходимо»

Маск отреагировал на новость простым лаконичным: «А я говорил, что они собираются напрямую конкурировать с Microsoft». Напоминаем, что некоторое время назад миллиардер призывал Microsoft перестать работать с OpenAI, предупреждая компанию, что иначе стартап «съест ее заживо» ☕️

Как работают большие языковые модели, почему они «понимают» контекст и как запустить их у себя локально — без облаков и танцев с бубном? 👨‍💻🛠👨🏻‍💻 На открытом уроке разберём, как устроена архитектура Transformers, как LLM выбирает слова при генерации текста и почему от формулировки промпта зависит результат. Покажем, как развернуть модель локально через vLLM, протестировать её работу через API и использовать контекстные ответы на основе документов. Если вы разработчик, аналитик или продакт, который хочет не просто использовать ChatGPT, а понимать, как всё это устроено под капотом — этот вебинар для вас. ➡️ Приходите на открытый урок 10 ноября в 20:00 МСК в преддверии старта курса «LLM Driven Development». Регистрация открыта: https://otus.pw/ToDw/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Тем временем новая Kimi-K2-Thinking уже все выходные висит в самом топе трендовых моделей HiggingFace Кстати, выяснилось, что ее обучение стоило MoonshotAI всего 4.6 миллионов долларов. DeepSeek R2, ты ли это

Google предложили новую ML-парадигму Nested Learning, с помощью которой модели смогут учиться непрерывно Google все не оставляют попыток повторить свой успех 2017 года и снова изобрести в ИИ что-то новенькое и прорывное. Может, когда-нибудь одна из вот таких интересных работ и стрельнет. В этот раз они предлагают переосмыслить нейросеть как таковую и начать рассматривать модель не просто как одну крупную оптимизационную задачу, а как набор вложенных (nested) оптимизационных задач, каждая из которых имеет свой контекстный поток и своё время обновления. В первую очередь это попытка решить проблему катастрофического забывания. Память современных моделей, мягко говоря, сильно ограничена, и после предобучения или файнтюнинга их уже не так-то просто научить чему-то еще: при обучении на новых данных старые навыки начинают деградировать. Это гигантский глобальный недостаток, учитывая, что мы тут все вообще-то ждем AGI, который сможет непрерывно учиться и самосовершенствоваться. А вот как работает Nested Learning:

1. Авторы формализуют модель как множество оптимизационных задач: у каждой есть свой поток информации, на которой она учится, и своя частота обновления. Например, компоненты с высокой частотой обновления отвечают за адаптацию к текущему контексту, с низкой частотой – за какие-то базовые знания, и тд. 2. Но просто так, по щучьему веленью, модель не поймет, что и когда обновлять. Поэтому авторы предлагают сделать обучаемым сам оптимизатор. То есть алгоритм, который отвечает за обновление весов, перестает быть просто формулой и превращается в такую же нейросеть. Это называется Deep Optimizers. 3. Формально оптимизатор рассматривается как ассоциативная память, которая учится связывать градиенты с правильными изменениями весов. В этом смысле привычные SGD или Adam – это простейшие частные случаи (об этом, если интересно, подробнее читайте в самой статье).

Звучит немного замысловато, но об этом можно думать вот как: в последнее время очень модно делить память моделей на кратковременную и долгосрочную, а NL просто обобщает эту идеи и предлагает концепцию спектра памяти с множеством таких модулей. И на практике это реализуется аналогично. В частности, Google просто взяли свою старую архитектуру TITAN (мы о ней вот тут писали), в которой как раз были модули долгой и короткой памяти, и расширили ее на неограниченное число уровней in-context обучения. Получившаяся HOPE в каком-то смысле стала первой в своем роде само-модифицирующейся моделью. И, что самое интересное: эксперименты показали, что HOPE, по сравнению с базовыми трансформерами, имеет более низкую перплексию и более высокую точность в задачах common-sense reasoning и long-context memory. Статья | Блогпост