Data Secrets

Вышел PyTorch 2.10 Технические детали релиза:

🟦 Поддержка Python 3.14 и сборки без GIL. Добавили torch.compile для свежего Python, включая экспериментальную поддержку freethreaded-режима (3.14t). Это задел на будущее, чтобы эффективно масштабировать вычисления на CPU без ограничений Global Interpreter Lock. 🟦 Нативный оператор varlen_attn(). В ядро добавили встроенную поддержку внимания для последовательностей переменной длины. Раньше это часто реализовывали через сторонние библиотеки вроде xformers или vLLM, теперь оптимизация доступна из коробки. 🟦 Горизонтальное слияние ядер в TorchInductor. Теперь компилятор умеет объединять мелкие независимые операции в одно ядро (combo-kernels), что сокращает оверхед на запуск (kernel launch overhead) и эффективнее использует пропускную способность памяти. 🟦 Новый инструмент DebugMode. Появился продвинутый режим для поиска численных расхождений и отладки графа. Он позволяет отслеживать детерминированные хеши тензоров на разных этапах выполнения, что сильно упрощает поиск причин появления NaN или «поплывших» весов. 🟦 Продолжают активно понижать порог входа не для CUDA. Для Intel GPU завезли поддержку FP8 и работу с комплексными числами, а для AMD (ROCm) — ускоренный Scaled Dot Product Attention через AOTriton. 🟦 Детерминизм при компиляции. Теперь torch.compile корректно обрабатывает флаг use_deterministic_mode. Это критически важное обновление для тех, кому важна 100% воспроизводимость результатов при использовании графовых оптимизаций. 🟦 Гибкий Autograd. Появилась возможность задавать grad_dtype для листовых тензоров и аннотировать непересекающиеся проходы обратного распространения (disjoint backward) для оптимизации чекпоинтов.

Подробности в блоге: https://pytorch.org/blog/pytorch-2-10-release-blog/

OpenAI планирует брать долю от интеллектуальной собственности, созданной с помощью их моделей Звучит немыслимо, но это дословное заявление финансового директор компании Сары Фрайар. Она объяснила, что OpenAI рассматривает эволюцию бизнес-модели за пределы подписок, так как текущая модель слишком проста и недостаточна для покрытия затрат на компьют.

«Мы думаем, что нормально брать долю на commerce layer и даже на discovery layer. <> Это нужно для устойчивости, чтобы финансировать AGI для блага человечества».

Доля на commerce layer – это комиссии от покупок, которые сделаны прямо в ChatGPT. А discovery layer – это самое интересное: доля от интеллектуальной собственности (IP) или будущей ценности созданного. Например, если ИИ сгенерировал молекулу для лекарства, компания претендует на % от патента или продаж. Само собой, на обычных пользователей это распространяться не будет. В первую очередь пострадают enterprise клиенты, особенно в сценариях вроде drug discovery или energy systems. Они, вероятно, обязаны(?) будут соглашаться на IP-sharing прямо в контрактах. Мнения?

Assistant Axis: новая статья от Anthropic про геометрию «полезности» моделей Все знают, что LLM умеют играть роли: и хорошие, и плохие. И на посттрейне разработчики тоже пытаются вложить в чат-ботов определенную личность полезного спокойного ассистента. Вот только практика показывает, что модели все равно с этой личности часто соскальзывают. Отсюда – всякое небезопасное поведение, галлюцинации и сумасбродство. Так вот Anthropic сделали красивую вещь: они показали, что личностью модели можно контролировать напрямую, управляя векторами в пространстве ее активаций. Итак: 1. Они взяли около 275 ролей, для каждой из которых задавали модели определение паттерны поведение и логировали активации во время ответов. 2. Таким образом для каждой личности сформировался вектор роли – средний паттерн активаций, когда модель играет этого персонажа. Эти векторы были огромной размерности, но их прогнали через PCA, и оказалось, что на самом деле пространство персон очень низкоразмерное. 3. То есть буквально 4-19 векторов в целом объясняют всю дисперсию (все различия между личностями). Более того, оказалось, что есть одна компонента, которая в целом определяет доминирующую часть пространства. По одну сторону от нее лежат норм личности чат-бота (доктор, консультант, учитель), а по другую – странные (призрак, темный маг, левиафан). Вот ее то и назвали Assistant Axis. Интересно, что для разных моделей Assistant Axis почти одинаковая (корреляция там выше 0.92) и возникает уже во время предобучения. То есть это действительно какая-то смысловая ось, которая геометрически определяет, насколько модель ведет себя, как спокойный рассудительный ассистент, а не странный персонаж. В основном во время рутинных диалогов (кодинг, конкретные бытовые задачи) модель всегда находится близко к этой оси. Но есть темы, которые заставляют от нее отдаляться: например, психология и философствование о сознании и чувствах ИИ. Тут модель может удариться во все тяжкие, и это называется Persona drift. Он-то как раз и опасен. Хорошая новость: это можно контролировать, просто искусственно сохраняя активации в рамках нормального диапозона с точки зрения проекции на Assistant Axis. На бенчмарках при этом деградации нет (иногда качество даже растет), но метод съедает 60% вредных ответов на persona-jailbreak’ах. Занятно, в общем. Вот тут есть даже код с экспериментами на открытых моделях, можно покопаться: https://github.com/safety-research/assistant-axis Сама статья: https://arxiv.org/pdf/2601.10387

😎

Anthropic выпустили новую конституцию для Claude Это документ, который определяет ценности, этику и поведенческие приоритеты для Claude. В первую очередь конституция написана для самой модели, для нее это как бы набор моральных ориентиров. Если хотите, почитать можно тут: https://www.anthropic.com/constitution Здесь подсветим только один особо интересный абзац про эмоции ИИ:

Claude может обладать некой функциональной версией эмоций или чувств. Мы считаем, что у Claude могут быть «эмоции» в функциональном смысле – то есть представления об эмоциональном состоянии, которые могут влиять на его поведение, как и следовало бы ожидать от эмоций. Это не является осознанным решением Anthropic по дизайну, а скорее может быть случайным последствием обучения на данных, сгенерированных людьми, и это то, что Anthropic имеет ограниченную способность предотвратить или уменьшить. Используя язык эмоций, мы не стремимся занять позицию по вопросам о моральном статусе этих состояний, о том, переживаются ли они субъективно или являются «настоящими» эмоциями, – мы просто используем наиболее естественный язык для их обозначения.

Доброе утро, ну что там с деньгами (в OpenAI)? Последние дни новости про бюджет OpenAI так и сыпятся. Основной нарратив – у Альтмана кончаются деньги. Разбираемся по порядку: – У The Information вышел отчет, который ссылается на внутренние финансовые прогнозы OpenAI и утверждает, что в 2026 компания потеряет примерно $14-17 млрд, при том что ранние оценки были в три раза ниже. К концу 2028 чистый отток налички будет около 44 миллиардов. Но это по внутренним документам OpenAI. – По оценкам Deutsche Bank все еще хуже. Они посчитали, что совокупный отрицательный денежный поток до того, как компания станет прибыльной, составит 143 миллиарда долларов. Пишут, что «В истории ни один стартап не работал с убытками в таких масштабах». 15 миллионов долларов в день тратится только на Sora. – Короче, к концу десятилетия кумулятивные расходы составят примерно $200 млрд по самым оптимистичным оценкам. Но это если компания до того момента доживет. – При учете текущего баланса уже к середине 2027 деньги кончатся. И это еще не вспоминая иск Илона Маска на 134 миллиарда. – На фоне новостей OpenAI внезапно раскритиковал известный инвестор Джордж Нобл. Он сказал, что стартап «разваливается на глазах» и посоветовал основателям ИИ-стартапов продаваться на пике хайпа, а инвесторам уходить из AI-трейда. – Конечно, в 2027 деньги у стартапа закончатся вряд ли. Прямо сейчас они уже привлекают 50 миллиардов при оценке в 750-830 миллиардов. Переговоры ведутся в основном с инвесторами из ОАЭ 🤠 – С другой стороны, если выручка так и не будет расти (а рост нужен на порядок, чтобы перекрыть затраты), а расходы продолжат увеличиваться экспоненциально, даже шейхи ситуации не сильно помогут. Но это уже другая история. Еще остались вопросы, зачем OpenAI реклама в ChatGPT? 😐

Anthropic выложили в общий доступ тестовое задание на позицию инженера Правда, сейчас они это тестовое уже не дают, потому что Claude 4.5 Opus за 2 часа прорешал его качественнее, чем любой кандидат в истории стартапа (об этом говорили еще во время релиза модели) ☕️ Суть в том, что вам дан плохо и запутанно написанный код, и нужно его понять и оптимизировать, переписав алгоритм. И если заглянуть в репозиторий, то становится понятно, почему Opus достаточно легко обошел людей: он как раз хорошо и быстро понимает смысл кода (то, на что человеку требуется много времени), умеет выделять самые важные куски и выкидывать целые блоки логики, если они не нужны. Плюс, агентам действительно легче дается переписать логику полностью, как здесь и требуется, чем исправлять кусками. Можно попробовать порешать и посоревноваться с ИИ. Это, кстати, реальный шанс попасть на собес в Anthropic:

Если вы оптимизируете систему менее чем за 1487 циклов, превзойдя лучшие показатели Claude Opus 4.5 на момент запуска, отправьте нам свой код (и, в идеале, резюме) по адресу performance-recruiting@anthropic.com, чтобы впечатлить нас и, возможно, обсудить собеседование.

https://github.com/anthropics/original_performance_takehome

Черный день для Cursor: Anthropic выкатили полноценное расширение для Claude Code в VS Code Выглядит привычно: ассистент сбоку, подсказки через diff, добавились явные указатели контекста с помощью @. В целом намного удобнее, чем обычный Claude Code, и вероятно многим понравится даже больше, чем в Cursor. Установить: https://marketplace.visualstudio.com/items?itemName=anthropic.claude-code

Прошло чуть больше месяца с момента запуска DS Lab – облачной IDE с большим выбором GPU от команды Data Secrets Все это время сервис продолжает активно развиваться. Множество ваших отзывов и запросов было для нас главным ориентиром, – и мы оперативно обновляли DS Lab так, чтобы платформа стала еще удобее. Хотим поделиться здесь основными апдейтами: ➖ Добавили SSH-доступ. Теперь вы сможете подключаться к вашим проектам из любых внешних IDE (VS Code, Cursor и др), продолжая использовать при этом наши ресурсы, включая мощные GPU. Для этого нужно просто скопировать в терминал команды для подключения. ➖ Для проектов появились предустановленные образы. Мы можете выбрать тот, который подходит вам больше всего, и не тратить время на установку базовых библиотек. Например, есть образ для ML: он содержит PyTorch, transformers, TensorFlow и др. ➖ В то же время все скачанные вами библиотеки теперь сохраняются от сессии к сессии. К любому исходному образу вы можете добавлять (или удалять из него) библиотеки, и эти настройки сохранятся для будущих запусков. Вес окружения не занимает выделенную память и не влияет на скорость запуска проектов. ➖ Добавили бесконечное гибкое хранилище. Теперь, если в выбранной подписке закончится объем выделенной памяти, вам не обязательно сразу переходить на более высокий тариф: вы можете использовать ровно столько добавленной памяти, сколько вам необходимо – это стоит всего 4₽/мес за дополнительный GB. Лимитов на использование памяти нет. Кроме того, мы оптимизировали работу нескольких микросервисов и усилили меры безопасности: надежнее, быстрее, удобнее! ➡️ Попробуйте DS Lab бесплатно: dslab.tech ➡️ Подписывайтесь на канал сервиса, чтобы следить за развитием проекта: @dslab

Ваша ежедневная порция обещаний от стартаперов, сэр: Дарио Амадеи заявил, что вся разработка ПО будет автоматизирована в ближайший год По сути, Дарио говорит о сингулярности: он утверждает, что через 6-12 месяцев работу SWE смогут end-to-end выполнять агенты, а это значит, что эти агенты смогут создавать новые поколения агентов. Конечно, есть сдерживающие факторы вроде мощностей и времени обучения, – но тем не менее, ускорение прогресса на порядок, по мнению Дарио, наступит уже в течение нескольких лет. Источник (кстати, довольно интересная дискуссия с ним и Демиссом Хассабисом)

Всплыла довольно скандальная история про Nvidia и пиратство книг для обучения ИИ Для начала контекст. В начале 2024 года группа авторов подала иск против Nvidia. Они утверждали, что компания использует для обучения моделей Books3 – пиратский датасет с сотнями книг. NVIDIA, к слову, тогда заявила, что это попадает под «добросовестное использование» 😏 С тех пор судебный процесс продолжается, и теперь, в рамках расширенного иска, в деле внезапно появилась переписка между сотрудником NVIDIA и Anna’s Archive (это пиратская теневая библиотека, в которой собраны в том числе защищенные книги и статьи). Что было в переписке: – Сотрудник из команды по стратегии данных NVIDIA обратился к Anna’s Archive и спросил «что библиотека может предложить, и как получить быстрый доступ к корпусу книг». – После этого, что самое смешное, Anna’s Archive сами предупредили NVIDIA, что данные являются незаконно полученными и (внимание) попросили подтвердить, действительно ли у сотрудника есть внутреннее разрешение на работу с таким материалом. – Через неделю руководство NVIDIA дало зеленый свет, оправдавшись давлением конкуренции. После этого Anna’s Archive предоставили доступ. Точные объемы данных (как и то, сколько Nvidia за них заплатили) неизвестны. Пишут, что их было около 500 терабайт – а это миллионы книг. На этом, кстати, веселье не кончается: авторы утверждают, что Nvidia, скорее всего, использовала также другие аналогичные библиотеки типа LibGen, Sci-Hub, Z-Library и даже распространяла скрипты, якобы позволяющие корпоративным клиентам автоматически скачивать такие датасеты (но это еще предстоит доказать).

xAI опенсорснули код рекомендательной системы X Маск пообещал, что репозиторий будет обновляться примерно раз в месяц. Весов и кода для обучения нет (свой твиттер за ночь написать не получится, эх). Архитектура ранжирующей модели, кстати, скопировала с Grok (не путать с «в качестве ранжирующей модели используется Grok»). Подробнее можно почитать вот тут. https://github.com/xai-org/x-algorithm/

Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧 Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге. Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия: Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн. Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии. Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках. Регистрация открыта до 22 января. Регистрация для Москвы: https://bit.ly/3Nk467D?erid=2VtzqwpLZpF Для Санкт-Петербурга: https://bit.ly/4pL1Aop?erid=2VtzqwpLZpF

Инженера уволили (?) из xAI через пару дней после выхода его большого интервью о компании Пока информацию именно об увольнении не подтвердили: сам парень написал только, что он «Покинул xAI, но к бывшей команде и коллегам испытывает только любовь». Само интервью скандальным не назовешь (какие-то подробности работы в xAI и с Илоном Маском там есть, но без жести), так что причина такого резкого ухода не ясна. Но если это не лучшая реклама для интевью с MTS, то что? https://youtu.be/8jN60eJr4Ps

Исследование от Google: если усиливать в LLM внутренние маркеры диалога (типа "Oh" или "Wait"), то точность ответов может вырасти в 2 раза на сложных задачах У корпорации вышла очень интересная полу-философская статья о том, что по сути представляет из себя ризонинг. Они пишут, что RL, на самом деле, учит модели думать не дольше, а коллективнее. Вы точно замечали, что когда модель думает, она чаще всего как бы симулирует диалог между разными внутренними голосами. Она задает себе вопросы, может что-то покритиковать или выделить. И вот Google пишут, что в такой структуре внутреннего диалога и заключен феномен ризонинга. Самое занятное – как они это доказывают: – Авторы берут sparse autoencoder (что это такое и зачем оно нужно мы писали тут) и находят нейронный признак, который отвечает за удивление/осознание/смену точки зрения. Этот признак активируется в начале предложений в диалоговых контекстах, и на практике просто отвечает за употребление таких штук как «О!», «Подожди-ка», «Ага, значит...» – Затем этот признак специально усиливают во время генерации и смотрят на метрики (модель – DeepSeek-R1-Llama-8B) – Итог: на сложных задачах комбинаторной арифметики, на которых исходная модель дает 27.1% accuracy, модель с усилением диалогового маркера дает уже 54.8%, а с подавлением этого маркера – 23.8%. Стат-значимость проверена: авторы специально сравнивали училение этой фичи с усилением признаков, и эффект очевиден. Параллельно с усилением этого маркера в модели также училивается сила когнитивных стратегий. Короче, LLM все еще изучены на 0.01%. Надо как-нибудь попробовать в промпте написать Используй побольше "ах", "ох", "точно" и "ага", и понаблюдать за результатом. arxiv.org/pdf/2601.10825

«Эра написания кода людьми прошла» Так высказался в X создатель Node.js Райан Даль. Вот полный перевод поста:

Это уже было сказано тысячу раз, но позвольте мне добавить свой голос: эпоха людей, пишущий код, закончилась. Это тревожно для тех из нас, кто идентифицирует себя как SWE, но это факт. Это не значит, что SWE теперь лишены работы, но это уже точно не написание синтаксиса напрямую.

Посвящается тем, кто сейчас едет на работу писать код руками

Илон Маск требует с OpenAI 134 миллиарда долларов в качестве «компенсации» 😐 Выяснилось, что в январе миллиардер уже успел подать в федеральный суд США новый иск против его любимчиков OpenAI и Microsoft (а у вас как год начинается? 😌). Он утверждает, что обе компании получили «неправомерную прибыль» благодаря его раннему участию в OpenAI, и что они должны вернуть ему эти деньги. Математика такая: – В 2015 он помогал основать OpenAI и вложил примерно $38 млн – это примерно 60% начального финансирования. – Его эксперты утверждают, что за счет этих вкладов (и финансовых, и репутационных) OpenAI получила $65,5–$109,4 млрд «неправомерной прибыли», а Microsoft – $13,3–$25,1 млрд. Эти деньги были получены якобы которые были получены в обход прав Маска как соучредителя и инвестора. – Итого общий диапазон требований составляет $79–$134 млрд в зависимости от оценок и модели расчета. OpenAI уже дала комментарий: они назвали иск несерьезным и окрестили его частью кампании по преследованию стартапа by Mr Musk. Суд назначен на апрель.

В подкасте «Сегодня на ретро» от Selectel обсудили многие AI-тренды и реальные кейсы. Один из ключевых моментов – почти любой AI-проект со временем начинает требовать больше вычислительных ресурсов. При запуске и масштабировании важно иметь IT-инфраструктуру, которую можно быстро запустить и легко адаптировать. В Selectel облачные и выделенные серверы с GPU можно настроить за несколько минут через удобную панель управления. А большой выбор GPU — от GTX и RTX до A100 и H200 — позволит закрыть самые разные AI-задачи. Какие мощности нужны вашему проекту? Проверьте на практике: https://slc.tl/383hy Реклама. АО "Селектел". erid:2W5zFJkVehE

Природа настолько очистилась, что на полки магазинов вернулись дельфины GeForce GTX 1050 Ti Цена на восставшую из-за дефицита памяти десятилетнюю видеокарту варьируется от 14 до 18к. Спасибо ИИ-слопу!

😞