Data Secrets

Новое исследование от Anthropic: как сделать так, чтобы все опасные знания хранились в модели отдельно от обычных И снова про элаймент! Уж очень занятный в этот раз стартап предлагает подход. Называется он Selective GradienT Masking. Погнали разбираться. Вообще, как такового элаймента на этапе претрейна не существует, все это добавляется уже после предобучения. А это довольно серьезный затык. Пока единственный вариант, до которого люди додумались – это просто выбросить из датасета "опасные знания", но это (1) оч дорого и долго, потому что требует разметки; (2) отсекает дополнительно и много полезных знаний, и модель тупеет. Так что – ерунда. А вот Anthropic предлагают сами данные не трогать, а вместо этого сделать так, чтобы вся опасная информация стекалась в отдельный кусок параметров, который затем можно просто... удалить. Работает это так:

– На каждый блок трансформера мы дополнительно надеваем голову внимания, которую помечаем, как "forget" параметры. – Если на вход попадают данные, которые помечены, как "опасные", мы насильно зануляем все градиенты, кроме "forget". Это гарантирует, что все опасные знания стекаются в определенное место. – Чтобы после модель могла хорошо работать без этих параметров, на части данных при прямом проходе им зануляют активации.

Как видите, это, по факту, та же самая фильтрация данных. Только умная. Во-первых, такой подход устойчив к шуму разметки. Во-вторых, метить все данные потенциально необязательно: выяснилось, что начиная с какого-то момента даже неразмеченное опасное содержимое датасета начинает тяготеть больше к "forget" параметрам. Это назвали эффектом Абсорбирования. При этом модель после вырезания этой вот черной душонки глупеет меньше, чем при вырезании данных из датасета. Все-таки здесь мы действуем немного деликатнее. Ну и ведет она себя после этого так, как будто ей действительно ничего подобного никогда не показывали, а не как будто она временно об этом забыла. В общем, на уровне механики и идеи – довольно интересный зачаток https://alignment.anthropic.com/2025/selective-gradient-masking/

🎮🌱 Регистрация на АгроДжем 2025 открыта! Если хотите заявить о себе в геймдеве и поработать над реальными задачами цифрового сельского хозяйства — вам сюда. АгроДжем 2025 от РСХБ — это 72-часовой онлайн-геймджем по созданию образовательных игр для АПК. Нужно выбрать одну из двух технологических задач от индустриальных партнёров и создать игровые концепции и прототипы, которые помогут сделать агрообразование современным и интерактивным. Почему стоит участвовать: — призовой фонд — 250 000 ₽ на каждую задачу; — контакты с экспертами цифрового АПК; — сильный кейс в портфолио; — реальный шанс заявить о себе работодателям и инвесторам. Приглашаем разработчиков, геймдизайнеров, художников, сценаристов и всех, кто хочет попробовать себя в геймдеве. Команды 1–5 человек. Можно прийти соло — организаторы помогут собрать команду. 🔥 Готовы прокачать свои навыки и создать игру, которая меняет подход к агрообразованию? Регистрируйтесь до 16 декабря 2025: https://agrocode-genetics.ru/agro-jam/?erid=2Vtzqw56woF

Знакомьтесь, это Лоран Саймонс. Ему 15 лет и на днях он получил докторскую степень по квантовой физике. Сейчас парень занимается биологическим моделированием в стартапе DeepPiction: они разрабатывают ИИ-алгоритмы для поиска лекарств. Мы уверены, что этот парень – AGI, но пока не можем это доказать 😐

Линус Торвальдс в новом интервью про ИИ:

"ИИ – это и пузырь, и революция. Очевидно, что это пузырь, но в то же время ИИ, я думаю, изменит общество и работу. Но не настолько, как нам пытаются доказать. В случае с программированием, например, вайб-кодинг – действительно хороший интструмент. По-моему, он отлично подходит для старта в программировании чего-то, но продолжать поддерживать систему с помощью вайб-кодинга – это ужас. Вам по прежнему будут нужны люди, которую будут знать, как это делать правильно. Я очень верю в ИИ, но не верю в то, что его окружает. Рынок и маркетинг сломаны. Скоро случится крах, и это будет кошмарно."

Последнее время кажется, что оптимистичны по поводу ИИ только те, кто продает на него подписки ☕️

TowardsDataScience запустили адвент-календарь по классическому ML и DL Они пишут, что, хотя мы ежедневно занимаемся все более и более сложным обучением и алгоритмами, в то же время мы все больше и больше забываем, как они на самом деле работают. Все скрыто за функциями во фреймворках вроде PyTorch и Scikit-learn. В своем календаре авторы предлагают всем нам дружно вспомнить базу. И причем не как-нибудь, а… с помощью Excel. Да-да, мы все еще в 2025. Но не спешите начинать шутить: за обучением в Excel у них стоит конкретная идея.

Использование языка программирования также может скрыть некоторые операции за уже существующими функциями. В Excel же видно все расчеты шаг за шагом, там нет черных ящиков. Поэтому это лучший инструмент для изучения машинного обучения.

Сейчас на сайте уже вышли уроки по KNN, деревьям, LDA и другим простеньким алгоритмам. Но с каждым днем темы будут усложняться. Студенты – вам мастхэв. Опытные – можете проверить себя 😐 https://towardsdatascience.com/machine-learning-and-deep-learning-in-excel-advent-calendar-announcement/

МТС Web Services получил две награды на ComNews Awards 2025: отличились проекты MWS Tables и MWS Data. Аналог Google Sheets и Microsoft Excel MWS Tables стал лидером в категории «Лучший сервис для командной работы и создания приложений», а MWS Data отметили как «Лучшее решение для работы с данными». MWS Tables является безкодовым табличным сервисом для командной работы и автоматизации процессов. Его используют для цифровизации операций, управления проектами и аналитики, сокращая при этом трудозатраты. MWS Data - платформа для управления большими данными в реальном времени с ИИ-агентами. Это и хранение, и обработка, и визуализация, и контроль качества.

Самая громкая новость сегодняшнего утра: Трамп объявил, что Nvidia сможет продавать чипы H200 в Китай Он осудил политику Байдена и заявил, что в рамках новых правил разрешит поставки H200 в Китай. Единственная «мелочь»: Nvidia придется платить государству 25% с продаж. То же самое касается и других компаний типа AMD и Intel. При этом новейшие чипы все еще попадают под ограничения. Где-то наверное радуется один Дженсен Хуанг и грустит один Дарио Амадеи (напоминаем, что он чуть ли не сильнее всех топит за ограничения экспорта железа)

Тем временем Оптимуса Илона Маска опять обсмеивает весь Интернет Кто-то на вчерашнем ивенте Tesla в Майами снял шикарное видео, на которое случайно попали кадры фееричного падения гуманоида прямо во время демонтрации. В ролике отчетливо видно движение руками робота, которое очень напоминает жест теле-оператора, снявшего с себя VR гарнитуру. Видимо, бедолага забыл предварительно отключиться от управления. Напоминаем, что ранее Илон Маск под демонстраиционными видео в твиттере утверждал, что Optimus действует автономно

Разыгрываем 3.000 GPU-часов В честь запуска dslab.tech мы объявляем огромный розыгрыш DS-коинов. Каждый из 10 победителей получит 10.000 коинов (=10.000р), которые вы сможете потратить в DS Lab на аренду любого железа, включая мощные видеокарты A100, H100 и H200: хватит примерно на 300 часов! Для участия просто: ➖Подписывайтесь на наши каналы @dslab и @data_secrets ➖Жмите на кнопку "Участвовать" Вы также можете отдать бусты нашему каналу: тогда ваши голоса умножатся, как и шансы на победу. Итоги розыгрыша подведем 22 декабря в 17:00. Удачи! 🎅

Все, Google планируют становиться полноценным конкурентом Nvidia: к 2027 году они хотят произвести 5 миллионов чипов TPU Такие объемы однозначно намекают на планируемый старт прямых продаж чипов внешним клиентам. Ранее стало известно, что Meta первая среди компаний закупит у Google партию TPU для установки в свои датацентры. То же самое, возможно, сделают и Anthropic в рамках недавнего соглашения с гигантом. Короче, спрос растет. И Google собираются увеличивать предложение. Из расчетов-на-коленке получается, что каждая партия в 500 тысяч чипов может принести компании $13 млрд выручки и $0,40 на акцию. Но есть нюансы. Во-первых, чтобы конкурировать с Nvidia на этом рынке, Google придется радикально изменить цепочку поставок. Сейчас они fabless, то есть разрабатывают чипы, но не производят их. Изготовление происходит на внешних фабриках, таких как TSMC и Broadcom. Чем больше объемы – тем больше рисков в такой схеме. Пока непонятно, планирует ли Google переходить к вертикальной интеграции. Во-вторых, CUDA. Стандарт де-факто, лучше которого нет. У Google пока нет сравнимой по силе экосистемы. Интересно, как рынок порешает

⚡️ Мы запускаем DS Lab – облачную IDE для удобной работы с мощным железом Почти каждый, кто когда-либо пытался арендовать GPU или другие ресурсы, сталкивался с одной из трех проблем: 1. Сложность и затянутость установки окружения 2. Высокие цены и недоступность нужного железа 3. Прерывание сессий в случае Colab/Kaggle Мы много раз испытывали все это на себе и решили сделать так, чтобы аренда железа была доступна каждому быстро и просто. Наш сервис выглядит, как привычная IDE с понятным интерфейсом. Чтобы арендовать в ней ресурсы, вам нужно просто выбрать конфигурацию, – и вы тут же можете начать работать над своим проектом, запускать локальные модели и прочее. Всю установку мы берем на себя.

– Оплата происходит as you go: только за те ресурсы, которые вы фактически использовали. Есть бесплатная подписка, которая дает доступ к GPU-конфигурациям. – По адекватным ценам доступны редкие видеокарты H100, H200, A100 и другие. – После завершения сеанса ваши результаты никуда не пропадут, и вы сможете продолжить работу с того же места.

Попробовать бесплатно уже можно тут — dslab.tech P.S. А также советуем подписаться на канал сервиса: @dslab. В нем мы делимся новостями и туториалами + сегодня там пройдет большой розыгрыш GPU-часов 🎁

Продуктовая команда Data Secrets выходит из стелса Утро понедельника – прекрасное время, чтобы поделиться с вами большими (и полезными!) новостями. Уже почти 4 года мы ведем для вас канал Data Secrets, но мало кто знает, что наша команда также занимается разработкой. И уже сегодня мы готовы официально представить вам наш первый продукт – и верим, что вам понравится. (Нет, это не очередной ИИ-агент или обертка над ChatGPT 😐) Давайте наберем 300 ❤️, и анонс запуска выйдет здесь совсем скоро

ИИ-система стартапа, существующего 4 месяца, решила 9/12 задач в одном из самых сложных в мире экзаменов по математике Putnam (полное название William Lowell Putnam Mathematical Competition) – это ежегодная очень сложная математическая олимпиада для студентов бакалавриата университетов США и Канады. Она считается сложнейшей на этом уровне. Средний результат часто составляет примерно 0–1 балл из 120. В этом году олимпиада проходила на этих выходных. А сегодня никому неизвестный очень молодой стартап Axiom объявил о том, что их система AxiomProver решила 9/12 задач конкурса (8 из них в течение самого соревнованию, и одну после его окончания). Это очень высокий результат. По прошлогодней шкале это было бы абсолютное первое место среди ~4000 участников + статус Putnam Fellow (топ‑10 за несколько лет). В этом году место пока неизвестно, потому что ранг зависит от общего распределения баллов. Интересно, что модель не просто доказала утверждения на естественном языке, а формализовала их в Lean. То есть каждое решение уже дано в виде машинно-проверяемого proof‑скрипта. Интересно, участвовали ли Google и OpenAI

Яков и Партнёры и Яндекс представили ежегодный аналитический репорт «Искусственный интеллект в России — 2025: тренды и перспективы» Очень много любопытных данных и выводов, российские эксперты смотрят на развитие ИИ оптимистично, а именно: 1. Глава бизнес-группы Поиска Яндекса Дмитрий Масюк в эфире РБК поделился, что ожидаемый экономический эффект от внедрения ИИ в бизнес прогнозируется на уровне ≈ 8–13 трлн рублей в год. Причем больше всего принесет генеративный ИИ — от 1,6 до 2,7 трлн руб. 2. 78% российских компаний, системно применяющих ИИ, уже видят реальный экономический эффект — в основном от сокращения затрат, но есть и те, кому ИИ приносит выручку в новых сервисах и продуктах. 3. Подавляющее большинство компаний используют готовые решения от внешних партнеров, около половины адаптируют их под свои бизнес-процессы. 4. Один из главных трендов на ближайшее время — переход ИИ в физический мир через роботов и носимые устройства, такие как диктофоны или наушники. Ну и конечно ИИ-агенты.

Андрей Карпаты снова выдал красивую базу Он говорит, что нельзя забывать, что LLM – симуляторы, а не самостоятельные сущности, и что это нужно учитывать при взаимодействии с ними. Краткий перевод:

Не воспринимайте большие языковые модели как самостоятельные сущности – думайте о них как о симуляторах. Например, когда вы обсуждаете какую-то тему, не задавайте вопрос: «Что ты думаешь о xyz?» Никакого «ты» здесь нет. В следующий раз лучше спросить: «Какая группа людей подошла бы для обсуждения xyz? Что бы они сказали?» Модель может воспроизводить и симулировать множество точек зрения, но она не «размышляла» о xyz и не формировала собственных мнений в привычном для нас смысле. Если же вы заставляете ее отвечать, используя обращение «ты», она все равно что-то выдаст – но, по сути, просто приняв на себя некий личностный вектор, заданный статистикой обучающих данных, и симулируя его. Это вполне допустимо, но в этом гораздо меньше мистики, чем многие наивно предполагают, задавая вопросы «искусственному интеллекту».

Вот что значит качественный совет по промптингу ☕️

Занятное интервью вышло у Демиса Хассабиса с изданием Axios Посмотреть полностью можно здесь. Особенно понравился момент, где Демиса попросили без преувеличений и максимально честно рассказать, что, по его мнению, будет происходить с ИИ в ближайшие 12 месяцев. Ученый ответил вот так: 1. Конвергенция модальностей. Например, Gemini мультимодальная, и благодаря этому можно воспроизводить множество интересных результатов. Хороший кейс – это новая Nano Banana Pro, которая действительно хорошо понимает изображения, стили, инфографику и тд (благодаря, собственно, Gemini). Следующий шаг – это объединение видео с языковыми моделями, и в ближайший год мы увидим в этой области большой прогресс. 2. Модели мира типа Genie. В ближайший год они станут намного лучше. 3. И, конечно, агенты. Сейчас о них уже много говорят, но они пока недостаточно надежны, чтобы выполнять задачи от начала до конца. Но Демис уверен, что в течение года это изменится, и агенты уже будут неотъемлемой составляющей жизни. Что касается AGI, Хассабис ставит на 5-10 лет. А сейчас мы приближаемся к моменту, которые многие называют «радикальным изобилием» – когда множество, если не большинство, человеческих задач будет постоянно решаться с помощью ИИ. Еще раз ссылка на полное интервью

Ян Лекун будет строить стартап в Европе, а не Америке По его словам, Кремниевая долина перегрета и полностью «загипнотизирована» ИИ, поэтому альтернативные направления проще развивать вне долины, и в частности – в Париже. Лекун сам из Франции и, в целом, всегда топил за европейский AI. Именно по его инициативе Meta когда-то открыла FAIR‑лабораторию в Париже, где позже родилась Llama. Теперь, в своем стартапе, он говорит, что хочет «использовать недооценённый европейский талант, создав для него нужную исследовательскую среду».

ARC Prize назвали победителей этого года На первом месте ребята с решением NVARC, они выбили 25.03%. NVARC – это ансамбль, собранный из других решений: объединение улучшенной версии подхода от команды «the ARChitects» (победители прошлого года) и компонентов на основе Tiny Recursive Model (TRM). LLM-часть хорошо справляется с задачами, где нужны гибкие рассуждения и контекст, а TRM-часть дает базовую структурную устойчивость и решает задачи, где явно выгодно программное символьное мышление. Сами TRM (Tiny Recursive Mode), к слову, взяли награду за лучшую статью, но в основном топе их нет. Наш разбор этой работы можно почитать здесь. Далее по списку победителей у нас как раз the ARChitects с улучшенной архитектурой, MindsAI (фактические победители прошлого года, которых не наградили, потому что те не открыли код), Lonnie и Guillermo Barbadillo (второе место в прошлом году). Короче, на манеже все те же. Два момента, которые хочется подчеркнуть относительно всех решений: 1. В этом году закрытые frontier LLM убежали вперед формальных победителей конкурса (ими могут стать только те, у кого открыт код). В прошлый раз почти все конкурсные решения били результаты ведущих на тот момент LLM, но в этом году роли сменились. У лидера конкурса результат 25%, а тем временем Gemini 3 Deep Think выбивает уже под 46%. 2. Зато решения сами по себе стали намного интереснее. Структура обновленного бенчмарка почти не позволяет решать задачи брутфорсом, как многие делали ранее, поэтому в этом году много идейных новшеств. Основной тренд – на refinement loop, то есть на цикличное улучшение предсказания модели. В индустриальных агентах сейчас все чаще используется то же самое. arcprize.org/blog/arc-prize-2025-results-analysis

The Verge пишет, что GPT-5.2 должен выйти уже на следующей неделе, 9 декабря Изначально стартап планировал дату выхода на конец месяца, но запуск ускорили из-за давления конкурентов. Надеемся на что-то достойное 🤔

Anthropic утверждают, что их сотрудники делегируют Claude уже 60% ежедневных задач Всего года назад этот показатель составлял около 28%. Компания также заявила, что ИИ повысил продуктивность инженеров на 30 процентных пунктов. И не только из-за автоматизации собственных задачек: например, среди сотрудников теперь существует негласное правило «сначала спроси у ИИ, затем у коллег», которое тоже сокращает нагрузку работников на многих позициях. www.anthropic.com/research/how-ai-is-transforming-work-at-anthropic