Data Secrets

Стало известно, что Ян Лекун и Нат Фридман в Meta теперь напрямую подчиняются Александру Вангу Об этом пишет Business Insider со ссылкой на внутреннюю переписку. В Meta* снова произошли какие-то перестройки и теперь Нат Фридман (которого изначально нанимали как второго управляющего лабораторией MSL) и Ян Лекун (который должен был более менее независимо управлять FAIR) будут напрямую подчиняться Алексу Вангу, как и все остальные тимлиды. Единственный человек, который не упоминается в служебной записке, как подчиненный Ванга – это Shengjia Zhao, ведущий ученый лаборатории и бывший со-креатор ChatGPT. > учиться и работать всю жизнь > стать одними из самых заметных людей в области > подчиняться 28-летнему бизнесмену

Самая громкая статья месяца – Hierarchical Reasoning Model Без предисловий, сразу главный результат: у авторов получилось сделать модельку всего на 27 миллионов (!) параметров, которая обошла o3-mini на ARC-AGI-1. Неудивительно, что об этой работе сейчас говорит все комьюнити, а авторы ARC-AGI даже сами написали большой разбор результатов модели на их бенчмарке. Погнали разбираться. Итак, вся архитектура состоит из двух рекуррентных модулей: быстрого низкоуровневого и медленного высокоуровневого. Первый отвечает за быстрые локальные вычисления и решения частных задач, а цель второго – абстрактно управлять процессом и ставить таски первому. Суть в том, что они обновляются с разной частотой. Исходная задача разбивается на несколько циклов рассуждения. В каждом из них верхний модуль обновляется только один раз и дает новый контекст нижнему модулю, который в свою очередь делает много мелких шагов и ищет локальное решение. Сколько будет таких итераций, модель решает сама. Останавливаться (или не останавливаться) в правильный момент ее специально учили с помощью RL. Так что «думать» она может и пару секунд, и пару часов. И кстати, обучается HRM не совсем привычно для рекуррентной модели: здесь, вместо того чтобы сохранять все внутренние состояния, авторы решили обновлять градиенты только по финальному состоянию. Удивительно но факт – это работает. Кстати, вся конструкция и принцип обучения очень похожи на то, как работает наш мозг. Некоторые области отвечают за абстракцию, другие – за контекстные моментальные действия, а общаются они посредством обратных связей. Здесь те же принципы иерархии (отсюда и название). Плюс, мозг тоже не хранит промежуточные траектории и к сходимости приходит через схожие волновые циклы. Итог: модель для своего размера просто беспрецедентно хороша на решениях всяких головоломок типа судоку, лабиринтов и индуктивных задач. В общем, именно в тех областях, где привычные LLM обычно фейлятся. Конечно, особенно поражают результаты на ARC-AGI, которые мы описали в начале. Революция или нет, но выглядит действительно очень изящно и эффектно. Обязательно почитайте работу полностью тут (+ вот еще один отличный разбор на русском языке)

На SourceCraft стартовал конкурс репозиториев и прием заявок на грантовую программу. Если у вас есть проект в опенсорсе, самое время показать его комьюнити: загрузите репозиторий, собирайте оценки и получайте обратную связь. Лучшие работы получат поддержку и станут заметнее в профессиональном сообществе. SourceCraft делает участие в проектах живым и мотивирующим: многоуровневые оценки помогают отразить реакцию сообщества, а ачивки в профиле отмечают каждое достижение пользователя. Здесь вклад разработчиков всегда фиксируется и ценится. SourceCraft подходит и для быстрых пет-проектов, и для серьёзных корпоративных решений: поддержка 30+ языков, плагины для IDE и удобная навигация по коду. Информация об организаторе Акции, о правилах проведения Акции, количестве призов, сроках, месте и порядке их получения размещена по ссылке.

О, Google впервые раскрыли подробную статистику того, сколько энергии потребляют их модели Итак, один текстовый запрос к Gemini в среднем ест: – 0.24 ватта энергии (это примерно 9 секунд просмотра ТВ) – 0.26 мл воды (около 5 капель) – плюс выбрасывает 0,03г эквивалента CO2 Это, к слову, несколько меньше, чем часто пишут в открытых источниках. Даже при том, что посчитано все ну очень въедливо: учитывается не только GPU, но и работа CPU и RAM, и энергия, расходуемая на холостом ходу, и вся-вся-вся инфраструктура дата-центра (охлаждение, системы поддержки и тд). Но самое впечатляющее, что год назад эти числа были в десятки раз пессимистичнее. Например, с мая 2024 по май 2025 энергетический след Gemini Apps сократился в 33 раза, а углеродный след – в 44 раза. Говорят, что в основном сократили за счет оптимизации собственных чипов, возобновляемой энергии и специального дизайна датацентров. Респект. Статья полностью тут (в соавторах Джефф Дин, кстати). Супер подробно расписано, как они и что считали, очень занятно поизучать.

Друзья, внимание Найдена картинка дня

МТС Web Services запустила партнерскую программу: в ее рамках компании смогут перепродавать MWS GPT с более чем 40 LLM и платформу для хранения, обработки и анализа данных - MWS Data. Итак обычно облачные и AI-сервисы продаются в лоб – напрямую клиентам. Но масштабироваться таким образом тяжело, и партнёрские программы почти всегда сводятся к скучным % за лиды. В MWS решили сделать иначе. В августе 2025-го они запускают трёхуровневую партнёрку: – агентская модель (просто привёл клиента – заработал до 20%) – реселлерская (покупаешь по спецценам, перепродаёшь – до 35% маржи) – white-label (можно взять MWS GPT, Data или продукты MWS Cloud, встроить в свой сервисы и продавать под своим брендом) В таком виде это фактически не канал продаж, а целый рынок внутри рынка: компаниям разрешают строить свои экосистемы на базе мощностей МТС. Компании смогут перепродавать не только AI и Data сервисы, но и облачные продукты MWS Cloud, сервисы для разработчиков и бизнес-приложения. Первыми подключились Neoflex, «Концепт разработка» и GlowByte. В планах 300+ компаний и рост выручки от партнёрок в 7 раз. Получается, МТС не только двигает своё облако, но и фактически превращает его в строительные блоки для всего российского ИТ. Ссылка на партнерку тут.

GPT-5 решила (почти) открытую математическую задачу Инженер из OpenAI рассказал о том, как скормил модели статью с нерешенной мат.проблемой и модель, порассуждав 17 минут, смогла улучшить решение ученых. Речь идет об этой статье. Она относительно свежая и в ней изучается такой вопрос: при каких условиях на размер шага eta в градиентном спуске в гладкой выпуклой оптимизации кривая, определяемая значением функции итераций, будет выпуклой? Люди смогли доказать, что при eta меньше 1/L кривая выпукла, а при eta больше 1,75/L – нет. Что происходит в диапазоне [1/L, 1,75/L] – осталось открытым вопросов. Так вот GPT-5 всего за 17 минут удалось улучшить границу и показать, что кривая выпукла при 1.5/L. То есть да, разрыв устранен не полностью, но модель сократила его в три раза, при этом приведя полностью прозрачное и правильное доказательство своего утверждения. x.com/sebastienbubeck/status/1958198661139009862

Мы наконец-то дождались официального анонса новой DeepSeek-V3.1. Главное: ➖ Инференс действительно гибридный: одна модель, два мода. Причем DeepSeek-V3.1-Think «соображает» быстрее DeepSeek-R1-0528 (см. график 3) ➖ Улучшенный tool use и мультиагентные способности. На Terminal bench перформит в 6 раз лучше R1-0528. На SWE-bench выбивает 66%. Для сравнения, результат gpt-oss – 62%. ➖ Цены: 0.56$/1.68$ за млн токенов. Немного дороже gpt-oss, но дешевле, например, Sonnet. И еще раз ссылка на веса: huggingface.co/deepseek-ai/DeepSeek-V3.1

Наткнулись тут на забавное Однажды в 1912 году Эйнштейн писал своему другу:

«Я никогда в жизни так тяжело не работал и теперь испытываю благоговейный ужас перед математикой, которую до сих пор в своей наивности считал просто роскошью в её более утончённых формах! По сравнению с этой задачей исходная теория относительности – детская забава»

А теперь угадайте, какую именно математику он имеет в виду. Ответ: тензоры и тензорный анализ. В те годы он работал над проблемой гравитации и тензорный аппарат был ему нужен для того, чтобы описать, как гравитация связана с геометрией пространства-времени. Короче, теперь вы знаете, чем себя утешить, когда в следующий запутаетесь в размерностях тензоров в PyTorch ✨

АI-агенты в проде, AI-помощник в облаке — что дальше 🧠 Узнайте 3 сентября на IT-конференция про облака и AI — GoCloud Tech. В этом году целый трек будет посвящен трендам в AI&ML:

➡️ Как AI-помощник может управлять инфраструктурой за вас ➡️ Валидация RAG с помощью RAGAS ➡️ SWE-Agents in Developer Tools ➡️ Как собирать мультиагентную систему для любых задач ➡️ Эволюция AI-агентов

Также будут отдельные треки про работу с данными, облачную инфраструктуру и сервисы для разработки. А еще — демо, воркшопы, карьерные консультации, мерч и яркое afterparty. Регистрируйтесь🖱

Внезапно: OpenAI в будущем планирует стать платформой для аренды мощностей типа AWS Об этом рассказала финансовый директор стартапа. Что это теоретически может означать: 1. Что OpenAI в перспективе планируют переключиться с огромных затрат на обучение на оптимизацию и поддержку в первую очередь инференса. Это чуть не единственный их шанс начать получать прибыль, кстати. 2. И, возможно, для инференса они будут использовать не Nvidia, а какое-то железо подешевле, – а Nvidia как раз сдавать. У Хуанга монополия на чипы для обучения, но под инференс можно попытаться оптимизировать и что-нибудь другое. 3. Ну и RIP огромные бюджеты ресурсов на рисерч, видимо… Все странноватее и странноватее

Разбираем статью подписчика: дискретный подход к машинному обучению Авторы (один из них – @x7CFE) предлагают перейти от привычных нейросетей и методов их обучения к работе с дискретными элементами – разреженными битовыми векторами. Идея основана на том, как кодирует и обрабатывает информацию мозг живого существа. В частности, прототипом послужило строение неокортекса, гиппокампа и других его определяющих частей. По части теории исследователи опирались на гипотезу многообразия и лемму Йонеды, а на практике работает все примерно так: 1. Исходные данные кодируются в так называемые стимулы – как раз те самые битовые векторы. Кодирование происходит по набору правил, то есть это не привычные эмбеддинги. Но полезные свойства сохраняются: стимулы похожих понятий похожи друг на друга. 2. Полученные векторы наносятся на плоскость и происходит кластеризация, выявление паттернов и структур. Для каждого кластера формируется детектор, из которого мы получаем дискретные структурные эмбеддинги. 3. Эти эмбеддинги показывают, какие кластеры активируются, когда модель видит новое поступающее на вход слово. Далее процесс повторяется на следующем уровне иерархии. То есть обучение превращается в изучение четких ассоциаций, а инференс – в поиск соответствий в памяти. И получается, что: – Модель более устойчива к галлюцинациям – Память можно редактировать в любое время, добавлять в нее что-то или удалять (привет элаймент и machine unlearning!) – Это не черный ящик: все шаги модели интерпретируемы и понятны Модель тестировали на нескольких задачах, в том числе на медицинских изображениях (да, это работает для разных модальностей). Доказано, что она способна понимать и интерпретировать незнакомые данные, улавливать их структуру и четко воспринимать семантику. В статье приведено еще несколько экспериментов и аргументов, почему это удачный сетап, и чем он лучше современного подхода. Так что советуем почитать полностью, реально интересно ⬇️ Статья на архив | Лендинг с версией на русском языке, данными и кодом комментариях приглашаем задавать вопросы лично автору (ну и, конечно, поздравлять его с крутой публикацией!)

Мем дня: в Америке 16% сотрудников делают вид, что используют ИИ Все затем, чтобы удовлетворить руководство. 75% работников либо официально, либо неофициально обязаны внедрять ИИ в свою деятельность. В таких условиях само собой появляется ощущение, что отказ сделает тебя менее компетентным, даже если ИИ тебе по факту и не нужен. И это тоже подтверждают цифры: 22% работников чувствуют давление использовать ИИ даже в тех случаях, когда не уверены в своих навыках работы с ним. Что тут скажешь. Дожили 😐 www.howdy.com/blog/AI-fatigue-statistics

Исследование: в России прогнозируется двукратный рост рынка ПО и ИТ-услуг к 2032 году Объём рынка тиражного программного обеспечения (ПО) в России увеличился с 287 млрд рублей в 2022 году до 448 млрд рублей в 2024-м, демонстрируя среднегодовой рост на 25%, - так перспективы рынка ИТ в своем свежем исследовании оценивает консалтинговая компания Б1. В числе ключевых драйверов роста эксперты называют импортозамещение, активное внедрение цифровых технологий и модернизация систем, приложений с интеграцией в них функционала AI. Особенно заметный вклад в развитие сектора вносят госпредприятия и бизнес, переходящие на отечественные программные решения. По оценкам аналитиков, к 2032 году объем рынка ИТ-услуг может превысить 1,1 трлн рублей, при этом заказная разработка к 2032 году вырастет почти вдвое – до 282 млрд руб. Последнему сегменту в исследовании уделяется особое внимание: за год он вырос уже на 12% и достиг 150 млрд рублей в 2024 году. Среди лидеров этого направления Б1 выделяет «FabricaONE.AI» (11%), «БФТ-холдинг» (7%) и «Ланит» (6%). Дальше рынок явно будет консолидироваться – игроков много, а спрос на продукты с интеграцией продвинутых технологий (аналитики, AI, BI) только усиливается. Наглядная иллюстрация выражения «Успех – это успеть».

Настроение, когда ушел из xAI, в котором запрещено слово «рисерчер», и теперь наконец-то можешь выговориться

В догонку к утреннему посту про ИИ-пузырь: MIT выяснили, что в индустрии фейлятся 95% пилотных внедрений ИИ Дисклеймер: видели, что много где эта новость подается под видом «95% ИИ-стартапов терпят провалы», но все не совсем так. Сразу уточняем ⬇️ Пилотный запуск – это не только стартапы. Это также внедрение ИИ (именно генеративного) в компаниях любого типа. Причем, опять же, это не обязательно про продукт: под внедрением может подразумеваться даже запуск небольшой фичи. Ну так вот. Отчет MIT основан на 150 интервью с руководителями, опросе 350 сотрудников и анализе 300 публичных проектов внедрения генеративного ИИ. Основная цифра: только 5% пилотных внедрений генеративного ИИ приводят к быстрому росту выручки, а остальные остаются малозаметными, не влияя на прибыль компаний. Звучит так себе, конечно. Но вот на что стоит обратить внимание: 1. Компании допускают очевидные ошибки в стратегиях. Более 50% бюджетов на генеративный ИИ направляются в продажи и маркетинг, хотя MIT отмечает, что максимальный ROI – это про автоматизацию бэк-офисных задач типа оптимизации операций. 2. Если компании покупают решения, а не пытаются придумывать что-то сами, то успех уже наблюдается в 67% случаев. 3. Не берется в расчет теневой ИИ. То есть неофициальное использование сотрудниками чат-ботов, агентов и других инструментов для работы. И вот уже получается, что если капнуть глубже, то все не так уж и плохо. Судите сами, в общем. Отчет вот (доступ через форму)

Полезные материалы про LLM и AI-агентов от магистратуры AI Talent Hub 📹 Лекция | Построение инфраструктуры для LLM: опыт X5 Tech 📹 Лекция | Код-ассистенты: Как Al-агенты помогают в разработке? 📹 Воркшоп | Базовый RAG: создай свой поисковик на LLM 📹 Reading Club | Михаил Бурцев – Как сделать LLM еще умнее? 📹 Reading Club | Валентин Малых – Как улучшить ИИ-генерацию кода? Подборки AI-тулзов 🔘 Open-source фреймворки для AI-агентов 🔘 Всё для создания MCP-агентов 🔘 AI-инструменты для кодинга 🔘 АI-сервисы для научных исследований 🔘 Гайды по промптингу ➡️ Хочешь освоить AI на практике и положить минимум 4 ML-проекта в портфолио? Подай заявку в AI Talent Hub до 27 августа. ✅ 80+ выборных курсов по AI/ML (в том числе курсы от ШАД) и 15+ курсов по софтам ✅ Онлайн-обучение в вечернее время с привелегиями очной формы: стипендия, общежитие, отсрочка ✅ Практика на кейсах от Яндекс, Альфа-Банк, Napoleon IT, AIRI и других индустриальных партнеров. ✅ Комьюнити: менторы из науки и бизнеса, бадди-система, помогающая адаптироваться и расти быстрее. ✅ Новая программа — для AI-продактов ✅ Диплом ИТМО * AI Talent Hub — онлайн-магистартура по ИИ от ИТМО и лучший просветительский проект в GenAI по версии Gnertion AI Awards 2025 😎 @aitalenthubnews Реклама. Университет ИТМО ИНН:7813045547

Альтман внезапно заявил, что ИИ может оказаться пузырем (Да-да, главное говорить это уже после выпуска GPT-5) Сэм сравнил рыночные условия с бумом доткомов в девяностых. Тогда тоже была массовая гонка инвестиций, но затем всего за 2 года главная американская фондовая биржа Nasdaq потеряла почти 80% своей стоимости: многие компании так и не смогли выйти на прибыль.

«Пузыри формируются, когда умные люди начинают слишком слишком увлекаться какой-то хорошей идеей. Находимся ли мы в фазе, когда инвесторы в целом слишком увлечены ИИ? По-моему, да. Но при этом остается ли ИИ самым важным событием в мире за долгое время? По-моему, тоже да»

К слову, если текущее состояние рынка – все-таки пузырь, то он уже сейчас больше, чем интернет-пузырь. От этом недавно писал в своем отчете известный экономист с Уолл-стрит Торстен Слок. По его словам, текущие показатели переоценки акций (фактически цена к ожидаемой прибыли) для топ‑10 компаний сегодня сильно выше, чем это было тогда. График наверху. Ну что, у кого какие идеи для стартапов? 🙂

Вышел DeepSeek-V3.1 Веса base модели уже лежат на HF, вот тут, но официального анонса еще нет. Пока ждем, вот что уже известно: – Увеличили контекст до 128к токенов – Знания теперь до июля 2024 – Архитектура не изменилась, но вроде как теперь модель гибридная Несмотря на последний пункт, пока модель выглядит как небольшой апдейт. Ждем бенчмарки и официальный блогпост 🤔

У Авито вышло очень информативное интервью про ИИ в бизнесе, архитектуры и социальные эффекты от генеративок Управляющий партнер Авито Иван Гуз без приукрас и очень емко ответил сразу на много основополагающих вопросов. Наш топ-3 вопрос-ответ, кратко: 1️⃣ Произошло ли массовое принятие технологии?

Уровень использования ИИ в качестве помощников растет экспоненциально. То есть сомнений в том, что все будут использовать искусственный интеллект, не возникает.

2️⃣ Какая окупаемость продуктов на базе генеративного ИИ?

Есть технологии, которые живут под капотом, улучшают всю нашу рекламную модель и реально окупаются. Это трансформеры, за счет которых релевантность всех наших поисковых выдач, рекомендаций существенно возрастает. В других сценариях мы, например, автоматически рекомендуем описание товара по картинкам, которые были загружены. Здесь GenAI помогает сокращать трудозатраты, потому что большой объем информации изначально создает за пользователя. Но есть агенты, их мы только начинаем тестировать. Мы верим, что мир в итоге придет к использованию агентского ИИ, поэтому и мы продолжаем идти в этом направлении.

3️⃣ На каком этапе развития искусственного интеллекта мы сейчас находимся?

Текущие архитектуры достигли определенного предела, и надо думать про создание не больших языковых моделей, а про создание так называемых world models, то есть моделей, которые понимают не только слова.

Интервью полностью читаем здесь