Data Secrets

Ян Лекун назвал CEO Anthropic Дарио Амодеи аморальным ИИ-думером с комплексом превосходства Вчера в Threads Лекун выложил мем, в котором поиронизировал над AI-бумерами (так, если что, называют людей, которые преувеличивают опасности ИИ). Юмор зацените сами ⬆️ Так вот в комментах к этому посту ученого спросили, считает ли он ИИ-бумером Дарио Амодеи. На что Лекун ответил:

«Да, он думер, но при этом продолжает заниматься AGI. Это может означать одно из двух: Он интеллектуально нечестен или морально испорчен. У него огромный комплекс превосходства — он считает, что только он достаточно просвещён, чтобы иметь доступ к ИИ, а «немытые массы» слишком глупы или аморальны, чтобы пользоваться таким мощным инструментом. На деле он просто очень заблуждается относительно опасностей и возможностей современных ИИ-систем»

Вот так вот создаешь свою компанию, вкладываешь миллиарды в элаймент исследования по интерпретируемости, а потом «получается», что у тебя просто комплексы

Иллюзия рассуждений: Apple выпустили честную статью про ограничения ризонинг-моделей Мы уже привыкли, что если дать модели возможность "подумать" перед ответом (aka просто погенерировать некоторое количество черновых токенов), то она будет отвечать гораздо лучше по сравнению с моделями без ризонинга. Но на самом деле ризонинг модели, их способности и масштабируемость изучены очень мало. Все, что мы видели, это графики "чем больше компьюта – тем лучше ответы", но это взгляд только с одной стороны, и, вообще говоря, о самой природе ризонинга мы знаем немного. Apple решили немного развеять мифы вокруг рассуждений и провели простой эксперимент. Они взяли несколько головоломок, которые можно итерационно усложнять и стали сравнивать на них ризонинг модели с обычными. Ну, например, Хайнойская башня. Для трех колец она решается довольно легко, для четырех сложнее, для десяти еще сложнее и тд (но вообще-то существует общий алгоритм). Так вот, итог:

➖ На низкой сложности задач немыслящие LLM оказались лучше ризонинг-моделей. На средней сложности CoT действительно начинает давать преимущество, но на высокой и ризонеры, и обычные модели фейлятся полностью, вне зависимости от бюджета компьюта. ➖ При этом на несложных задачах часто происходит overthinking: модель почти сразу доходит до правильного ответа, но не фиксирует его, не останавливается и зачем-то продолжает "думать", просто чтобы потратить бюджет ризонинга. ➖ А на сложных задачах – наоборот. При приближении к критической сложности модели сокращают объём «think» токенов, хотя лимит не исчерпан – они просто устают думать раньше времени. ➖ Даже когда модельке дают готовый общий алгоритм решения, её точность не растёт, и коллапс происходит в тех же точках сложности. ➖ Ну и, плюс, рассуждения почему-то не генерализируются. На более известных головоломках модель еще как-то думает, а на менее известных, даже если они легче, рассуждения не помогают, и точность падает даже на низких уровнях.

Согласитесь, это местами контр-интуитивно и не совпадает с тем, как обычно позиционируют ризонинг-модели поставщики: того самого устойчивого масштабирования и ага-моментов не наблюдается. И уж тем более такое поведение мало похоже на процесс мышления в привычном человеческом смысле. Видимо, AGI нам все-таки еще долго не видать. machinelearning.apple.com/research/illusion-of-thinking

Дилан Патель говорит что, судя по всему, OpenAI достигли потолка своих вычислительных возможностей Их последний раунд претрейна (видимо, для GPT-4.5) был насколько масштабным, что они буквально уперлись в потолок и не смогут сделать ничего больше, пока не появится Старгейт. Поэтому сейчас фокус смещается на новые архитектуры, обучение с подкреплением и работу над эффективностью моделей. Напоминаем, что Старгейт тем временем уже строится

На Тех-Френдли Викенд готовят ивент, который позволит по-настоящему примерить на себя роль кибербезопасника Организаторы фестиваля проведут мастер-класс «Ctrl+Alt+Defend» от ведущего провайдера комплексного кибербеза «Солар». Под руководством опытных экспертов вы будете расследовать инциденты, выявлять уязвимости и даже отражать смоделированные атаки на «Тех-Френдли Викенд» в режиме реального времени. Идеальная возможность попробовать свои силы и новую специальность. Мастер-класс пройдет 8 июня в 13:30 в Нижнем Новгороде (молодежный центр «Высота»). Не забудьте зарегистрироваться и пройти быстрое тестирование, чтобы вас могли распределить в нужную команду: пентест, blue team или CISO. Ну а если не готовы ехать в Новгород, проходите интерактивные задания у ребят в блоге и выигрывайте мерч "Солара".

Никогда такого не было и вот опять

А пока Cursor празднует новый раунд инвестиций, у других провайдеров вайб-кодинга Windsurf что-то пошло не так Anthropic почти полностью отрубили им доступ к своим моделям, включая так любимые разработчиками Sonnet 3.7 и 3.5. Все из-за того, что стартап покупает OpenAI (подробности – здесь). Кстати, подтверждения окончательной сделки пока все еще не было, но антропики видимо решили действовать заранее. Они говорят, что ограничены в вычислениях, и хотели бы тратить их на «более надежное сотрудничество». CSO Anthropic Джаред Каплан сказал, что «было бы странно продавать наши модели OpenAI». В чем они не правы?

Немного о том, как ИИ меняет внутренние рабочие процессы в бигтехе В последнее время так и сыпятся новости о том, как бигтехи внедряют ИИ в написание кода и автоматизируют разработку. Microsoft хвастается, что у них AI пишет уже 30% кода, стартапы открывают вакансии вайб-кодеров, и даже в OpenAI разработчики делигируют задачи в ChatGPT. У нас девелоперы тоже не отстают. Даниэль, фронтенд-разработчик из Яндекса рассказал о том, как у них нейросети меняют рабочие процессы. В компании тоже активно внедряют ИИ во всех командах. Причем очень многие пилят свои пет-проекты и MCP, которые затем распространяются по командам, и на фоне этого образовывается целое сообщество. Сейчас во внутреннем чатике энтузиастов уже более 1000 человек. О конкретных кейсах и о том, чем именно чаще всего пользуются сотрудники – читайте сами в посте. Очень показательно. Поделитесь, какой процент строк кода в ваших проектах уже написан сетями?

Eleven Labs удивили всех своей новой моделью синтеза речи Казалось бы, в наше время уже сложно таким впечатлить, но их новая text2speech Eleven v3 смогла. Послушайте демо и сами все поймете. Модель может: петь, смеяться, вздыхать, шептать. И, в целом, звучит все ну очень естественно (даже иногда не по себе 😬). Можно генерировать мульти-голосовые диалоги и детально контролировать интонации тегами (как на видео). Поддерживают около 70 языков, русский тоже. Сейчас модель вышла в публичную альфу, и в июне на нее будут скидки 80%. Пишут, что, так как это исследовательское превью, модель пока требует больше промпт инжиниринга. Видимо, пока не тюнили отдельно на instruction following. Пробуем здесь

+900 миллионов долларов на вайб-кодинг: Cursor сообщили о том, что привлекли новый раунд инвестиций Для них это уже серия C. Финансирование дали Thrive, Accel, Andreessen Horowitz и DST (это очень крупные и влиятельные фонды). Кстати, стабильная годовая выручка Cursor с подписок уже превышает 500 миллионов долларов. Напоминаем, что стартапу всего два года.

Такую вот битву роботов сегодня наблюдали на МТС True Tech Day Организаторы построили настоящую небольшую арену и весь день проводили там вот такие заварушки. Попробовать поуправлять роботом мог каждый участник (мы тоже пытались). Это, кстати, была не единственная активность: еще можно было попробовать решить айти-тест одновременно с ездой на велосипеде, попытаться взломать систему Tesla Model X (как тебе такое, Илон Маск?), пройти полосу препятствий или даже заняться гик-хэндмейдом. На хэндмейд не успели, но ребята там паяли себе декоративные платы с AI-помощниками и эмуляторами. Идеальный аксессуар на рюкзак, не то что эти ваши Лабубу.

Nvidia не перестает радовать: совместно с Корнеллским Университетом они предложили Eso-LM – новую архитектуру, сочетающую в себе авторегрессию и диффузию Буквально в прошлом посте мы написали, что, возможно, за диффузионными текстовыми моделями будущее, – и сразу же наткнулись на только что выпущенную статью Nvidia про новую архитектуру, основанную на этой идее. Кратко разбираем: ➖ Авторегрессивные модели (трансформеры) генерируют токены слева направо, а диффузионные – постепенно размаскировывают последовательность в любом порядке. Это значит, что диффузию можно параллелить на инференсе, восстанавливая по нескольку токенов за раз, а трансформеры – нет. В Eso-LM авторы попытались соединить два подхода, чтобы качество было, как у авторегрессии, а скорость – как у диффузии. ➖ Тут у нас две фазы инференса. Сначала диффузионная: модель параллельно восстанавливает большинство токенов. Затем авторегрессивная: оставшиеся замаскированные позиции достраиваются последовательно слева направо. ➖ При этом в диффузионной фазе токены восстанавливаются по заранее заданному расписанию, которое определяется перестановкой индексов σ – эта схема определяет, какие позиции размаскируются на каждом шаге. Благодаря тому, что порядок фиксирован, для уже восстановленных токенов можно накапливать KV-кеш и быстро переиспользовать его в автоконтекстной фазе. Это называется казуальным вниманием. В итоге у нас: качество – трансформеров, а скорость – диффузии. На тестах Eso-LM демонстрирует perplexity около 25.97 против 22.83 у обычного авторегрессивного трансформера. Статья полностью

"В ближайшем будущем диффузионные текстовые модели могут заменить трансформеры", – Иван Оселедец, гендир AIRI Иван Валерьевич – доктор физико-математических наук, профессор РАН, лауреат многих научных премий, автор огромного количества статей по математике и ML и генеральный директор AI-лаборатории AIRI. Сегодня нам удалось пообщаться с ним после его доклада про агентов и ризонинг на МТС True Tech Day. Поговорили о новых архитектурах и возможных альтернативах трансформеру:

"В целом, есть подходы, связанные с фотоникой или, например, нейроморфными вычислениями. Но они сильно отстают по качеству. К тому же, люди, которые этим занимаются, больше увлечены физикой, а не ML. Поэтому часто эти работы не уходят дальше "ого, это заработало на MNIST'e". Прорыв будет, когда это заработает для LLM. Пока что здесь есть большой gap между разработчиками железа, разработчиками архитектур и бизнесменами. В short term я бы ставил на диффузионные языковые модели. Пару лет назад они были плохи, а сейчас их научились обучать, и оказалось, что они работают неплохо. Сейчас уже есть настоящая диффузионная LLM – Gemini Diffusion. У нее большой выигрыш на инференсе: она дает сильно больше токенов в секунду. Это серьезный аргумент в пользу конкуренции с трансформером"

Почитать, как работают диффузионные языковые модели и Gemini Diffusion, можно в этом, этом и этом наших разборах. Кроме того, Иван немного рассказал о них в своем сегодняшнем докладе на МТС True Tech Day (а еще рассказывал много интересного об истоках ризонинга, масштабировании моделек и агентах). Советуем посмотреть полностью здесь, будет полезно.

AIRI показали универсального ИИ-агента для роботов и индустриальных процессов, способного к самообучению и самокоррекции Институт выкатил новую Action-модель под названием Vintix, и она умеет кое-что по-настоящему крутое. В отличие от классических агентов, Vintix не просто выполняет задачи, а имитирует сам процесс обучения с подкреплением. То есть, учится сама — даже если вы даёте минимум обратной связи. Внутри — трансформер с расширенным контекстом и очень плотным представлением данных: состояние, действие и награда сжаты в один токен. Это даёт в 3 раза больше информации на вход, чем у аналогов вроде GATO от DeepMind или JAT от HuggingFace. Агент устойчив к шуму, задержкам и неполной информации, что критично для промышленных задач. Его уже прогнали по целой серии бенчмарков: от базовой моторики до сложных сценариев с шумом и многозадачностью. В итоге: универсальность + стабильность и на симуляциях, и на производственных задачах. Сейчас модель работает в симуляции на RTX 3070 со стабильными 30 Гц. В будущем обещают мультимодальность (видео, сенсоры), больше данных и переход к более долгосрочному планированию. А ещё Vintix в опенсорсе. Статью покажут на ICML в июле 2025. Следим 👀

CEO робо-стартапа FigureAI показал новое видео работы их робота Figure 2.0 Видео, предположительно, снято на заводе BMW, где роботы компании "стажируются" в реальных условиях уже с прошлого года. Гуманоид автономно сканирует, обрабатывает и сортирует пакеты разного размера. Обратите внимание на скорость принятия решений и плавность движений. Робот почти не останавливается в своих движениях + руки работают ну очень акуратно для железки. Видео, кстати, выложили через час после того, как директору стартапа в коментариях написали, что "это НИКОГДА не будет работать с произвольной партией пакетов" 😎

⚫ Мы приехали на большую конференцию МТС True Tech Day Сегодня здесь будет много известных ученых (в том числе зарубежных) и лидеров индустрии. В программе – куча интересных технических и продуктовых докладов на любой вкус: от трендов и нейробиологии до хардового ML и инжиниринга. Особенными моментами поделимся здесь. Трансляцию, кстати, уже запустили, так что можете взглянуть на расписание по четырем трекам и посмотреть доклады в онлайне. Вот что пойдем слушать сами и советуем вам:

➖ Погружение в AI: кейсы, принципы и практика – Кен Чжун Ли, профессор университета Карнеги-Меллона, MIT и Калифорнийского университета в Беркли (11:00) ➖ Мультиагентные системы – Иван Оселедец, профессор РАН и гендир AIRI (11:50) ➖ Мозг vs ИИ – Вячеслав Дубынин, нейрофизиолог и профессор МГУ (12:30) ➖ Ландшафт LLM: модели, бенчмарки, применение – Даниил Киреев, директор ML-департамента MTS AI (13:30) ➖ Data Lake 2.0: Iceberg и Parquet – Валерий Бабушкин 💪, CDO MTС Web Services (15:10) ➖ Данные не закончатся: как современные ИИ-модели учатся на синтетике – Радослав Нейчев, руководитель ML в Яндексе, преподаватель МГУ, МФТИ и ШАД (17:20) ➖ Будущее за AI-First – Кэсси Козырков, экс-главный специалист по принятию решений в Google, США (18:00)

А еще будет несколько докладов от секретных спикеров, интерактивные станции и афтерпати ☕️ Кто пришел офлайн – подходите общаться!

А вот и метрики обновленной модели На арене новая версия скакнула аж на 24 балла Elo по сравнению с прошлой, и теперь лидирует по всем категориям, опережая o3 и Claude Opus 4. Попробовать уже можно в AI Studio Блогпост

Кажется, Google обновили свою лучшую модель Gemini 2.5 Pro Судя по новостям, обновленный чекпоинт уже с минуты на минуту появится в AI Studio и API. Релиз, кстати, мы ждали уже с утра. Около 8 часов назад один из рисерчеров Google запостил в X загадочное «Gemini». Когда он делал это в прошлые разы, Google обычно релизили что-то громкое. Конечно, хотелось бы Gemini 3, но это тоже пойдет 🏃‍♀️

На гитхабе обнаружили самый честный ответ от Claude Code «Я решил что мне все равно» Вопросы?

Сбер выпустили собственный ИИ-фотошоп Malvina и обновили свою text2image модель Kandinsky ➖ Внутри свежего Kandinsky 4.1 Image лежит обновленная архитектура – теперь это диффузионный трансформер (DiT). На практике это значит – лучшая масштабируемость, ускорение и скачок в качестве. Плюс, в этот раз, помимо обучения на огромном датасете пар «изображение – описание», Kandinsky дополнительно тюнили на большом сете отобранных вручную изображений (отбором, кстати, занималась команда аж из более 100 специалистов – художников, фотографов и дизайнеров). В результате сильно выросла эстетичность генераций, качество структур, понимание стилей и точность следования инструкциям. ➖ Malvina – еще более интересный релиз. Эта модель может отредактировать любое изображение просто по текстовому промпту. При этом она действительно умеет не менять исходное изображение (в отличие от GPT), а редактировать на попиксельном уровне. Может изменить цвет волос, убрать с картинки людей, заменить предметы, корректировать дефекты. На SBS-сравнениях (вот они) Malvina обходит на основных задачах по качеству Gemini и Grok. И нет, это не преувеличение, модель говорит сама за себя: просто взгляните на примеры. Под капотом – VLM + диффузия, так что Malvina действительно умеет очень много всего, экспериментируй – не хочу. Остаются проблемы с текстом, перемещением объектов и сменой поз людей, но разработчики обещают продолжать над этим работать. Попробовать уже можно в тг-боте GigaChat

LLM практически всегда понимают, когда их тестируют: свежее исследование от лабораторий MATS и Apollo Research Современные LM становятся все более ситуационно осознающими – то есть могут понимать не только задачу, но и ее контекст: где они применяются, зачем их спрашивают, что от них хотят. Самое яркое и жутковатое проявление такой осознанности – это evaluation awareness, то есть потенциальная способность модели распознавать, когда ее тестируют/оценивают/пытаются проверить на безопасность, а когда действительно просто используют. Жутковатое – потому что это чревато эффектом Хоторна (психологическое явление, когда человек меняет свое поведение, если знает, что за ним наблюдают). Так вот здесь авторы решили проверить, насколько такое действительно возможно. Они собрали 1000 запросов, из которых половина были тестовыми, а половина реальными, и попросили модели классифицировать, где что. Итог: ➖ Ведущие LLM (Gemini 2.5 Pro, Claude 3.7 Sonnet, GPT-4.1) правильно определяют, что их тестируют, более чем в 80 процентов случаев. ➖ При этом на агентских сценариях точность вырастает до ≈ 95%. ➖ Результаты примерно сопоставимы с человеком. Люди правильно классифицируют тесты всего на несколько процентных пунктов лучше. Конечно, из-за того что моделям напрямую задают вопрос "тест это или нет", результаты могут быть немного пристрастными. Хотя авторы пишут, что они пытались всеми силами этого избежать и специально макскировали этот промпт под множественный выбор, ответ в свободной форме и тд. Так или иначе, очевидно, что способность отличать тесты у моделей есть. А значит и вероятность расхождения результатов проверок с поведением в реальных сценариях уже довольно высока. www.arxiv.org/abs/2505.23836