Data Secrets

Новое с OpenAI DevDay 2025 (будет несколько постов): 1. В ChatGPT завезли приложения. Это что-то типа MCP на максималках: ChatGPT соединяется с приложением, и вы можете работать с ним прямо не выходя из чата. Например: – скинуть боту набросок дизайна и вызвать Figma -> он построит готовый проект; – попросить систавить плейлист и вызвать Spotify -> агент скинет сформированный плейлист; – попросить объяснить что-то и вызвать Coursera -> вы сможете смотреть обучающие видео прямо в чате и в режиме лайв спрашивать модель о происходящем. Самое интересное, что девелоперы скоро смогут завозить в ChatGPT собственные приложения, пройдя необходимую проверку, и получать монетизацию. Пока будет доступна SDK либа для разработки, так что можно практиковаться.

Google DeepMind выпустили занятную статью, в которой проверили, насколько хорошо Veo 3 понимает мир Google уже долгое время говорят, что Veo – это их не просто моделька для генерации прикольных видосиков, а (потенциально) полноценная world modeling система, которую хотят использовать для обучения следующего поколения моделей, агентов и роботов. А еще, возможно, такие модели как Veo сами по себе могут стать следующим шагом в развитии ИИ. Ведь ученые вроде Лекуна очень любят повторять, что именно отсутствие понимания материального мира – основная проблема современных LLM, которая отделяет нас от AGI. Так вот. В Google решили проверить, насколько уже сейчас текущая версия Veo понимает физику и логику нашего мира. Ее прогнали по большому сету задач, среди которых были: лабиринты, моделирование физики, визуальные задачки на ризонинг, распознавание свойств объектов и тд и тп. Все задачки и как с ними справилась Veo можно посмотреть тут. Если кратко: – Модель действительно способна решать широкий набор задач, для которых её. Пример: детекция, которой напрямую не было в трейне. – Veo 3 решает задачи, требующие пошагового визуального мышления (которое авторы называют Chain-of-Frames (CoF), аналог Chain-of-Thought в LLM). Например, на лабиринтах 5 на 5 точность достигает 78% на pass@10. Для такой модельки это прямо неплохо. – Хорошо понимает физику и может смоделировать сложные штуки типа плавучести, трения, отражений, преломлений и другого. Вывод такой: подобные модели точно можно рассматривать как альтернативу обучению на тексте. Пока, конечно, их развитие все еще в зачатке. Но кто знает, что будет через год, два или три. Статья

Привет! На связи команда МТС True Tech Talents. Мы запускаем набор на 4 поток Школы аналитиков данных🥚 Обучение проходит в онлайн-формате и длится 10 месяцев. Преподаватели — эксперты нашего центра Big Data. Вы научитесь писать на Python, прокачаетесь в математике, основах машинного обучения, ML Ops, Spark и прочих вещах, без которых не выйдет работать в Data Science. Также у студентов будет возможность попасть на стажировку в МТС Web Services. Обучение бесплатное, но места ограничены - чтобы попасть, необходимо подать заявку до 30 октября и выполнить вступительное задание. Старт обучения - 10 ноября! Регистрируйся по ссылке, ждём тебя!

У Anthropic новый CTO Им стал бывший технический директор Stripe Рахул Патил. Он пришёл на место сооснователя Сэма МакКлэниша, который теперь займётся архитектурой и обучением крупных моделей в роли главного архитектора. Патил будет отвечать за инфраструктуру, вычисления и инференс — ключевые направления для компании, особенно на фоне растущей нагрузки на Claude и гонки с OpenAI и Meta* за вычислительные мощности. https://techcrunch.com/2025/10/02/anthropic-hires-new-cto-with-focus-on-ai-infrastructure/

К слову, сегодня ждем еще один продукт от OpenAI У них проходит DevDay 2025 в Сан-Франциско. По слухам, должны показать конструктор агентов Agent Builder. Это будет zero/low code продукт типа n8n или Zapier: платформа для простой реализации и оркестрации всяких автоматизаций и агентных рабочих процессов. У OpenAI уже когда-то выходила библиотека Swarm с тем же функционалом, так что zero code адаптация – логичный следующий шаг. Для несложных автоматизаций должно быть хорошо. Особенно, если добавят всяких интересных интеграций, MCP и прочего. Стрим можно будет посмотреть в 20:00 по Мск (ссылку добавим к этому посту, как только появится)

А у нас в эфире постоянная рубрика «GPT-5 решила очередную сложную математику» В этот раз речь пойдет сразу о двух задачах. 1️⃣ Первая – «Yu Tsumura’s 554th Problem». Это задача из сборника Yu Tsumura, примерно уровня IMO. Суть – доказать тривиальность определённой группы, заданной соотношениями для двух её генераторов. В последнее время благодаря короткой формулировке она стала своего рода тестовой для ИИ (то есть достигла ли модель уровня IMO или нет). GPT-5 стала первой моделью, которая справилась с этой задачей. Порассуждала она при этом всего 15 минут. Забавно, что буквально месяц назад выходила статья «No LLM Solved Yu Tsumura’s 554th Problem», в которой авторы доказывали, что современным моделям все еще не хватает способностей на подобные задачи. Это еще раз к слову о скорости прогресса. 2️⃣ Вторая – NICD-with-erasures majority optimality. Это задача из теории информации, связанная с восстановлением исходного сигнала через канал с шумом. Пара независимых участников пытается по своим частично стёртым версиям наблюдений угадать одну и ту же функцию от исходных данных, с целью максимизировать согласие. Суть тут в том, что ученые долгое время считали, что мажоритарная функция в этой задаче является оптимальной. GPT-5 впервые доказала обратное, подобрав контрпример. Это фундаментальная проблема в теории информации и коммуникации. Найти оптимальную функцию – значит лучше проектировать коды восстановления данных, хранить их и тд. Практическое применение огромное, и GPT-5, получается, открыла новую главу для исследований. Вот такие новости понедельника. Оба решения, кстати, были опубликованы незавимыми математиками.

Всех причастных к обучению в любом виде – с праздником 👉

Физики из Гарварда построили первую в мире квантовую машину, способную работать без перезапуска более двух часов подряд Это в сотни раз дольше прежнего рекорда, составлявшего около 13 секунд. Одна из главных проблем в квантовых компьютерах – это так называемый «атомный уход». Во время работы машины атомы, выступающие в роли кубитов, могут постепенно теряться. Это вызвано флуктуациями температуры, ошибками в лазерных или магнитных полях, или столкновениями с остаточными газами. А потеря квантов = потеря информации. Так что вычисления приходится постоянно перезапускать, перезагружая систему. На таком компьютере, как вы понимаете, далеко не уедешь. В Гарварде группа ученых под руководством Михаила Лукина (он, кстати, родился в Москве и учился в МФТИ) нашла способ частично решить эту проблему. Они используют так называемые «оптические конвейеры» (optical lattice conveyor belt) и «оптические пинцеты» (optical tweezers), которые позволяют прямо во время работы автоматически заменять потерянные кубиты новыми, не прерывая вычислительный процесс. Квантовая информация при этом сохраняется за счёт того, что новые атомы синхронизируются с состоянием уже имеющихся. Это не дает данным рассыпаться. Конвейер генерирует примерно 300 000 атомов в секунду, при этом в самой системе одновременно удерживаются около 3000 кубитов. Как только один теряется – его сразу заменяют новым. Ни много ни мало – прорыв. К слову, по оценке авторов работы, квантовые машины с практически неограниченным временем непрерывной работы могут появиться в течение ближайших 2-3 лет. Статья в Nature

OpenAI официально ответили на последний иск Илона Маска о шпионаже Берите попкорн, вот вам подробности: – Около недели назад Маск заявил, что OpenAI систематически переманивает бывших сотрудников xAI и подталкивает их распространять коммерческие секреты стартапа. Так Альтман, якобы, пытается выкрасть секреты разработок xAI. Наш пост с подробностями по этом делу тут. – Это, кажется, уже сотый по счету иск Маска в сторону OpenAI. Но в этот раз, видимо, Сэм не выдержал: сегодня на сайте стартапа появился целый лендинг под названием "Правда об Илоне Маске и OpenAI", в котором оказались собраны все иски миллиардера, официальные ответы на них, архивы переписок руководства OpenAI с Маском и тд. – OpenAI в своем ответе пишут, что всем этим собранием пытаются показать, что череда исков Маска – это просто политическая стратегия, а не реальные претензии. В частности, по поводу шпионажа они пишут следующее:

Не имея возможности добиться того же уровня инноваций, что и OpenAI, xAI направила в суд этот беспочвенный иск о хищении коммерческой тайны. Подчеркиваем: OpenAI вообще не нуждается в чьих-либо коммерческих секретах для достижения своей миссии, и меньше всего – в принадлежащих xAI. Это очередной элемент стратегии, которая фокусируется на судебном преследовании со стороны Илона Маска. Сотрудники имеют полную свободу выбора места работы. Многие талантливые люди покидают xAI из-за Маска, и часть из них добровольно решает присоединиться к OpenAI для реализации общей миссии. Цель подобного иска – не защита коммерческих интересов, а создание атмосферы страха среди специалистов, чтобы ограничить их профессиональную мобильность и вынудить остаться в нынешней компании. Попытки запугивать сотрудников юридическим давлением – это вредная для всей отрасли тактика, которая серьёзно подрывает инновационную динамику в мире искусственного интеллекта.

Вот такие страсти. А вы говорите, продолжение "Кремниевой Долины" не снимают 🍿

О, легендарный Эндрю Ын кажется проведет открытый бесплатный курс по Deep Learning в Стэнфорде Все лекции можно будет смотреть на YouTube. Первая вышла вчера, вот ссылка. Эндрю уже довольно давно ничего такого не вел, так что это настоящий подарок. Все презентации и материалы будут выкладывать здесь. В программе обещают довольно подробную теорию по нейросетям, от самых основ DL до LLM, RL, агентов, RAG и мультимодальных моделей. Практические материалы также должны быть доступны, включая (вроде как) домашки. Вот и нашлось занятие на выходные

Google Research выпустили text2image агента PASTA для итерационной генерации картинок PASTA взаимодействует с пользователем поэтапно, каждый раз уточняя предпочтения и дорабатывая картинки (см демо наверху). Тут идея в том, чтобы избавить юзера от утомительной корректировки промптов и генерации методом проб и ошибок, особенно в случае, когда идею вообще сложно выразить словами. И да, это именно агент, а не модель. PASTA – Preference Adaptive and Sequential Text-to-image Agent. И обучали его не на парах «промпт-картинка», а на целых сессиях пользователей, где видно, как модифицировались промпты и какие картинки юзер в итоге выбирал. Датасет этих сессий, кстати, выложили в опенсорс. Чтобы немного расширить обучение, на этих данных также обучают симулятор пользователя. Это две модели, одна из которых оценивает, насколько человеку понравится предложенная картинка, а другая определяет, какую из нескольких он бы выбрал. Благодаря этим двум моделям нагенерировали еще 30к сессий, на которых затем учили основного агента. Обучали с помощью RL. Конкретно – имплицитный Q-learning, IQL. Цель агента – максимизировать удовлетворённость пользователя за все итерации (не только за один шаг, это важно). Попробовать, к сожалению, пока нельзя: проект исследовательский. Зато можно пользоваться датасетом. Блогпост | Статья

Пятницу мы начнем с мемов

Ричард Саттон говорит, что LLM – это все еще не Bitter Lesson. Разбираемся, что это значит. Начнем с маленькой исторической справки. В марте 2019 года Ричард Саттон (очень известный ученый, отец RL и лауреат премии Тьюринга этого года) написал эссе под названием The Bitter Lesson, то есть Горький Урок. Суть: основные прорывы в ИИ достигаются не путём встраивания знаний специалиста в модели, а с помощью масштабирования вычислений и общих методов (само)обучения. Эссе сразу же стало фактически культовым, и Bitter Lesson превратился в полноценный профессиональный ML-термин. Каждую архитектуру обсуждали на предмет того, является ли она Bitter Lesson или нет, то есть сможет ли работать на долгосроке или провалится. А теперь к сути поста. Совсем недавно Саттон был на интервью у Дваркеша Пателя. Вы его точно знаете, у него много ИИ-знаменитостей побывало. И на этом интервью Ричард вдруг заявил, что LLM – это все еще не Bitter Lesson. "Вдруг" – потому что всегда считалось иначе. Ведь LLM – это вроде бы как раз про масштабирование компьюта и обобщение знаний. Но сам создатель Горького Урока считает иначе. Позиция Саттона в том, что LLM все еще обучаются и дообучаются только на непосредственно созданных человеком данных, а они могут (а) быть предвзятыми и (б) просто-напросто кончится. У человека или животного, в свою очередь, нет никакого предобучения или файнт-тюнинга, мы учимся в процессе взаимодействия в реальном времени. Так что LLM – это скорее тупиковая ветвь, которая, несмотря на свою мощь, нуждается в существенном переосмыслении для достижения настоящего ИИ. Монолог ученого вызвал просто какое-то рекордное количество споров. От себя скажем, что его видение понятно и не лишено логики, но есть нюансы. В частности, в противовес еще кратко хочется пересказать мнение Андрея Карпаты по этому поводу (ссылка на твит).

"У Саттона своеобразное видение ИИ. Он, как классик, выступает скорее за концепцию child machine, которую описывал Тьюринг. Это система, способная обучаться на основе опыта, динамически взаимодействуя с миром. Как люди или животные. С другой стороны, нельзя утверждать, что животные учатся чему-то с нуля. В них эволюционно заложены знания о жизни. Детеныш зебры может бегать уже через несколько минут. Такую задачу нельзя решить с нуля. Мозг животных при рождении – это не чистый лист. В LLM предобучение – это наша попытка алгоритмически воссоздать эволюцию. Не факт, что вообще существует алгоритм, который идеально бы удовлетворял Bitter Lesson. Это скорее платонический идеал, к которому стоит стремиться, а не единственное верное решение. Тем не менее, современным моделям однозначно не хватает каких-то механизмов, вдохновленных животным миром. В этом смысле речь Саттона – это real talk для исследователей. Мы должны больше думать о новых парадигмах и идеях, а не концентрироваться только на LLM".

В общем, это интервью точно войдет в историю. Посмотреть полностью можно тут. Ну и, конечно, ждем ваше мнение в комменты.

Павел Дуров откроет ИИ-лабораторию в Казахстане 👽 Он сообщил, что Telegram уже некоторое время работает над технологией на стыке ИИ и блокчейна, которая позволит миллиарду юзеров платформы использовать искусственный интеллект эффективно и приватно. Теперь над этим проектом новоиспеченная лаборатория Alem AI будет работать совместно с казахстанским суперкомпьютером. В нем около 400 видеокарт H200. Вот такие неожиданные новости

Делитесь своим системным промптом в комментариях 🤩

Tinker: стартап Миры Мурати Thinking Machines выпустил свой первый продукт И это, между прочим, не модель, а даже кое-что поинтереснее: API для файнтюнинга. Идея проста. Вы пишете код для файнтюнинга, а само обучение проводят уже Thinking Machines на своих серверах. Они занимаются всем, что связано с железом: распределение ресурсов, восстановление сбоев и тд. Поддерживаются самые разные модели: от небольших до очень крупных, включая MoE. В API доступны основные низкоуровневые примитивы (вроде forward_backward, optim_step или sample), из которых можно быстро собрать наиболее распространенные пайплайны дообучения. Для тех, кто хочет запустить что-то посложнее, Thinking Machines дополнительно выпустили Tinker Cookbook. Это открытая либа с уже готовыми реализациями многих более специальных алгоритмов поверх API. Там можно найти, например, RLHF, Multi-Agent, Tool Use, Math Reasoning и тд. Пишут, кстати, что Tinker уже попробовали несколько хороших лабораторий. Например, в Принстоне с ним обучили модель для доказательства теорем, а в Беркли с его помощью тестировали кастомный RL-метод для агентов. К сожалению, продукт еще в приватной бете для разработчиков и рисерчеров. Но можно записаться в вейтлист (есть вероятность, что примут быстро). Блогпост

Google показали, как AlphaEvolve ускоряет математические исследования У многих ученых отношение к ИИ все еще скептическое. Считается, что результатам моделек все еще нельзя доверять + они плохо интерпретируемы. Google в своей новой статье предлагают способ, как угодить всем. Они показывают детерминированный алгоритм, с помощью которого ИИ может гарантировано ускорять и улучшать исследования. Четкая проверка и определенный пайплайн тут как бы соединяется с черным ящиком и получается магия. Вот, предположим, у нас есть какой-то набросок доказательства, который надо улучшить. Система DeepMind не будет перерабатывать его целиком. Она найдет в нем место, которое можно качественно улучшить, и будет работать только с ним. «Качественно» улучшить – значит так, что улучшения можно мониторить одной конкретной метрикой. При этом связь этого кусочка с остальным решением остается неизменной, это четко определено. Получается, ИИ действует только локально и подконтрольно улучшает те фрагменты, которые может. Если это получается, то доказательно в целом улучшится. Метод называется lifting. Конечно, это применимо не ко всем задачам. Но ко многим – да. Например, в ходе экспериментов система работала со всякими комбинаторными доказательствами, и вот что вышло: – В задаче MAX-4-CUT из теории графов AlphaEvolve сократила существующий предел аппроксимации с 0.9883 до 0.987. Кажется, что это немного, но на самом деле в этой области ученые бьются за каждую сотую долю. – На аналогичной проблеме MAX-2-CUT система отыскала edge case огромного рамануянова графа, который благодаря своим свойствам может внести вклад сразу в несколько доказательств важный теорем. Пока это мелочи. Но представьте, если что-то подобное приземлит к себе каждая лаборатория в мире. Статья

Чем больше смотрю на то, что происходит в бигтехе, тем сильнее убеждаюсь: эпоха «просто разработчиков» закончилась. Сейчас на вес золота не те, кто пишет код руками, а те, кто умеет управлять ИИ и выстраивать процессы вокруг него. Ручная работа уходит, автоматизация заходит так глубоко, что меняются роли команд и сами подходы к разработке. И вот как раз об этом будет AI Boost 2025 — первая в России конференция про реальное ускорение разработки с помощью искусственного интеллекта. Здесь не будет магии и инфоцыганства — только честный разговор и конкретные кейсы. 🔥 Среди тем: 🔹 Практики внедрения ИИ в команду разработчиков без конфликтов и сопротивления (Surf) 🔹 Переход от AI-ассистентов к полноценным AI-агентам для ускорения процессов (T-Tech) 🔹 Экономия времени на QA с помощью shift-left подхода и автогенерации тестов (Surf) 🔹 Кейс внедрения нейросетей в проекты с нуля (Банк «Левобережный») 🔹 AI vs IQ: кто выживет на рынке труда, где уже правят нейросети (НИУ ВШЭ) А ещё два круглых стола: 🤺 «Внедрение ИИ vs Безопасность» — эксперты из Ozon, Сбера, Positive Technologies и Surf обсудят, как ускорять разработку без дыр в безопасности и как проекты будут контролироваться государством. ⚡️ «ИИ в продакшн» — спикеры из Яндекса, Магнит OMNI и других поделятся, станет ли спагетти-код стандартом быстрее, чем модели научатся писать чисто и стоит ли перестраивать SDLC ради внедрения AI. После докладов обещают фуршет и нетворкинг, а еще — интерактивный стенд с ИИ-предсказателем, который покажет разработчикам их будущее, и возможность получить личную консультацию с CTO Surf по внедрению AI-процессов в своей компании. 🗓 Когда: 3 октября 2025 года, 12:00 📍 Где: Москва, ДК «Рассвет» 🎟 Регистрация

В xAI разрабатывают аналог Википедии – Grokipedia Илон Маск завявил, что платформа будет «значительным улучшением» Википедии, которая по мнению многих сейчас развивается политически предвзято.

Честно говоря, это просто необходимый шаг на пути xAI к познанию Вселенной.

Бывший инженер Google открыл ИИ-стартап, в котором хочет изменить подход к обучению агентов (Каких-то 5-6 лет назад так начиналась каждая вторая тех.новость, ха-ха. История повторяется, только теперь к «бывший инженер Google» добавляется еще «бывший инженер OpenAI»). Ну так вот. Бывший инженер Google И бывший вице-президент по пост-обучению в OpenAI Вильям Федус действительно открыл очень занятный ИИ-стартап, который уже завирусился в X. Главная цель компании – создать полноценного ИИ-ученого. Но не такого, каких сейчас релизит каждая вторая лаба, а самообучающегося и способного на долгие исследования. Идея в том, что чтобы обучить полномасштабного ученого, данных из интернета недостаточно. Знания должны возникать сами, и для этого ИИ-ученому нужна ИИ-лаборатория.

В последние годы лучшие передовые модели ИИ почти полностью исчерпали Интернет. Исследователи стремятся эффективнее использовать эти данные, но, как знает любой учёный: хотя перечитывание учебника может дать новые идеи, в конечном итоге необходимо проверить гипотезу на практике, чтобы убедиться в её работоспособности.

С другой стороны, если дать моделям возможность проверять свои идеи в в настоящей физической среде, то (1) результаты их работы станут прозрачнее; (2) свежих данных параллельно можно наплодить сколько захочешь. Сейчас первая цель Periodic Labs (так называется стартап) – открытие сверхпроводников, работающих при более высоких температурах, чем современные материалы. Достаточно амбициозно, потому что открытие такого материала может буквально изменить технику и, следовательно, весь мир. https://x.com/liamfedus/status/1973055380193431965?s=46&t=pKf_FxsPGBd_YMIWTA8xgg