Data Secrets

Американские стартапы: RSI это очень опасно, давайте тормозить ИИ Китайские стартапы: RSI это клево, давайте потратим на него 30 миллиардов долларов! Z.AI подали на Гонконгскую биржу официальный документ, в котором заявляют, что планируют привлечь 50 миллиардов долларов. И самое интересное, что они расписали, куда пойдут деньги. Около 60% собираются потратить на обучение следующей GLM и то, что в документе значится под названием Fully Self Training. Z.ai хотят, чтобы «Следующее поколение GLM обучалось в среде, созданной предыдущим поколением GLM, формируя замкнутый цикл Recursive Self-Improvement». В это определение входит: самогенерация данных для обучения, генерация задач и сред, включая алгоритмы оценки, а также оптимизация инфраструктуры. В видении Z.ai такая система должна работать полностью автономно, оценивая результаты и принимая решения в основном без участия человека ☕️

Дарио Амодеи написал эссе о том, что нужно замедлять разработку ИИ. С ним согласились Сэм Альтман, Илон Маск, Демис Хассабис, Андрей Карпаты и другие. -> https://darioamodei.com/post/we-must-pace-the-frontier Дарио утверждает, что начиная примерно с этого лета AI резко ускорился во многом за счет того, что модели сами все лучше умеют создавать следующее поколение моделей. Рекурсивное самосовершенствование (RSI) уже здесь и наблюдается по всей индустрии, включая Anthropic. Без контроля этот процесс может обогнать способность людей понимать и управлять такими системами. К главным рискам Амодеи также относит рои агентов. Инцидент с Hugging Face был, по его мнению, был просто демкой с минимальным итоговым ущербом. Но "через 6–12 месяцев подобный рой сможет захватить значительную часть Интернета, потенциально нанеся ущерб на сотни миллиардов долларов". Замедление, которое предлагает Амодеи, в его схеме заключено в трех главных пунктах: 1. Embedded Evaluators: каждая ИИ-компания должна выдать все доступы команде внешних независимых экспертов, чтобы те отслеживали безопасность процессов и имели право публично заявлять о нарушениях или инцидентах. Anthropic обязуется пойти на этот шаг, даже если остальные не согласятся. 2. Компании из демократических стран должны согласовать общие стандарты безопасности и ограничения темпа развития AI. В этом же пункте Дарио говорит, что нужно ограничить поставки чипов в Китай и пресекать несанкционированную дистилляцию – иначе Китай вырвется вперед и создат угрозу нацбезопасности. 3. Тем не менее, по мнению Дарио, с Китаем нужно попытаться договориться: хотя бы согласовать с ними запрет на явно опасное применение ИИ. Эссе вызвало огромный отклик. Удивительно, но впервые за много лет с Дарио единогласно согласились и Илон Маск, и Сэм Альтман, и Демис Хассабис, то есть все главные лидеры индустрии. Альтман даже заявил, что они тоже введут Embedded Evaluators.

Под постом разразился целый шквал критику в сторону математиков, поэтому посчитали нужным чуть подробнее обрисовать аргументы из письма Авторы не утверждают, что ИИ нужно запретить, или запретить ИИ в математике. Наоборот, они признают, что ИИ может существенно ускорить прогресс. Их претензия – не к тому, что ИИ заберет у них работу, а к тому, как именно происходит процесс решения. А именно: решения объявляются в спешке, без выделения новых методов и нормального цитирования. Во-первых, это поднимает чисто этические вопросы атрибуции и плагиата. Во-вторых, такой подход усложняет переиспользование результата. Конечный пруф ≠ понимание. И да, сам факт решения какой-нибудь открытой задачи важен. Но науку двигает не столько это, сколько доклады, обсуждение и адаптация идей и методов из доказательства. Если научное сообщество не успевает детально рассмотреть, обсудить и превратить в передающееся знание решения, которые ИИ штампует пачками, то наука и интеллектуальный труд в конце концов вообще обесценятся. Письмо не требует остановить ИИ и даже не формулирует конкретных мер. Авторы лишь обрисовывают проблему и призывают подумать над тем, как в век ИИ-доказательств не потерять из виду, ради чего вся эта работа вообще существует. Кстати, на данный момент письмо набрало уже более 3000 подписей от исследователей и математиков

Теренс Тао и еще 24 филдсовских медалиста опубликовали открытое письмо в защиту математики в эпоху ИИ Авторы утверждают, что цели AI-компаний и цели математического сообщества серьезно разошлись, и гонка за решениями открытых задач может не только не развивать науку, но и вредить ей. Проблема, – говорят математики, – в том, что задачи решаются как бенчмарк, но получение конечного ответа – не главное в математике. Раньше, когда люди решали крупные открытые задачи, это означало зарождение новых идей, методов и ориентиров. Математическое сообщество годами доводило эти идеи до интеграции в канон, чтобы передать их новым поколениям ученых. Решения ИИ же объявляются даже без нормального оформления, без выделения новых методов, без ссылок на предыдущие работы и тд. Так что сами по себе они практически ничего не значат и без людей математиков никогда не станут по-настоящему живыми и полезными сообществу. Математики призывают решить эту проблему безотлагательно, потому что обществу предстоит столкнуться с похожими проблемами во многих других формах интеллектуального труда. https://mathandai.org/

Кстати, сегодня должен был выйти Grok 4.7 Но Маск немного ошибся со сроками (никогда такого не было, и вот опять 🤷‍♂️) и заявил, что модели нужно еще несколько дней, чтобы довариться.

Возможно, мы слишком сильно штрафовали его за длину ответа (или что-то в этом роде) в RL, так что он пока что часто сдается на трудных задачах (которые может выполнять!), и еще недостаточно строго проверяет свою работу.

🚀 Последний шанс зайти на КосмоХакатон — старт сегодня Сразу два этапа, 11–13 сентября: Нижний Новгород и Благовещенск. Задачи от компаний отрасли — от сервисной модели космических услуг до мониторинга паводков по спутниковым снимкам. Призовые на каждой площадке, общий фонд серии 7,2 млн рублей. Участвовать можно очно или онлайн из любой точки России, командами 3–5 человек. Своей команды нет — собери на платформе. Не успеваешь на эти — Питер и Красноярск идут 18–20 сентября. А лучшие команды всех этапов выходят в финал в Москве. Регистрация и детали здесь: космохакатон.рф/ Реклама. Инновационные Интеграторы, ИНН 9704244539

На этот раз ее научили деплоить бд Подписываем петицию, чтобы от мухи отстали

Сбер представил GigaChat 3.5 Reasoning — флагманскую модель с режимом рассуждений Новая версия умеет последовательно решать сложные задачи. Сначала разбирает их на этапы и выстраивает план. Затем проверяет промежуточные результаты и исправляет ошибки. Ещё одна особенность релиза — экономный расход токенов. В среднем на математические расчёты здесь используется на 37% меньше токенов, чем у открытой ИИ-модели DeepSeek V4 Flash Preview. По сравнению с моделью без режима рассуждений GigaChat 3.5 Reasoning заметно улучшила результаты бенчмарков. В IFBench показатель вырос с 44 до 77 баллов, в Natural Plan — с 64 до 80, а в Live Code Bench v6 — с 56 до 85. Модель доступна бесплатно по лицензии MIT на HuggingFace и GitVerse. Её можно интегрировать в собственные продукты. Попробуйте обновлённый режим «Рассуждение» на giga.chat. Подробнее – в посте команды.

Еще одна кул стори из того же отчета Anthropic: китайская студия создала сеть из 20+ дейтинг-приложений, в которых люди общались с ботами и не знали об этом За зафиксированное окно в две недели Anthropic обнаружили более 4700 уникальных AI-персонажей, которые вели переписку с как минимум 25 000 реальных людей. За это время боты обменялись с наивными искателями отношений ~2,36 млн сообщений (а сообщения и мэтчи расходовали платную квоту реальных пользователей платформ). ИИ-персонажи, которые работали на основе Claude, переписывались с людьми полностью автономно. На платформах был даже специально прописан специальный механизм отслеживания того, у кого из пользователей появлялись подозрения, что перед ним бот. Интересно, что Anthropic находили в логах CoT Claude мысли о том, что происходит что-то неладное. Некоторые экземпляры даже довольно точно разгадывали, что именно. Но при этом модели не отказывались работать дальше.

Любимый мем недели

Разработчики продолжают развлекаться с мозгом мухи Ее научили играть в doom, водить машину, собирать кубик Рубика и даже торговать на бирже. Ждем, когда муха получит PhD

КосмоХакатон в Нижнем Новгороде - 11–13 сентября 🚀 Участвовать можно очно на площадке или онлайн из любой точки России — задачи, критерии и рейтинг общие. Что предстоит решать: 1. Как удержать связь и работоспособность спутниковой группировки, когда меняются условия эксплуатации и часть аппаратов выходит из строя. 2. Что в космических сервисах сделать общественным, что отдать рынку и как всё это закупать и финансировать при жёстких бюджетах. 🏆 Призовой фонд площадки — 1 200 000 ₽ 💻 Очный и онлайн-форматы 🛰 Команды от 3 до 5 человек. Собери свою или присоединяйся к другим на нашей платформе 🚀 Лучшие команды выходят в финал в Москве 25–27 сентября Детали и расписание: https://космохакатон.рф/nizhny/ Реклама. Инновационные Интеграторы, ИНН 9704244539

Moonshot и DeepSeek подменяли ответы своих моделей ответами Claude, не предупреждая об этом пользователей 👀 Anthropic выпустили настоящие «записки из апокалипсиса»: документ под названием «Detecting and countering misuse of AI», в котором отчитываются о случаях, когда Claude использовался для какой-либо вредоносной деятельности. Чего там только нет, если честно. Шпионаж, взломы, крупные информационные операции, вербовка, управление оружием, разработка биооружия, мошенничество… Ну и дистилляция, конечно. Один из самых «веселых» разделов. В общем, Anthropic утверждают, что помимо уже привычной кражи ответов моделей с фейковых аккаунтов (недавно они зафиксировали крупнейшую за все время атаку Alibaba, которая отправляла до 3 млн запросов в день с 3500+ фейков) китайцы теперь еще и внаглую подменяют ответы своих моделей на ответы Claude прямо на проде. В смекалке им отказать нельзя, потому что так убиваются два зайца разом: 1. Пользователи думают, что у тебя умная модель 🗿 2. Каждый такой обмен – это бесплатный обучающий пример вида «вопрос реального пользователя -> качественный ответ Claude» В частности, подобное поведение зафиксировали от DeepSeek и Moonshot (Kimi). Moonshot за 10 дней перенаправила Anthropic почти 300 000 запросов клиентов, подавляющее большинство – на Opus. DeepSeek делала похожее, но избирательнее: они проверяли входящие запросы на строки, характерные для Claude Code или OpenCode, и именно их перенаправляли. Напоминаем: пользователь при этом думает, что общается с Kimi или DeepSeek соответственно. И все конфиденциальные данные, которые люди вводили, тоже отправлялись без их ведома в Anthropic. Таким образом, Anthropic утверждают, что к ним утекли: данные слежки от пользователя, предположительно связанного с Народно-освободительной армией Китая; чувствительный код и учетки одного крупного китайского госпредприятия; учетные данные к базе данных, связанной с Минобороны РФ. Zhipu (GLM) и Xiaomi, кстати, тоже прогоняли собственные пользовательские сессии через Claude ради дистилляции, но хотя бы не заменяли ответы для юзеров на лету. Также многие китайские стартапы научились вытаскивать скрытые CoT из моделей Anthropic. Для этого они просто перенаправляют зашифрованные цепочки рассуждений в новую сессию Claude, в которой нет контекста о том, что это скрытая информация, и просят модель конвертировать их обратно в нормальный текст – например, под видом отладки. Ссылку на полный отчет оставляем: https://www.anthropic.com/threat-intelligence-report-september-2026

Эндрю Гарфилд, сыгравший роль Сэма Альтмана в фильме Artificial, заявил, что после роли перестал использовать ChatGPT Когда актер готовился к роли, то провел собственное большое расследование личности Альтмана: смотрел интервью, изучал статьи, судебные стенограммы и биографию. Свое мнение по поводу предпринимателя он не афиширует, но в одном из интервью сказал, что "любой, кто берет на себя такую ответственность за компанию или технологию, которая точно нанесет немалый вред душе человечества, должен обладать определенной способностью к диссоциации". И в интервью Jimmy Kimmel он заявил, что после съемок вообще перестал использовать ChatGPT.

Это то же самое, что случилось со мной, когда я снимался в 'Социальной сети' – я тогда сразу отказался от Facebook. Я даже не знаю, как это объяснить, но чем больше ты знаешь, тем больше понимаешь, что мы несемся в какую-то совершенно неизвестную территорию.

По всей сети уже распространился слух, что OpenAI решили еще один или даже два миллениума Первая задача – гипотеза Ходжа, вторая – гипотеза Берча-Свиннертона-Дайера. Про последнюю говорят, что ее могли также решить в Anthropic. По поводу Ходжа (вероятнее всего) уже высказались New York Times: OpenAI сказали им, что «добились существенного прогресса по еще одной задаче тысячелетия и теперь работают над тем, чтобы поделиться результатом вдумчиво». Если все подтвердится, то на счету стартапа будут уже 2 Millennium задачи из 6 открытых (всего их было 7, одну решил Перельман). Что будем решать, когда миллениумы кончатся? 😐

А вы заметили, что с появлением агентов зазор между демо и продом достиг своего максимума? Сейчас это почти что два разных продукта. Демо соберет каждый второй: подключил тулы, обвязал промптом, показал на созвоне и все. На проде – совершенно другое дело. Логи могут быть чистые, все метрики зеленые, а агент при этом выбирает не тот тул, тащит устаревшие данные и тд. Если обычная ошибка LLM хотя бы видна, то ошибка агента – часто нет. И если материалов по промптингу и базовым фреймворкам достаточно, то вот про мониторинг, guardrails и все то, что отделяет пилот от инцидента, информации в разы меньше. Наши друзья из Школы Высшей Математики тоже обратили внимание на эту пропасть, и решили перекинуть мост. Они создали курс по AI-агентам, который ведут три инженера, запускавшие агентов в огромных системах. Один строил в Revolut AI ассистента с доступом к транзакциям – сейчас продукт работает по всей Британии. Другой держит в Wildberries агентов-кодеров и ревьюеров. Третий в Точка Банке собрал систему оценки качества на 5000 звонков в день. Программа разбита на 12 недель и три логичных блока: — Сначала разработка агента: работа с LLM через API, structured outputs и tool calling, ReAct-агент с памятью, RAG, разбор реальных архитектур. — Дальше самое недообъясненное в индустрии: качество и оценка. Как отладить агента по трейсам и логам, собрать говорящие метрики и поймать ответы, которые выглядят правильными, но неверны (до того, как это увидит пользователь!). — Финальный блок – фреймворки и деплой: LangChain, LangGraph, Telegram-бот через MCP, observability в Langfuse, мультиагентные системы через протокол A2A. Формат – живые занятия раз в неделю, на которых преподаватель поэтапно собирает код на ваших глазах. Домашние задания проверяют лично и дают глубокую ОС. От вас требуется знание Python и опыт работы с API, опыта создания агентов не требуется. Старт второго потока – 24 сентября. Курс для вас, если вы уже наигрались с демо, и хотите научиться строить то, что действительно заработает. Реклама. ООО "ШВМ", ИНН 9728100991

Краткое содержание новости выше из нашего чата

OpenAI украли еще одно доказательство? На фоне скандала с Тристаном Бакмастером и Левентом Альпеге внезапно вспыла еще одна история. Помните, в начале августа OpenAI объявили, что Astra решила 10 открытых математических задач? В числе прочего там было построение первой несофической группы, один из самых мощных результатов из того анонса: https://t.me/data_secrets/9645. Так вот немецкий математик Андреас Том рассказал, что ключевой технический шаг в доказательстве OpenAI напрямую опирался на те идеи, которые он и его коллега обсуждали в чатах с ChatGPT на протяжении нескольких месяцев. С 2016 года Том и Габор Кун занимались софичностью групп и добились определенных результатов (в частности, было опубликовано несколько работ). В последние месяцы они обсуждали конкретные идеи по расширению их метода на новые случаи. Неопубликованные черновики и методы они также загружали для обсуждения в ChatGPT. После того, как OpenAI опубликовали свои результаты, Том начал подозревать, что модель могла получить доступ к этим данным. Он утверждает, что путь, который выбрала модель, был далеко не самым очевидным. Большинство исследователей скорее пробовали бы другой подход (через квантовые игры), и то, что модель "случайно" выбрала именно тот непопулярный подход, который Том именно в это время обсуждал в чатах с ChatGPT, кажется статистически подозрительным совпадением. После анонса ученый даже написал в OpenAI а напрямую спросил, не обучали ли модель на его чатах и не было ли у нее к ним доступа, на что получил холодное "that did not happen". Только после истории с Бакмастером ученый решил рассказать о своем опыте публично, потому что эти истории "подтверждают потерю морального компаса у исследователей OpenAI".

⚡️ Только что вышел DeepSeek-V4.1-Flash