Data Secrets

Внезапно: по мнению Яна Лекуна LLM-модели — это не «пузырь» На его взгляд, здесь нет инвестиционного пузыря: LLM уже сейчас находят практическое применение и будут ещё долго приносить пользу. Пузырь – это не сами LLM, а вера в то, что одни только они смогут достичь уровня человеческого интеллекта, то есть AGI. Дальнейший прогресс требует прорывов, а не просто большего объема данных и вычислений. «Мы упускаем что-то важное»

Российские исследователи нашли способ обучать LLM логическим рассуждениям быстрее и дешевле Исследователи из T-Bank AI Research совместно с Центральным университетом представили новый метод, который позволяет развивать способность к логическим рассуждениям у больших языковых моделей без дорогостоящего полного переобучения. Исследование станет хорошим подспорьем для дальнейшего изучения интерпретируемости ИИ. Вместо того чтобы менять миллиарды параметров, они добавили небольшие подсказки-векторы, которые усиливают логические шаги модели в нужном направлении. Такой подход сохраняет все преимущества большой модели, но требует значительно меньше вычислительных ресурсов. Эффективность метода протестили на шести бенчмарках по математическому рассуждению: при изменении всего 0.0016% параметров сохраняется 100% качество полного дообучения. Потребление памяти сокращается с гигабайтов до сотен килобайт. Метод уже затестили на LLM Qwen и LLaMA. Потенциально он сможет встраиваться в существующие пайплайны, например, чат-боты, системы проверки кода или аналитические платформы. Поэтому даже университетские лаборатории и небольшие компании смогут обучать reasoning-модели. Метод представили на одной из ведущих международных конференций в области ИИ по эмпирическим методам обработки естественного языка (EMNLP 2025) уровня А* в Китае.

А вот так выглядит первая тестовая производственная линия Теслы для Optimus В 2026 должна появится еще одна, уже более крупная. Это пока пилот. Компания пишет, что их цель – это достичь себестоимости в 20к долларов на робота, и тестируют они их прямо тут же, на заводе и в лабораториях (что может пойти не так?)

Плохая новость: сейчас больше статей в Интернете пишется ИИ, чем людьми По графику видно, что разрыв пока небольшой, но увеличивается 👽 Аналитику нашли вот тут. Сейчас немножко расскажем о том, как это считали. 1. Взяли популярный CommonCrawl и случайно выбрали 65к страниц со статьями, написанными с 2020 по 2025 год. 2. Статьи делили на чанки и закидывали в Surfer AI Detector. Если более половины текста в статье классифицировалось как AI-made, то статья определялась как написанная ИИ, иначе – как написанная людьми. 2.1. Еще делали проверку на false-positives по датам (например, понятно, что до появления ChatGPT большинство статей должны класссифицироваться как человеческие). Впервые доля ИИ-статей превысила человеческие в ноябре 2024, потом был короткий период надежды, и теперь ИИ снова доминирует. Из хорошего: ИИ-статья в данном случае – это не обязательно прям от и до, возможно было какое-то ленивое редактирование человеком. Ну и еще авторы говорят, что пока таких статей довольно мало в топах поисковых выдач, что тоже не может не радовать.

Ноябрь — месяц One Day Offer в GigaChat и Kandinsky 📆 В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели. Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!

Понедельник, настроение: P.S. Сожалеем о его потерях

Сэм Альтман в интервью: «Думаю, все корпоративные приложения можно заменить на общую платформу на основе ИИ»

«В Slack много всего хорошего, но иногда он создает много фейковой работы. Думаю, что вместо этого можно создать что-то новое: что-то вроде офисного пакета на основе ИИ, который заменит docs, slides, email, Slack и тд. Это будет что-то на основе агентов, которые выполняют основную часть работу и эскалируют ее человеку, только когда это действительно необходимо»

Маск отреагировал на новость простым лаконичным: «А я говорил, что они собираются напрямую конкурировать с Microsoft». Напоминаем, что некоторое время назад миллиардер призывал Microsoft перестать работать с OpenAI, предупреждая компанию, что иначе стартап «съест ее заживо» ☕️

Как работают большие языковые модели, почему они «понимают» контекст и как запустить их у себя локально — без облаков и танцев с бубном? 👨‍💻🛠👨🏻‍💻 На открытом уроке разберём, как устроена архитектура Transformers, как LLM выбирает слова при генерации текста и почему от формулировки промпта зависит результат. Покажем, как развернуть модель локально через vLLM, протестировать её работу через API и использовать контекстные ответы на основе документов. Если вы разработчик, аналитик или продакт, который хочет не просто использовать ChatGPT, а понимать, как всё это устроено под капотом — этот вебинар для вас. ➡️ Приходите на открытый урок 10 ноября в 20:00 МСК в преддверии старта курса «LLM Driven Development». Регистрация открыта: https://otus.pw/ToDw/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Тем временем новая Kimi-K2-Thinking уже все выходные висит в самом топе трендовых моделей HiggingFace Кстати, выяснилось, что ее обучение стоило MoonshotAI всего 4.6 миллионов долларов. DeepSeek R2, ты ли это

Google предложили новую ML-парадигму Nested Learning, с помощью которой модели смогут учиться непрерывно Google все не оставляют попыток повторить свой успех 2017 года и снова изобрести в ИИ что-то новенькое и прорывное. Может, когда-нибудь одна из вот таких интересных работ и стрельнет. В этот раз они предлагают переосмыслить нейросеть как таковую и начать рассматривать модель не просто как одну крупную оптимизационную задачу, а как набор вложенных (nested) оптимизационных задач, каждая из которых имеет свой контекстный поток и своё время обновления. В первую очередь это попытка решить проблему катастрофического забывания. Память современных моделей, мягко говоря, сильно ограничена, и после предобучения или файнтюнинга их уже не так-то просто научить чему-то еще: при обучении на новых данных старые навыки начинают деградировать. Это гигантский глобальный недостаток, учитывая, что мы тут все вообще-то ждем AGI, который сможет непрерывно учиться и самосовершенствоваться. А вот как работает Nested Learning:

1. Авторы формализуют модель как множество оптимизационных задач: у каждой есть свой поток информации, на которой она учится, и своя частота обновления. Например, компоненты с высокой частотой обновления отвечают за адаптацию к текущему контексту, с низкой частотой – за какие-то базовые знания, и тд. 2. Но просто так, по щучьему веленью, модель не поймет, что и когда обновлять. Поэтому авторы предлагают сделать обучаемым сам оптимизатор. То есть алгоритм, который отвечает за обновление весов, перестает быть просто формулой и превращается в такую же нейросеть. Это называется Deep Optimizers. 3. Формально оптимизатор рассматривается как ассоциативная память, которая учится связывать градиенты с правильными изменениями весов. В этом смысле привычные SGD или Adam – это простейшие частные случаи (об этом, если интересно, подробнее читайте в самой статье).

Звучит немного замысловато, но об этом можно думать вот как: в последнее время очень модно делить память моделей на кратковременную и долгосрочную, а NL просто обобщает эту идеи и предлагает концепцию спектра памяти с множеством таких модулей. И на практике это реализуется аналогично. В частности, Google просто взяли свою старую архитектуру TITAN (мы о ней вот тут писали), в которой как раз были модули долгой и короткой памяти, и расширили ее на неограниченное число уровней in-context обучения. Получившаяся HOPE в каком-то смысле стала первой в своем роде само-модифицирующейся моделью. И, что самое интересное: эксперименты показали, что HOPE, по сравнению с базовыми трансформерами, имеет более низкую перплексию и более высокую точность в задачах common-sense reasoning и long-context memory. Статья | Блогпост

OpenAI подняли лимиты на Codex и выпустили GPT-5-Codex-Mini Новая моделька всего на 3% отстает от GPT-5-Codex на SWE-bench Verified, но при этом в 4 раза выгоднее. OpenAI советуют использовать ее для не самых сложных задач, чтобы тратить меньше доступных запросов к основной модели. Более того, когда вы потратите 90% лимита, Codex будет автоматически предлагать вам переключиться. Еще из приятного: лимиты для ChatGPT Plus, Business и Edu увеличили на 50%. С щедростью Anthropic все еще не сравнится, но все равно неплохо.

В Cursor обновили модель поиска: благодаря RAG многое теперь работает лучше В Cursor уже давно используется retrieval-механика: агент ищет по кодовой базе и добавляет нужные куски в контекст LLM. Но раньше был реализован просто grep вариант – поиск по строковому совпадению. Это быстро, но не всегда в достаточной степени релевантно. Теперь же ему на смену пришел более умный семантический поиск. По сути, RAG. То есть релевантность кусочков кода теперь оценивает специальная векторная модель, которая уже не просто ищет по ключевым словам, а сопоставляет смыслы. Интересно, что для этого обновления Cursor обучили собственную embedding-модель, заточенную именно под код. Для этого использовались реальные траектории работы агента. Каждая сессия – это последовательность: запрос -> поиск релевантных кусочков кода -> результат. Отдельная LLM-ка по этим траекториям оценивала, какие из найденных кусочков в итоге пригодились, а какие оказались шумом. А дальше берем нашу векторную модель и учим ее на триплетах (запрос, релевантные файлы, нерелевантные) так, чтобы в итоге ее ранжирование соответствовало ранжированию LLM, то есть более полезные кусочки были в векторном пространстве ближе к запросу. Grep-поиск, кстати, все еще где-то остается: например, он незаменим, когда надо быстро поискать по названиям переменных или функций. Результаты grep-модуля и векторной модельки комбинируются. Что в итоге с метриками: 1. На оффлайн-оценке на специально собранном бенчмарке «Cursor Context Bench» среднее повышение точности составило ~12,5%. 2. На A/B-тестах в среднем на ~0,3% вырос code retention. Это метрика, показывающая, сколько кода, сгенерированного агентом, в итоге осталось в проекте пользователя спустя время. На больших кодовых базах наблюдалось вообще +2,6%. 3. Также на ~2,2% понизилось количество dissatisfied follow-up requests – когда пользователь вынужден делать исправления или дополнительные запросы, если у агента что-то не вышло с первого раза. Эффект не огромный, потому что далеко не каждый запрос вообще треубует поиска, но он есть и особенно будет ощущаться в крупных кодовых базах. https://cursor.com/blog/semsearch

Google наконец официально запускает свой самый мощный ИИ-чип Ironwood Его впервые презентовали в апреле. Он в 4 раза быстрее Trillium и в нем в 6 раз больше памяти. Но самое интересное, что чипы способны объединяться в суперпод из 9216 единиц, который работает как единый суперкомпьютер. Между ними можно сделать all-reduce за счет специальной сети Inter-Chip Interconnect с огромный пропускной способностью. Это значит, что память чипов становится фактически общей и синхронизируется между всеми чипами кластера. На практике это означает, что можно обучать действительно гигантские модели на тысячах чипов как на едином устройстве. Уже похоже на что-то конкурентноспособное относительно Nvidia

Яндекс Маркет запустил ИИ-агента В Маркете появился ИИ-агент, который работает на базе технологий Alice AI. Он помогает с выбором товаров, как настоящий консультант, и при этом может самостоятельно определить порядок действий – изучит статьи, отзывы или задаст уточняющие вопросы, чтобы подобрать наиболее подходящие вещи. Ему можно отправлять фото и писать запросы текстом, а скоро добавят возможность задавать вопросы и голосом. Можно скинуть фото одежды – агент подскажет, с чем её лучше сочетать. Или рассказать про человека – и получить идеи подарков, которые ему точно понравятся. Чат с ИИ также запоминает историю поиска и может показывать в чате персональные подсказки. ИИ-покупки – новый тренд в e-commerce, и Яндекс развивает такие сценарии в Маркете и на Поиске, чтобы улучшить пользовательский опыт и закрыть весь цикл от поиска идеи до оформления заказа. Пока что это единственный маркетплейс в России, у которого есть ИИ-агент c таким функционалом.

Интересный инцидент произошел в ходе записи нового интервью Альтмана Активист из организации Stop AI (и их юрист по совместительству) внезапно выбежал на сцену, чтобы вызвать Сэма в суд. Дело в том, что OpenAI подала иск на эту организацию за то, что они неоднократно совершали «насильственные действия» типа блокирования входной двери OpenAI и перекрытия дороги перед их офисом. Сами активисты говорят, что это было «попыткой помешать OpenAI уничтожить всех и каждого живого существа на Земле». Короче, теперь Альтман должен будет лично явиться на это судебное разбирательство. Запасаемся попкорном 🍿

Вышла открытая Kimi K2 Thinking: релиз уже окрестили «DeepSeek moment 2.0» Моделька выбивает SOTA на Humanity’s Last Exam и BrowseComp: в основном за счет мега-прокаченного tool calling. Она может делать до 200–300 последовательных вызовов инструментов (интернет, браузер, интерпретаторы кода и пр.), самостоятельно планируя и разбивая задачи на подзадачи. Это правда впечатляет и сильно выделяет модель. В остальном: MoE, 1T параметров и 32В активных, контекст 128к токенов, лицензия MIT с небольшими ограничениями для больших продуктов. Попробовать можно здесь Веса | Блогпост | API

Теренс Тао и Хавьер Гомес-Серрано использовали Gemini Deep Thinking, AlphaEvolve и AlphaProof для попытки доказательства гипотезы Какея Про сотрудничество DeepMind с Гомесом-Серрано мы писали и раньше. Они уже несколько лет работают над решением задачи Навье-Стокса – одной из семи проблем тысячелетия. А вот сотрудничество с Теренсом Тао – это что-то новое и интересное (он официально признан одним из самых умных людей в мире). Ну так вот. В этот раз они все вместе работали над геометрической задачей о множествах Какея. Это недоказанная гипотеза, которая изучает минимальные размеры множеств, внутри которых можно провести отрезки во всех направлениях, не выходя за пределы множества. Ключевая и чрезвычайно сложная задача здесь – проектирование новых нетривиальных примеров множеств Какея. Именно это и сделал ИИ от DeepMind. В статье подробно описано, что все три агента работали вместе: AlphaEvolve сгенерировал новую конструкцию множества Какея в конечных полях, Gemini Deep Think доказал корректность этой конструкции, а AlphaProof формализовал доказательство в системе Lean, полностью верифицировав результат. Что отличает этот случай от маркетинга OpenAI в стиле «GPT-5 открыла новую математику» – так это как раз вот эта законченность научного цикла. От гипотезы до верифицируемого формального доказательства. Выглядит такое сразу сильно мощнее. https://arxiv.org/abs/2511.02864

Продолжаем разбираться, как работают разные технические штуки в знакомых чат-ботах В этот раз поговорим про tool calling на примере нейросети Алисы. Это не просто языковая модель, у нее есть еще и агентские способности. Тут один из самых распространенных юзкейсов – пересказ видео, статей и документов. Вы просто вставляете ссылку на ресурс в чате с Алисой и просите: "перескажи", – а через минуту получаете емкий конспект. А еще она может: – Написать и запустить код, если для ответа это нужно – Забронировать столик в ресторане или записать вас на какую-нибудь услугу – Найти для вас нужный товар или информацию в Поиске ... и все это построено на tool calling. Сейчас разберемся, что это, и как научить этому модель. Тул (функция) – это формально описанная операция, которую нейросеть может вызвать. Например: сделать запрос в Поиск, вызвать интерпретатор, получить информацию о доступных окошках на стрижку и тд. У каждой функции есть четкое API: входные аргументы и структура ответа. Модель в определенных ситуациях должна научиться отвечать не просто текстом, а возвращать вызов функции. Рантайм парсит этот вызов, идет в соответствующий бэкенд, получает результат (например, результат содержание веб-страницы) – и этот результат снова подается модели, как следующее сообщение контекста. Чтобы это заработало стабильно, модель специально дообучают на примерах таких диалогов («запрос → вызов функции → ответ функции → следующий вызов → финальный ответ»). Это учит ее не галлюцинировать параметры, аккуратно перекладывать реальные айдишники и поля из ответа одной функции во вход другой. При этом если в бэкенде появляется новая функция, нам не нужно бежать и переобучать модель, потому что список доступных тулов она получает прямо в промпт. Над описанием каждой функции специально работают бекендеры: описывают ее работу, параметры, особенности. Короче говоря, под капотом там целая документация для LLM-ки. То есть модель выступает еще и планировщиком. Благодаря этому же навыку скоро Алиса AI научится помнить дела пользователя, напоминать о важных событиях и выполнять какие-то конкретные поручения.

Стартап Edison Scientific выпустил ИИ-ученого Kosmos, который совершил уже 7 научных открытий. Разбираемся, как он устроен, и что на самом деле может. Результаты заявляются очень громкие. Якобы за один запуск агент может проанализировать около 1500 научных статей и написать 42 тысячи строк кода, и за пол часа выполняет работу, которая у людей заняла бы пол года. К этому вернемся позже, а пока – архитектура. Система мультиагентная. Один из двух основных агентов фокусируется на анализе данных (код, визуализации, эксперименты в том числе), другой – на поиске и чтении литературы. Эти агенты взаимодействуют через «модель мира». Эта модель мира является центральной частью Kosmos и представляет из себя обновляемую базу знаний, в которой фиксируются гипотезы, результаты, ссылки. Один цикл системы состоит из следующего: работает агент аналитик -> он выдвигает гипотезу -> другой агент ее проверяет на основе литературы -> модель мира обновляется. И так много-много циклов (запуск ограничен 12 часами, это в среднем 200 итераций). Теперь вернемся к результатам. 1. Для оценки качества привлекались независимые эксперты. Они оценили, что 79.4% утверждений в отчётах – верные. Вроде неплохой результат, но что там делается в этих 20.6% и как с ними быть – большой вопрос. 2. Kosmos действительно совершил 7 открытий, но есть нюансы. Во-первых, среди них три репликации (то есть система пришла к тем же выводам, что и люди раньше, по данным, которые были ей доступны). Четыре же действительно еще формально не описаны в литературе. Например, агент предложил ранее не испробованную оптимизацию термообработки в материаловедении. Все открытия также проверялись экспертами, но в то же время ни одно не верифицировали официально. 3. "За пол часа выполняет работу, на которую у людей ушло бы 6 месяцев" – это оценка самих авторов на коленке. Они посчитали по бенчмарку METR, сколько у людей занимает чтение статей, анализ и тд, все это сложили и – вуаля. Так что конкретно к этому утверждению стоит отнестись с некоторым скепсисом. Несмотря на все эти оговорки, результаты действительно неплохие и довольно прозрачные (кроме последнего пункта). Одно только то, что агент может работать автономно 12 часов подряд и качество при этом растет с ростом количества циклов делает релиз крутым. Попробовать Kosmos можете тут. Правда, один запуск стоит 200 долларов 💸 Блогпост | Статья

Книжку на выходные вам нашли