ИИволюция 👾

Artificial Analysis обновили свой рейтинг моделе и выпустил версию V5. Теперь моделям нужно попотеть, чтобы решать задачи, с которыми они не сталкивались в сети при обучении. В новом рейтинге теперь 60% задач и тестов из закрытого датасета. Раньше модели часто проверяли на задачках по математике, логике и знаниям. Теперь всё больше смотрят, что они реально могут сделать и на сколько этот результат “ок”. Например, добавили тест, где модель должна написать код для настоящего проекта. Причём оценивают не просто работает ли код, а согласился бы разработчик проекта принять эти изменения. И пум-пум-пум, лучший результат пока всего 46%. Ещё добавили 70 научных задач, которые модели должны самостоятельно решать с помощью инструментов. Тут лучший результат 63%. Что ещё интересного: - Claude Opus 5.5 теперь на первом месте с 58 баллами. GPT-6 Astra совсем рядом с 57, а GPT-6.1 Sol набрал 55. - Разрыв между закрытыми моделями и моделями с открытыми весами в новом рейтинге вырос с 3 до 12 баллов. Правда, методику поменяли, поэтому напрямую сравнивать эти цифры не совсем правильно. - GPT-6.1 Sol всего на 3 балла отстаёт от лидера, но выполнение задач обходится почти в 8 раз дешевле. - 60% рейтинга теперь основано на закрытых тестах или скрытых ответах. Так сложнее натренировать модель специально под известные задания. И ещё забавный момент, чтобы получить максимальный результат, моделям приходится тратить всё больше токенов. В среднем на одну задачу теперь уходит 59 тыс выходных токенов против 35 тыс в предыдущей версии. Теперь снова соревновательных дух есть, а то смотреть постоянно, кто набрал 95%, а кто 97% на очередном наборе тестов, уже наскучило. Ну и судя по результатам, даже топовым моделям ещё есть куда расти. https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5

Вот для чего нам iPhone Duo!

Тачка на прокачку Давно не занимался своим антиспам ботом для канала. Стал замечать, что иногда спам все же пропускает, всякие рекомендации прочитанных книг Бренсона (будь он не ладен со своим Virgin Galactic), которые мошенники могут скинуть вам в личку по запросу и некоторые предложения, далеко не все, но иногда что-то вроде “расчистить гараж прямо сегодня” просачиваются. А я реально давно не занимался прокачкой этого бота (его реализация очень тупая, на коленках, но рабочая), а оказалось там еще gpt-4o-mini стоит. Так то рабочая лошадка, но иногда стала подводить! А еще, вроде в январе, будет убита 4o/4o-mini, включая 4.1 в API. Так что, занялся на выходных доработкой и пересборкой антиспам бота, агент собирает лучшие наработки и практики тг антиспам ботов на рынке, уже поднял модель, много разных новых поведенческих факторов будет учтено. Но всегда есть риск, что он может забанить кого-нибудь случайно. В нашем деле без потерь никак, если что, пишите мне в личку для разбана, хотя бот будет учиться на ложных срабатываниях и стараться не допускать такого в будущем. Надеюсь на это 😅

Отменил продление z.ai подписки на glm, она пока действует до 9 ноября. Жду теперь релиз Kimi K3.1, буду тестировать 1-2 месяца, посмотрим как зайдет когда выйдет (на Арене уже есть). Хотя и GLM 5.4/5.5 тоже по слухам скоро дропнут, но пока GLM 5.3 для меня что-то между соннет и опус, туповат, долговат, устал от него. + у меня теперь Codex за $100 есть, так что миксую и учусь не привязываться к одному вендору 😁️️️️️️

В предверии релизов китайских моделей, мем про Дарио снова актуален. Вся команда Антропик сейчас явно сидят на Арене и пытаются понять, на сколько Kimi K3.1 и Qwen4 продвинулись вперед и на сколько прослеживается след дистиляции моделей Антропиков 🤌

В предверии релизов китайских моделей, мем про Дарио снова актуален. Вся команда Антропик сейчас явно сидят на Арене и пытаются понять, на сколько Kimi K3.1 и Qwen4 продвинулись вперед и на сколько прослеживается след дистиляции моделей Антропиков 🤌

В официальном аккаунте Kimi в твиттере появилось такое видео Ждем Kimi 3.1, кажется они не только дистилируют Claude, но и стилистику их релизных видео 🤌

Хочу вайбкодинг здорового человека. Чтобы после “готово” можно было идти ужинать, а не начинать расследование.

Антропик показали Duet, как ответ всем проактивным агентам конкурентов (Dots, Muse и что там еще бывает?) Duet самостоятельно следит за вашими делами и выполняет задачи в фоне. Работает на Opus 5.5, использует память, Skills и подключённые приложения из обычного Claude. Что умеет: – Каждое утро присылает сводку по почте, календарю и другим подключённым сервисам. – Сам замечает события, требующие внимания. Например, конфликт встреч в календаре или неоплаченный счёт. – Может подготовить информацию перед встречей, найти пропущенные сообщения в Gmail и Slack, написать черновики ответов. – Выполняет задачи в фоне. У него своя виртуальная машина с браузером, поэтому компьютер можно выключить. – Может собирать дашборды, финансовые прогнозы, презентации, прототипы и веб-приложения. –Поддерживает более 6000 коннекторов и плагинов. Среди них Gmail, Slack, Stripe, Shopify, HubSpot, Canva и другие. – Может работать с документами, счетами, зарплатами, интернет-магазинами и даже совершать покупки. – Общаться можно текстом или голосом, всё в одном чате. Нюансы: – Проверяет приложения раз в несколько часов, а не постоянно. Можно настроить, о чём и как часто уведомлять. – Перед отправкой сообщений, платежами, подписанием документов и удалением данных спрашивает разрешение. – Некоторые действия запрещены даже с подтверждением. Например, торговля акциями и переводы между счетами. – Пароли и токены авторизации агент напрямую не видит. – Фоновые задачи расходуют обычные лимиты Claude. Чем сложнее задача, тем больше ресурсов потребуется. – Пока нельзя посмотреть, что агент делает в своём браузере. – С личными задачами вроде бронирования билетов пока справляется хуже, чем с рабочими. – Позже обещают интеграцию с 1Password. Доступность: – Пока только research preview и доступ через лист ожидания. – На старте доступен подписчикам Pro и Max в США. – Отдельное приложение на iOS и Android, также работает через claude.ai. – Отдельно платить не нужно, но лимиты общие с Claude. Все детали: https://claude.com/resources/articles/claude-duet

И к новостям о роботах Unitree показали модель H2-X Kung Fu Legend Guardian. Когда-то на ролики от Unitree все хором писали, что это CGI и фейкньюс. ЧОПы и прочие охранные компании на выход?

Чтооо🐸 OpenAI на 16-й день марафона выкатили бомбу: в API теперь можно держать кэш 12 часов вместо 30 минут, а в Codex и ChatGPT Work кэш для подписчиков хранится вечно😧😧😧 то есть можно уйти на ночь, вернуться к старому разговору, и лимиты не сгорят на перечитывании всего контекста 😳 Для агентов, которые часами ждут сборки и тесты, это огромная экономия, я на своих логах видел, как такие перезаписи съедали недельный лимит. Для сравнения: у Anthropic кэш живёт 5 минут по умолчанию и максимум час. Есть нюанс: запись в 12-часовой кэш в API в 2,5 раза дороже, но окупается уже со второго-третьего использования. P.S. Anthropic, ваш ход 🌚 И да, такое забираем, сегодня можно без ресета👍

А кто как решает проблему “meat proxy”? В командных чатах, часто на запрос одного спеца, другой задает вопрос своему агенту и выдает в чат его ответ, и на этот ответ другой член команды идет к своему агенту за перепроверкой и дополнением или чтобы подготовить новые вопросы. У всех разные доступы, у всех разные специализация и свой фронт работ. И получается вроде люди сидят в чате, но по факту часто бывает, что люди занимаются пересылкой ответов от агентов. Напрашиватся много разных вариантов, как такое реализовать, но вдруг вы уже это как то решили у себя, расскажите?

Тратите много денег на API LLM? Это поправимо Если вы делаете продукт с ИИ или гоняете агентов через API, то наверняка уже считали, сколько денег уходит на запросы. На этапе прототипа токены улетают вполне по-взрослому, хотя сам продукт ещё ничего не зарабатывает. Ко мне пришли ребята из CheapGPT. У них единый API к GPT, Claude и Gemini, а цены до 3 раз ниже, чем напрямую у провайдеров. Таких сервисов сейчас немало, и к любому из них у меня возникают вопросы: 🔒 Что происходит с моими логами? Содержимое промптов и ответов CheapGPT не хранит. Если этого мало, есть защищённый режим: запросы шифруются, и сервис технически не может прочитать, что вы туда отправляете. ✅ Кто их на самом деле обрабатывает? Многие дешёвые API работают через цепочку перекупщиков, часто китайских. Где в этой цепочке оседают ваши промпты и кому их потом продают, не знает никто. У CheapGPT запросы уходят только напрямую на сервера OpenAI, Anthropic и Google с подписочных аккаунтов. Без посредников между ними и вами. Проверить это можно благодаря открытому коду и dstack 📊 Не подсовывают ли мне модель попроще? У CheapGPT бенчмарки открытые, и их можно прогнать самому и сравнить качество ответов. Я бы заодно замерил задержки на своих задачах, особенно если от скорости ответа зависит работа продукта. 🚀 Выдерживает ли высокую нагрузку? Если у вас постоянная большая нагрузка, то по запросу CheapGPT выделит 1000+ RPM. 💸 А что по деньгам? Экономия зависит от модели. Например, сейчас GPT-6.1 Sol у OpenAI стоит $2 за вход и $10 за выход. У CheapGPT тот же миллион стоит $0,667 на входе и $3,333 на выходе. Получается примерно в 3 раза дешевле. Claude же дешевле на 40 процентов. Откуда такая разница? Ребята закупают подписки и превращают их в API, а закупку аккаунтов, ротацию, баны и всю сопутствующую возню берут на себя. API совместим с OpenAI и Anthropic, работают их SDK. Достаточно получить ключ, заменить адрес API и выбрать модель Оплата в рублях, без зарубежных карт. С юрлицами работают по договору и дают закрывающие документы. Если уже используете эти модели по API, посмотрите цены и попробуйте CheapGPT на своих сценариях. А если сейчас подключать нечего, за развитием проекта можно следить https://t.me/AIproductiv Реклама: ИП Зайделов Анатолий Георгиевич. ИНН 781129420099. #реклама erid: CQH36pWzJqVL1zRoabiewE4Y7RrfyhL68GgTAT3ks7M33A

В чатике друзей пишу “гоу завтра по пиву?”, на что мне один отвечает: “Завтра? Я точно завтра не смогу быть дома и не пить пиво, увы 😒️️️️️️ накопилось” Сразу понимаю, что-то в этой фразе не так, какая-то сложная логика. Без бутылки AI тут не разобраться: Как думаете, в итоге пойдет или не пойдёт? А то я не понял 😄

Красная вайб-повесточка

Уже оскомину набила эта фраза, если честно. Заходишь в Твиттер или Инсту, и каждый второй пост/рилс начинается с этой фразы. Ладно я понимаю в 2023, когда я сам в таком стиле писал и хайпил, но тогда это было реально в диковинку, а сейчас из каждого утюга “Я попросил клод сделать…” иииии он сделал! Только никто не говорит, что это никому не нужно кроме меня самого. Люди могут максимум коммент оставить “ух ты, круто!” и переходить к следующему рилсы или посту 🤣 Другое дело AI амбассадоры в AI лабах, исследователи и технари, веря в силу искусственного и что он скоро избавит человечество от всех болезней, в том числе от рака, начали курить сигареты как не в себя, показывая всем, что ИИ скоро изобретёт все лекарства и риск от курения снизится до нуля. У нас всё ещё вайбкодят в инстаграмах, а где-то пачками выкуривают на релаксе, потому что искренне верят, что к моменту, когда здоровье даст сбой, ИИ уже придумает, как всё “починить” 🤣 И это вот, по-моему, куда интереснее очередного “Я попросил Claude сделать приложение за 5 минут”. Многие конечно до сих пор пытаются удивить людей тем (и конечно много еще кто удивляется), что ИИ умеет писать код, а другие уже настолько уверовали в его возможности, что готовы буквально ставить на кон собственное здоровье. Иронично, конечно. Мы всё ещё меряем прогресс ИИ количеством сгенерированных приложений, а кто-то уже закладывает бессмертие в свои повседневные привычки. Поднимайте планку! AGI скоро, вот-вот, там за поворотом, сразу после IPO.

В Anthropic перестали использовать git, теперь у них собственная система контроля версий – Scion Сейчас, благодаря агентам, количество изменений, которые мержатся в их монорепо в день, достигает 30 000 (в мае, если что, было 2 500). Децентрализованный git такие объемы уже не вывозит, потому что у каждого клона должна быть полная копия репозитория. Для людей это удобно, но так как агенты порождают код в огромных количествах, то, как посчитали Anthropic, без танцев с бубном это влетало бы им примерно в 600 ПБ трафика в день. Сначала с этим боролись зеркалами, снапшотами и частичными клонами, но конструкция плохо масштабировалась, и в итоге за 5 месяцев стартап полностью перешел на собственный продукт – Scion. Scion устроен как всегда доступный сервер, который сам хранит и считает все (историю, коммиты, мержи) и отдает это по API, а клиентам-агентам достаточно маленького кэша и только тех файлов, которые им реально нужны. Продукт разрабатывала команда всего из семи человек, конечно же с помощью Mythos и других моделей. Заодно они сделали инструмент для код-ревью Antique, также заточенный специально под агентов. Плохая новость в том, что опенсорса не будет. Anthropic прямо пишет, что Scion не подходит как замена git для общего использования, и что он создавался спецаильно под нужды Anthropic с их громным монорепо, роями агентов и гигантским бюджетом на токены. Однако в посте они мягко намекают, что команде git пора бы задуматься об изменениях, потому что в век агентов инфраструктура, созданная для людей, постепенно становится главным узким местом.

Деды из-за AI взбунтовались. Ну или, если более серьёзно, заметное число действительно сильных математиков высказалось по поводу AI в очень, скажем так, настороженном смысле. Высказывание заслуживает внимания, и я вставлю свои 5 копеек. Надысь я читал лекцию и упомянул в конспекте про гипотезу Кёте о нильрадикалах. Отправил ребятам конспект и на следующий же день получил сообщение от студента, что гипотезу раскололи буквально пару недель назад (при помощи AI, разумеется), построив к ней контрпример. Про решённую гипотезу Якобиана все слышали, а про гипотезу о «Навье — Стоксе» соцсети гудят прямо сейчас. И это хорошо: многие люди, не отличающие синус от косинуса, узнают, что математика — это не только про решение квадратных уравнений. А две недели назад, к примеру, один из моих учеников (тоже при помощи AI) нашёл решение одной моей личной проблемы, показав, что у диаграмм сопряжённости бывает сколько угодно концов (и это замечательно). Пару слов о скептиках. Про тех, кто считает, что AI — грех против природы и вообще ужас ужасный, или что он вообще не нужен, я ничего говорить не буду (как вежливый кролик). Более содержательные возражения такие: (раз) массовое закрытие открытых проблем понижает интерес к математике и в целом негативно сказывается на учебном процессе; (два) построение контрпримеров не закрывает проблемы содержательно; и, главное, (три) люди в математике будут играть такую же декоративную роль, как люди в шахматах. Все понимают, что Stockfish не напрягаясь разнесёт любого шахматиста? Моя позиция такая. Закрытие многочисленных «именных» проблем — скорее плюс. По большей части они мало интересны сами по себе. В математике вообще обычно доказать нечто куда проще, чем задать правильный вопрос. А в том, чтобы ставить вопросы и искать взаимосвязи, важную роль играет чувство прекрасного и та самая «красота» математики. А с этим у AI пока неустранимые проблемы. Хорошая (на мой взгляд) математика — про то, как, используя новые термины, описывать известные структуры. Это совсем не то же самое, что искать контрпримеры к известным вопросам. Как говаривал мой шеф: «Зачем вы приносите мне контрпримеры? Что в поставленном виде ответ на вопрос отрицательный — я и сам понимаю. Разберитесь лучше, как поставить вопрос, чтобы ответ был положительным». Не вся математика такая, и многие разделы по сути закрываются, особенно те, что завязаны на контрпримерах или изощрённых вычислениях. Есть другие проблемы с AI. Хоть пока и не такие острые. О них сейчас и скажу. Первая. Многие математические институции становятся ненужными (сиречь заменимыми). Вроде как — поговори с ИИ, и он сам всё тебе расскажет. Почему это не так — напишу в другой раз. Вторая. Эффективность научных изысканий во многом теперь (и отныне) будет завязана на доступ к современным и качественным AI. Потому как без оного почти любой результат можно легко и быстро улучшить, уточнить или дать более короткое доказательство. То есть отныне математика завязана не на «кто умнее», а на «кто богаче». Это раньше математикам нужны были только карандаши, ластики и бумага (а философам даже ластики не нужны). Ну вот теперь мы будем в том же положении, что и физики-экспериментаторы или биологи. У них без нужного оборудования и соответствующего долгосрочного финансирования мало чего можно добиться. Вот и у нас теперь тоже. Что по итогу. Да, математика как наука снова оказалась перед серьёзным кризисом. Не первый раз: благодаря Гёделю математику тряхнуло тоже основательно. Но пересобрать себя, понять, что мы и кто мы, — придётся. В шахтах были канарейки — как сигнализация об угарном газе. У нас в этой роли бухтящие деды. Ну какая шахта, такая и канарейка. #AI

Впервые сегодня запустил дипсерч с фразой «когда новый дроп кими или глм, что говорят слухи? чего ожидать?» Жду теперь glm-5.5 💀🫶🏻

Прошел все стадии принятия бана codex/claude аккаунтов. 1. Купил минимальную подписку Lite на z.ai за $18 и попользовался в ZCode. Ну вроде для базовых вещей неплохо 2. Апнул подписку до Pro за $80 и запустил z.ai уже через opencode cli. Жизнь засияла новыми красками, а заодно под харнес claude завел z.ai, чтобы запускать в терминале по старинке claude, а там z.ai сидит с glm 5.3 3. Начал использовать на максималках, лимит 5-ти часовой выжирает просто в путь, но у меня было накоплено кажется 10 резетов лимитов, за 3 дня все их обнулил. И попал на очередной 5-ти часовой лимит 4. Апнул подписку до Max за $168 + glm 5.3 не мультимодальная, картиночки/скриншоты не видит, пришлось заводить скилл, что когда я кидаю картинку/скриншот, glm 5.3 адресует задачу на glm 5.3 flash, чтобы та описала, что видит. Я конечно не откажусь от мысли оформить новые подписки на кодекс как минимум и как максимум на клод, но появился шанс потестировать альтернативы и для базовых задач: продуктовая аналитика, генерация разных брифов и отчетов, средней сложности разработка, z.ai с glm 5.3 очень даже норм + не банят по гео и работает без впн.