DEKSDEN notes

⚪️ Планирование Обсудим мое текущее понимание этапа планирования. ▶️ На верхнем уровне: модель плохо оперирует большими задачами. По конструкции нейросети, если вы обсуждаете большую фичу, модель думает про нее сразу про всю. В результате, если попытаетесь запланирвоать что то глобальное - получите огромную штуку, у которой в КАЖДОЙ части будут недоработки. Это эффекти дефицита голов внимания. Слона надо кушать по кускам. Обсуждение большой задачи оставляйте на верхнем уровне. Обсуждайте только концептуальное. Обсуждайте из каких блоков большая задача состоит. Фиксируйте общую картину: в виде спецификации, в виде какого то документа, описывающего что вы делаете, для какой цели, как будете проверять достижение цели. Это будет конечной точкой маршрута: куда мы все с этим планом идем. Опишите критерии завершения. Что должно быть сделано, когда мы выполним план. Если у вас получилось несколько сценариев, которыми надо проверять достижение цели - значит у вас несколько задач. Фиксируйте все, и прорабатывайте по одной. ▶️ Декомпозиция: это когда вы большую проблему разбираете по частям, методом анализа. После обсуждения верхнего уровня и конечной цели - фиксируйте конструкцию, нужен перечень блоков, из которых ваша конструкция состоит. На этом этапе ваша задача - зафиксировать составляющие подзадачи/подсистемы, и как они друг с другом связаны. Если это какая то система, зафиксируйте ее подсистемы и их контракт взаимодействия. Если вы не можете нормально декомпозировать задачу, или не выходит относительно простой схемы взаимодействия частей, вероятно вы залезли уже внутрь и пытаетесь цельную задачу декомпозировать на кусочки. Такое делать не стоит. ▶️ Каждая часть у вас должна получить спецификацию и сххему проверки, как эта часть выполняет свою часть контракта в рамках системы. На каждую часть я делаю отдельный протокол, со своим планом реализации, со своими сценариями проверки, со своими проработками с разных сторон ▶️ При проработке я применяю фокусное ревью плана - это когда используется пучок субагентов, и каждый субагент исследует отдельный аспект плана. С современными моделями важно проработать оверинжиниринг - они все еще склонны усложнять, склонны вводить ненужные абстрации и сущности, которые нужны "для красоты" или "на всякий случай/пригодятся в будущем". Такое нам не нужно - внимания и на существующие фичи не так много остается, куда тут усложнять! Субагентов и фокусные аспекты набирайте под задачу. ▶️ Схема проработки частей может быть графом: модель успешно нарисует вам какие части можно делать параллельно. Есои у вас есть сетап для запуска нескольких сессий - будет чуток быстрее в паралелльном режиме работать Современный фронтир легко делает граф из нескольких паралелльных волн, потом ряд последовательных шагов, потом снова паралелльные волны. В общем, любой сетап. ▶️ Ризонинг. Планирование - это как раз этап, который очень здорово может использовать длинные и очень длинные последовательности цепочек. Используйте повышенный ризонинг по сравнению с кодингом. На кодинге высокий рихонинг может быть вреден: там уже надо делать, и долгие раздумья отвлекают и путают. Если кодите Sol High - используйте на планировании Sol XHigh / Max / Ultra. Когда выбирать повышенный ризонинг? Еслизадача предусматривает для решения конкретного вопроса учета множества факторов, рассмотрение длиннцх цепочек, много сайдэффектов и так далее. То есть от количества деталей, которые одновременно нужно взаимоувязывать. Очень важно понять: если на самом верхнем уровне модель не додумалась до чего то, или приняла неправильное решение - это отразится на всей системе. При проработке деталей этот непроработанный момент вряд ли всплывет. Поэтому важно на каждом уровне обеспечить адекватный задаче уровень проработки. Не стоит CRUD форму планировать на Max. Тут даже Sol Low справится, потому что задача очень неглубокая: простейший набор действий. А вот проработка системы сетевого взаимодействия в реальном времени - возможно и большого ризонинга требует ... @deksden_notes

В связи с последними релизами начал переделывать свой workflow. Решил сменить пул моделей, на которых работаю. Последние 2 дня решал для себя ключевую задачу: подобрать базовую кодинг модель. Решил, что первичными критериями отбора будут: - pass@1 выше 59% (pass@1 — доля попыток, в которых модель решила задачу с первого раза) - pass@4 выше 79% (pass@4 — доля задач, решённых хотя бы в одной попытке из четырёх) Прогнал результаты всех моделей, включая китайцев В итоге ни одна китайская модель в рейтинг не вошла, как и gemini У нас сейчас два неоспоримых лидера по качеству кодинга, это OpenAI и Anthropic, но есть одно но - у Антропиков только Fable вошёл в рейтинг. Opus 4.8 уже вне фронтира. Мой выбор: Sol high Оптимальность по всем осям. По качеству - 69.4%, статистически неотличимо от Fable xhigh и Terra max, в трёх пунктах от абсолютного потолка рынка. По цене - $3.47, дешевле Terra max при равном качестве, то есть прямая доминация ближайшего конкурента. По времени - 9.9 минут на pass1 и 14.3 минуты на pass2: лучшая скорость во всём "клубе 59/79", лучшая на рынке. Четвёртая ось, которую обычно не замечают, это "гигиена" исполнения. 37 шагов и медианный пиковый контекст 98k токенов на задачу. Это глубоко внутри зоны его сильного long-context (91.5% MRCR) и без раздувания шагов, которым компенсируются слабости у Luna (102 шага) или Sonnet 5 (268). Sol high решает задачи коротким путём, а не берёт их "измором" через длительные цепочки рассуждений "ах вот оно что" и "ух ты, оказывается..." Экономика тоже сходится: - шаг вниз до medium экономит $1.61, но роняет качество на 8.3 п.п. (плохой размен), - шаг вверх до xhigh стоит +$1.23 за +1.3 п.п. (платим за шум). Итого, на medium мы теряем много качества за малые деньги, выше - переплачиваем без улучшения качества. P.S. Уже включил Sol high как наиболее экономичный, быстрый и надёжный исполнитель для написания кода в свой flow. Рекомендую.

⚪️ Еще один ресет?! Тибо пишет что завтра, возможно, у кодекса будет 8М пользователей.. И, видимо, ... ресет? Надеюсь в этот раз будет серверный - так надежнее по всем аккаунтам прилетает! У меня на большую часть плюсов так и не прилетел @deksden_notes

⚪️ Blume: генератор док сайтов от Vercel Собственно, сабж: 🔗 Оффсайт: https://useblume.dev 🔗 Быстрый и решительный старт : https://useblume.dev/docs/quickstart 🔗 Анонс: https://x.com/haydenbleasel/status/2076714329404268576 Я так понимаю, Vercel решил слегка покусать Mintlify А так - они хорошо собирают платформу для разработчиков! Прикольно что оч много opensource решений, и вот - очередное. Не буду фичи перебирать, для 1.0 думаю там не так все нарядно, но начинание неплохое. Из opensource сервисов для создания доки для разрабов я только Докузавра бы выспомнил - не так их и много, лишним не будет! @deksden_notes

⚪️ Openrouter.ai подвергся редизайну Кто зайдет и удивится позеленевшему опенрутеру - не пугайтесь, он не протух. Это редизайн 🔗 анонс: https://x.com/OpenRouter/status/2076695493019885655 🔗 Рассказ про редизайн: https://openrouter.ai/blog/announcements/brand-refresh/ Неплохо на самом деле - люблю темные темы и теплые цвета @deksden_notes

⚪️ FYI - ресет раскинули! 🔗 анонс был тут : https://t.me/deksden_notes/958 И вот - он реализовался. Ресет дали. Это не серверный ресет, это ручной накапливаемый ресет! Ищите в вебе или Work/кодекс аппе, рядом с использованием (ц) Фестиваль продолжается! Даешь ресеты каждые 4-5 дней! @deksden_notes

⚪️ Путевые заметки: наблюдения за белками Есть у меня экспериментальный проект. Это бот, который управляет базой знаний. Работает он на агентном поиске, база знаний ведется как граф. У этого бота есть пайплайн, который знания извлекает. Это самая сложная часть всей гравицапы, потому что он должен переварить документы, и достать картинки/текст/сущности/даты/связи и много чего еще. И все это в граф организовать. Анетный поиск по готовому - сильно проще ▶️ Так вот: какие белки? Которые как заведенные, бегают в колесе. Я, конечно, про Loop Engineering. 👉 Пайплайн импорта у меня крутится в задачах улучшения - как белка в колесе. Что за цикл? Мы запускаем пайплайн под наблюдением агента по инструкции. Далее смотрим чего получилось и проводим агентное ревью, там аспекты выделены и все такое. Результаты рассматриваем, находим косяки, где метрики не дотягиваются до целевых, и готовим исправления/доработки пайплайна. Ситемно и все такое. Потом эти доработки проходят полный SDLC цикл - plan -> code -> merge. Совокупно в полностью автономном режиме у меня наверное неделю пробегал. Последний забег длится уже 1.5 суток и пока даже не особо хочет кончаться. Циклов штук 70 прошло! Это все для контекста ▶️ Суть: хотел поделится наблюдением. При анализе как оно там, выясняется следующее. Да, пайплайн улучшается. Когда останавливается цикл и я разбираю чего там понакручено, то есть определенный прогресс. Но я не особо доволен тем как все идет. Не хватает системности решения проблемы. Задачи решаются вроде бы путем системного перепланирования, сверху вниз, но видно же, что это разовые доработки, которым недостает концептуальности! Вроде, все как завещали вендоры: задача обозначена, критерии измеримые, работай - поле свободно! При этом есть во флоу куча всяких улучшений, которые должны дорабатывать или чего то прорабатывать. Но все не выглядит идеальным. Это я еще ревью отключил, чтобы циклы крутились чуть побыстрее. Логика: пока меняем код, смысла каждое изменение вылизывать не вижу. В конце будем шерстить кодовую базу и причесывать - сейчас вопрос в основной логике. ▶️ Потом я вспомнил эксперименты с написанием компилятора. Подумал что очень похоже - там рой набрасывался на задачи и все было так же невнятно. Вроде цели вполне конкретные, но путаница, суета и невыстроенность в четкую систему! Опа! А ведь это похоже ▶️ Да, у меня процесс не хаотичный, он по рельсам флоу ездиет по кругу. Но для самой сути проектирования - по сути это тот же хаос! Агент действует так, как ему в его латентном пространстве всбредет в голову. ‼️ В чем вижу проблему: на мой взгляд, логика моей задачи превышает возможности модели. Она не в состянии понять полностью и осознать весь пайплайн одновременно. Поэтому она "мечется" по разным частям, добавляя заплатки тут и там. Очень похоже на попытку осветить фонариком большой цех: ресурса не хватает, свет теряется в большом пространстве! 👉 Что делать? Как обычно. Резать задачу, искать габарит который понятен модели. Резать пайплайн на кусочки, на этапы, и отлаживать отдельный блок. Такой, чтобы модель его полностью понимала! Хотя бы на верхнем уровне, но с достаточными деталями, чтобы отладить его работу. То есть мы возьмем маленький участок и уже там "сделаем светло". И так - этап за этапом. Можно параллельно! ▶️ Вывод: AGI пока не настал. Все инженерные вопросы решаем как раньше, недостаток мозгов модели решаем правильным флоу - в данном случае декомпозиция задачи рулит. @deksden_notes

⚪️ Запуск субагентов с определенной моделью Уже несколько раз в чате проскакивали упоминания, что кодекс не может запустить субагентов с нужной моделью! Это не совсем так. Пруф на скрине и в комментах (сессия, где видно запускаемую модель, в ui убрали зачем то). ▶️ У spawn_agents параметр model есть, но он опциональный. И самое важное - работает если НЕ ФОРКАТЬ в субагента контекст, что делается по-умолчанию. Иначе он просто наследует за сессией все свойства - модель, ризонинг. ▶️ Для multi agents есть две версии, 5.6 работает по умолчанию с v2, но с этим связано ряд багов. они обсуждаются в тредах: 🔗 https://github.com/openai/codex/issues/32031 🔗 https://github.com/openai/codex/issues/31814 🔗 https://github.com/openai/codex/issues/31864 Думаю, починят со временем, но я себе в конфиг внес блок:

[features.multi_agent_v2]
hide_spawn_agent_metadata = false
tool_namespace = "agents"

не знаю насколько это помогло, но ошибок и конфликтов между тулами кодекса и встроенными в сол - больше не видел, а они встречались! Скрин кусочка jsonl с параметрами вызова модели в комментах ⬇️ —— Upd 1️⃣ : в dev community есть решение, которое немного сложнее, но может быть тред или решение кому то будут полезны: 🔗 https://community.openai.com/t/restoring-subagent-roles-model-and-reasoning-in-multi-agent-v2/1386513 —— Upd 2️⃣ : сразу скажу что с субагентами в кодексе сейчас не все очень ладно. Извсетные мне сложност и баги, примерны список: • v2 субагенты иногда конфликтуют по схеме с встроенными субагентами в модель Sol • v2 субагенты иногда не получают при старте задачи от оркестратора, пустое сообщение • метаданные тулов могут быть спрятаны в конфиге чтобы не конфликтовать • не документированы неймспейсы для тулов и когда с ними работать (кто знает - подскажите!) • v1 и v2 субагентов нельзя менять для начатой сессии - метаданные сесси сохраняют версию этого режима, только сессию новую пускать • в v2 не видно модель и ризонинг при запуске • в v2 нельзя сходить в сессию субагента и посмотреть как он работает @deksden_notes

⚪️ Thinking budget для Sol Нашел обсуждения изменений. Клозеды по слухам значительно порезали бюджет рассуждений у Sol модели. На скринах в табличке указано! Juice - это как раз и есть бюджет размышлений в неких "попугаях". Оцените изменения - в разы! Хм.. Не знаю насколько это правда. Если да - то нужно снова рисовать графики зависимостей между уровнями размышления и перфомансом модели. Посмотрим —— Upd 1️⃣ : Terra / Luna бюджеты вроде бы не трогали - и Terra получается сейчас может сильно дольше старшего собрата думать!.. Upd 2️⃣ : Ответ тибо в комментах частично подтверждает, но говорит что все к лучшему, типа - все норм. Почитайте сами! Но сол лимиты палил довольно быстро, это точно надо было чинить @deksden_notes

⚪️ Фестиваль ресетов продолжается! Да, еще один ресет анонсирован. И теперь это - ручной ресет, который применяется вами по желанию. ▶️ Часть людей, кто применял недавно ресет (зачем? он же был серверный для все?) - у них ресет не применился, и всем, кто это делал около проблемного времени дали доп ресет ▶️ Завтра ручной ресет обещан всем пользователями Chatgpt Work и Codex. ▶️ Добавлена возможность применения ресетов в веб и с мобилок. Пока не нашел где именно это - ресетов в запасе не осталось! напишите кто найдет в комменты/чат. @deksden_notes

⚪️ Очередной ресет кодекса - и не только 1️⃣ Тибо анонсировал очередной ресет кодекса в течение этого часа! Ко мне пока не прилетел 2️⃣ Sol немного подкрутят чтобы он так не выжигал лимиты! 3️⃣ 5h лимиты ВРЕМЕННО отключаются - но недельные остаются —— 👉 На этом фоне: Антропики 1️⃣ сохраняют фублю в подписке (пока?), 2️⃣ еще на неделю до 19 июля пробляют акцию с х2 лимитами использования Если бы эти дятлы сразу сказали что до середины месяца можно фублю покрутить - я бы подписку купил! Обидно, да —— Удачный три-релиз случился, да? Ждем когда грок лимиты сбросит ))) @deksden_notes

🤖 Multi-Agent OpenCode Workflows Превращает OpenCode в дисциплинированную мульти-агентную инженерную систему. Архитектура: Один пользовательский оркестратор вместо хаоса агентов 11 скрытых специализированных субагентов (coder, reviewer, debugger, planner, verifier и др.) Иерархическая структура supervisor-worker Ключевые фичи: ✅ Структурированное планирование с треками и эпиками ✅ Независимая верификация после ревью ✅ Мульти-модельное консенсусное ревью ✅ Переиспользуемые внутренние навыки вместо раздутых промптов ✅ Шаблонная долговременная память Это не демо-набор промптов, а серьёзная основа для агентной разработки. 🔗 https://github.com/ABIvan-Tech/opencode-agentic-workflows #opensource #opencode

⚪️ Чем работать Смотрите, какую интересную и содержательную картинку встретил! На вертикали видим качество, а горизонталь - про стоимость. Тут есть о чем подумать. Видимо, потрата токенов в подписке в коэффициентах должна с апи стоимостью коррелировать - будем исходить из этой весьма вероятной гипотезы. 👉 Из графика получается, что Luna XHigh лучше Terra High за те же деньги. Добавка Sol Ultra в сравнении с High не кажется впечатляющей, зато рост расходов - огромный. И так далее. ▶️ В общем, паттерны использования нового трио надо нарабатывать - это теперь все новое и непонятное! @deksden_notes

⚪️ Промптинг поколения 5.6 Все уже пощупали 5.6-трио. Что можно сказать, помимо расхода токенов Sol? Промптинг определенно стоит тюнинговать под это поколение Мои наблюдения: • модель довольно глубоко может порассуждать, довольно глубокие моменты выкапывает • модель следует в русле того, что ты ей сказал • не всегда следует говорить что модели делать, чаще лучше спросить чего она предлагает исходя из набора моих пожеланий; • ограничения и ясная конечная цель и раньше были важны • агентность модели вполне высокая, учить переставлять ноги не обязательно Ну и можно почитать что сам вендор рекомендует как гайд для промптинга: • советуют устанавливать рамки, sandbox в котором рабоатет модель • ясно обозначить конечную цель • любые неопределенности или двусмысленности сильно повышают расход токенов на блуждание модели ❓ Успели отметить что то полезное и примечательное про промптинг новых моделей? @deksden_notes

⚪️ Grok Build даром! Тут Маск решил добавить жару и обещает давать пробовать грок забесплатно. Так то и сам грок 4.5 и упряжка вполне норм, так что если найдете время на фоне тестов Солнышка - не премините и грока защупать! Стоящая тема @deksden_notes

⚪️ Третий (!!!) ресет Кодекса анонсирован "в течении дня!.." чтобы это ни значило! В общем, есть возможность экспериментироваь, тестить и настраивать флоу! (ц) шоу маст гоу он! @deksden_notes

⚪️ Atlas всё Помните ИИ браузеры? Вот - вариант от openAI закрывают в сентябре ▶️ Я скучать не буду ни разу - не запускал его в принципе. Все что можно сделать в интернете лучше всего сделать в агенте с browser use / computer use или deep-research Никаких кейсов именно для браузера у меня не нашлось ❓ А кто то им пользвоался? Кто то грустит? @deksden_notes

⚪️ Еще один ресет на Кодексе (второй) ... анонсирован - в течение следующих 24 часов! Неплохо! Сгоревшие в Солнышке лимиты можно будет восстановить и уже не жечь так сильно @deksden_notes

⚪️ Релиз 5.6 Будем в этом топике ожидать релиз 5.6 и следить за событиями. Клозедовцы уже просыпаются потихоньку! Мониторим ситуацию ... (пост будет меняться и дополняться, надеюсь, превратится в пост о релизе линейки 5.6) @deksden_notes

👉 Подписки для работы с ИИ, удобный market: apel0sin_market_bot Из того, что сейчас особенно интересно: • ChatGPT Plus Edu и Chatgpt plus, подходит для Codex • Super grok + X premium+ по самой низкой цене • Gemini Pro + 5TB на 18 месяцев • разные ИИ-сервисы и подписки под работу, учебу и код Оплата есть через СБП, крипту и CryptoBot. Большая часть выдачи автоматическая, поэтому не нужно долго ждать ручной обработки. Гарантии указываются в конкретных товарах. • Отзывы • Их канал, там промокоды на деньги