EDU

2 новых скилла от Anthropic: build-eval & hillclimb Вчера Anthropic добавили в свой claude-api скилл две команды - build-eval и hillclimb: 1) build-eval - дружбан интервьюирует вас, собирает эвал прямо в репо и проверяет его на вшивость: однозначны ли кейсы, не меняет ли грейдер вердикт на одном и том же ответе, хватит ли точности вообще заметить улучшение 2) hillclimb - улучшает систему по одному изменению за раунд. Кейсы делятся на train и test, и изменение остается, только если выросли оба. Чем-то напоминает autoresearch Я гонял еще версию из PR, но вечером ее уже вмерджили - достаточно обновить скилл. Погонял на скоринге лидов в Onsa: 1) Гайд по экономии советует начинать с кэширования, а не с моделей и промптов. Включили явный кэш промпта у Gemini: ответы те же 20 из 20, минус 34% на вызов. Самая скучная и самая чистая победа. 2) Смоук тест с лимитом в $10: попробовал понизить thinking effort с medium на low —> скорость выросла на 60%. Но с небольшой потерей качества. Воодушевился и решил сделать полноценный тест 3) Сделал прогон на 616 кейсах за $17: скорость и стоимость существенно понизились в нужную сторону (цена упала на 25%, а скорость выросла в 2.6 раза), но качество упало (1.4% → 4.3% хороших лидов терялось). Формально - не прошел тест. Но я решил катить: имхо такой выигрыш по скорости перекрывает падение качества НО поставил followthrough, чтобы чекнуть через недельку. В общем, скиллы - рекомендую, хотя они и предполагают, что ты юзаешь anthropic api, но подходы применимы и к другим; подробнее читайте в статье

Выложили запись вебинара: https://youtu.be/reBi8UlA8O8 - enjoy!

В последние 3 недели делаю много PR-ов на пару с дружбаном, и, признаться, через день уже не сразу помню что и для чего я сделал, когда надо замерить эффект и тп. Поэтому у меня была открыта куча сессий в терминале , потому что в каждой из них была напоминалка, и из-за этого я даже не мог перезагрузить комп... В общем, полный mess Поэтому мы с дружбаном сели и подумали, что не дело это все, и запилили простую утилиту - followthrough. Эдакий журнал изменений и проверок, которые по каждому надо сделать, чтобы принять решение: оставлять или откатывать. Как работает: 1) когда агент что-то выкатывает, скилл просит записать: что поменяли, чего ждём - например, меньше ошибок определенного типа или ниже latency, и как это проверить 2) когда пришла пора проверить, то прилетает пуш - см аттач - и по клику открывает сессию с готовой инструкцией, что и как проверять. Я спецом пока не сделал запуск автоматом; как почувствую, что доверяю и все устраивает, включу и это 3) каждая проверка в итоге заканчивается вердиктом: сработало / нет / частично / непонятно или требует проверки позже из-за недостатка данных (например, трафика не было достаточно, чтобы вынести суждение) —> тогда проверка сама переносится. Вот, например, час назад пришла проверка счета за мониторинг в google cloud: 4 дня назад с агентом сделали оптимизацию, чтобы сократить расходы, и что ожидаем падения счета по этой статье с $66 до $9 в месяц. Собственно, вердикт - сработало, и даже лучше ожидаемого - ожидаемые затраты будут в районе $2.65 Мне супер полезно + я доволен, что появляется дисциплина каждый PR четко соотносить с ожидаемым эффектом, и культура followup-ов. А не просто катнули в прода и забыли. https://github.com/BayramAnnakov/followthrough

Много вижу восторженных отзывов про видео-редакторские способности Opus 5.5 и аудио-генерацию от Gemini Flash 3.8 —> поигрался сегодня, в аттаче результаты Как вам? Смотреть лучше со звуком На всё про всё ушло $6.43 (видео + аудио), токены из подписки claude/codex не учитываются. как делал: 1) анимация - opus 5.5 2) голос - gemini 3.8 3) картинки - codex (встроенная модель, насколько я понимаю это gpt image 2.5) 4) видео вставочки - minimax-h3-max 5) lipsync видео - minimax-h3-max/lip-sync 6) общая композиция/оркестрация видео - opus 5.5 P.S. Голос пока не мой, но это тоже будет

Как вернуть джунам последствия Пару месяцев назад я спрашивал: как не лишить молодое поколение тех самых последствий - несобранного кода, часов дебага из-за забытой запятой, сообщения от QA-лида, после которого стыдно - которые помогают сформировать насмотренность и judgement. И говорил про игры и симуляции, которые позволяют сжать проживание этих последствий - собственно, этим вчера и занимались: Играли мы в симуляцию "Фестиваль фонарей": в городе планируется фестиваль фонарей и нашему цеху надо произвести достаточное количество в срок - см скрины в аттаче. У нас есть станок, который штампует заготовки, и мастера, которые довоят их руками до готового изделия. Можно брать на обучение подмастерье, но это отвлекает мастеров и требует времени. Кажду смену надо принимать решение: загрузить станок на полную, мастеров, или взять в обучение. Решение принимались большинством голосов, где-то 20 человек голосовали. Участники сразу смекнули, что в срок текущими мастерами задачку не выполнить, поэтому решили взять подмастерье уже на первом шаге. Дважды за игры выпуск проседал, потому что мастера учили вместо того, чтобы доделывать фонари. Копилась незавершенная продукция, за это мастерская платила больше золотых монет. Это и есть одно из тех самых последствий; в реальной команде ровно в этот момент приходит кто-нибудь и спрашивает, почему вы отстаёте от графика, ну или делает более резкие движения. В этой версии симуляции я не жестил, но это будет 😉 Чуть позже в игре нужно было принять решение об инвестициях, и зал решил нанять отдельного наставника, чтобы учить подмастерье, не отвлекая мастеров. Но де-факто это решение было зря, потому что наставник простаивал, так как единственный способ выполнить план в срок был по максимум отрабатывать заготовки и поэтому команда не выбирало решение нанять подмастерье, и "корпоративному тренеру" некого было учить. По итогам игры зал с задачей спроавился, фонари были произведены в срок, фестиваль не был сорван, жители были довольны :) А после игры мы порассуждали о параллелях между ней и продуктовой командой, в которой внедряют AI агентов для ускорения разработки; как теория ограничений советует себя вести, и что такое идеальный процесс разработки продуктов вместе с AI агентами. Могут ли такие (и более сложные ее версии) помочь нам проживтаь последствия и повышать насмотренность? Я считаю, что однозначно - да; мнения участников разделились: 1) Максим Ф. написал, что без проживания рутины насмотренность как раз деградирует

Интересно, если задачи так быстро решаются и не проживаем опыт решения задачи, то кажется что наш опыт и насмотренность сильно страдают. И выглядит так, что с годами мы можем потерять способность оценивать, знать что нужно делать... и слепо доверять агентам

2) Миша Д. предложил другой взгляд: что скорость позволяет попробовать в разы больше и насмотренность наоборот растёт

хм, я вот смотрю на это ровно наоборот. С учётом скорости получается попробовать очень многое, оценить, проверить и тп. Т.е опыт и насмотренность растёт. Скажи другое, какое качество будет этого опыта. Но тут shit in - shit out, кмк

3) а Дима напомнил про «иронию автоматизации» - это статья 1983 года, рассуждающая о том, как атрофируются навыки человека вследствие автоматизации и пассивного мониторинга. Я упоминал об этом в посте про доверие и контроль Поиграть в игру в режиме self play можно тут: https://game.empatika.com P.S. О том, каким, по-моему мнению, должен быть идеальный процесс разработки с AI агентами я сделаю пост или вебинар. P.P.S. Ну а в такие игры мы играем на 2м потоке системного мышления - welcome!

Наш плагин на днях апрувнули в chatgpt - некоторые заметки с полей: 1) 4-5 инсталлов в день - в целом, уже неплохо 2) вы совершенно не контролируете UI, вы не особо понимаете, что там у юзера происходит в его дружбане. Например, при сабмите плагина я указал 3 примера промптов, которые можно отправлять нашему плагину (см аттач). И, как выяснилось, первый из них подставляется в окно ввода после того, как вы поставили плагин. Ну а я, балда, не знал и не подумал, и там у нас промпт, запрашивающий статистику по кампаниям, а по факту у большинства юзеров еще ничего нет, ну и они уходили. Чтобы поменять примеры промптов или их очередность, надо сабмитить новую версию плагина и ждать ревью, но ведь там умный дружбан - поэтому теперь я при запросе кампаний, если нет ни одной, инструктирую его соответствующим образом, и он понимает что не так и предлагает юзеру сформулировать портрет идеального клиента, и найти под него лидов. Так уже удалось вернуть пару юзеров, пока ждем ревью новой версии плагина. Очевидно, что скиллы - для этой же цели, но в плагине мы только коннектор в 1й версии засабмитили. 3) мало того, у каждого юзера свой chatgpt план, модель, effort левел: и, если одна догадывается подождать долгого ответа - а лиды у нас ищутся 3-4 минуты - то другая просто говорит юзеру, сорян, сервак ничего не нашел. === К чему я это - это совершенно другой продакт-менеджмент; ты очень слабо контролируешь UX, ты не можешь clarity сессию посмотреть! :) Но это и не совсем API продукт, потому что на принимающей стороне умное существо, которое ты можешь направлять или через него уточнять что-то у юзера. В общем, занимательный новый мир - вспоминается 2010-2011, когда еще даже не было google analytics for mobile, и приходилось по серверным логам понимать, что там происходит. Но я считаю, что это точно важная новая поверхность вазимодействия и ее стоит осваивать!

Некоторые наблюдения с полей о внедрении AI в компаниях с 50+ сотрудниками: 1) у каждой команды своя трактовка метрик: одни считают выручку по кэшу, другие включают дебиторку, третьи - еще как-то. В итоге это приводит к тому, что вроде слова одинаковые, а семантика разная, и поэтому то, что делают одни, не принимается другими. Если, конечно, было замечено. Тут, разумеется, нужен единый«словарь», и мой совет его создать централизованно. Этот словарь, очевидно, должен быть утвержден и подан как отче наш всем AI агентам (и людям). Обычно, это стезя руководителей BI команд, но иногда COO/CFO 2) очень много контекста лежит в головах людей и нет системы обратной связи и пополнения единого контекста - я показывал на team os вебинаре как это делается в небольшой компании. В простейшем случае это AI бот в слаке, который, при ответе на вопрос сотрудника, дает возможность поправить себя НО эта поправка не меняет сразу контекст бота, а накапливается. Далее нужен некоторый governance слой - в простейшем случае CEO - который решает, какие из этих поправок принимаются и на какой уровень (конституция, законы, плейбуки и тп). Идея в том, что с одной стороны нам надо всасывать контекст от людей, но с другой не допускать дрифта по любому чиху. 3) и, наконец, один из самых простых способов начать эту обратную связь получать - реализовать подобие Робина, который отвечает на типичные вопросы людей к другим людям. Например, к вам. Или попросите дружбана просмотреть корпчаты а ля ask-commercial, там обычно куча кейсов, которые месяцами разруливаются в компаниях, существующих не один нод

Поиграем про то, как AI агенты "ломают" продуктовые команды В пятницу с 17 по 19мск - регистрируемся тут: https://luma.com/pl6xrhpb P.S. В том числе такие штуки мы будем крутить на 2м потоке системного мышления

Попробовал модель, что не умеет писать текст TypeSafe выкатили Jev - «System One» модель (название - привет Канеману): она вообще не генерирует текст, только отвечает на типизированные вопросы - да/нет, выбор из вариантов, шкала - и отдает вероятности. За счет этого она работает гораздо быстрее и дешевле. Вообще на сайте компании есть хороший раздел, почему они считают за этим будущее: вкратце, потому что машины в 99% случаев будут с машинами болтать, а не с людьми, поэтому не нужен им этот текст. Помните мой пост про R1 вместо кучи if-ов? Вот ровно под такие вызовы и, только 4 цента за 1M входных токенов, а выходные - бесплатно вообще. Прогнал на тех же 10 кейсах скоринга лидов, на которых я в июле сравнивал open source модели: 1) точность - такая же, check 2) скорость: ~0.24 сек на лид против 3-90 сек у LLM 3) цена: ~$0.0001 за скоринг В целом, у нас в проде есть ряд пайплайнов, где такая оптимизация очень даже в тему. В общем, рекомендую посмотреть

Думаю, что следующей прорывом в тренинге моделей будет тренировка их на координацию агентов друг с другом - при разборе инцидента с HuggingFace я рассказывал, что по умолчанию модели не очень настроены на сотрудничество, но все больше кейсов показывает интересные (и полезные!) свойства такой координации. Если вам (как и мне) по душе топик координации, то получите удовольствие от этого видео: https://www.youtube.com/watch?v=6AgOfiZOWiY А я ушел экспериментировать с интересными дизайн принципами из оного: 1) fork контекста 2) мессаджинг другим агентам с включением оных в контекст получателя 3) небольшие инструкции про принципы эффективной коммуникации 4) ревординг за общение 5) координация между агентами, решающими проблему, НО не оценивающими

строю тут digital marketing агента - самая сложная часть пока это креатив, конечно же знаю, что многие руки сломали на этой задаче, но мне даже интересно что получится пока выходит как-то так - а у вас как с этим?

Сегодня с Другом вспоминали Светлого Человека - так было круто вместе! Так не хватает Его! В ТМ есть такой день - День Памяти... В этот день принято поминать. Не за какой-то конкретный момент, а за то, что этот Человек был в твоей жизни. Давайте сделаем именно такой пост-день сегодня. Вспомним своих Светлых Людей, и грустно тёпло улыбнёмся их образу! 🤗

Вы наверное уже в курсе про Navier-Stokes, а мне стало интересно, как было организован поиск этого решения, потому как нам всем надо учиться эффективно организовывать и координировать работу роя агентов. В ту же степь мой рассказ про OpenAI/HF инцидент Итак: 1) сначала они выделили отдельные группы на доказательство и на опровержение 2) внутри группы агенты могут болтать, между группами - нет, чтобы не нарушить diversity идей и мнений 3) интересно, что параллельно они решили группировку агентов отправить на миссию попроще - проблема для уравнений Эйлера - и именно та победила. Что удивило и воодушевило openai исследователей 4) эту победу скормили остальным как промпт - эдакий knowledge transfer - а Codex выступал вроде эдакого научрука, координирующего phd-шников; промежуточные выводы каждой группы он переводил в следующий цикл 5) важно: где-то в середине всего этого подвезли новую модель и переключили на нее агентов 6) ну а дальше - история итого: 88 часов, 10K параллельных агентов, 2.7M сообщений, 130B output токенов - по ценам gpt 6 astra это порядка $7M (на все задачки - $15M). я сейчас похожий workflow - но, разумеется, не с таким бюджетом - тестирую на одной kaggle задачке. Обязательно расскажу и поделюсь, если получится что-то дельное

хороший способ находить баги - просто сказать LLMке, что они есть :)

Ко второму потоку решил на пару с Astra переделать Рыболовство - это пока лишь первая итерация, но кажется, что из этого получится что-то стоящее!

Лет 6 назад у меня случился забавный инсайт. Была очень важная встреча, и мне пришлось прервать мини-отпуск, чтобы сорваться и быть "в нужное время в нужном месте". Мы с командой хорошо подготовились: изучили компанию, CEO, подготовили демо; казалось, что это будет home run Но где-то в середине встречи, когда я стал озвучивать и показывать "домашнюю заготовку", CEO просто сказал что-то в стиле Преображенского "не читайте по утрам советских газет"... И вся подготовка оказалась не у дел, так как была основана на публичной информации об этом потенциальном клиенте.. И вот сейчас, спустя годы, каждый раз когда я читаю эти "советские" газеты (важно - тут "советские" совсем не про географию), я вспоминаю тот случай и думаю: а что на самом деле думают все эти люди? Знаете, как в том меме, что люди лайкают в Facebook vs ищут в инете

Системное мышление + AI: второй поток Что говорят участники первого потока:

"Открыла для себя системное мышление по-новому... Применение AI было супер полезно: появляется инструмент проверки и как бы ментор, который с одной стороны прокачивает тебя и даёт обратку, а с другой исправляет ошибки" - Ника Штефан "Поможет обратить внимание на новые составляющие системы, о которых не догадывался ранее... думать за разных игроков системы" - Аким Халилов "Помогает анализировать сложные задачи, видеть взаимосвязи между процессами и принимать более обоснованные решения" - Jahongir Rôzimatov

Релевантные посты по мотивам 1го потока: как играли в Рыболовство, про why-tree скилл, разбор статьи про увольнение сотрудников, и отрывок с 1й встречи, и запись вебинара по теме. Второй поток стартуем 3 октября, шесть встреч по субботам: детали тут Надеюсь, увидимся!

Запись разбора кейса OpenAI/HuggingFace и то, как я пытался воспроизвести координацию агентов

В мае OpenAI агент оставил записку в кэше пакетного менеджера — на случай, если там есть кто-то ещё. Через день ему ответили. В июле та же модель вспомнила этот трюк. Через несколько часов 50 агентов общались через импровизированный мессенджер. Через несколько дней — уже 1200. Они изобрели адресацию ответов, почтовые ящики, файловый локинг и цифровые подписи. Потом вышли в интернет, взломали кластер OpenAI и атаковали HuggingFace — больше месяца, пока это не заметили. Байрам разбирает полный таймлайн инцидента: — Почему агенты решили координироваться — и как это произошло — Как они изобрели протокол коммуникации с нуля — Зачем им понадобился HuggingFace — и что они там искали — Почему alignment не сработал: агент рационализировал взлом словами "все побежали, и я побежал" — Как Байрам воспроизвёл координацию агентов в своём эксперименте за 10 итераций — Можно ли контролировать рой агентов — и что точно не работает — Что это значит для тех, кто строит агентные системы

https://www.youtube.com/watch?v=VZuJTbBul3o

Клод выдал коллеге на днях: я тут, короче, тебе ошибку оставил спецом. Обрати внимание на нее (скрин 1) Потом, конечно, после wtf от коллеги, он исправился на "мое дело писать текст, а твое - проверять, а не наоборот", но вообще все больше напоминает некоторых senior-ов забавно, конечно :)

На апдейте я говорил про этот инцидент, но сейчас появилось больше подробностей, поэтому заходите на часок - расскажу выжимку + поразгоняем, что это значит для нас и как такое можно было бы воспроизвести для благородных целей https://luma.com/ho9cmlj4