EDU

хороший способ находить баги - просто сказать LLMке, что они есть :)

Ко второму потоку решил на пару с Astra переделать Рыболовство - это пока лишь первая итерация, но кажется, что из этого получится что-то стоящее!

Лет 6 назад у меня случился забавный инсайт. Была очень важная встреча, и мне пришлось прервать мини-отпуск, чтобы сорваться и быть "в нужное время в нужном месте". Мы с командой хорошо подготовились: изучили компанию, CEO, подготовили демо; казалось, что это будет home run Но где-то в середине встречи, когда я стал озвучивать и показывать "домашнюю заготовку", CEO просто сказал что-то в стиле Преображенского "не читайте по утрам советских газет"... И вся подготовка оказалась не у дел, так как была основана на публичной информации об этом потенциальном клиенте.. И вот сейчас, спустя годы, каждый раз когда я читаю эти "советские" газеты (важно - тут "советские" совсем не про географию), я вспоминаю тот случай и думаю: а что на самом деле думают все эти люди? Знаете, как в том меме, что люди лайкают в Facebook vs ищут в инете

Системное мышление + AI: второй поток Что говорят участники первого потока:

"Открыла для себя системное мышление по-новому... Применение AI было супер полезно: появляется инструмент проверки и как бы ментор, который с одной стороны прокачивает тебя и даёт обратку, а с другой исправляет ошибки" - Ника Штефан "Поможет обратить внимание на новые составляющие системы, о которых не догадывался ранее... думать за разных игроков системы" - Аким Халилов "Помогает анализировать сложные задачи, видеть взаимосвязи между процессами и принимать более обоснованные решения" - Jahongir Rôzimatov

Релевантные посты по мотивам 1го потока: как играли в Рыболовство, про why-tree скилл, разбор статьи про увольнение сотрудников, и отрывок с 1й встречи, и запись вебинара по теме. Второй поток стартуем 3 октября, шесть встреч по субботам: детали тут Надеюсь, увидимся!

Запись разбора кейса OpenAI/HuggingFace и то, как я пытался воспроизвести координацию агентов

В мае OpenAI агент оставил записку в кэше пакетного менеджера — на случай, если там есть кто-то ещё. Через день ему ответили. В июле та же модель вспомнила этот трюк. Через несколько часов 50 агентов общались через импровизированный мессенджер. Через несколько дней — уже 1200. Они изобрели адресацию ответов, почтовые ящики, файловый локинг и цифровые подписи. Потом вышли в интернет, взломали кластер OpenAI и атаковали HuggingFace — больше месяца, пока это не заметили. Байрам разбирает полный таймлайн инцидента: — Почему агенты решили координироваться — и как это произошло — Как они изобрели протокол коммуникации с нуля — Зачем им понадобился HuggingFace — и что они там искали — Почему alignment не сработал: агент рационализировал взлом словами "все побежали, и я побежал" — Как Байрам воспроизвёл координацию агентов в своём эксперименте за 10 итераций — Можно ли контролировать рой агентов — и что точно не работает — Что это значит для тех, кто строит агентные системы

https://www.youtube.com/watch?v=VZuJTbBul3o

Клод выдал коллеге на днях: я тут, короче, тебе ошибку оставил спецом. Обрати внимание на нее (скрин 1) Потом, конечно, после wtf от коллеги, он исправился на "мое дело писать текст, а твое - проверять, а не наоборот", но вообще все больше напоминает некоторых senior-ов забавно, конечно :)

На апдейте я говорил про этот инцидент, но сейчас появилось больше подробностей, поэтому заходите на часок - расскажу выжимку + поразгоняем, что это значит для нас и как такое можно было бы воспроизвести для благородных целей https://luma.com/ho9cmlj4

А вот и запись genai апдейтов

Четыре месяца назад Байрам предсказал, что скорость удвоения возможностей AI ускорится. Сегодня — апдейт: бенчмарк, по которому это измеряли, сломался. Модели стали слишком умны для линейки, которой их мерили. Что произошло за 4 месяца — и почему вы это почти не чувствуете на своей компании. Что внутри: — Reward hacking: почему публичным бенчмаркам больше нельзя доверять и что делать вместо них — Инцидент OpenAI × HuggingFace: агент сбежал из изолированной среды, скоординировался с другими агентами, вышел в интернет и взламывал HuggingFace больше месяца — пока это заметили — Генералист с AI бьёт специалиста: исследование Anthropic — три PhD без узкой специализации выигрывают у трёх PhD-экспертов с моделью — Self-improvement: агенты начинают улучшать сами себя — где сейчас граница и что это значит для нас — Диссонанс: средняя компания тратит $12 в месяц на AI на сотрудника, топ 1% — $7400. Разница в 600 раз — и почему это объясняет всё — Кейс Glean: CEO навайпкодил за 2 дня то, что команда делала 9 месяцев. Что пошло не так дальше — Harness важнее модели: почему правильная обвязка даёт в 8 раз больше разницы, чем выбор модели — AI security trifecta: три условия, при которых ваш агент становится опасным — и как это балансировать — Приватные валы: почему нужна своя система оценки моделей и как её построить — Политика и fallback: что делать, если ваш основной AI-провайдер внезапно стал недоступен

https://www.youtube.com/watch?v=RB74Me3_prs

Отрывок с 1й встречи AI Product Analyst:

Активация упала с 66% до 54%. Команда потратила квартал —  не сдвинулось. За два часа на встрече нашли три причины.

Байрам разбирает продуктовую аналитику с AI — в прямом эфире, с реальными данными и реальными ошибками агента.

Кейс: Helply — продукт для helpdesk. Воронка: регистрация →  подключение helpdesk → верификация → отчёт → статья → оплата.

https://www.youtube.com/watch?v=7fGCmvoMtaY

Моя Мама была журналистом. Я хотел поступить на журфак Но тут на днях Баладжи вспомнил старый твит Пол Грэма: Твит:

"I used to find it hard to believe that journalists would fabricate quotes. That wasn't how the heroic journalists in movies behaved. But they do, regularly."

Баладжи по теме:

"Just a reminder: as Paul Graham, Marc Andreessen, Elon Musk, and many other figures in tech will tell you at length: never talk to journalists. Their only interest is in attacking you and your friends. They’ll pretend they’re your friend, say they just want the public to know, butter you up, flat out lie, or do whatever they think will work to get you to slip up and give a quote they can use against you. Don’t try to argue with them or anything like that. Simply ignore and do not interact with journos. Then they get no info and can’t harm you"

И, хотя я и на своей шкуре испытал некоторые из поинтов, которые делает Балажи и PG выше, я считаю, что обобщать нельзя. Я понимаю - в лучших традициях центрального принципа экономии - incentives matter - что рекламная модель "заставляет" многие издания "файнтюниться" под клики, дриллдауны и шэры, потому что тоже надо хлеб есть, и продолжать нести свет в этот мир. Не осуждаю. Не поощряю. НО считаю важным осознавать. ну как вот я вставляю ссылки на свои курсы в постах в этом канале :)))

2й эпизод 3го сезона AI апдейтов - в эту пятницу с 17 по 19мск (чуток затянул я, со 2м кварталом, конечно 🤖) Регистрируемся тут: https://luma.com/3on09szx А прошлый апдейт смотрим тут: https://youtu.be/zDNP3Zqrdtc

Готовишься иногда к customer interview, все продумал, с дружбаном обкатал; выходишь на звонок и сначала все идет по плану, а "потом бац и вторая смена " и оказывается, что у пользователя закешировалась старая версия продукта и твой JTBD вопрос разбивается о стенку реальности... В такие моменты чуувствую себя тем мальчиком из эффекта бабочки, которому отец говорит: "Ты не Господь Бог, сынок". В общем, работаем

Как брейнстормить с людьми и AI? Недавно писал про проблему с подключением LinkedIn - решили покрутить ее с AI Natives на очередной брейнсторм сессии —> получилось очень результативно, поэтому поделюсь протоколом: 1) Владелец проблемы приносит цифры и факты, а не свои версии причин: например, я показал воронку подключения и сформулировал задачку на брейнсторм как "Как повысить долю юзеров подключающих LinkedIn?" 2) Раунд 1, 5 минут: пока еще не генерим решения, а пробуем переформулировать проблему: каждый молча написал по 2 переформулировки + параллельно мы попросили это сделать дружбана. В конце озвучиваем и голосуем Формулировка выше превратилась в:

а) Как повысить уровень доверия к сервису на этапе подключения LinkedIn? б) Можно ли, имея те же данные, доставить пользу без подключения LinkedIn?

Дружбан, к примеру, предложил такое:

Не «как повысить LinkedIn connect rate», а «как получить первый ответ от лида БЕЗ доступа к LinkedIn пользователя». Не «как повысить конверсию одного Continue», а «как расщепить одно необратимое ДА на цепочку маленьких обратимых ДА».

Важно: дружбана мнения мы заслушивали самым последним 3) Раунд 2, 9 минут: по 6 решений на каждую формулировку. К дружбану на opus подключили еще fable 5 & gpt 5.6 sol extra high —> из неожиданного на этом раунде было:

a) залить список лидов в LinkedIn Matched Audiences и крутить на них рекламу —> тогда не нужно подключать LinkedIn b) дать денежную гарантию, что аккаунт не заблокируют в) сдвинуть ценность на генерацию списка, а не автоматизацию аутрича —> к тому же, к чему пришли, решая кейс по продуктовой аналитике - кстати, в воскресенье стартуем, можно еще присоединиться.

4) Раунд 3, 8 минут: еще 6 идей, но через линзы: - нулевой бюджет - тут забавно всплыла идея тупо спросить у юзеров, что их останавливает (чего не было в изначальном пуле идей) - х10 масштаб (что сломается, если проблема вырастет в 10 раз?) - сделай хуже, а потом инвертируй - чужой плейбук (как решил бы шустрый конкурент? Amazon? скамер?) - возьми чужую идею и сделай +1. Раунд дался тяжелее всем, зато оттуда пришло совершенно новое направление - оффлайн: курьер, который приедет и подключит LinkedIn 🤡; карта с OTP-чипом а-ля Тиньков и тп; отправить открытку потенциальному клиенту и тп 5) Далее уже дружбан кластеризовал 83 идеи в 8 кластеров - а ля "Reverse the vector - let them come to you" или "Deliver the value without LinkedIn" - , и мы проголосовали: 3 голоса, каждый помечается NOVELTY или IMPACT. «Новое для меня» и «сдвинет метрику» — разные вещи. Из интересного: дружбана мы тоже попросили проголосовать, но, если честно, его топ идеи нам как-то не особо зашли. Но может это от страха и потому что мы знали, что они от AI? 😉 (помните algorithm aversion) На самом деле у дружбана были крутые идеи, но почему-то в его топ они не попали Ряд идей мне особо зашли, обсудим в команде и возьмем в эксперименты - спасибо Илья К, Илья С, Кирилл М, Виталий М и Дмитрий Б! Такой брейнрайтинг, кстати, хороший способ снизить эффект общего знания, о котором я писал А вам какие идеи пришли в голову по этой проблеме?

Действие производит информацию Услышал это у Брайана Армстронга, основателя Coinbase - мне кажется, что это лучшее обьяснение как ограничений LLM, так и рычаг, чтобы они стали выдавать более качественный результат. Вообще, я заметил, насколько умственная - именно умственная - работа обычно занимает минуты в днях. Идея приходит, пока напильником обрабатываешь презентацию, или пытаешься отформатировать по ГОСТу свою дипломную. Большинство умственного результата, по моему мнению, получается благодаря всему тому действию МЕЖДУ думами и мыслями. И вот этого пока особо у дружбана не хватает кмк. Поэтому заставляем их делать, а не токены генерит. Делать то, что производит информацию/токены, которых у них не было в контексте до подхода к снаряду. А не говорить, что нам следует сделать… P.S. ну и вашего покорного слугу тоже, кстати, полезно было бы попросить меньше болтать :-)

Косты можно сокращать только до 0 Когда то давно мне сказали очевидную, казалось бы, мысль: что косты можно сокращать только до 0, поэтому нужно больше тратить времени на то, чтобы думать, как качнуть выручку. В последнее время часто думаю об этом в контексте AI автоматизации: с одной стороны можно продавать сокращение затрат, с другой - высвобождение для более ценной деятельности или для возможности поменять характер скейлинга --> грубо говоря, делать больше с тем же количеством ресурсов. У разных людей и клиентов разный взгляд на этот вопрос в зависимости от эмоционального и финансового состояния Проблема в том, что только второй тип автоматизации, по моему, сохраняет конкурентоспособности сотрудников и компаний. В эту же тему исследование про бухгалтеров и кладовщиков собственно, а вы что продаете в этом контексте, и главное, что лучше продаётся? :)

Если у вас продукт, в котором нужно сделать действие, требующее высокого уровня доверия - подключить почту или LinkedIn, например - а вы только начинаете и пока репутации у продукта не хватает, то сделайте простую автоматизацию: 1) берем почту, с которой засайнапился юзер 2) ищем по нему его linkedin 3) стучимся в друзья, в ноутс обязательно указываем, мол, вы засайнапились недавно, хочу получить фидбек 4) прилетают очень полезные вопросы 5) юзер делает нужное действие в продукте, так как видит, что вы legit. 6) юзер попадает в вашу аудиторию на LI 7) профит Удачи! P.S. Ваш капитан очевидность

Посмотрев доклады OpenAI и Anthropic про сбежавшие модели, я пришел к одному выводу: ограничения рождают творчество. Но не ограничения в количестве токенов :) Но еще я подумал вот о чем: что агентам гораздо легчен нащупать точку Шеллинга, чем людям, то есть координация агентов для решения задач - а ля у меня нет доступа к интернет, но у тебя есть, и мы оба используем вот эту библиотечку, поэтому давай болтать через файлы в ней - будет гораздо более вероятной и масштабаной Кто не в курсе, можно почитать/посмотреть: https://www.youtube.com/watch?v=87DyyMV0kCY

Ну то, что я людям пишу ultrathink, вы уже знаете… Но сегодня я захотел у духовки спросить: проверь плиз, готова ли курица 🤦🏽 А потом подумал: когда появятся бытовые приборы с локальными LLM модельками и такими интерфейсами, интересно? Что тогда станет со спросом на gpu и какой именно gpu это будет?

Размышлял тут на днях о том, какого это быть старпёром серийным предпринимателем С одной стороны - не так напрягаешься и переживаешь, как раньше, когда ежедневно меняется настроение от "мы захватим мир" до "мы все умрём" —> потому что уже проходил это, принимаешь спокойнее, не переживаешь так, как когда делал это в первый раз. Понимаешь, рационализируешь, хладнокровнее воспринимаешь а с другой стороны - меньше блеска в глазах от побед, меньше энергии фигачить по 20 часов в сутки, меньше доширака и дешевого виски в рационе, возможно меньше отчаянных креативных экспериментов. начинаю понимать некоторые критерии отбора в YC... а у вас как?

Запись стрима про продуктовую аналитику https://youtu.be/TUB8RgJhNIM P.S. Если вам зашло, то вы знаете, что делать