EDU

Техтренды 2024 от Amy Webb Понимаю, что с заметным опозданием (2хмесячным, если быть точным), но хочу поделиться очередным ежегодным отчетом от Amy Webb и Future Today Institue с SXSW конференции. Вообще, в отчетах этих самое интересное лично для меня это: 1) Сценарии (стр 149) - мне нравится читать эти гипотетические и не очень сценарии развития будущего. Я - фанат сценарного планирования еще со времен изучения системной динамики и прочтения интереснейшей книги “The Art of the Long View” Питера Шварца из Shell. В отчете этого года есть сценарии про дипфейк мафию, маленькие языковые модели (SLM) и AI игрушки для детей. Мне напоминает учебу в Singularity University, когда мы проигрывали сценарии а-ля “робот обратился в суд, что его права ущемляют и хотять накатить апгрейд” или “робот видел, как его хозяин убил другого; имеет ли право хозяин стереть это из его памяти?” 2) Люди - после каждого большого тренда есть список ключевых людей, кого следует фолловить, чтобы держать руку на пульсе. К примеру, страница 69 про людей из AI, или стр. 177 про web3. 3) Индустрии - ну и, конечно, описание того, как тренды могут повлиять на различные индустрии. В аттаче общая картинка, а в самом отчете уже можно детальнее почитать про интересующую индустрию. в общем, рекомендую, но дозированно: даже не пытайтесь прочитать в один присест ;-)

No-shot, one-shot, few-shot, many-shot 🤯 Я думаю, что большинство из вас уже знает эти термины в контексте LLM, но не исключаю, что немалое количество для 99% задач использует no-shot. А вот зря :) Сначала про термины: 1) No-shot - просто задаем инструкцию LLM-ке и смотрим, насколько она хорошо отработает. Например:

You are an AI sales coach who assists sales managers in preparing for meetings, analyzing their sales calls, and providing feedback. Please analyze the following sales call transcript and identify areas for improvement. Transcript: {{transcript}}

Выдает вполне интересный анализ, но иногда слишком длинно, или критерии, на которые обращает внимание, меняются с разным прогоном. Или вообще не обращает внимание на какие-то аспекты. 2) One-shot - тогда мы уточняем свою инструкцию, подав 1 пример результата, который хотим получить. Например, хотим чтобы анализ был представлен в JSON форме с кратким резюме встречи, какие действия необходимо сделать и подсчиталось количество вопросов, которые сейлз задал в ходе discovery звонка (считается, что 11-14 вопросов - оптимально) —> добавляем такое:

Example output: { "summary": "<3-5 sentences summary of call>", "positive": "<list of positive characteristics in the way the sales manager handled the call>", "negative": "<list of negative aspects or areas for improvement>", "questions_asked": "<number of questions asked by the sales manager>" }

3) Few-shot - иногда одного примера получается недостаточно. Обычно это не про формат выходного результата, а когда надо, чтобы LLM классифицировала что-то. Например, представьте, что мы хотим определить, был ли champion/economic buyer на звонке —> наличие оного повышает вероятность относительно быстрого решения. добавим такое:

"economic_buyer_present": "<Was the economic buyer present on the call? 'True' if customer-side meeting participant's title is one of 'CEO', 'CFO', 'CRO', 'CBDO', 'VP of Sales'; otherwise 'False'>"

или можем такой же вопрос про конкурентов, перечислив в примере наших конкурентов. Тогда если в ходе звонка, когда все представляются, со стороны заказчика был кто-то из перечисленных позиций, то в выходном результате мы получим допполе economic_buyer_present со значением True. 4) Many-shot - вот тут самое интересное, пожалуй, с ростом размера контекста. Мы де-факто можем сделать мини-тренинг LLM-ки "налету" задав ей сильно больше, чем парочку примеров, с учетом различных edge кейсов, которые не покрываются few-shot. По сути, мини fine tuning. Как я писал ранее, я рекомендую последовательно двигаться от 1 к 4, и замерять прирост в качестве получаемого результата P.S. Об этом и о том, как это всё написать в коде, поговорим на 1й встрече школы GenAI разработчика уже в эту субботу

Про конформизм Зачастую конформизм (подражание другим) подается как какой-то баг, нежелательное поведение. И, действительно, есть много негативных последствий. Но, в лучших традициях системного мышления, у каждой проблемы есть функция. Чем же это хорошо в коллективе? Разберемся сначала почему этто происходит? 1) мы хотим ощущать себя частью группы. Как в мультике “Остров сокровищ: “Лучше быть одноногим, чем быть одиноким” 2) мы думаем, что другие обладают бОльшей информацией, поэтому имеет смысл вести себя как другие. Полезные свойства: 1) Можно прививать желаемое поведение и ценности - зачастую, корпкультура как раз про это 2) Снижать текучку через создание ощущения общности цели и принадлежности к группе 3) Новичкам проще адаптироваться, наблюдая за нормами и поведением других 4) Легче внедрять изменения (но тут надо очень аккуратно и последовательно) 5) Ну и, конечно, снижение конфликтов 🙂 Пара моих любимых роликов по теме: 1) Конформизм у детей 2) Знаменитые эксперимента Эша (длина линии и ситуация в лифте) Поговорим об этом и других ключевых принципах социальной психологии в это воскресенье, ну и видео посмотрим смешные и не очень 🙂

AI Buyouts В продолжение поста про автоматизацию сотрудников - вот вам интересная идея: AI Buyout 1) Находим сервисный бизнес, в котором AI может заменить сотрудников существенно трансформировать 2) Покупаем его а ля private equity 3) Автоматизируем все, что возможно 4) Профит Идеальные таргеты: 1) Компании с большим количеством ручного труда: ревью документов, извлечение и ввод данных, обилие текстовых коммуникаций, написание незамысловатого текста 2) Сотрудники, исключительно обеспечивающие эти бизнес-процессы, без специальных знаний и навыков 3) Высокая доля оплаты труда в общих затратах, низкая маржинальность 4) Рынки с недостатком рабочей силы 5) Слабая рыночная позиция (дешевле купить, выше апсайд) Что думаете? :)

State of AI Послушал Марка Андриссена и Бена Хоровитца про состояние AI (апр 2024) - супер полезно и интересно, темы достаточно живые для разработчиков GenAI стартапов Мои заметки: 1) Сэм Альтман зря пугает (его слова про то, что если вышла новая версия модели и вы говорите “о круто!”, то у вас гуд стартап, а если “о черт!” - то не очень); можно и нужно разрабатывать фундаментальные модели поскольку могут быть разные подходы в архитектуре, корпусе данных, предметной области и тп. Особенно актуально для стартапов, ориентирующих на enterprise. Вообще, забавно как они поднимают тему “Сэм пытается отговорить конкурентов” 🙂 2) Про то, что модели подходят к ассимптоте по тестам; что они более-менее похожи друг на друга; и похоже не будет прорыва в 100 раз. Еще интересный момент, что alignment (возможно) делает модели тупее. Но интересный контраргумент - может просто тесты тупые или надо, чтобы AI писал тесты? 🙂 3) Корпус данных очень важен; среднестатистический автор в Интернет - не самый лучший датасет для тренировки, поэтому мы получаем среднестатистические ответы. По теме, кстати, пост про llama 3 и почему она обыгрывает большие модели, я уверен что это важный поинт, я пытаюсь часто в моих разговорах вокруг mindshare и цифровых двойников пояснить эту мысль: тренировать надо на качественных данных и RLHF делать экспертами, а не аутсорсерами-неэкспертами 4) Интересно про перспективы overtraining. Кстати, это еще важно и для удешевления/ускорения инференса, как я понял из интервью Марка с Дваркешом и постобсуждений 5) Хорошо покрутили ключевой страх предпринимателя, что gpt 5-6 могут простым промптом решать все sophisticated навороты, которые вы сделали в своем продукте сейчас, и вы станете не нужны. В основном, про важность process flow, встраиваться в бизнес-процессы, интегрироваться с другими тулами, людьми и тп. Все это требует достаточно хорошего понимания клиента и его экосистемы, поэтому скорее всего general модели не смогут заменить эти продукты/обертки вокруг LLM, если обертки достаточно “толстые” 🙂 Я писал про это тут

6) Про ценообразование от ценности, а не от себестоимости; хороший тест для стартапа: можете ли вы чарджить таким образом, или ваш продукт - тонкая обертка, и весь разговор - кто еще и как быстро ее сделает 7) Ну и любимый вопрос зевак - зачем такие большие бабки VC вкладывают в GenAI стартапы, которые в ближайшее время не будут profitable? Особенно, если все эти GitHub копилоты помогают очень дешево писать софт. Неожиданно - именно AI стартапы из всего a16z портфеля, по словам Хоровитца, быстрее всего выходят на окупаемость. Обычно в таких стартапах высокие капзатраты, но headcount достаточно низкие, поэтому быстрее выходят на прибыльность. Узнал в связи с вопросом про Jevons Paradox - парадокс, что повышение эффективности использования ресурса снизит общее потребление ресурса, но реально это приводит к росту спроса на ресурс, и росту потребеления ресурса. Грубо говоря, да, стоимость разработки софта становится ниже, но вырастет спрос на софт, поэтому общее потребление софта будет выше. В общем, опасаться нечего 🙂 😍 Ожидаемо, поговорили про data moats, ведь у a16z была статья даже по этому поводу пару лет назад, что они overhyped. tldr: они по-прежнему так считают. Хотя немного не бьется с пунктом 3 выше. почему? потому что, мол, в инете слишком больше данных, и ваши proprietary данные не так важны. То есть важно правильно их отбирать, очищать, процессить и тюнить?! Поэтому нет больших марктеплейсов данных. Прямо выстрел по AI x crypto стартапам по теме 😉 9) Прикольно про сравнение Интернет и AI бумов: что аналогия не совсем хорошая, поскольку Интернет это сеть (network), а AI - это про компьютер (эра микропроцессоров/PC). Собственно, поэтому большинство интернет-стартапов базировались на network эффектах; но это не совсем кейс про AI. AI это просто про обработку данных, новый тип компьютера, если хотите. 10) Ну и в заключение предикшн про AI индустрию: - продолжая аналогию, что AI это новый вид PC, можно ожидать много разных “компьютеров”, не будет только “god” модели (i.e. мейнфрейма), будут “компьютеры” разных размеров, способностей и характеристик. Mainframe --> PC --> smartphone - будет перепроизводство чипов, датацентров и AI компаний, будет bust, но это важно для будущего. В связи с этим, ожидаемо упомянули про мою любимую работу Carlota Perez, я рассказывал на GenAI семинаре

Вдумчивый подход к инвестициям С Назымом мы познакомились лет 8 назад и с тех пор регулярно общаемся об инвестициях, фондовом рынке, хедж-фондах и в последнее время какую роль в этом всем играет AI. Помню, как-то мы встретились в Алматы и он мне обьяснил, как решить такую задачу: я хочу сделать ставку на AI & Cloud бизнес Амазона, но при этом не инвестировать в основной их бизнес, и Назым показал мне элегантное решение. А еще рассказывал, как он с другом решил перепройти и перерешать заново все университетски темы по математике o__O Назым - математик в душе и инвестор по профессии, и, как мне кажется, предприниматель и в душе и по профессии 🙂 Был членом совета директоров Нацбанка Казахстана, зампредом в Национальной инвесткорпорации Казахстана, а сейчас делает стартап в области AI + инвестиций. Кстати, есть 3х часовой подкаст с ним годовой давности, кто хочет копнуть поглубже - очень рекомендую! Недавно разговорились с ним и решили сделать стрим на тему инвестиций и AI, так как, во первых, каждый из нас должен в этом разбираться, а во вторых - думаю, в этой сфере происходят существенные изменения. О чем поговорим? 1. Введение в институциональные инвестиции - Простой взгляд на то, как крупнейшие инвесторы (такие как SWFs) управляют миллиардами. - Почему это может быть применимо для вашего личного финансового благополучия. 2. Инвестируйте как крупные игроки: раскрытие секретов распределения активов - Взгляд на инвестиционные портфели крупных фондов. - Простые советы по диверсификации ваших личных инвестиций. 3. Подход “Reference Portfolio” - Упрощение популярной стратегии, используемой профессионалами для балансировки рисков и горизонта инвестирования. 4. Практические советы по инвестированию: реальные применения - Полезные советы из практики 5. Как мыслить глобально и системно на Capital Markets - Инструменты, помогающие вам понять глобальный инвестиционный контекст. 6. Что нового? Последние тренды в инвестировании - Краткий обзор последних тенденций, которые могут повлиять на ваше финансовое положение. - Как оставаться в курсе в изменяющемся финансовом мире. 7. ИИ в инвестициях, что поменялось и как повлияет - Какие сферы революционизирует GenAI - Рекомендации по использованию инструментов ИИ Должно получиться очень интересно! Когда? В эту пятницу, 17 мая в 18мск. Стартовая стоимость $20, растет на $5 каждый день - купить билет. Если не сможете участвовать очно, то получите запись и материалы, как обычно. До встречи!

Для нужд mindshare писал тут агента, который анализирует посты в разных Телеграм каналах, определяет о чем они, рекламные или нет, и тп. Поделюсь парой уроков: 1) Разработку начал с gpt-4-turbo, но когда отработал пайплайн, то сравнил качество с 3.5, не увидел особых потерь и перешел на 3.5, с 20x экономией. Думаю, это хорошая практика начинать именно с более качественной модели, подготовить валидационные данные, а потом протестировать на модели попроще 2) Открыл для себя tgstat api для поиска по постам (API поиска) и получения статистики (API Статистики) 3) Сначала все промпты писал на русском, но потом в целях экономии на токенах решил перейти на английский - не заметил потери в качестве 4) Мне нужно было определять является ли пост анонсом мероприятия: заметил интересную особенность, что если я прошу LLM выставить confidence level, то это помогает получать более качественное определение. Достаточно неожиданный эффект - а вы замечали нечто подобное? P.S. Прямо вспомнилось, как лет 8-9 назад писал парсер delivery-club для RuBeacon - нашего проекта по разработке приложений для ресторанов и кофеен

Соцпсихология и Работа Команды Я ранее уже писал, что считаю важным для руководителей знать азы социальной психологии, так как именно в соцпсихологии изучают взаимное влияние людей на их чувства, мысли и действия. Байрам, который не выспался и вышел на звонок в 6 утра, может достаточно серьезно влиять на Команду, даже если не скажет ни слова. Особенно, если не скажет ни слова :) "Примадонна", которая заходя в офис, за руку здоровается только с теми, кто важен для нее, игнорируя остальных до тех пор, пока ей не потребуется что-то и от них, потом много обсуждается в приватных чатиках. Особенно, когда сменит поведение и это станет еще заметнее для тех, с кем он стал здороваться. В следующее воскресенье, 19 мая, поговорим про ключевые открытия социальной психологии в прикладном значении: как выводы и рекомендации оных использовать в управлении командой. Например, про суперкуриц :) О чем? 1) Введение в соцпсихологию. Основные принципы и предпосылки. 2) Соцпсихология в командах и влияние на - атмосферу и отношения - поведение - мотивацию - производительность - конфликтность - открытость к новому 3) Принципы эффективной команды Когда? В следующее воскресенье, 19 мая в 16.00мск. Если вы не сможете очно присутствовать, то получите запись встречи и все материалы для изучения в комфортном темпе и в удобное время. Бронируем билеты здесь: $25 (2250руб), каждый день цена растет на $5. До скорой встречи!

Про пивоты У Lenny вышел обзор пивотов (см. аттач). Я засунул его в chatgpt и попросил подытожить индикаторы, что “уже пора”. Вот что получилось: Почему? 1. Низкий ретеншн - у нас так было с In Flow, и мы закрыли его, хотя было достаточно больно и до сих пор я думаю об этом продукте 2. Остановился рост 3. Не было “тяги” с рынка, достаточно вялый интерес к продукту - имхо, кейс с wingman 4. Была лучшая альтернатива - вот тут я пока помолчу 😉 но может у вас есть кейсы? Когда? От пары месяцев до нескольких лет. Я бы сказал, что нет явной зависимости. Ну вот пивот YouTube за неделю от видео дейтинга до просто видео хостинга это, конечно, вау 🙂 Откуда брали идеи для пивота? 1. Фидбек от юзеров - качественный и количественный 2. Внутренние хакатоны и сайд проекты - !!! 3. Анализ конкурентов/рынка P.S. Хотите помайндшерить по этой или другой теме из канала - велком на консультацию