AI Product | Igor Akimov

Закончилась школа GenAI-агентов от Гугла. Вот все видосы От прототипа до монетизации - https://youtu.be/mXkRLFSN6VA Инструменты GenAI - https://youtu.be/LAa3ItbDMP8 Создание первой версии бота для поддержки - https://youtu.be/Zm255g3URpw Разработка подходящего UX - https://youtu.be/lJiRrSvsbi8 Использование векторной базы MongoDB для RAG - https://youtu.be/lJiRrSvsbi8 Работа с несколькими модальностями и хостинг моделей на своих GPU - https://youtu.be/XNpdt7KNA98 Оценка и улучшение качества и безопасности ответов - https://youtu.be/hwqaHqrI-rM Всякие продвинутые шаги по нормальному продакшн-использованию - https://youtu.be/Qeb1MmpPRss

Новый генератор видео по тексту и фото - https://lumalabs.ai/dream-machine Не SORA, конечно, но забавно. И бесплатно 30 генераций. Потестил на мемах.

Еще один промптописатель. Описываете свою задачу, скидываете датасет из 20 примеров (или просите написать для вас) и он будет лопатить разные промпты и подбирать те, что 100% в нужные ответы попадает. Мне понравился чуть меньше, чем от Anthropic, но для сложных ситуаций со всякими нюансами формтирования ответа может помочь https://app.hamming.ai/prompt-optimizer

У Ленни в рассылке 27 способов, как продакты используют Perplexity (но это относится в целом к любым LLM с доступом к интернет). https://www.lennysnewsletter.com/p/how-to-use-perplexity-in-your-pm Задачи делятся на 6 групп: a. Понимание и разработка стратегии роста: 1. Объясни метрики роста менеджеру по продукту 2. Расскаже об эволюции реферальной программы Dropbox. Почему она сработала? 3. Как рассчитываются рейтинги лучших приложений в магазине приложений? 4. Приведи примеры обратного триала, которые привели к увеличению конверсии. 5. Схемы инкрементальных тестов для рекламных кампаний 6. Методы оптимизации Google Play и Apple App Store b. Поиск эталонов 7. Каков средний показатель открываемости push-уведомлений на Android и iOS? 8. Что является хорошим показателем удержания для потребительского товара? 9. Что такое CSAT и как он рассчитывается? Приведи показатели CSAT ведущих технологических компаний. 10. Что такое Net Promoter Score и как он рассчитывается? Покажи показатели NPS от ведущих технологических компаний. 11. Объясни исследование соответствия продукта рынку, проведенное Рахулом Вохра. c. Проведение маркетинговых исследований 12. Стратегия выхода на рынок ИИ компании Notion 13. Дай подробный обзор стратегии выхода на рынок компании Deel 14. Сколько поездок в месяц совершает средний пользователь системы райдшеринг? 15. Как Airtable предлагает пользователям перейти на тарифный план Enterprise? d. Изучение передового опыта 16. Список методов мозгового штурма для менеджеров по продуктам 17. Как Spotify использовала концепцию Jobs to Be Done? 18. Расскажи об эволюции персонализированного опыта онбординга в Slack e. Оценка популярных инструментов 19. Сравни и сопоставь инструменты аналитики продуктов: Amplitude, Mixpanel и Posthog. Укажи ключевые особенности, существующих клиентов, точки отличия и отзывы пользователей. 20. Сравни и сопоставь Zendesk, Drift и Intercom. Включи ключевые особенности, существующих клиентов, точки отличия и отзывы пользователей. 21. В чем разница между Segment и Freshpaint? 22. Лучшие погодные API по мнению разработчиков 23. Самые популярные инструменты для локализации приложений f. Понимание технического жаргона 24. Объясни, что означает DAU/MAU 25. Что такое Kubernetes? 26. В чем разница между GraphQL и REST? 27. В чем разница между обратными ссылками с последующим и без последующего перехода? Это снова про юзкейсы. В целом практически любую задачу, на которую раньше надо было идти в Гугл, теперь проще и быстрее решить с LLM

хехе )

Эндрю Ын запилил тут за выходные агента по переводу текстов. Ничего особенно, просто перевод одним промптом, потом саджесты другим и наконец улучшение третьим. Говорит, что бьет коммерческие платформы, плюс можно уточнить стиль, стон, добавить глоссарий и т.п. https://github.com/andrewyng/translation-agent Лицензия коммерческая, работает на базе GPT-4-turbo, но можно на что угодно другое поменять

Перепостил всем знакомым, работающим с документами, а сюда нет - https://habr.com/ru/articles/819719/ Классный подход для улучшения работы модели, распознающей текст и объекты на фото, добавляя "сетку". GPT-4o уже отлично распознает текст и на всяких вычурных и покороженных документах дает 100 очков вперед даже крутейших OCR-движкам, но плохо работает с регионами текста. А тут мы по сути "добавляем" координаты и информацию о расположении элементов и при нарезке этой картинки на кусочки, чтобы LLM могла справиться, эта информация не теряется.

Apple вчера презентовал много красивого и полезного (наверное самый полный обзор тут) - https://vc.ru/tech/1224487-ii-ot-apple-ios-18-i-umnyi-kalkulyator-na-ipad-chto-pokazali-na-wwdc-2024 Но нам же интересно покопаться внутри. И вышел технический отчет. Вот здесь - https://machinelearning.apple.com/research/introducing-apple-foundation-models В итоге у них есть 2 сетки: пожатая на 3B параметров на устройстве и облачная ХЗ на сколько параметров. Тренировали сами на доступных лицензированных данных и всем, что собрал Apple Bot краулер. Убирали всякий мусор и персональные данные. Потом добивали файн-тюнингом и RLHF. Поэтом это все супер-эффективно сжимали с 16 бит до 3.5 бит, чтобы на устройстве получить 30 токенов в секунду и время до первого токена в 0.6 миллисекунд. И чтобы персонализация норм работала сделали десяток адаптеров типа LoRA, которые могут дообучаться на устройстве, кэшироваться, обновляться быстро, чтобы частные задачи адаптировались под ваши запросы и стилья письма. Сделали свои бенчмарки и тестировали людьми, типа "хороший ответ" или "плохой", ну и конечно побили все маленькие моделки, от Phi до Gamma. В общем, выглядит неплохо. Не совсем понятно, как пожатость будет влиять на качество (об этом ни слова, все сравнения - с обычными полновесными моделями), но быстрая адаптация и персонализация точно понравится большинству людей, кто не привык хранить гигантские промпты, как нужно делать саммаризацию или писать в их стиле. Это все еще не GPT-4o, но для массовых задач пойдет.

Еще одна опенсорсная модель ) Qwen-2 Китайцы на этот раз добавили еще 27 языков, кроме английского и китайского, и там даже есть русский (см результаты), так что должна быть довольно интересно и рабочей, в том числе на русском, а не просто одной из тысяч, кто "побил ЛЛама-3 на каком-то там бенчмарке". Но лламу-3 они вроде как и правда побили на многих бенчмарках, так что стоит посмотреть на нее и возможно заменить в ваших опенсорсных решениях. Причем выкатили целых 5, от мини-модельки для мобилок до 72B параметров, и прокачали ее по математике и кодированию. Что интересно, и контекст тоже большой, 128К у Qwen2-7B-Instruct и Qwen2-72B-Instruct, причем нормально работающий по всей длине, что проверяли поиском "иголки в стоге сена". У Llama-3, напоминаю, всего 8к токенов. Ну и безопасность тоже присутствует, многоязычных подсказок и минимизации вредных результатов. В общем, китайцы жгут. Попробовать можно здесь (очереди довольно большие): https://huggingface.co/spaces/Qwen/Qwen2-72B-Instruct Подробнее здесь: https://qwenlm.github.io/blog/qwen2/

Интересная статья от инжиниринга гугла, как они используют AI для генерации кода (автокомплит, умный копипаст, автофикс после ревью кода, генерация кода на естественном языке и так далее) и уже 50% кода в гугле принимается от AI-помощников всяких. На видосе пример, что у них работает. Ну и выводы понятные: чем более незаметно и умно это встроено, тем чаще пользуются. Всякие копилоты и специальные кнопки для вызова не очень сработали, а автокомплит - да. А/Б тесты, особенно на внутренних командах, позволили быстро проводить эксперименты и двигаться вперед и плюс они собирали очень много данных, в каком контексте приняли правку от ИИ, в каком - нет, что подправили и так далее, чтобы дотюнить модели. Очень правильный подход и то, что в гугле уже 50% кода по сути генерируется AI - это круто.