Gen AI Products

Поделитесь в комментах вашими кейсами, которые хотели бы решать с помощью nocode и AI технологий. Мы как раз подумываем с @marketlead_me сделать максимально полезный материал

Но, кстати, если вам не терпится уже сейчас пособирать Gen AI продукты посложнее, чем GPTs, то есть интересный проект с вполне приличным интерфейсом - https://scade.pro/. Он работает примерно на тех же принципах и вы драг’н’дропом можете накидать систему а-ля… (привести кейсы) Я пока на неё не пересяду, но точно буду наблюдать за ними. —— @aipplhere — про то, как создать клёвые AI продукты. Подписывайтесь.

Вы спросите, а что не так с AutoGen? Почему мы сегодня говорим про Crew AI и LangGraph? Всё-таки ребята из Майкрософта были первыми и даже успели запилить какой никакой UI для работы с агентами (пусть он и поднимается пока только локально). Вот основные преимущества Crew AI: 1. Можно явно выбирать исполнителей для задачи. Агенты сами определить кто её возьмёт 2. Можно направить последовательность выполнения задач 3. Есть возможность воткнуть в цепочку человека в принудительном месте 4. Можно явно определить формат результата агента —— @aipplhere — про то, как создать клёвые AI продукты. Подписывайтесь.

К сожалению, и у этого подхода нашлись ограничения. Задачи создавались рандомно, запромтить выполнение конкретной можно было только через доуточнение и ну и прочее. Тогда и появилась идея выделить специфичных агентов с узкими навыками и построить взаимодействие между ними. Так появился такой фреймворк как [AutoGen](https://microsoft.github.io/autogen/) от Майкрософт. https://arxiv.org/abs/2308.08155 – AutoGen https://microsoft.github.io/autogen/ Вот на скриншотике даже можно посмотреть какой они UI придумали, чтобы управлять этими Агентами. Как видите, все сводиться к 3-м сущностям: агент, скилл и воркфлоу. Соответственно то в чем агент профи и какие у него задачи, то какими инструментами он может пользоваться и то как нужно выполнять задачу. —— @aipplhere — про то, как создать клёвые AI продукты. Подписывайтесь.

Но к сожалению это не могло работать идеально всегда, потому что есть ограничения контекста и подумать подольше иногда не хватало памяти. Тогда появилась гениальная идея сделать агента: - Брать задачу, разбивать её на подзадачи - Класть каждую задачу во внешнюю память - Выполнять задачи по одной - После выполнения проверять, не стоит ли изменить список задач - Ну и далее по кругу, пока не будет выполнено все задание Все это оформилось в фрейморк AutoGPT. Народ уже тогда пробовал объединять таких агентов, чтобы они взаимодействовали вместе.

Чтобы решить эту проблему, умельцы придумали просить модель перед ответом выполнить задачу шаг за шагом, решая задачу с помощью разных ролей ( см. скриншот) Это техника называется ToT (Tree of Thoughts) и вот недавно про неё вышла очередная статья Вот так выглядит примерный промт

Imagine three different experts are answering this question.
All experts will write down 1 step of their thinking,
then share it with the group.
Then all experts will go on to the next step, etc.
If any expert realises they're wrong at any point then they leave.
The question is...

#prompt

Немного истории в продолжение темы про мультиагентов. Как вы к истории? Ну не переживайте, мы не будем сильно закапываться в эру мамонтов и остановимся на на эпохе после рождества ChatGPT Сначала было слово… Ну или несколько слов, которые отвал ChatGPT. Было круто, но как только вы спрашивали что-то более менее сложное, он выдавал очень поверхностный ответ...

К сожалению, и у этого подхода нашлись ограничения. Задачи создавались рандомно, запромтить выполнение конкретной можно было только через доуточнение и ну и прочее. Тогда и появилась идея выделить специфичных агентов с узкими навыками и построить взаимодействие между ними. Так появился такой фреймворк как [AutoGen](https://microsoft.github.io/autogen/) от Майкрософт. https://arxiv.org/abs/2308.08155 – AutoGen https://microsoft.github.io/autogen/ Вот на скриншотике даже можно посмотреть какой они UI придумали, чтобы управлять этими Агентами. Как видите, все сводиться к 3-м сущностям: агент, скилл и воркфлоу. Соответственно то в чем агент профи и какие у него задачи, то какими инструментами он может пользоваться и то как нужно выполнять задачу.

А вот вам ещё пару идей, чтобы избежать "восстания машин" Я знаю, некоторые команды прямо хардкодом ставят отбивку про вопросы о конкурентах. Некоторые прошивают в промт или тренируют модель на это. С промт инъекциями и "блоком на негатив" могут сработать те же подходы: — Самый надежный, но дороже и хуже по времени ответа – проверка ответа перед тем, как он улетает пользователю — Более простой, но не такой надежный – промтинг. Если остановитесь на промтинге, то напоминаю, что лучше использовать позитивные формулировки. Типа

отвечай только на вопросы, связанные с ... Если вопрос пользователя не связан с ... сообщи, что ты не можешь проконсультировать его по его вопросу

А не "не говори про компанию X плохо" (так не делайте!) В любом случае, если вам кажется, что вас ломают – лучше переведите на оператора. #security #support #tip #prompt 👍 – да, доп слой это тема 😎 – я фанат промтинга –– @aipplhere — про то, как создать клёвые AI продукты. Подписывайтесь.

2 недели назад чатбот на сайте DPD облажался по полной. Мало того, что он не сумел перевести клиента на сотрудника поддержки, так он ещё и повелся на промт инъекцию и начал поносить свою компанию на чем свет стоит. Какие выводы можно вынести из кейса с DPD: — Если ваш бот не может ответить на ЛЮБОЙ вопрос, оставьте фолбек на людей и убедитесь, что бот умеет переводить диалог на человека со 99.999% надежностью (или прилипите явную кнопку) — Не забывайте про защиту от промт инъекций — Добавьте "блок на негатив" в вашего бота — Персонажи рулят! Посмотрите (на скриншотах), какими красками заиграл чатбот, когда начал материться как ковбой в трактире. Ну так же явно интереснее общаться. — Ну и из старенького... мониторьте соц. сети #case #security #support #tip 🔥 – fuck yeah, если вы за ковбоя 🕊 – хайку если предпочтете вы –– @aipplhere — про то, как создать клёвые AI продукты. Подписывайтесь.