ChatGPT notes — AI, Нейросети & Чат-боты

Google анонсировал новую LLM Gemini 1.5 - до 1M токенов! У гугла с неймингом продуктов и моделей большие пролемы. Давайте разбираться что за 1.5. То что сейчас крутится у них в проде, и что я недавно тестил, Gemini Ultra (Advanced), - это Gemini 1.0. А тут анонсировали, что уже сделали новую версию - Gemini 1.5. Что нового? - Эта модель уже основана на Mixture of Experts (MoE). - может работать с контекстами в длиной 1M токенов, что на порядок больше чем у конкурентов. - Причем, токены могут быть из разных модельностей. Например, в Gemini 1.5 можно тупо загрузить видео и попросить модель проанализировать его. В 1M токенов поместится примерно часовое видео, 11 часов аудио, более 30k строк кода или более 700к строк текста. Подробности есть в тех-репорте (58 стр). Либо в блог блог-посте. @ai_newz

Меня разодрало любопытство и уже я подписался на Gemini Ultra. Первые тесты выглядят гораздо слабее чем GPT-4. По крайней мере фото она гораздо хуже понимает. Вот например сцена по мотивам Attack on Titan с элементами Sailor Moon — Gemini же вообще ничего из этого не понял. А любые фото с людьми он вообще отказывается принимать. Кстати, может там действительно ещё нет их самой мощной мультимодалки Gemini Ultra Vision, а есть только самые базовые способности понимания фото. @ai_newz

Там Google подвез Gemini Ultra в прод. И, конечно, небесплатно, ведь моделька жирная, дорогая. У меня просят 22 евро в месяц, но к этому ещё идёт 2TB на Google Drive и прочие ништяки типа интеграции LLM с почтой и календарем в будущем. Проапгрейдится можно тут. Gemini Ultra бьёт GPT-4 на 7 из 8 бенчмарках по тексту и на всех бенчмарках по зрению, если сравнивать с GPT-4V. Что ж, бенчмарки — это хорошо, и появление серьезной конкуренции для GPT-4 не может не радовать. Однако, бенчмарки имеют свойство попадать в тренировочную выборку, особенно когда речь идёт о триллионах токенов со всего интернета. Так что посмотрим, как Ultra покажет себя на практике, когда тысячи людей протестируют её. 🤔 @ai_newz

Запустили с командой новый продукт LittleStory: AI-генератор длинных и (относительно) интересных сказок для детей. Пользователь регистрируется, добавляет на сайт описание ребенка (характер, возраст) и получает возможность с пары кликов сгенерировать историю и иллюстрации, где сам ребенок — главный герой, а сказка строится вокруг какой-то позитивной темы — здорового питания, хорошего поведения или простым языком рассказывается сложный научный концепт, аля квантовая физика для самых маленьких. Из прикольного — можно прописать любимую вселенную для сказки, игровую, книжную или из мультика. Ну и само собой каждая генерация тщательно проверяется на «безопасность темы» для детей. Все работает на GPT4, поэтому бесплатно дать генерации пока что не можем — но зато мы нагенерировали сотни бесплатных сказок на разные темы, можно почитать и оценить качество. Уже сейчас есть шесть языков (Английский, Хинди, Русский, Традиционный Китайский, Украинский, Голландский) и скоро доведем до 11+, еще планируем фичи вроде озвучки сказок или копирования голоса родителя для чтения этих самых сказок (небольшое вложение в SciFi от нашей команды ☕️). Это первый запуск нашей команды на Product Hunt, так что если у вас есть аккаунт, буду рад фидбеку там (комменты не на английском там удаляют 👍): https://www.producthunt.com/posts/littlestory-io Сайт проекта: https://littlestory.io (если мы ничего не сломали — а мы могли, то сразу откроется правильный язык) P.S. Когда-нибудь расскажу как мы намучились с другими языками и gpt4 как переводчиком и с промптами размером с девятиэташку P.P.S. Если вдруг решите поддержать проект и попробовать, то вот промо-код на 10% скидку при первой покупке WELCOME10

MEDPROMPT Как выжать максимум из LLM до того как заводить fine-tuning (который дорогой, долгий и сложный)? Ответ: продвинутый prompt engineering. Есть, значит, такой Medprompt, который со страшной силой бьёт бенчмарки на каких-либо узких доменах за счёт довольно простых приёмов. Нам понадобятся 3 ингредиента: 1. kNN few-shot 2. Chain-of-Thought (CoT) 3. Ensemble choice shuffle 1. kNN few-shot: LLM сильно лучше понимают, что от них хотят, когда даёшь пару примеров (прямо как и люди). kNN few-shot практически тоже самое, что RAG (Retrieval Augmented Generation), с той лишь разницей, что если в RAG мы векторизуем сырую базу знаний (набор документов, разбитых на кусочки), то во few-shot kNN мы векторизуем запросы пар "запрос - ответ". Конкретно в Medprompt по запросу достаём "запрос - рассуждение (CoT) - ответ" (рассуждение и ответ могут быть как прописаны экспертом, так и сгенерированы LLM, а затем провалидированные экспертом). Вы можете использовать в любом своём приложении few-shot как статичный (руками прописанный в промте), так и динамический (в kNN режиме, когда по запросу пользователя из векторной базы данных достаются похожие примеры запросов с их правильными ответами) – и это гарантированно повысит качество. 2. Chain-of-thought (CoT): цепочка рассуждений – по-простому, мы просто говорим модели подумать перед выбором финального ответа. Например, Before crafting a reply, describe your observations in 3 sentences with clarifying strategy we should choose in <draft></draft> tags. Вариаций как организовать CoT масса. Главное, что это позволяет модели порефлексировать, набросать черновые варианты или выделить, на что обратить внимание, – до того как давать ответ. CoT также значимо бустит качество генерации практически в любом приложении, переводя модель из режима "ответа сходу" на "обдуманное решение. Ведёт к дополнительным костам и секундам на "токены рассуждения", которые вы вероятно не будете показывать пользователю, но с GPT-4-Turbo цена и время стали приятнее. #LLMOps

3. Ensemble with choice shuffle. Здесь начинается уже специфика бенчмарков, где на выходе ожидается вариант ответа, выбранный из заранее определённого списка. Если это не кейс вашего приложения, вам эта часть будет бесполезна. Проблема: как показала практика, порядок вариантов, из которых нужно выбирать, статистзначимо смещает выбор варианта при перезапуске генерации много-много раз. Чтобы это обойти, перемешиваем варианты, например, 5 раз и выбираем самый популярный (что требует 5 вызовов, вместо 1, Я ещё не думал в сторону, можно ли оптимизировать косты промпта здесь с помощью Моего любимого магического параметра n, но да ладно). Вот и весь Medprompt. Даёт какие-то мощные приросты в точности и обгоняет fine-tuned модель от Google, Med-PaLM 2. Мне в юзкейсах достаточно few-shot kNN + CoT + ещё разной магии, у Меня нет заранее предопределённых вариантов, поэтому нам choice shuffle не актуален. Шаблоны промптов с картинки можно покурить здесь, там ничего сложного. За ссылочки и помощь в разборе спасибо Игорю (@seeallochnaya). P.S. Поделитесь, а какие из этих техник вы применяете у себя в LLM-продуктах? Мне и другим будет интересно узнать. #LLMOps

Не хотел писать про Gemini, который на днях анонсировали как мультимодальную модель уровня GPT-4, пока сам не пощупаю. Но Google обделался в пиаре своего Gemini, что тут грех не написать. Демо-видео Gemini оказалось смонтированным, а не отражающим реальные возможности модели в реал-тайм. Видео нарезали, ускорили и смонтировали, выбросив то, какие именно промпты и какие кадры подавались модели, чтобы получить красивые ответы для демки. Google признал монтаж, но утверждает, что целью было вдохновить разработчиков. ПРОСТО ГЕНИИ 🤣. Кстати, у Гугла был похожий PR-провал во время анонса Bard 👍. @ai_newz

Стрелялки от первого лица в представлении Dall-E 3 Промпт 📃 Create an image of a first-person shooter (FPS) [genre] game screenshot in a realistic 3D style | The player's hands are visible, holding a [weapon] | [style] HUD displaying | The environment is a [place] with [elements] and a distant skyline | The atmosphere is tense Источник Делитесь в комментариях, в какой мир погрузились бы вы!

Тут в Twitter умелец запилил игру «Angry Pumpkins 🎃» по мотивам классической Angry Birds, но к Хэллоуину. Фишка в том, что всю работу делали генеративные модели. GPT-4 писала код, а Midjourney / DALLE рисовали графику. Всего 600 строк кода, а там даже редактор уровня есть — можно отстроить своё гнездо и попытаться его разбомбить! Комментарий автора проекта: — Должен признаться, я искренне потрясен. Я верю, что мы живем в исторический момент, который до сих пор видели только в научно-фантастических фильмах. Это эпоха новых рабочих процессов, позволяющих создавать что угодно, используя только естественный язык, и это изменит мир, каким мы его знаем. Мой комментарий: Я не смог быстро понять, есть ли у автора опыт в программировании, но как мне кажется это не важно. У наших детей будет GPT-N+1, которая будет куда реже делать ошибки, и схватывать смысл слов на лету. Можно будет уже со средней школы начать экспериментировать не только с наколеночными играми, но и полноценными оригинальными проектами. В ближайшее время нейронки не заменят игроделов, но позволят новым людям вкатываться куда быстрее, да ещё и на дизайне/арте экономить 👀 Играть тут (работает только в браузере компьютера, без смартфонов) Прочитать детальный гайд от автора тут (внутри промпты для генерации графики)

В личку прислали игру: https://tensortrust.ai У вас есть банковский счёт, защищенный секретным словом (или фразой), которое указано в промпте. Вы можете менять промпт, чтобы не давать грабителям узнать секрет. А ещё можете нападать на аккаунты других людей, пытаясь взломать их промпты! Делается это так: у защищающегося есть часть промпта до и после вашего (синие и красные поля на скриншоте). Соответственно задача перебить инструкции, которые идут после вашего сообщения, или же написать такие толерантные правила, что модель не расколется. Под капотом, как я понял, ChatGPT-turbo. Гайд по взлому с useful prompt tricks: тык