AI Experience Exchange

📣 AutoGen. Multi-agent framework. Создание своей команды помощников. ✨ При создании Нейро-ассистента мы обычно используем один промпт. Этот промпт может быть достаточно большим и подробным. Недавно появился подход под общим названием AutoGen, который позволяет создавать команды ИИ-агентов! ✨Видео (7 минут): https://youtu.be/qlVX4i1ztW4 ✨Ноутбук: https://colab.research.google.com/drive/10eKsAdaLHUoXVnCv3OdjKmLRvwvD2iUA Исходное видео (15 минут, English): AutoGen FULL Tutorial with Python (Step-By-Step) 🤯 Build AI Agent Teams! https://youtu.be/V2qZ_lgxTzg?si=IEF4Gn3MyDpeQYSB Код из видео: https://gist.github.com/mberman84/584b470962c15930340ff49ae4e28a02 Статьи и документация: AutoGen: Enabling next-generation large language model applications https://www.microsoft.com/en-us/research/blog/autogen-enabling-next-generation-large-language-model-applications/ AutoGen https://github.com/microsoft/autogen AutoGen - Automated Multi Agent Chat https://microsoft.github.io/autogen/docs/Examples/AutoGen-AgentChat/

📣 TextGen WebUI. Как автоматизировать установку LLM локально? ✨Появился веб-интерфейс для автоматизации работы с LLM. Это программное обеспечение позволяет вам запускать большие языковые модели локально ✨Видео (9 минут) https://youtu.be/E7t5JO8G6M8 Исходное видео на английском «How To Install TextGen WebUI - Use ANY MODEL Locally!» https://youtu.be/VPW6mVTTtTc?si=3kZdOrFIIZJ7jY9o См. как пользоваться с 5-й минуты: https://youtu.be/VPW6mVTTtTc?si=tEtgNMtES-UJh1CD&t=311 GitHub: https://github.com/oobabooga/text-generation-webui The Bloke HF: https://huggingface.co/TheBloke Документация: https://github.com/oobabooga/text-generation-webui/tree/main/docs

Успешно запустилась в colab-e модель saiga2_7b_lora Потребляет около 9Gb на GPU Вот ссылка на colab: https://colab.research.google.com/drive/19JX9Ps_1KoOqIGEbWyLbFSVM7XHO7OTh А еще в чате говорят, что лучше модель SlimOpenOrca-Mistral-7B но сам еще не проверял…см. здесь: https://t.me/AiExp02/76

📣 Как не платить OpenAI за ChatGPT? Пробуем LLaMA на русском ✨ Кроме ChatGPT есть и другие модели, например, семейство моделей Llama (Llama-cpp, Alpaca, Saiga, Vicuna) - их можно запускать локально… 1️⃣ Видео (5 минут): https://youtu.be/Zarw8laVuMg 2️⃣ Нотебук: https://colab.research.google.com/drive/1HhLnbIB6WrwEMD1YNVusHvel22lV-WZB

📣 Langchain. Huggingface Embedding. Как не платить OpenAI за Embeddings? ✨ Можно ли при использовании Similarity Search отказаться от OpenAIEmbeddings и на что их заменить? ✨ Зачем это нужно? Кроме ChatGPT есть и другие модели, например, семейство моделей Llama (Llama-cpp, Alpaca, Saiga, Vicuna) - их можно запускать локально… ✨ Рассматривается пример с использованием HuggingFaceEmbeddings. 1️⃣ Видео (5 минут): https://youtu.be/_lVF9nBNU2U 2️⃣ Нотебук: https://colab.research.google.com/drive/1xrFv9vZhvXo1u78sK2pl_di8ZMbewEVO

📣 Langchain. Similarity Search. Поиск по сходству с фильтрацией ✨ Можно ли выполняя Similarity Search по векторной базе дополнительно фильтровать метаданные? 1️⃣ Видео (6 минут): https://youtu.be/0AjZMxPleZI 2️⃣ Нотебук: https://colab.research.google.com/drive/1sbmHJn73XxQxyrDFS4RxN6K6yGolL8zs

📣 Пример использования Sequential Chain ✨ Это разбор исходного кода из предыдущей публикации. Пример конвейера промптов, когда следующий запрос использует результат предыдущего. 1️⃣ Видео (7 минут): https://youtu.be/1V-unAZdzzc 2️⃣ Нотебук: https://colab.research.google.com/drive/1D4HDMDobpadPtzHgJf9Pok8onnF1qHR1?usp=sharing

📣 Переключатель Промтов и Баз Знаний ✨ При создании нейро-помощников неоднократно возникала потребность в переключении между промтами и базами знаний. Почему бы для этого не использовать similarity search? 1️⃣ Видео (7 минут): https://youtu.be/Wn3s0_LtQ4k 2️⃣ Нотебук: https://colab.research.google.com/drive/1zWgoytr3OkANKaj1txfW7DOmWq65NyKB?usp=sharing

🚀🎬 ShortGPT Experimental AI framework for automated short/video content creation. Фреймворк на Python для автоматизации создания контента, в частности создания Shorts-видео, синтеза голоса за кадром и задач редактирования. git clone https://github.com/rayventura/shortgpt.git ▪Github ▪Video ▪Colab @pythonl

=📣 Использование Langchain Memory при создании нейро-помощники с ChatGPT, функциями и Базой Знаний ✨ При создании нейро-помощники может понадобиться накоплении истории диалогов. Рассматривается возможный подход с использованием Langchain Memory. 1️⃣ Видео (11 минут): https://youtu.be/MN0zqhAWltE 2️⃣ Нотебук: https://colab.research.google.com/drive/1vJm0cIt5I5oZOBZF-365Ryl3KavVDzgI?usp=sharing

Telegram-бот ChatGPT: GPT-4 — Готовый код быстрого, без дневных лимитов телеграм бота для работы с нейросетью ChatGPT. 🌵 Ответы с низкой задержкой (обычно около 3-5 секунд) 🌵 Без ограничений запросов 🌵 Потоковая передача сообщений (см. демонстрацию) 🌵 Поддержка GPT-4 🌵 Поддержка группового чата (/help_group_chat для получения инструкций) 🌵 DALLE 2 (выберите режим Woman_artist Artist для создания изображений) 🌵 Распознавание голосовых сообщений 🌵 Подсветка кода 🌵 15 специальных режимов чата: 👩🏼‍🎓 Помощник, 👩🏼‍💻 Помощник по коду, 👩‍🎨 Художник, 🧠 Психолог, 🚀 Илон Маск и другие. Вы можете легко создавать свои собственные режимы чата, редактируя config/chat_modes.yml 🌵 Поддержка ChatGPT API и д.р фичи ⚙️ GitHub/Инструкция #python #soft #github

🟥 Как автоматизировать создание контента для YouTube и блога с помощью LangChain и OpenAI Часть 1. Базовые настройки Шаг 1. Настройка среды Прежде чем начать, нужно убедиться, что у нас установлены все необходимые пакеты. 🔴LangChain: фреймворк, упрощающий использование больших языковых моделей. 🔴OpenAI: большая языковая модель, которую мы будем использовать. 🔴Streamlit: фреймворк для создания веб-приложений на Python. 🔴Python-dotenv: пакет для управления переменными окружения. Чтобы установить эти пакеты, откройте терминал и запустите: pip install langchain openai streamlit python-dotenv Шаг 2. Получение API-ключа OpenAI Далее вам необходимо получить API-ключ OpenAI. Это уникальный ключ, открывающий доступ к модели GPT-3 (GPT-3.5/ChatGPT, GPT-4). После регистрации учетной записи в OpenAI вы найдете API-ключ на дашборде. Полученный ключ нужно надежно сохранить в файле .env. В каталоге проекта создайте файл .env и добавьте в него следующую строку: OPENAI_API_KEY=ваш_ключ_openai Замените ваш_ключ_openai на свой действительный ключ OpenAI. Этот файл будет использоваться для безопасного хранения API-ключа. Шаг 3. Настройка файла app.py и импорт библиотек Создадим главный файл Python, app.py. В нем и будем разрабатывать маркетингового ИИ-помощника. Начнем с импорта необходимых библиотек и загрузки переменных среды: from langchain.llms import OpenAI from langchain.prompts import PromptTemplate from langchain.chains import LLMChain, SimpleSequentialChain, SequentialChain import os from dotenv import load_dotenv load_dotenv() В этих строках кода импортируется класс OpenAI из модуля langchain.llms, который позволяет взаимодействовать с моделью GPT. Кроме того, импортируются классы PromptTemplate и LLMChain, которые будут использоваться для создания промптов и цепочек. Функция load_dotenv() загружает переменные среды OPENAI_API_KEY из файла .env. Часть 2. Компоновочные блоки LangChain Шаг 4. Обзор основных компонентов Прежде чем приступить к написанию кода, сделаем краткий обзор компонентов, которые будем использовать. 🔵Большая языковая модель (LLM): экземпляр модели GPT-3. 🔵Шаблон промптов (Prompt Template): простая инструкция для LLM. Она принимает входные переменные и использует их в шаблоне. 🔵Цепочка (Chain): комбинация LLM и шаблона промптов. Она является самой малой рабочей единицей в LangChain. Эти три компонента будут использованы для разработки генератора публикаций в блоге. Шаг 5. Создание первой LLMChain Чтобы создать первую цепочку, нужно инициализировать LLM, разработать шаблон промптов, а затем объединить их в цепочку. Настройте LLM и первый шаблон промптов: # Пример LLMChain # Модель llm = OpenAI(temperature=0.9) # Промпт blog_prompt_template = PromptTemplate( input_variables = ['product_description'], template = 'Write a blog post on {product_description}' ) # Цепочка blog_chain = LLMChain(llm=llm, prompt=blog_prompt_template, verbose=True) # Запуск product_description = 'best eco-friendly coffee' blog_chain.run(product_description) СОВЕТ: ПАРАМЕТР TEMPERATURE УПРАВЛЯЕТ РАНДОМНОСТЬЮ ВЫХОДНЫХ ДАННЫХ МОДЕЛИ. ОН ПРИНИМАЕТ ЗНАЧЕНИЯ ОТ 0 ДО 1, ГДЕ МЫ УСТАНОВИЛИ ЗНАЧЕНИЕ 0,9, ПОСКОЛЬКУ ХОТИМ ПОЛУЧИТЬ МНОГО НОВЫХ ИДЕЙ, В ТО ВРЕМЯ КАК МЕНЬШЕЕ ЗНАЧЕНИЕ, НАПРИМЕР 0, ДЕЛАЕТ МОДЕЛЬ БОЛЕЕ ДЕТЕРМИНИРОВАННОЙ. В приведенном выше коде настраивается LLM и создается шаблон промптов, который принимает описание продукта и генерирует в блоге публикацию о нем. Затем эти два шаблона объединяются, чтобы сформировать цепочку. Потом запускается LLMChain с product_description. Часть 3. Освоение основ цепочек в LangChain Шаг 6. Создание SimpleSequentialChain 📌Читать @data_analysis_ml

📣 Применение функций с ChatGPT при создании Нейро-ассистента 1️⃣ Запись (23 минуты): https://youtu.be/wD0jLSPu64w 2️⃣ Ноутбук: https://colab.research.google.com/drive/1xMbZt5SBl4DXTQUPBrMp8p7qdNhOL9N8?usp=sharing

В общем виде там сложно сделать, зависит от формата записи (миди, аудио, итд) и желаемых параметров стиля. Были попытки с VQ-VAE сделать ( https://github.com/cifkao/ss-vq-vae), и с Transformer VAE (https://github.com/YatingMusic/MuseMorphose ), но у них довольно ограниченные возможности. Ещё у OpenAI такая игрушка есть https://openai.com/research/jukebox , но это скорее просто генерация в заданном стиле

У, AudioCraft есть возможность загрузки промта и мелодии. Подозреваю что это оно и есть.

Ищу перенос стиля для музыки. Про перенос стиля в картинка широко известно, а вот есть ли перенос стиля музыки? Примерно так: загружаешь исходную мелодию «В лесу родилась елочка» и задаешь чтоб система сделала аранжировку в стиле танго Di Sarli (это композитор такой)… Если ли готовые решения такого типа?

Кто спец по ResNet architecture? Вопрос в контексте классификации радиосигналов на примере вот этого решения: https://github.com/dubrovin-sudo/radio_signals_classifier На сегодняшний день есть что-либо более эффективное, чем ResNet для подобной задачи?

Вот еще мой пример по распознаванию лиц на видео https://youtu.be/PGwXDUTSHDU Идею взял отсюда https://youtu.be/sz25xxF_AVE (видео на английском) Решал следующую задачу: есть много видео, где нужно найти себя. В качестве результата при успехе получаю секунду от начала видео на которой был найден Мой исходник см. здесь: https://github.com/kvoloshenko/PFR_01/blob/main/Face_Recognition_0332.py