AI Experience Exchange

📣 Сравниваем Gemini Pro от Google и ChatGPT от OpenAI: что лучше подходит для RAG (Retrieval-Augmented Generation)? Кто-нибудь уже тестировал модель Gemini Pro от Google на использование для нейро-помощников по технологии RAG (Retrieval-Augmented Generation)? 🚀Поделитесь, плиз результатами! 🚀 У меня пока такая история: пытаясь сравнить с моделью gpt-3.5 от OpenAI, я столкнулся со сложностями в части Embeddings: Сделал два теста: в 1-м обоим моделям подавал один и тот же тестовый чанк, а во 2-м тесте уже использовал similarity search по векторной базе знаний. Во 2-м тесте столкнулся с ситуацией, когда нужные чанки находятся только при использовании OpenAIEmbeddings. Проверил и с HuggingFaceEmbeddings, - аналогично как и с GoogleGenerativeAIEmbeddings плохо ищет релевантные чанки. Изменять текст базы – знаний не стал, хотя и понятен этот путь улучшения… ✨Мой ноут вот здесь: https://colab.research.google.com/drive/1EIxhFiFzi1PH9VrXUJ6UuksBTORFEuET?usp=sharing Если у кого лучше получится, напишите в коменты в группу, плиз!

📣 Первый взгляд на Gemini Pro: Google AI Studio. API. Colab 🚀 Похоже, что новая сетка от Google по имени "Gemini Pro" уже доступна! 🚀 1️⃣ Видео: (12 минут) https://youtu.be/yYnkwfv-6xo 2️⃣ Ноутбук: https://colab.research.google.com/drive/1z7FY5rFPW0IJKlehBYIk4DJtqB85TMqP?usp=sharing ✨ Исходное видео (English, 11 минут) https://youtu.be/HN96QDFBD0g?si=zlKf0IGODwRTEcAt ✨ Исходный ноутбук: https://colab.research.google.com/drive/1W5UkUpjNK9wi7RzuEv83vC0ejBgJ5Ty3?usp=sharing#scrollTo=rQ8f9WBXgLxr ✨ https://ai.google.dev/

Похоже, что новая сетка от Google по имени Gemini Pro уже доступна!

📣 Нейро-помощник без программирования и бесплатно: RAG = Ollama + Flowise 🚀 Создаем нейро - помощника без программирования по технологии RAG (Retrieval-Augmented Generation) из бесплатных доступных компонент: 🚀 Ollama - сервер командной строки, 🚀 Flowise - строим флоу мышкой, 🚀 LLM модель: IlyaGusev/saiga_mistral_7b_gguf, 🚀 HuggingFace Embeddings: intfloat/multilingual-e5-large ✨ Видео: (12 минут) https://youtu.be/4h85p5_8mbc ✨ Используемое flow: https://github.com/kvoloshenko/LMRAG_01/blob/main/Flowise/RAG_Ollama_01%20Chatflow.json ✨Инструкция к flow: https://github.com/kvoloshenko/LMRAG_01/blob/main/Doc/ollama_flowise_instr_01.txt ✨ Файл базы знаний: https://github.com/kvoloshenko/LMRAG_01/blob/main/Platon_KnowledgeBase_01.txt ✨ FlowiseAI https://flowiseai.com/ Flowise Github: https://github.com/FlowiseAI/Flowise 🚀 Ссылки на предыдущие посты: ✨Ollama: Command line сервер для запуска локальных LLM: https://t.me/AiExp01/60 ✨Про настройку Ollama на Ubuntu: https://t.me/AiExp02/340 ✨Создание нейро-помощника без программирования: https://t.me/AiExp01/59 ✨ Возможно ли жизнь без ChatGPT или как подобрать свою локальную языковую модель? https://t.me/AiExp01/57 ✨Локальная модель openchat_3.5 + TextGen WebUI + OpenAI extensions: https://t.me/AiExp01/56 ✨Сравниваем: RAG на Local LLM vs GPT-4: https://t.me/AiExp01/52

📣 Ollama: Command line сервер для запуска локальных LLM 🚀 Ollama - это сервер командной строки под Linux, позволяет запускать локальные LLM с доступом к ним по REST API. Несколько моделей могут работать одновременно! 🚀 ✨Видео (8 минут) https://youtu.be/49YZh-fxb14 ✨Код из видео: https://github.com/kvoloshenko/LMRAG_01/blob/main/ollama_test_01.py ✨Ollama: https://ollama.ai/ ✨Ollama GitHub: https://github.com/jmorganca/ollama ✨Ollama on Linux: https://github.com/jmorganca/ollama/blob/main/docs/linux.md

📣 Создание нейро-помощника без программирования 🚀 Flowise: No Code + LLM = ChatBot 🚀 ✨ Видео (16 минут) https://youtu.be/3xy3Rl38Fms ✨ FlowiseAI https://flowiseai.com/ ✨Flowise Github: https://github.com/FlowiseAI/Flowise ✨Flowise Документация: https://docs.flowiseai.com/ ✨Исходное видео (English, 18 минут) https://youtu.be/Q7_dKkosJY4?si=9GkgRTDfete-RCKC

📣 openai.ChatCompletion больше не поддерживается Если у вас падает запрос в ChatGPT с такой ошибкой: You tried to access openai.ChatCompletion, but this is no longer supported in openai>=1.0.0 - see the README at https://github.com/openai/openai-python for the API. 🚀 Это можно починить разными способами: ✨Видео (4 минуты) https://youtu.be/v7_RTZybQa0 ✨Нотебук: https://colab.research.google.com/drive/1K106Ee5JYj2SoUt5Le90RF9n6qzLpjGL ✨ Ссылки по теме: https://github.com/openai/openai-python migration guide: https://github.com/openai/openai-python/discussions/742

📣 Возможно ли жизнь без ChatGPT или как подобрать свою локальную языковую модель? Рассмотрим возможность использования локальной языковой модели с использованием LM Studio https://lmstudio.ai/ Эта программ поможет вам настроить выбранную языковую модель и использовать ее как в режиме чата, так и в качестве сервера. Приступая к выбору языковой модели, нужно учитывать возможности вашего компьютера. В разделе doc-and-tips на discord разработчики LM Studio дают рекомендации по этому вопросу, например, для ПК с 8 ГБ ОЗУ рекомендуется выбирать модели размером 7B и т.д. Вот скришот этой страницы: https://github.com/kvoloshenko/LMRAG_01/blob/main/Doc/LMStudioGPU.jpg Затем переходим к выбору языковой модели на странице HuggingFace leaderboard: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard и скачиваем выбранную модель в LM Studio. Интересные варианты моделей на сегодня, это например: TheBloke/openchat_3.5-GGUF, IlyaGusev/saiga_mistral_7b_gguf, однако ситуация быстро меняется, нужно следить за лидерами. На следующем шаге вам нужно настроить LM Studio для скаченной языковой модели. При наличии NVIDIA или AMD GPU вы можете ускорить генерацию текста моделью, распределяя слои модели между CPU и GPU, см. подробности там же в разделе doc-and-tips на discord. Вот скришот этой страницы: https://github.com/kvoloshenko/LMRAG_01/blob/main/Doc/LMStudioConfig_01.png И вот мы готовы использовать LM Studio в режиме чата со скаченной моделью. Здесь вы вводите промпт на понятную для вас тему, например, «Напиши Телеграм пост на тему обучаю аргентинскому танго, даю уроки индивидуально», где подставляете описание своей деятельности. Результаты этого процесса позволят вам оценить, насколько хорошо выбранная модель подходит для ваших потребностей и насколько приемлема скорость генерации на вашем компьютере. Учитывая частое появление новых моделей, повторение этого тестирования, например, раз в неделю, позволит вам актуализировать свой выбор локальной модели. А если модель успешно подобрана и скорость для вас приемлема, то можно приступать к повышению качества генерации за счет обогащения промпта вашей актуальной информацией. Делать это можно как вручную, так и автоматизировано, например с использованием подхода RAG (Retrieval-Augmented Generation), о котором было рассказано здесь: https://t.me/AiExp01/52

📣 Локальная модель openchat_3.5 + TextGen WebUI + OpenAI extensions 🚀 Оказывается и TextGen WebUI так же поддерживает API like OpenAI. Ну и код весь открытый на GitHub + Linux! 🚀 ✨ Видео (11 минут) https://youtu.be/cbVxlL5BT9M ✨ Пост про TextGen WebUI: https://t.me/AiExp01/40 ✨ Пост про Сравниваем: RAG на Local LLM vs GPT-4: https://t.me/AiExp01/52 ✨ Все нужные ссылки: https://huggingface.co/TheBloke/openchat_3.5-GGUF https://huggingface.co/openchat/openchat_3.5 https://github.com/oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui/blob/main/extensions/openai/README.md https://github.com/kvoloshenko/LMRAG_01/blob/main/rag_lm_01.py

📣 Текст <-> Речь + Перевод + Colab 🚀 Еще один интересный проект на тему Текст <-> Речь во всех направлениях и языках, с колабом и записью с микрофона. ✨Видео (3 минуты) https://youtu.be/Me273VNcoIU ✨Нотебук: https://colab.research.google.com/github/camenduru/seamless-m4t-colab/blob/main/seamless_m4t_colab.ipynb ✨ GitHub: https://github.com/camenduru/seamless-m4t-colab ✨Исходное видео (1.5 минуты без звука) https://youtu.be/mcmDYCH7uUo?si=BxaVec0fOseL5QHs

На HF появилась новая модель "TheBloke/openchat_3.5-GGUF", посмотрите, как она отвечает на этом же тесте "RAG на Local LLM vs GPT-4". Вот видео на английском про модель OpenChat 3.5 https://youtu.be/nOFle3o-_jk?si=kLOtM25d3_vGJyns

RAG (Retrieval-Augmented Generation)

📣 Сравниваем: RAG на Local LLM vs GPT-4 ✨Видео (5 минут): https://youtu.be/ZqoPR65vTI4 ✨Исходный код: https://github.com/kvoloshenko/LMRAG_01 ✨output: https://github.com/kvoloshenko/LMRAG_01/blob/main/Doc%2Foutput_01.txt

Кстати, под LM Studio у меня НЕ заработали функции с ChatGPT, о которых ранее рассказывал здесь: https://t.me/AiExp01/28

📣 LM Studio: Sequential Chain 1️⃣ Работает ли под LM Studio Sequential Chain от LangChain? 2️⃣ Можно ли сравнить GPT и локальную модели используя Sequential Chain? ✨Видео: (13 минут) https://youtu.be/ryRWg-1i1bY ✨ Исходный код: https://github.com/kvoloshenko/LMChain_01

📣 LM Studio: Chat Bot полностью на Open Source! 🚀 Пример-заготовка для нейро-помощника, основанном на подходе RAG (Retrieval-Augmented Generation). Использованы только Open Source компоненты: 1️⃣ Локальный сервер от LM Studio 2️⃣ Вместо OpenAI Embeddings - HuggingFaceEmbeddings с моделью 'sentence-transformers/all-MiniLM-L6-v2' 3️⃣ Вместо GPT-4 - модель: IlyaGusev/saiga_mistral_7b_gguf/model-q8_0.gguf ✨Видео (8 минут): https://youtu.be/mcxN2j7pXXM ✨Исходный код: https://github.com/kvoloshenko/LMBot_01

📣 100-й подписчик! Нейро-помощник в формате импортозамещения?! Сегодня на канале 100-й подписчик! 🚀 И конечно с LM Studio трудно удержаться и не попробовать создать нейро-помощника в версии полного импортозамещения, тем более, что все фрагменты кода уже были ранее опубликованы в этом канале! ✨Вот заготовка кода: https://github.com/kvoloshenko/LMBot_01 🚀 Использованы: 1️⃣ Локальный сервер от LM Studio 2️⃣ Вместо OpenAI Embeddings - HuggingFaceEmbeddings 3️⃣ Вместо GPT-4 - модель: IlyaGusev/saiga_mistral_7b_gguf/model-q8_0.gguf ✨ Видео запишу чуть позднее, - набросайте вопросы под этой публикацией!

📣 LM Studio | Запускаем Open Source LLM как локальный сервер! 🚀 Нам больше не нужен openai.api_key! 1️⃣ Запускаем загруженную Open Source LLM в режиме локального сервера. 2️⃣ Обращаемся к локальному серверу из Python 🚀 ✨Видео (3 минуты) https://youtu.be/a4M7ANsbzMI ✨ Исходный код из видео: https://github.com/PromptEngineer48/Uncensored_Chat_Bot ✨Исходное видео (English, 34 минуты) https://youtu.be/Bkw41jxKits?si=uHiVdSu6wAFjUmhu ✨ LM Studio https://lmstudio.ai/

📚 Large (Language) Models and Foundation Models (LLM, LM, FM) for Time Series and Spatio-Temporal Data Профессионально курируемый список больших языковых моделей и базовых моделей (LLM, LM, FM) для темпоральных данных (временных рядов, пространственно-временных и событийных данных) с полезными ресурсами (статьи, код, датасеты и т.д.), целью которого является всестороннее обобщение последних достижений в этой области. В Проекте собрана информацию о докладах, учебниках и обзорах по ИИ для временных рядов (AI4TS)с ведущих конференций и в журналов по ИИ. 🖥 Github: https://github.com/qingsongedu/awesome-timeseries-spatiotemporal-lm-llm 📝 AI4TS: https://github.com/qingsongedu/awesome-AI-for-time-series-papers 📕 Paper: https://arxiv.org/abs/2310.10196v1 ai_machinelearning_big_data

📣 LM Studio | Запускаем локально Open Source LLM! 🚀 Еще одна графическая тула для запуска LLM локально! 1️⃣ Загружаем LM Studio, чтобы получить доступ к различным моделям, таким как Lama 2, Mistel и т.д. 2️⃣ Скачиваем модель и выбираем для нее пресет. 3️⃣ Запускаем локально загруженную Open Source LLM 🚀 ✨Видео (4 минуты) https://youtu.be/pK6rrx8rSeU ✨ LM Studio https://lmstudio.ai/ ✨Исходное видео (English, 6 минут) https://youtu.be/z157IP__zhU?si=Mrwg7eQm-MkrVPYt