AI Experience Exchange

📣 Ollama для Windows: Как установить в нее модель с HuggingFace? 🚀 Краткая инструкция. 1. В Windows задать значение переменной окружения: OLLAMA_MODELS = %USERPROFILE%\AppData\Local\Ollama\Models об этом было ранее, см. https://t.me/AiExp01/81 2. Ознакомиться с документацией на https://github.com/ollama/ollama Customize a model: https://github.com/ollama/ollama#customize-a-model Import from GGUF: https://github.com/ollama/ollama#import-from-gguf Import a model: https://github.com/ollama/ollama/blob/main/docs/import.md 3. Для GGUF модели с HF Далее все действия на примере модели: IlyaGusev/saiga_mistral_7b_gguf https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf/tree/main скачать файл модели: model-q8_0.gguf и поместить его в папку: %USERPROFILE%\AppData\Local\Ollama\Models\IlyaGusev_saiga_mistral_7b_gguf 4. В этой папке создать файл с именем 'Modelfile' и записать в него контент вида: FROM ./model-q8_0.gguf 5. Находясь в этой папке выполнить в терминале команду ollama create IlyaGusev_saiga_mistral_7b_gguf -f Modelfile 6. Проверить наличие модели в списке командой: ollama list 7. Запустить модель командой: ollama run IlyaGusev_saiga_mistral_7b_gguf 8. Удаление модели ollama rm IlyaGusev_saiga_mistral_7b_gguf удалить папку с файлами %USERPROFILE%\AppData\Local\Ollama\Models\IlyaGusev_saiga_mistral_7b_gguf

📣 Пробуем использовать LLM через Groq API 🚀 Новый чип LPU (Language Processing Unit) ускоряет инференс LLM. 🚀 1️⃣ Видео: (6 минут): https://youtu.be/ZsUA5PJD6NY 2️⃣ Ноутбук: https://colab.research.google.com/drive/1sEzlaHUBbDtOOsC1RtnZguA6HA5KHlCc ✨Ссылки: https://groq.com/ https://wow.groq.com/ https://console.groq.com/keys Исходное видео (English 16 минут): https://youtu.be/S53BanCP14c?si=nzoCLKnImsJnIZuM Исходный ноутбук: https://colab.research.google.com/drive/1RmC3vZT2LqH4TZsG-5yVUlbcyvAtCWIQ

📣 Как сделать базу знаний для нейро-помощника из таблицы? - используем csv файл! 🚀 Будем использовать: 1️⃣ LangChain Document loader: CSVLoader 2️⃣ Гибридный поиск по Базе-Знаний: Embeddings + BM25 ✨Видео (12 минут): https://youtu.be/anbLpiAf5QQ ✨Нотебук: https://colab.research.google.com/drive/1P4z0cDSoxy8BonXIFjp78nSrTIE9T6-D?usp=sharing

📣 Персональный бесплатный наставник по программированию 🚀 Вышла версия Ollama для Windows! Используем ее для запуска модели Code Llama иполучаем наставника по программированию! 🚀 Видео (10 минут): https://youtu.be/cM4FGMxqQtk ✨ Переменная окружения: OLLAMA_MODELS = %USERPROFILE%\AppData\Local\Ollama\Models ✨ Команда для скачивания и запуска модели: ollama run codellama:34b-python ✨Ссылки: Видео ‘Ollama does Windows?’ (English 3 минуты) https://youtu.be/EMC5QQN_vdU?si=ALShpfHqnRy93ic7 Видео ‘First local LLM to Beat GPT-4 on Coding | Codellama-70B’ (English 6 минут) https://youtu.be/v_eykfyGfWE?si=woVsdlKQK0JbnqoM Видео ‘How To Install CodeLlama 70B Locally with Ollama & Run Online For FREE’ (English 8 минуты) https://youtu.be/yZFvs1X8GQk?si=JumBpAD0NZy-jIMK Download Ollama: https://ollama.com/download Ollama GitHub: https://github.com/ollama/ollama Introducing Code Llama: https://ai.meta.com/blog/code-llama-large-language-model-coding/ Список моделей Code Llama: https://ollama.com/library/codellama/tags

📣 Как сделать базу знаний для нейро-помощника из нескольких книг? 1️⃣ Видео (14 минут): https://youtu.be/MDUsC2BZE2M 2️⃣ Нотебук: https://colab.research.google.com/drive/12lkrj5i2aotCyhYkqb_-XsXgI0DqppVG?usp=sharing Доп. материалы: ✨Document loaders: https://python.langchain.com/docs/integrations/document_loaders ✨PyPDFLoader: https://python.langchain.com/docs/modules/data_connection/document_loaders/pdf ✨Видео "Build a Multi-Doc Reader and Chatbot with LangChain and ChatGPT": https://youtu.be/rmiO64BGzvw?si=Q6RK3BJxOZjsyJTH ✨Статья: https://betterprogramming.pub/building-a-multi-document-reader-and-chatbot-with-langchain-and-chatgpt-d1864d47e339 ✨GitHub: https://github.com/smaameri/multi-doc-chatbot

📣 Чат с веб-сайтом по URL-адресу — чат-бот LangChain с графическим интерфейсом Streamlit 🚀 Нашел на YouTube подробный разбор кода реализации помощника с web интерфейсом, который отвечает по данных с указанного сайта. Фактически это еще одна реализация RAG (Retrieval-Augmented Generation). Код подробно и поэтапно разобран в исходном видео на английском, а я попытался этот пример запустить в колабе. 1️⃣ Видео(10 минут): https://youtu.be/FJ3TjD2v_ZM 2️⃣ Ноутбук: https://colab.research.google.com/drive/1npHtfEQfrwenRHBm6YBca_5NudQ501YR?usp=sharing 3️⃣ Внесенные изменения в 48 строке: - указать модель: model="gpt-3.5-turbo-16k-0613" Использованные материалы: ✨Видео (English 1час 20 минут): https://youtu.be/bupx08ZgSFg?si=3EP7-ZUic2DxMK71 ✨Исходники: https://github.com/alejandro-ao/chat-with-websites ✨NGROK: https://ngrok.com/

📣 Генерация видео с помощью AI - ждем выхода Lumiere от Google! 🚀Google анонсировала новую модель под названием Люмьер (Lumiere) для генерации видео. Пока еще нет доступа к этой модели, но есть публичные материалы (ссылки будет ниже). 🚀 Основные возможности этой модели: 1. Преобразование текста в видео (Text-to-Video Transformation) - это самая понятная часть: на входе промпт - на выходе - видео. 2. Анимация изображения в видео (Image-to-Video Animation) - даем картинку на вход и получаем видео. 3. Создание стилизованного видео (Stylized Video Generation) - это похоже на перенос стиля. 4. Создание синемаграфов (Cinemagraphs Creation) - очевидно это про возможность анимировать определенные части изображений. 5. Окрашивание видео (Video Inpainting) - похоже на заполнение недостающей части видео. Ссылки: https://lumiere-video.github.io/ https://arxiv.org/pdf/2401.12945.pdf

📣 Генератор ИИ-аватаров. AI Avatar Generators. D-ID 🚀Как сделать себе говорящего аватара с помощью AI ✨Видео (8 минут): https://youtu.be/gMV5R6cyiLY ✨Ноутбук: https://colab.research.google.com/drive/1DDiktsokh9ZOgr_q3tojRKdPmNhkwkhe?usp=sharing 🚀 Дополнительные материалы: Обзор "Best AI Avatar Generator: Top 19 Picks of 2024": https://www.synthesia.io/post/best-ai-avatar-generator D-ID: https://studio.d-id.com/ Легкое видео на русском и без программирования: • Нейросеть d-id для создания видео из ваших фотографий: https://youtu.be/lO1IrNSOcq0?si=0tQvHzmQ7MV1wSnu • Stable Diffusion - пример генерации фотографий (аватаров): https://youtu.be/cqaPacgwW_s?si=o1W5wUSjP1cu02te Много интересных примеров с исходниками см. здесь: https://www.youtube.com/@AI_by_AI_007/videos

📣 Картинку в текст и обратно! 🚀Пробуем преобразовать картинку в текст и обратно в картинку!🚀 ✨Видео (4 минуты): https://youtu.be/tLtGNjmRyv0 ✨Ноутбук: https://colab.research.google.com/drive/1Pap1MqxU_CrUaGwtIZS9m58CXAOZnFQQ?usp=drive_link

📣 Нейро-помощник с ChatGPT 🚀Залил на GitHub обновленную версию нейро-помощника! 🚀 ✨Видео (5 минут) https://youtu.be/5tpl-fZn-Kk ✨GitHub: https://github.com/kvoloshenko/GPT_RAG_01

📣 Говорилка с ChatGPT своими руками 🚀Запилил себе личного ассистента для практики в английском! 🚀 ✨Видео (4 минуты) https://youtu.be/br6RNRMpqZE ✨Ноутбук: https://colab.research.google.com/drive/1u5hRaoYVIbMTIIi6ac-CyQ6dn_nvJz5H ✨GitHub: https://github.com/kvoloshenko/talk-to-chatgpt.git

📣 Sherpa AI Server Из интересного: ребята из https://sherparpa.ru/ продвигают свой продукт по работе с локальными LMM 🚀 ✨ Вот запись их презентации (1 час 27 минут): https://youtu.be/epaB6shXhpQ?si=B_V28kSS5E5pI3ij Если кто-либо уже пробовал этот продукт - поделитесь впечатлениями!

📣 Как пользователю предложить заполнить Google Forms. Используем OpenAI Function 🚀 Пришло время обновить пример про вызову функций в OpenAI и сегодня будем заполнять Google Forms из-под кода с помощью ChatGPT. 🚀 ✨Видео (22 Минуты): https://youtu.be/AL0kJs1cLpU ✨Нотебук: https://colab.research.google.com/drive/1DjMVJNdw_sTutxjR0cpZ1OR7Pqeh-GkA#scrollTo=cbhBHjoEMJuQ ✨Плей лист с уроками по Google Forms: https://www.youtube.com/watch?v=9FgD5CXpgME&list=PLALLLrN5wyOJeL6zdNhkPvNazdnG-SRTh ✨Документация от OpenAI Function calling: https://platform.openai.com/docs/guides/function-calling ✨ Прототип кода для заполнения Google Forms: https://github.com/tienthanh214/googleform-autofill-and-submit

📣 HuggingChat: Как попробовать новую популярную модель Mixtral 8x7B? 🚀 Как легко и просто ознакомиться с новой популярной моделью Mixtral 8x7B? - Есть для этого HuggingChat 🚀 ✨Видео (4 Минуты): https://youtu.be/DE8dBiiMxA4 ✨HuggingChat: https://huggingface.co/chat ✨Исходное видео (English 20 минут): https://youtu.be/WjiX3lCnwUI?si=x3X1shTUsRcsAhcS

📣 Туннель для TextGen WebUI на GPU в бесплатном colab-e! Используем API OpenAi! В предыдущем посте мы узнали как запустить локальную модель под TextGen WebUI на GPU в бесплатном colab-e! (см. https://t.me/AiExp01/69) 🚀 А сегодня через туннель будем по API вызвать эту модель по методике RAG (Retrieval-Augmented Generation). 🚀 ✨ Видео (17 минут): https://youtu.be/LliARZG-q78 ✨TextGen WebUI: https://github.com/oobabooga/text-generation-webui ✨1-й ноутбук: https://colab.research.google.com/github/oobabooga/text-generation-webui/blob/main/Colab-TextGen-GPU.ipynb ✨2-й ноутбук: https://colab.research.google.com/drive/1KFSOAMx12ihxz1o7PuaG32ReVD1kfMUh?usp=sharing ✨TheBloke: https://huggingface.co/TheBloke ✨Модель: TheBloke/saiga_mistral_7b-AWQ https://huggingface.co/TheBloke/saiga_mistral_7b-AWQ

📣 Запускаем локальную модель под TextGen WebUI на GPU в бесплатном colab-e! В предыдущем посте мы узнали какого формата нужна локальная модель (см. https://t.me/AiExp01/68 ) 🚀 А сегодня запустим модель формата AWQ в бесплатном colab-е с GPU. 🚀 ✨Видео (11 Минут): https://youtu.be/Czos_-Ybofc ✨TextGen WebUI: https://github.com/oobabooga/text-generation-webui ✨Ноутбук: https://colab.research.google.com/github/oobabooga/text-generation-webui/blob/main/Colab-TextGen-GPU.ipynb ✨TheBloke: https://huggingface.co/TheBloke ✨Модель: TheBloke/saiga_mistral_7b-AWQ https://huggingface.co/TheBloke/saiga_mistral_7b-AWQ

💻📄 Какую модель с HF нужно скачивать или в чем разница между GPTQ, GGUF и AWQ? Для поиска и загрузки локальных LLM моделей мы использовать Huggingface (HF). Модели там уже часто представлены в виде shards и квантованы, например, Bloke, который является пользователем HuggingFace, выполняет для нас ряд квантований моделей от разных поставщиков. Что это значит? Чтобы сэкономить на ресурсах, существуют различные стратегии управления моделями, например, «шардинг» (разделение модели на меньшие части) и «квантование» (уменьшение точности представления числовых значений). Скачивая модель с HF сегодня можно наткнуться на три основных формата: GPTQ, GGUF и AWQ. 1️⃣ GPTQ (Post-Training Quantization for GPT Models) делает акцент на работу с GPU. Он стремится сократить объем весов модели до 4-битного представления, минимизируя при этом среднеквадратическую ошибку. При этом во время работы модели веса динамически деквантовуются в float16 для повышения производительности. GPTQ - это наиболее часто используемый метод сжатия. 2️⃣ GGUF (GPT-Generated Unified Format) - альтернатива для тех, у кого нет мощного GPU. Этот формат позволяет использовать CPU для работы с моделью, а некоторые слои переносить на GPU для ускорения. Использование CPU обычно медленнее, чем GPU, но для тех, кто работает на CPU или Apple устройствах, GGUF - отличное решение. 3️⃣ AWQ (Activation-aware Weight Quantization) - относительно новый метод, похожий на GPTQ, но он изначально предполагает, что не все веса одинаково важны для работы модели. Так, некоторые веса пропускаются при квантовании, что помогает уменьшить потери от сжатия. В результате AWQ обещает быстродействие, сопоставимое с GPTQ, но при этом качество сжатия модели может быть даже выше. И так, какой формат модели выбирать? 🚀 GGUF используется, если вы хотите запустить AI-модель на вашем CPU. 🚀 Если у вас есть GPU, вы можете выбрать между AWQ и GPTQ. 🚀 AWQ - это новый формат, который недавно заменил GPTQ. Ссылки и использованные материалы: ✨ HuggingFace leaderboard: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard ✨ The Bloke HF: https://huggingface.co/TheBloke ✨ Статья “Which Quantization Method is Right for You? (GPTQ vs. GGUF vs. AWQ)” https://maartengrootendorst.substack.com/p/which-quantization-method-is-right ✨ Ноутбук с данной статье: https://colab.research.google.com/drive/1rt318Ew-5dDw21YZx2zK2vnxbsuDAchH?usp=sharing#scrollTo=xHJUBPlcX789

📣 Гибридный поиск по Базе-Знаний: Embeddings + BM25 Что такое гибридный поиск? Это объединение поиска по ключевым словам и поиска по векторам. 🚀 Таким образом, мы получаем преимущества работы с ключевыми словами и наглядности, которую обеспечивает семантический поиск с использованием векторов! 🚀 1️⃣ Видео (7 минут): https://youtu.be/0OsgQRCOD7w 2️⃣ Ноутбук: https://colab.research.google.com/drive/1w4dbjj5SE4hmTkLgUUFo377XZeaEewOL?usp=sharing ✨ Видео (English, 7 минут): https://youtu.be/lYxGYXjfrNI?si=WF7NVKF-I9RQ0bgR ✨ Исходный ноутбук: https://colab.research.google.com/drive/1lsT1V_U1Gq-jv09wv0ok5QHdyRjJyNxm?usp=sharing#scrollTo=AAb6iSS2iUkN

📣 Какая модель embeddings c Hugging Face лучше подходит к данным на русском языке? Проверял модели: ✨ intfloat/multilingual-e5-large ✨ sentence-transformers/all-MiniLM-L6-v2 ✨ sentence-transformers/all-mpnet-base-v2 ✨ cointegrated/rubert-tiny2 🚀 Лидерами стали: ✨ intfloat/multilingual-e5-large ✨ cointegrated/rubert-tiny2 1️⃣ Видео (7 минут): https://youtu.be/Cwlo7lkoDiU 2️⃣ Ноутбук: https://colab.research.google.com/drive/1ocIPjn3dCRdbPYPf2aQuAhsARuYZOO_t?usp=sharing

📣 Сравниваем Gemini Pro от Google и ChatGPT от OpenAI: что лучше подходит для RAG (Retrieval-Augmented Generation)? 🚀 Удалось преодолеть все технические трудности и провести сравнение по двум сценариям: 1️⃣ Тест 1: Используем готовый тестовый чанк 2️⃣ Тест 2: Embeddings, Similarity search ✨ Видео (13 минут): https://youtu.be/utLYGfMmnro ✨ Ноутбук: https://colab.research.google.com/drive/1w8kfF7_rLRqr61aSjZRF1Ouw3eDdTFEr?usp=sharing