AI Experience Exchange
Open in Telegram
Обмен опытом по AI, нейронным сетям, ChatGPT, проверка идей, примеры
Show more951
Subscribers
+224 hours
+257 days
+7130 days
Data loading in progress...
Similar Channels
Tags Cloud
No data
Any problems? Please refresh the page or contact our support manager.
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
December '24
December '24
+102
in 0 channels
November '24
+128
in 1 channels
Get PRO
October '24
+223
in 1 channels
Get PRO
September '24
+86
in 0 channels
Get PRO
August '24
+105
in 0 channels
Get PRO
July '24
+80
in 0 channels
Get PRO
June '24
+122
in 0 channels
Get PRO
May '24
+98
in 0 channels
Get PRO
April '24
+102
in 0 channels
Get PRO
March '24
+184
in 0 channels
Get PRO
February '24
+760
in 0 channels
| Date | Subscriber Growth | Mentions | Channels | |
| 21 December | +3 | |||
| 20 December | +4 | |||
| 19 December | +2 | |||
| 18 December | +3 | |||
| 17 December | +9 | |||
| 16 December | +3 | |||
| 15 December | +6 | |||
| 14 December | +3 | |||
| 13 December | +6 | |||
| 12 December | +2 | |||
| 11 December | +12 | |||
| 10 December | +6 | |||
| 09 December | +2 | |||
| 08 December | +3 | |||
| 07 December | +5 | |||
| 06 December | +5 | |||
| 05 December | +6 | |||
| 04 December | +5 | |||
| 03 December | +5 | |||
| 02 December | +3 | |||
| 01 December | +9 |
Channel Posts
📣 Ollama для Windows: Как установить в нее модель с HuggingFace?
🚀 Краткая инструкция.
1. В Windows задать значение переменной окружения:
OLLAMA_MODELS = %USERPROFILE%\AppData\Local\Ollama\Models
об этом было ранее, см. https://t.me/AiExp01/81
2. Ознакомиться с документацией на https://github.com/ollama/ollama
Customize a model:
https://github.com/ollama/ollama#customize-a-model
Import from GGUF:
https://github.com/ollama/ollama#import-from-gguf
Import a model:
https://github.com/ollama/ollama/blob/main/docs/import.md
3. Для GGUF модели с HF
Далее все действия на примере модели: IlyaGusev/saiga_mistral_7b_gguf
https://huggingface.co/IlyaGusev/saiga_mistral_7b_gguf/tree/main
скачать файл модели: model-q8_0.gguf и поместить его в папку:
%USERPROFILE%\AppData\Local\Ollama\Models\IlyaGusev_saiga_mistral_7b_gguf
4. В этой папке создать файл с именем 'Modelfile' и записать в него контент вида:
FROM ./model-q8_0.gguf
5. Находясь в этой папке выполнить в терминале команду
ollama create IlyaGusev_saiga_mistral_7b_gguf -f Modelfile
6. Проверить наличие модели в списке командой:
ollama list
7. Запустить модель командой:
ollama run IlyaGusev_saiga_mistral_7b_gguf
8. Удаление модели
ollama rm IlyaGusev_saiga_mistral_7b_gguf
удалить папку с файлами
%USERPROFILE%\AppData\Local\Ollama\Models\IlyaGusev_saiga_mistral_7b_gguf
| 2 | 📣 Пробуем использовать LLM через Groq API
🚀 Новый чип LPU (Language Processing Unit) ускоряет инференс LLM. 🚀
1️⃣ Видео: (6 минут): https://youtu.be/ZsUA5PJD6NY
2️⃣ Ноутбук: https://colab.research.google.com/drive/1sEzlaHUBbDtOOsC1RtnZguA6HA5KHlCc
✨Ссылки:
https://groq.com/
https://wow.groq.com/
https://console.groq.com/keys
Исходное видео (English 16 минут): https://youtu.be/S53BanCP14c?si=nzoCLKnImsJnIZuM
Исходный ноутбук: https://colab.research.google.com/drive/1RmC3vZT2LqH4TZsG-5yVUlbcyvAtCWIQ | 1 126 |
| 3 | 📣 Как сделать базу знаний для нейро-помощника из таблицы? - используем csv файл!
🚀 Будем использовать:
1️⃣ LangChain Document loader: CSVLoader
2️⃣ Гибридный поиск по Базе-Знаний: Embeddings + BM25
✨Видео (12 минут): https://youtu.be/anbLpiAf5QQ
✨Нотебук: https://colab.research.google.com/drive/1P4z0cDSoxy8BonXIFjp78nSrTIE9T6-D?usp=sharing | 1 088 |
| 4 | 📣 Персональный бесплатный наставник по программированию
🚀 Вышла версия Ollama для Windows! Используем ее для запуска модели Code Llama иполучаем наставника по программированию! 🚀
Видео (10 минут): https://youtu.be/cM4FGMxqQtk
✨ Переменная окружения:
OLLAMA_MODELS = %USERPROFILE%\AppData\Local\Ollama\Models
✨ Команда для скачивания и запуска модели:
ollama run codellama:34b-python
✨Ссылки:
Видео ‘Ollama does Windows?’ (English 3 минуты) https://youtu.be/EMC5QQN_vdU?si=ALShpfHqnRy93ic7
Видео ‘First local LLM to Beat GPT-4 on Coding | Codellama-70B’ (English 6 минут) https://youtu.be/v_eykfyGfWE?si=woVsdlKQK0JbnqoM
Видео ‘How To Install CodeLlama 70B Locally with Ollama & Run Online For FREE’ (English 8 минуты) https://youtu.be/yZFvs1X8GQk?si=JumBpAD0NZy-jIMK
Download Ollama: https://ollama.com/download
Ollama GitHub: https://github.com/ollama/ollama
Introducing Code Llama: https://ai.meta.com/blog/code-llama-large-language-model-coding/
Список моделей Code Llama: https://ollama.com/library/codellama/tags | 1 304 |
| 5 | 📣 Как сделать базу знаний для нейро-помощника из нескольких книг?
1️⃣ Видео (14 минут): https://youtu.be/MDUsC2BZE2M
2️⃣ Нотебук: https://colab.research.google.com/drive/12lkrj5i2aotCyhYkqb_-XsXgI0DqppVG?usp=sharing
Доп. материалы:
✨Document loaders: https://python.langchain.com/docs/integrations/document_loaders
✨PyPDFLoader: https://python.langchain.com/docs/modules/data_connection/document_loaders/pdf
✨Видео "Build a Multi-Doc Reader and Chatbot with LangChain and ChatGPT": https://youtu.be/rmiO64BGzvw?si=Q6RK3BJxOZjsyJTH
✨Статья: https://betterprogramming.pub/building-a-multi-document-reader-and-chatbot-with-langchain-and-chatgpt-d1864d47e339
✨GitHub: https://github.com/smaameri/multi-doc-chatbot | 974 |
| 6 | 📣 Чат с веб-сайтом по URL-адресу — чат-бот LangChain с графическим интерфейсом Streamlit
🚀 Нашел на YouTube подробный разбор кода реализации помощника с web интерфейсом, который отвечает по данных с указанного сайта. Фактически это еще одна реализация RAG (Retrieval-Augmented Generation). Код подробно и поэтапно разобран в исходном видео на английском, а я попытался этот пример запустить в колабе.
1️⃣ Видео(10 минут): https://youtu.be/FJ3TjD2v_ZM
2️⃣ Ноутбук: https://colab.research.google.com/drive/1npHtfEQfrwenRHBm6YBca_5NudQ501YR?usp=sharing
3️⃣ Внесенные изменения в 48 строке: - указать модель: model="gpt-3.5-turbo-16k-0613"
Использованные материалы:
✨Видео (English 1час 20 минут): https://youtu.be/bupx08ZgSFg?si=3EP7-ZUic2DxMK71
✨Исходники: https://github.com/alejandro-ao/chat-with-websites
✨NGROK: https://ngrok.com/ | 1 041 |
| 7 | 📣 Генерация видео с помощью AI - ждем выхода Lumiere от Google!
🚀Google анонсировала новую модель под названием Люмьер (Lumiere) для генерации видео. Пока еще нет доступа к этой модели, но есть публичные материалы (ссылки будет ниже). 🚀
Основные возможности этой модели:
1. Преобразование текста в видео (Text-to-Video Transformation) - это самая понятная часть: на входе промпт - на выходе - видео.
2. Анимация изображения в видео (Image-to-Video Animation) - даем картинку на вход и получаем видео.
3. Создание стилизованного видео (Stylized Video Generation) - это похоже на перенос стиля.
4. Создание синемаграфов (Cinemagraphs Creation) - очевидно это про возможность анимировать определенные части изображений.
5. Окрашивание видео (Video Inpainting) - похоже на заполнение недостающей части видео.
Ссылки:
https://lumiere-video.github.io/
https://arxiv.org/pdf/2401.12945.pdf | 999 |
| 8 | 📣 Генератор ИИ-аватаров. AI Avatar Generators. D-ID
🚀Как сделать себе говорящего аватара с помощью AI
✨Видео (8 минут): https://youtu.be/gMV5R6cyiLY
✨Ноутбук: https://colab.research.google.com/drive/1DDiktsokh9ZOgr_q3tojRKdPmNhkwkhe?usp=sharing
🚀 Дополнительные материалы:
Обзор "Best AI Avatar Generator: Top 19 Picks of 2024": https://www.synthesia.io/post/best-ai-avatar-generator
D-ID: https://studio.d-id.com/
Легкое видео на русском и без программирования:
• Нейросеть d-id для создания видео из ваших фотографий:
https://youtu.be/lO1IrNSOcq0?si=0tQvHzmQ7MV1wSnu
• Stable Diffusion - пример генерации фотографий (аватаров):
https://youtu.be/cqaPacgwW_s?si=o1W5wUSjP1cu02te
Много интересных примеров с исходниками см. здесь:
https://www.youtube.com/@AI_by_AI_007/videos | 1 002 |
| 9 | 📣 Картинку в текст и обратно!
🚀Пробуем преобразовать картинку в текст и обратно в картинку!🚀
✨Видео (4 минуты): https://youtu.be/tLtGNjmRyv0
✨Ноутбук: https://colab.research.google.com/drive/1Pap1MqxU_CrUaGwtIZS9m58CXAOZnFQQ?usp=drive_link | 1 026 |
| 10 | 📣 Нейро-помощник с ChatGPT
🚀Залил на GitHub обновленную версию нейро-помощника! 🚀
✨Видео (5 минут) https://youtu.be/5tpl-fZn-Kk
✨GitHub: https://github.com/kvoloshenko/GPT_RAG_01 | 1 177 |
| 11 | 📣 Говорилка с ChatGPT своими руками
🚀Запилил себе личного ассистента для практики в английском! 🚀
✨Видео (4 минуты) https://youtu.be/br6RNRMpqZE
✨Ноутбук: https://colab.research.google.com/drive/1u5hRaoYVIbMTIIi6ac-CyQ6dn_nvJz5H
✨GitHub: https://github.com/kvoloshenko/talk-to-chatgpt.git | 1 133 |
| 12 | 📣 Sherpa AI Server
Из интересного: ребята из https://sherparpa.ru/ продвигают свой продукт по работе с локальными LMM 🚀
✨ Вот запись их презентации (1 час 27 минут): https://youtu.be/epaB6shXhpQ?si=B_V28kSS5E5pI3ij
Если кто-либо уже пробовал этот продукт - поделитесь впечатлениями! | 1 014 |
| 13 | 📣 Как пользователю предложить заполнить Google Forms. Используем OpenAI Function
🚀 Пришло время обновить пример про вызову функций в OpenAI и сегодня будем заполнять Google Forms из-под кода с помощью ChatGPT. 🚀
✨Видео (22 Минуты): https://youtu.be/AL0kJs1cLpU
✨Нотебук: https://colab.research.google.com/drive/1DjMVJNdw_sTutxjR0cpZ1OR7Pqeh-GkA#scrollTo=cbhBHjoEMJuQ
✨Плей лист с уроками по Google Forms: https://www.youtube.com/watch?v=9FgD5CXpgME&list=PLALLLrN5wyOJeL6zdNhkPvNazdnG-SRTh
✨Документация от OpenAI Function calling: https://platform.openai.com/docs/guides/function-calling
✨ Прототип кода для заполнения Google Forms: https://github.com/tienthanh214/googleform-autofill-and-submit | 1 066 |
| 14 | 📣 HuggingChat: Как попробовать новую популярную модель Mixtral 8x7B?
🚀 Как легко и просто ознакомиться с новой популярной моделью Mixtral 8x7B? - Есть для этого HuggingChat 🚀
✨Видео (4 Минуты): https://youtu.be/DE8dBiiMxA4
✨HuggingChat: https://huggingface.co/chat
✨Исходное видео (English 20 минут): https://youtu.be/WjiX3lCnwUI?si=x3X1shTUsRcsAhcS | 814 |
| 15 | 📣 Туннель для TextGen WebUI на GPU в бесплатном colab-e! Используем API OpenAi!
В предыдущем посте мы узнали как запустить локальную модель под TextGen WebUI на GPU в бесплатном colab-e! (см. https://t.me/AiExp01/69)
🚀 А сегодня через туннель будем по API вызвать эту модель по методике RAG (Retrieval-Augmented Generation). 🚀
✨ Видео (17 минут): https://youtu.be/LliARZG-q78
✨TextGen WebUI: https://github.com/oobabooga/text-generation-webui
✨1-й ноутбук: https://colab.research.google.com/github/oobabooga/text-generation-webui/blob/main/Colab-TextGen-GPU.ipynb
✨2-й ноутбук: https://colab.research.google.com/drive/1KFSOAMx12ihxz1o7PuaG32ReVD1kfMUh?usp=sharing
✨TheBloke: https://huggingface.co/TheBloke
✨Модель: TheBloke/saiga_mistral_7b-AWQ https://huggingface.co/TheBloke/saiga_mistral_7b-AWQ | 864 |
| 16 | 📣 Запускаем локальную модель под TextGen WebUI на GPU в бесплатном colab-e!
В предыдущем посте мы узнали какого формата нужна локальная модель (см. https://t.me/AiExp01/68 )
🚀 А сегодня запустим модель формата AWQ в бесплатном colab-е с GPU. 🚀
✨Видео (11 Минут): https://youtu.be/Czos_-Ybofc
✨TextGen WebUI: https://github.com/oobabooga/text-generation-webui
✨Ноутбук: https://colab.research.google.com/github/oobabooga/text-generation-webui/blob/main/Colab-TextGen-GPU.ipynb
✨TheBloke: https://huggingface.co/TheBloke
✨Модель: TheBloke/saiga_mistral_7b-AWQ https://huggingface.co/TheBloke/saiga_mistral_7b-AWQ | 944 |
| 17 | 💻📄 Какую модель с HF нужно скачивать или в чем разница между GPTQ, GGUF и AWQ?
Для поиска и загрузки локальных LLM моделей мы использовать Huggingface (HF). Модели там уже часто представлены в виде shards и квантованы, например, Bloke, который является пользователем HuggingFace, выполняет для нас ряд квантований моделей от разных поставщиков.
Что это значит?
Чтобы сэкономить на ресурсах, существуют различные стратегии управления моделями, например, «шардинг» (разделение модели на меньшие части) и «квантование» (уменьшение точности представления числовых значений). Скачивая модель с HF сегодня можно наткнуться на три основных формата: GPTQ, GGUF и AWQ.
1️⃣ GPTQ (Post-Training Quantization for GPT Models) делает акцент на работу с GPU. Он стремится сократить объем весов модели до 4-битного представления, минимизируя при этом среднеквадратическую ошибку. При этом во время работы модели веса динамически деквантовуются в float16 для повышения производительности. GPTQ - это наиболее часто используемый метод сжатия.
2️⃣ GGUF (GPT-Generated Unified Format) - альтернатива для тех, у кого нет мощного GPU. Этот формат позволяет использовать CPU для работы с моделью, а некоторые слои переносить на GPU для ускорения. Использование CPU обычно медленнее, чем GPU, но для тех, кто работает на CPU или Apple устройствах, GGUF - отличное решение.
3️⃣ AWQ (Activation-aware Weight Quantization) - относительно новый метод, похожий на GPTQ, но он изначально предполагает, что не все веса одинаково важны для работы модели. Так, некоторые веса пропускаются при квантовании, что помогает уменьшить потери от сжатия. В результате AWQ обещает быстродействие, сопоставимое с GPTQ, но при этом качество сжатия модели может быть даже выше.
И так, какой формат модели выбирать?
🚀 GGUF используется, если вы хотите запустить AI-модель на вашем CPU.
🚀 Если у вас есть GPU, вы можете выбрать между AWQ и GPTQ.
🚀 AWQ - это новый формат, который недавно заменил GPTQ.
Ссылки и использованные материалы:
✨ HuggingFace leaderboard: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
✨ The Bloke HF: https://huggingface.co/TheBloke
✨ Статья “Which Quantization Method is Right for You? (GPTQ vs. GGUF vs. AWQ)” https://maartengrootendorst.substack.com/p/which-quantization-method-is-right
✨ Ноутбук с данной статье: https://colab.research.google.com/drive/1rt318Ew-5dDw21YZx2zK2vnxbsuDAchH?usp=sharing#scrollTo=xHJUBPlcX789 | 853 |
| 18 | 📣 Гибридный поиск по Базе-Знаний: Embeddings + BM25
Что такое гибридный поиск? Это объединение поиска по ключевым словам и поиска по векторам.
🚀 Таким образом, мы получаем преимущества работы с ключевыми словами и наглядности, которую обеспечивает семантический поиск с использованием векторов! 🚀
1️⃣ Видео (7 минут): https://youtu.be/0OsgQRCOD7w
2️⃣ Ноутбук: https://colab.research.google.com/drive/1w4dbjj5SE4hmTkLgUUFo377XZeaEewOL?usp=sharing
✨ Видео (English, 7 минут): https://youtu.be/lYxGYXjfrNI?si=WF7NVKF-I9RQ0bgR
✨ Исходный ноутбук: https://colab.research.google.com/drive/1lsT1V_U1Gq-jv09wv0ok5QHdyRjJyNxm?usp=sharing#scrollTo=AAb6iSS2iUkN | 764 |
| 19 | 📣 Какая модель embeddings c Hugging Face лучше подходит к данным на русском языке?
Проверял модели:
✨ intfloat/multilingual-e5-large
✨ sentence-transformers/all-MiniLM-L6-v2
✨ sentence-transformers/all-mpnet-base-v2
✨ cointegrated/rubert-tiny2
🚀 Лидерами стали:
✨ intfloat/multilingual-e5-large
✨ cointegrated/rubert-tiny2
1️⃣ Видео (7 минут): https://youtu.be/Cwlo7lkoDiU
2️⃣ Ноутбук: https://colab.research.google.com/drive/1ocIPjn3dCRdbPYPf2aQuAhsARuYZOO_t?usp=sharing | 823 |
| 20 | 📣 Сравниваем Gemini Pro от Google и ChatGPT от OpenAI: что лучше подходит для RAG (Retrieval-Augmented Generation)?
🚀 Удалось преодолеть все технические трудности и провести сравнение по двум сценариям:
1️⃣ Тест 1: Используем готовый тестовый чанк
2️⃣ Тест 2: Embeddings, Similarity search
✨ Видео (13 минут): https://youtu.be/utLYGfMmnro
✨ Ноутбук: https://colab.research.google.com/drive/1w8kfF7_rLRqr61aSjZRF1Ouw3eDdTFEr?usp=sharing | 791 |
