ML&|Sec Feed

Тут сделали прикольный тул чтобы папиры верстать, выглядит прикольным гибридом latex+md typst.app

🌟 LangChain-Chatchat — LLM-приложение Q&A, использующее локальную базу знаний ⏩LangChain-Chatchat (ранее Langchain-ChatGLM) — это что-то наподобие поисковой системы на основе Langchain, которая может использовать локальные файлы. ⏩Основная идея Chatchat довольно проста, вот основные этапы процесса: загрузка файлов базы знаний ⟶ чтение текста ⟶ сегментация текста ⟶ векторизация текста ⟶ векторизация вопроса ⟶ поиск вектора текста, наиболее похожего на вектор вопроса ⟶ найденный вектор добавляется в промпт в качестве контекста и вопроса ⟶ передается в LLM для генерации ответа ⏩А вот так можно начать работу с Chatchat:

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
git clone https://huggingface.co/moka-ai/m3e-base

python copy_config_example.py
python init_database.py --recreate-vs

python startup.py -a

🖥 GitHub @data_analysis_ml

Есть несколько вопросов, которые задаются ❓ из года в год и при этом не имеют однозначного ответа. Это "сколько тратить на ИБ от ИТ бюджета", "кому должна подчиняться ИБ?" 😦 и, конечно же, "какой должна быть структура подразделения ИБ". Вот тут вам пример службы ИБ в зависимости от масштаба компании. Конкретные подразделения скрываются на схеме за ролями их руководителей 🫡 ЗЫ. A&E - это Architecture & Engineering.

Так, хорошая новость для всех: провайдер облачных и AI-технологий Cloud․ru запустил free tier. Что это значит: фактически, это возможность получить облачные ресурсы бесплатно (и навсегда) для тестирования и запуска своих продуктов. В частности можно залутать: – Виртуальную машину: 2vCPU/4 ГБ с диском на 30 ГБ. Такой хватит, чтобы разработать и протестировать приложение или поднять VPN-шлюз. – Объектное хранилище S3: 5 ГБ стандартного облачного хранилища и бесплатные операции для загрузки данных любого типа. Все лежит в публичном защищенном облаке Cloud․ru Evolution. Единственное, за что придется заплатить – это публичный IP за 146 рублей. И то, если зарегистрироваться по Сбер ID или привязать карту, то можно воспользоваться начисленными 4000 бонусов. ➡️ Забираем тут

⚡️ Neural Networks: Zero to Hero — блок из 8 лекций и практических занятий от Андрея Карпати Это курс по нейросетям от с самых азов, возможно лучший во всём интернете. Курс представляет собой серию видеороликов на YouTube, в которых Карпати показывает, как проектировать и обучать нейронные сети. Все эти результаты записаны в Jupyter-Notebook'ах, можно скачать их и экспериментировать ▶️ Neural Networks: Zero to Hero @data_analysis_ml

🌟 Verba — open-source приложение для обеспечения сквозного, оптимизированного и удобного интерфейса для Retrieval-Augmented Generation — pip install goldenverba Verba — это полностью настраиваемый AI-помощник для запросов и взаимодействия с вашими данными, как локальными, так и развернутыми в облаке. Отвечает на вопросы, связанные с вашими документами, получает информацию из существующих баз знаний. Verba сочетает в себе современные технологии RAG и контекстно-зависимую базу данных Weaviate. Выбирайте между различными фреймворками RAG, типами данных, методами разбивки и поиска и поставщиками LLM в зависимости от конкретного случая использования. Позволяет использовать разные LLM: как от HuggingFace и Ollama, так и от OpenAI, Cohere и Google. 🖥 GitHub @ai_machinelearning_big_data