ML&|Sec Feed

Фундамент в data science: экспресс-погружение в алгоритмы ML Этот момент настал. После разбора математической базы в виде линейной алгебры, математического анализа и статистики, можно уверенно переходить к непосредственному изучению самих алгоритмов машинного обучения. Открытые курсы по машинному обучению: * Машинное обучение для решения прикладных задач от МГУ * Машинное обучение от ШАД (осторожно, много математики) Интерактивное объяснение работы алгоритмов: * MLU-Explain * Visual introduction to machine learning от r2d3 * Machine Learning Playground Конспекты: * The Illustrated Machine Learning * Yandex ML Handbook * Machine Learning Handbook от PerceptiLabs Книги: * "Грокаем машинное обучение", Серрано Луис * "Машинное обучение без лишних слов" / "Инженерия машинного обучения", Бурков Андрей * "Введение в статистическое обучение с примерами на Python", Джеймс Г., Уиттон Д., Хасти Т., Тибширани Р. Не забывай конспектировать инсайты.

Вышел долгожданный код для xLSTM! Это та самая недавняя взрывная архитектура от создателей LSTM, которая может стать альтернативой трансформеру. Установить библиотеку и поиграться с xLSTM можно с помощью pip install xlstm. Репозиторий с кодом тут. А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10

Привет, друзья! 🐥 Я почти вышла на сессию и в свободное время продолжаю перебирать и готовить материалы для курса и будущего диплома. Сегодня к вам с новой полезной штукой! 🔥 Мы уже акцентировали внимание на том, что результаты одного метода объяснения не эквивалентны результатам другого. В этом случае встает вопрос: как наиболее продуктивно создавать объяснения, чтобы оценивать их устойчивость? Один из ответов — добавлять в свой арсенал наиболее универсальные алгоритмы интерпретации, например такие как LIME (Local Interpretable Model-Agnostic Explanations)! Что это, как использовать, чтобы извлечь максимально много информации и даже математические выкладки: собраны для вас в этом ноутбуке (рус, англ). Благодаря туториалу вы построите LIME с 0 и поймете его библиотечную реализацию! Также все открытые материалы буду добавлять в этот репозиторий и в материалы курса! 🫶🏻 Не знаю почему, но очень рада тратить кучу часов, исследуя тему. Надеюсь, это принесет вам пользу и поможет сделать более понятные модели! Со всем самым добрым, всем запаха сирени! 🪻 Ваш Дата-Автор!

🔥 Text Generation Inference v2.0.0  —   готовый сервер для инференса LLM, написанный на Rust, Python и gRPC. Инференс ML-модели - это процесс её работы на конечном устройстве. Поэтому, чем больше мы разгоняем инференс, тем быстрее работает модель. В новую версию Text Generation Inference   добавлена поддержка модели Command R+. TGI - самый быстрый сервер с открытым исходным кодом для Command R+ Используя возможности Medusa heads, на тестах достигается беспрецедентная скорость с задержкой всего в 9 мс на токен для модели 104B! ПОддерживает популярные Lms с открытым исходным кодомД Llama, Falcon, StarCoder, BLOOM, GPT-NeoX и другие. • Github • Установка @ai_machinelearning_big_data

🌟 LangChain-Chatchat — LLM-приложение Q&A, использующее локальную базу знаний ⏩LangChain-Chatchat (ранее Langchain-ChatGLM) — это что-то наподобие поисковой системы на основе Langchain, которая может использовать локальные файлы. ⏩Основная идея Chatchat довольно проста, вот основные этапы процесса: загрузка файлов базы знаний ⟶ чтение текста ⟶ сегментация текста ⟶ векторизация текста ⟶ векторизация вопроса ⟶ поиск вектора текста, наиболее похожего на вектор вопроса ⟶ найденный вектор добавляется в промпт в качестве контекста и вопроса ⟶ передается в LLM для генерации ответа ⏩А вот так можно начать работу с Chatchat:

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
git clone https://huggingface.co/moka-ai/m3e-base

python copy_config_example.py
python init_database.py --recreate-vs

python startup.py -a

🖥 GitHub @data_analysis_ml

🌟 Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation. Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia По умолчанию использует Phi-3 🖥 GitHub 🟡 Страничка Dot @ai_machinelearning_big_data

⚡️ Галя, у нас отмена отмены! Пару дней назад Docker Hub пару дней назад ушёл из России и Беларуси из-за санкций США, но теперь вдруг передумал. Сейчас hub.docker.com снова доступен с российских IP-адресов, а наш подробный гайд про деплой ML-моделей с докером снова в силе.

Nvidia опубликовала веса для своей SOTA модели эмбеддингов NV-Embed-1, а также подробный технический отчет Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания. Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive. Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно). По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.

⚡️ Новая лекция Ян Лекуна : «Объектно-ориентированный ИИ: на пути к машинам, которые могут учиться, рассуждать и планировать» Слайды: https://drive.google.com/file/d/1e6EtQPQMCreP3pwi5E9kKRsVs2NbWPrY/view?usp=drivesdk Видео: https://www.youtube.com/watch?si=UeLf0MhMzjXcSCAb&v=d_bdU3LsLzE&feature=youtu.be @data_analysis_ml

свежий обзор про ml в иб https://www.tandfonline.com/doi/pdf/10.1080/23311916.2023.2272358

А вот это реально очень полезно — учёные Сбера и лаборатории FusionBrain Института AIRI нашли способ ускорить работу больших языковых нейросетей на 10-15%. И это все без потери качества. Исследователи изучили устройство 20 известных open source языковых моделей и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Как следствие, это позволяет существенно оптимизировать архитектуры.

«Мы, в Сбере, планируем провести тестирование рассмотренной идеи и в случае успеха — тиражировать её на флагманские модели GenAI. Поиск таких смекалок в AI-архитектурах позволяет частично компенсировать вычислительный голод, поэтому продолжим поддержку таких исследований в направлении обучения больших моделей» — рассказал Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.

🌟 Apache TVM — компиляция ML-моделей для любых аппаратных характеристик Apache TVM — это фреймворк компилятора ML-приложений с открытым исходным кодом для CPU, GPU и не только. Цель Apache TVM — дать ML-инженерам возможность оптимизировать и эффективно выполнять вычисления на любом железе. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 InterpretML позволяет интерпретировать и объяснить работу конкретных ML-пайплайнов — pip install interpret Цель InterpretML — сделать ML более понятным, чтобы работать с какими-то алгоритмами и пайплайнами, как с чёрным ящиком. Поддерживает обучение специальных интерпретируемых моделей (glassbox), а также объяснение существующих конвейеров ML (blackbox). 🖥 GitHub 🟡 Доки @data_analysis_ml