ML&|Sec Feed

🌟 Kedro — набор готовых к продакшену инструментов для Data Science и ML — pip install kedro Kedro — фреймворк, который добавляет модульность, удобную для работы с данными. С помощью Kedro можно создавать проекты по шаблону, настраивать пайплайн в YAML, делить его на части, документировать проект — и это далеко не всё. Kedro позволяет сохранять и загружать данные в различные хранилища, такие как S3, GCP, Azure, sFTP, DBFS и локальные файловые системы. Поддерживаются такие форматы файлов, как Pandas, Spark, Dask, NetworkX, Pickle, Plotly, Matplotlib и многие другие. 🖥 GitHub 🟡 Доки @data_analysis_ml

📌Деплой и поддержка сотни ML-моделей Неплохая статья о том, развивать и сопровождать большое количество ML-моделей, много практических советов и реальных кейсов. Также рассказывается о создании сервиса, который позволяет решать такие задачи: ⏩Деплой модели должен занимать один день. Это позволит нам значительно снизить общий time-to-market наших моделей. ⏩Деплой — типовая операция. Для стандартного деплоя модели не нужно привлекать разработчика. ⏩Должен быть единообразный API для доступа к моделям, который можно легко интегрировать и описывать на разных языках программирования. Последнее было особенно важно, потому что у всех заказчиков свой стек технологий. ⏩Нужны инструменты для observability наших решений. Притом они должны быть «из коробки», чтобы можно было задеплоить модель и легко получить инструменты для ее поддержки. 📎 Статья @data_analysis_ml

Как сделать SOTA RAG? Самые продвинутые RAG сегодня уже умеют: ▪️ Обрабатывать мультимодальные документы и выдавать мультимодальные ответы; ▪️ Распределять нагрузку по разным моделям в зависимости от сложности инпута. Это называется LLM routing; ▪️ Работать мультиязычно. Это значит, что запрос может быть на одном языке, документы на втором, а выходы на третьем; ▪️ Повышать качество ответов с помощью пост-проверок; ▪️ Ну и конечно дообучаться на фидбеке с продакшена. Из недавнего можно обратить внимание на хорошую работу от Google под названием Speculative RAG. Вышла буквально несколько дней назад. Там у них подход такой: Берем несколько маленьких дистиллированных моделей, которые параллельно генерят нам драфты (каждая из отдельного подмножества документов). Затем за один проход по этим черновикам более крупная модель собирает саммари. Получается своеобразный Mixture of Experts или мультиагентный подход. Преимуществ получается несколько. Во-первых, так как контекст на каждую маленькую модельку уменьшается, то и информации теряется меньше. Во-вторых, никакой документ не будет проигнорирован из-за его положения в контексте + мы как бы генерируем разные точки зрения. Ну и в-третьих, это просто быстрее. Точность относительно других систем выше на 13%, а задержка меньше в половину. Короче, Google как всегда молодцы, а статья мастрид.

🌟 whylogs — библиотека Python для конвейеров обработки данных и для ML-приложений — pip install whylogs whylogs позволяет эффективно собирать данные для: — отслеживания любых изменений в наборе данных — быстрой визуализации основных статистических параметров данных — обнаружения дрейфа данных — выявления проблем в процессе обучения, причин снижения производительности ML-модели 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 SDV — библиотека Python для генерации синтетических данных на основе предоставленного набора данных — pip install sdv При этом сгенерированные данные будут иметь те же статистические параметры, что и предоставленный набор данных. SDV генерирует данные, применяя математические методы и разные ML-модели. С помощью SVD можно генерировать данные, даже если исходный набор содержат несколько типов значений и отсутствующие значения. 🖥 GitHub 🟡 Доки @data_analysis_ml

🖥 tslearn — библиотека Python для анализа временных рядов и решения подобных ML-задач — pip install tslearn tslearn — это библиотека Python, которая предоставляет ML-инструменты для анализа временных рядов. tslearn основана на библиотеках scikit-learn, numpy и scipy. 🖥 GitHub 🟡 Доки @data_analysis_ml

Microsoft и Apple в последние дни в статейном ударе. Подборка свежих интересных папир от них: ➡️ SpreadsheetLLM. Первое место в разделе Daily Papers на HF cегодня. Модель для работы с электронными таблицами. Основным достижением стал энкодер, который помогает эффективно скармливать LLM-ке таблицу в сжатом виде. С помощью такого энкодера можно обрабатывать большие таблицы, а перформанс при этом на 25,6 % выше стандарта GPT4. ➡️ MUSCLE. Топ-4 в Daily Papers. Вы замечали, что когда обновляются LLM, они могут начинать отвечать бредово на вопросы, с которыми легко справлялась предыдущая версия? Это потому что разработчики фокусируются на общем перформансе, а не на совместимости. Эта работа предлагает решение в виде: а) новой метрики, которая оценивает вот такую совместимость; б) стратегии обучения со "встроенной" моделью совместимости, которая не дает новой версии регрессировать относительно предыдущей. ➡️ Arena Learning. Что-то на GANском. Модель X (послабее, та, которую мы хотим затюнить) конкурирует в ответах с какой-нибудь SOTA, а третья модель (тоже какая-нибудь сильная) выступает в роли судьи и выбирает победителя. Каждый такой "диалог" – это данные для RL для обучения модели X, то есть предложенная схема это ничто иное как замена дорогого и долгого RLHF. Обновляем статейный бэклог 🕺

Кстати про llama3: там TogetherAI выпустили классный кодовый туториал по файнтюнингу В примере они дотюнили Llama-3-8B для математических задач и в итоге увеличили точность с 47% до 65%, а это почти что GPT-4o. Туториал пошаговый, весь код уже готов, останется только загрузить свои данные. Вот за что мы любим опенсорс

Симпатичная open source книжка DevOps for Data Science полезная для всех кто сисадминит и хочет развиваться в сторону дата инфраструктуры. Не охватывает платформы, охватывает большую часть фундаментальных вопросов. Полезное и для дата инженеров тоже.

Полезно: чувак с Reddit научил ChatGPT ссылаться на научные статьи и выдавать точную инфу. После каждого запроса ИИ обращается к архиву в поисках нужной статьи и выдаёт только проверенную информацию со ссылкой на источник. Не всегда точно по теме, но всё-равно круто. Идеально для написания ваших учебных работ или подтверждения тезисов. Забираем здесь.

Топ на выходные: два сайта с наборами задач для тренировки навыков ML и AI. Внутри задачки разной сложности в категориях линейной алгебры, machine и deep learning — идеально, если видите своё будущее в нейросетях. Deep-ML и Tensorgym — не благодарите.

⚡️ Adversarial Robustness Toolbox — библиотека Python для обеспечения безопасности ML-приложений — pip install adversarial-robustness-toolbox ART — это библиотека Python, которая предоставляет инструменты для оценивания, защиты и проверки моделей и ML-приложений на предмет разных угроз и уязвимостей. ART поддерживает все популярные фреймворки машинного обучения (в т.ч. TensorFlow, Keras, PyTorch, MXNet, scikit-learn, XGBoost, LightGBM, CatBoost, GPy), все типы данных (изображения, таблицы, аудио, видео) и может использоваться для любых задачи ML (классификация, обнаружение объектов, генерация музыки, изображений и т. д.). 🖥 GitHub 🟡 Доки 🟡 Примеры атак и использования ART @data_analysis_ml

🧠 Наконец-то кто-то создал leetcode для машинного обучения. Этот сайт предлагает задачки разной сложности в категориях линейной алгебры, машинного и глубокого обучения, анализа данных. Он полезен для всех, кто хочет углубить свои знания, улучшить навыки и попрактиковаться в машинном обучении. На сайте указаны уровни сложности, есть интерфейс для ввода своего решения и правильные ответы. Только что выполнил первое упражнение: вычисление матрично-векторного произведения без каких-либо тензорных операций (разрешены только списки на python). http://deep-ml.com @data_analysis_ml

В копилку эмбеддинг моделей - deepvk/USER-bge-m3 Модель позиционируется как сентенс энкодер для русского языка, инициализированная на основе TatonkaHF/bge-m3_en_ru (урезанной версии baai/bge-m3). Однако близость с эмбдами оригинального BGE-M3 довольно высока:

Avg Cosine Similarity: 0.9666

Такая схожесть наводит на мысль о возможной дистилляции оригинальной BGE-M3, а что, так можно было?)) Вот он такой современный дистиллят рисерч)) При этом авторы описывают процесс обучения, включающий файнтюн на русскоязычных датасетах и применение техники LM-Cocktail для объединения моделей. Ниже приложу код замеров и ссылка на датасет: Датасет: en-ru-corpus Поддержать автора: cloudtips @den4ikresearch

⚡️ GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft. GraphRAG использует графы знаний для улучшения ответов на запросы. Во время запроса система обращается к графу знаний и использует резюме сообществ и связи между сущностями для формирования контекста, который помогает LLM дать более точный ответ, чем традиционные методы, основанные на поиске по векторным сходствам. Архитектура GraphRAG состоит из ключевых компонентов: Indexer : разделяет корпус данных на мелкие текстовые блоки (TextUnits), извлекает из них сущности, связи и ключевые утверждения. Clustering : группирует данные в иерархическую структуру с использованием метода Лейдена, создавая граф знаний. Community Summarization : генерирует обобщенные описания для каждой группы данных, что помогает в понимании контекста и смыслового связывания всей информации. Knowledge Graph : структура, объединяющая сущности и их связи, созданная на основе данных. GraphRAG значительно улучшает работу моделей языка с частными данными, позволяя им более точно и полно отвечать на сложные вопросы, требующие синтеза информации из разных источников. ⚠️ Рекомендации и предупреждения: - Эффективность индексации зависит от правильной идентификации понятий - Индексация может быть дорогостоящей, рекомендуется создание тестового набора данных - Система предназначена для опытных пользователей в предметной области - Необходим анализ ответов человеком для получения достоверной информации - Методология наиболее эффективна на текстовых данных с общей темой и множеством сущностей 📄 Документация: 🟢локальный запуск 🟢конфигурирование 🟢эмулятор Azurite 🖥Github 🖥Github для запуска на API Azure 🟡Страница проекта 🟡Arxiv @ai_machinelearning_big_data #LLM #GraphRAG #ML #RAG #NLP #Deeplearning

кто виноват, что делать, ты шо ебанутый дядя?

🌟 Flair — мощная библиотека для NLP — pip install flair Библиотека Flair была разработана Берлинским университетом как библиотека NLP с большими возможностями. Flair позволяет проводить распознавание именованных сущностей (NER), анализ эмоциональной составляющей, тегирование части речи (PoS). Помимо этого Flair может работать с биомедицинскими текстами. Также Flair интегрируется с большим количеством других библиотек. 🖥 GitHub 🟡 Доки @data_analysis_ml

https://se-ml.github.io/practices/ https://github.com/SE-ML/awesome-seml