Анализ данных (Data analysis)

🔥Готовы расширить свой стек и добавить востребованные инструменты NLP? ⚡Ждем вас на открытом уроке «Named Entity Recognition (NER): распознавание именованных сущностей» 5 августа в 20:00 мск Мы расскажем, что такое NER, зачем это нужно и где применяется. Вы узнаете о подходах к решению этой задачи, метриках для оценки качества NER и увидите практические примеры для русского и английского языков. Спикер Андрей Коняев — Consultant GenAI Machine Learning Engineering (Professional Research & Development Engineer I) в T-Systems International.  👉Для регистрации пройдите тест https://otus.pw/d54x/?erid=LjN8K9TCq Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно.

🌟 Симуляция и рендеринг тканей в реальном времени Симуляция и рендеринг тканей, особенно имеющих сложную структуру, в режиме реального времени довольно сложны и требуют больших затрат ресурсов. Исследование, представленное в рамках конференции SIGGRAPH 2024, было создано учеными из Шаньдунского и Нанкинского университетов в Китае с целью решить эту проблему при помощи нейросетей. Плетеные ткани, как правило, имеют регулярно повторяющуюся структуру и рисунок. Существенное снижение нагрузки и уменьшение объема достигается за счёт автокодировщика – алгоритма, который кодирует паттерн этой структуры в латентный вектор с помощью энкодера, а затем расшифровывает декодером для получения реалистичного отображения. Энкодер в нейронной сети отвечает за сжатие информации о форме объекта и его внешнем виде в латентный вектор. Для этого алгоритм сначала преобразует геометрическую структуру объекта и параметры его внешнего вида в числовые характеристики. Затем эти характеристики объединяются в один вектор через небольшую нейронную сеть, чтобы представить материал объекта в более компактном виде для дальнейшей обработки декодером. Декодер же интерпретирует этот латентный вектор в изображение, сохраняя паттерн структуры и материал объекта. Именно благодаря кодированию ткани в состояние латентного вектора нейросеть может отражать разные материалы, разделяя их, в отличие от некоторых других способов, требующих предварительного обучения под каждый тип материала. Создатели представили ряд тестов, которые показали, что их инструмент способен в реальном времени рендерить ткани, а также редактировать параметры, такие как цвет, твёрдость, паттерн ткани и масштаб. В результате был достигнут баланс между качеством, скоростью и оптимальным использованием ресурсов компьютера. 🟡 Arxiv @data_analysis_ml

⚡️ Stability AI представляет Stable Video 4D — модель, которая позволяет генерировать разные ракурсы по загруженному видео Stable Video 4D позволяет загружать 1 видео и получать видео с 8 новыми ракурсами. 🟡 Анонс Stable Video 4D 🟡 Статья @data_analysis_ml

⚡️ Prompt Guard 86M — модель для защиты LLM от эксплуатации в неэтичных целях Prompt Guard — это модель классификатора, обученная на большом датасете из вредоносных промптов и джейлбреков; Prompt Guard способна обнаруживать вредоносные промпты и попытки пользователя обойти защитные механизмы LLM. Модель Prompt Guard полезна в качестве отправной точки для защиты LLM и приложений на их основе; для достижения максимальных результатов рекомендуется дополнительно тонко настроить Prompt Guard, исходя из своих рисков и пользователей LLM-приложения. 🤗 Hugging Face @data_analysis_ml

🌟 Ax — построение LLM-агентов на базе исследования Стэнфорда — DSP (demonstrate, search, predict) — npm install @ax-llm/ax Ax позволяет несложно создавать интеллектуальных агентов, реализовывать бесшовную интеграцию с несколькими LLM и VectorDB для создания конвейеров RAG или агентов, способных решать сложные задачи. 🖥 GitHub 🟡 Доки @data_analysis_ml

«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️ Если в 2024 году вы хотите: — научиться выбирать стиль интеграции под вашу задачу; — начать проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и других, + брокеры сообщений); — узнать как правильно собирать требования и моделировать в UML; — подготовиться к собеседованию, решив более 100 заданий; — запустить свой API на Python. Значит наш курс для вас! 🚀 Начните с открытых бесплатных уроков — переходите в бот курса и жмите «Старт» 👇 @studyit_help_bot 🚀 Скидка на курс от канала — 1 000₽ на Stepik по промокоду MLDATA3 до конца июля.

🌟 Dive into Deep Learning — свободная книга от исследователей Amazon: Zhang, Li и других Мощная книга, которая на 1108 страницах подробно описывает реализацию алгоритмов ML и Deep Learning с помощью PyTorch, NumPy/MXNet, JAX и TensorFlow. По этой книге читаются лекции в 500 университетах 70 стран. 🟡 Dive into Deep Learning 🟡 PDF 🖥 GitHub с кодом к книге @data_analysis_ml

🔥Слышали о модели BERT, но не знаете, как ее использовать? Хотите глубже погрузиться в область NLP и понять, что делает ChatGPT таким умным? Представьте, что вы знаете, как дообучать предобученные трансформерные модели и эффективно решать самые разные NLP-задачи. Вы уверенно используете BERT на практике и понимаете, как эта модель совершила революцию в мире Natural Language Processing.  ⚡Присоединяйтесь к открытому вебинару 29 июля в 18:00 мск и сделайте этот прыжок в будущее! Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 👉Регистрация - вступительный тест https://otus.pw/bT2A/?erid=LjN8KTEax Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области.

🌟 Optax — библиотека Python для более удобной работы с JAX — pip install optax Optax — это библиотека от DeepMind, созданная для облегчения ML-экспериментов с JAX; Optax предоставляет множество элементов, из которых можно собирать ML-приложения. В частности, Optax содержит реализации многих оптимизаторов (таких как Adam) и функций потерь. 🖥 GitHub 🟡 Доки 🟡 Notebook @data_analysis_ml

❓Сталкиваетесь с проблемами в поиске болей клиентов? Не знаете, как правильно проводить качественные и количественные исследования? Чувствуете, что вам не хватает знаний для уверенной работы в аналитике?  ✨Представьте, что вы умеете подготавливать гипотезы, проводить глубинные интервью и обрабатывать результаты. Вы уверенно используете карту эмпатии и кластеризацию для анализа данных. Ваши навыки востребованы и вы становитесь незаменимым специалистом в своей компании.  Присоединяйтесь к открытому бесплатному вебинару 24 июля в 20:00 и сделайте этот прыжок в будущее! Регистрируйтесь на вебинар прямо сейчас и прокачайте свои навыки аналитика: https://otus.pw/n0Bb/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLto6

🌟 SlowFast-LLaVA — метод повышения точности работы VLLM от Apple Apple представляет SlowFast-LLaVA — метод, который позволяет добиться сравнимой или более высокой производительности по сравнению с видеомоделями SotA. Эксперименты показывают, что SF-LLaVA превосходит существующие необучаемые методы на широком спектре задач, связанных с видео. В некоторых бенчмарках она достигает сравнимой или даже лучшей производительности по сравнению с современными VLLM, которые точно настраиваются на наборах видеоданных. 🟡 Arxiv @data_analysis_ml

⚡️ Llama-3.1: Обновление семейства моделей Llama 3.1 - набор предварительно обученных и настроенных по инструкции генеративных моделей размером 8B, 70B и 405B (текст в тексте/текст на выходе). Модели Llama 3.1 с инструкциями (8B, 70B, 405B) оптимизированы для использования в многоязычных диалогах и превосходят многие из доступных моделей с открытым исходным кодом и закрытых моделей для чатов в распространенных отраслевых тестах. Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В настроенных версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для согласования с предпочтениями человека в отношении полезности и безопасности. ▶️Доступные для скачивания модели LLaMa 3.1( полный список) Pretrained: Meta-Llama-3.1-8B Meta-Llama-3.1-70B Meta-Llama-3.1-405B Meta-Llama-3.1-405B-MP16 Meta-Llama-3.1-405B-FP8 Fine-tuned: Meta-Llama-3.1-8B-Instruct Meta-Llama-3.1-70B-Instruct Meta-Llama-3.1-405B-Instruct Meta-Llama-3.1-405B-Instruct-MP16 Meta-Llama-3.1-405B-Instruct-FP8 Llama-Guard-3-8B Llama-Guard-3-8B-INT8 Llama-Guard-2-8B Llama-Guard-8B Prompt-Guard-86M ▶️ Комментарии к версии 405B: 🟢MP16 (Model Parallel 16) - полная версия весов BF16. Эти веса можно запустить только на нескольких нодах с использованием pipelined parallel инференса. Минимально требуется 2 ноды с 8 GPU. 🟢MP8 - полная версия весов BF16, но может быть развернута на одной ноде с 8 GPU с использованием динамического квантования FP8 (Floating Point 8). 🟢FP8 (Floating Point 8) - квантованная версия весов. Эти веса можно запустить на одной ноде с 8 GPU и с использованием статического квантования FP. 📌 Модель 405B требует примерно 750 ГБ и минимум двух нод (по 8 GPU) для инференса в MP16. 📌Загрузить модели можно с сайта Meta.Ai или с официальное репозитория на Huggingface Для скачивания нужно заполнить форму запроса доступа. 🟠UPD: Первая GGUF-версия на HF в Q8 уже появилась. @ai_machinelearning_big_data #AI #Llama3.1 #ML #LLM

🌟 ZenML — фреймворк для упрощения и стандартизации MLOps процессов — pip install "zenml[server]" notebook ZenML упрощает перенос ML-пайплайнов из ноутбуков в продакшн-среду. Обеспечивает гарантированную воспроизводимость экспериментов за счет версионирования данных, кода и моделей. ZenML также позволяет быстро переключаться между локальной и облачной средой, предоставляет готовые инструменты для сравнения и визуализации параметров и результатов, кеширования состояний конвейера для быстрых итераций и многое другое. 🖥 GitHub 🟡 Google Colab @data_analysis_ml

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод АНАЛИТИК-10 даст дополнительную скидку 10% от цены курса. Записаться: https://netolo.gy/dj9s Реклама. ООО "Нетология". Erid 2VSb5yvacac

🌟 Реализация диффузионной модели с архитектурой UNet на чистом CUDA В этом репозитории приведена реализация модели UNet на чистом CUDA с подробным описанием всех шагов. Цель этого проекта — создать диффузионную модель на CUDA и достичь производительности PyTorch; выбрана архитектура UNet как ключевая архитектура для диффузионных моделей В итоге, готовая модель была обучена на изображениях слонов из ImageNet 64x64 и теперь вполне успешно их генерирует. 🖥 GitHub @data_analysis_ml

ML: с чего начинается Data Science? Приглашаем на открытый урок, где вы узнаете про область ML, которая лежит в основе Data Science и AI сегодня.  🔹Расскажем, чем оно отличается от классического программирования и какие в ML существуют типы задач.  ✅ Практика: Решите первую задачу ML на языке Python  В результате урока вы обучите свою первую модель машинного обучения для решения задачи классификации рукописных цифр Урок приурочен курсу «Специализация Machine Learning» от Otus. 👉 Регистрация и подробности:  https://otus.pw/krTC/?erid=LjN8JwL3N

📌Skforecast — библиотека для прогнозирования временных рядов — pip install skforecast Skforecast — это библиотека Python, которая облегчает использование моделей регрессии от scikit-learn для прогнозирования временных рядов. Skforecast также работает с любыми моделями регрессии, совместимыми с API scikit-learn (LightGBM, XGBoost, CatBoost...) 🖥 GitHub 🟡 Доки 🟡 Примеры использования @data_analysis_ml

🔥В OTUS стартует курс "Machine Learning. Professional", обучение на котором позволит последовательно освоить современные инструменты анализа данных и на профессиональном уровне создавать модели машинного обучения. Студенты курса выбирают самостоятельно темы выпускных работ, поэтому все выпускные проекты на курсе–это ценные исследования для ML. ⚡24 июля в 18.00 мск приглашаем на открытый урок курса "Популярные ML-методы для поиска выбросов в данных". На занятии: - разберем задачу поиска аномалий; - изучим как с помощью методов ML можно очищать данные от выбросов; - в теории разберем несколько алгоритмов и применим их на практике. 👉Регистрация https://otus.pw/GGwO/?erid=LjN8KHDLN При поступлении в группу обучения возможны разные способы оплаты и рассрочка платежа

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре. Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных. Xorbits предоставляет набор полезных библиотек для анализа данных и ML. 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 Metarank — open-source сервис ранжирования для создания персонализированного семантического поиска и рекомендательных систем Metarank позволяет реализовать персонализированное ранжирование статей, объявлений, результатов поиска — в общем отлично подходит для создания рекомендательных систем Быстрый старт с Docker:

docker run -i -t -p 8080:8080 -v $(pwd):/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

🖥 GitHub 🟡 Доки 🟡 Пример использования Metarank @data_analysis_ml