Анализ данных (Data analysis)

Соберём ансамбль — вместе веселее! Приглашаем на открытый урок, где вы узнаете как усилить свои модели объединяя их сильные стороны.  🔹Расскажем в чем заключается "сила толпы" и когда оправдано ее использование 🔹Покажем методы объединения моделей в ансамбли, которые помогут добиться лучших результатов без существенного усложнения моделей ✅ Практика: Вместе построим ансамбль моделей для задачи классификации. Урок приурочен курсу «Machine Learning» от Otus. По окончанию обучение получите диплом государственного образца. 👉 Регистрация и подробности: https://otus.pw/UkzJ/?erid=LjN8K65FK

🌟 Lightly — фреймворк Python для самоконтролируемого обучения на изображениях — pip install lightly Lightly имеет много возможностей: во-первых, это большое количество готовых модулей (таких как функции потерь, функции активации); во-вторых, это простота в использовании, обусловленная написанием в стиле PyTorch; в-третьих, это поддержка пользовательских базовых моделей для самоконтролируемого предварительного обучения. А ещё Lightly поддерживает распределенное обучение с помощью PyTorch Lightning. 🖥 GitHub 🟡 Доки @data_analysis_ml

🏆 Ozon Tech запускает E-CUP — масштабное соревнование для ML-разработчиков в сфере e-com! Реши реальную бизнес-задачу и поборись за призовой фонд в 1 200 000 рублей! Смотри подробности и регистрируйся до 18 августа Приглашаем специалистов по Data Science, ML-инженеров, разработчиков. Твои суперсилы: 🔸 гуру машинного обучения и работы с ML-фреймворками; 🔸 мастер ETL-процессов, SQL, Spark и подобных систем; 🔸 ас в компьютерном зрении. Решай задачи в стиле команды Ozon Tech — минимум ручных действий, максимум автоматизации. Everything as code! Эксперты хакатона расскажут, как максимально эффективно применять этот подход в своей работе. 🚀 На выбор — одна из задач, основанных на реальных бизнес-кейсах Ozon Tech: 1️⃣ Создать ML-модель для улучшения пользовательского опыта клиентов, которая с помощью названий, атрибутов и картинок определит, одинаковые ли товары на изображении. 2️⃣ Разработать алгоритм для модерации карточек товаров с признаками нарушений правил площадки. Модель должна распознавать сигарету на любых изображениях: от фотографий до аниме-фреймов. Ключевые этапы E-CUP: 🔹 1 июля — старт регистрации 🔹 19 августа — публикация задач 🔹 8 сентября — окончание приёма решений 🔹 13 сентября — оглашение победителей Призовой фонд — 1 200 000 рублей. Зарегистрируйся и узнай первым про секретный подарок от команды Ozon Tech, который поможет лучшим участникам прокачать навыки и построить карьеру в e-com-бигтехе! Решай задачи в нашем стиле! Не пропусти грандиозное ML-соревнование — присоединяйся к E-CUP

🌟 Встречайте квантизованную версию Mistral Large Instruct 2407 GGUF Доступны версии с разной степенью сжатия, в том числе 1 бит и 2 бита. Подробнее про квантизацию в целом А это оригинальная, не квантизованная модель 🤗 Hugging Face @data_analysis_ml

🌟 Algebraic-NCD — совсем свежая библиотека Python, которая предоставляет алгебраическое описание алгоритмов Deep Learning Цель Algebraic-NCD — предоставить алгебраические описания алгоритмов глубокого обучения. Алгебраические описания алгоритмов имеют массу приложений: например, они позволяют преобразовывать алгоритмы в диаграммы, что помогает легко понять архитектуру модели и т.д. Ну и конечно алгебраические описания формируют основу для разных математических преобразований и для дальнейшего анализа алгоритмов. 🖥 GitHub 🟡 Анонс от автора в X @data_analysis_ml

🔥Готовы расширить свой стек и добавить востребованные инструменты NLP? ⚡Ждем вас на открытом уроке «Named Entity Recognition (NER): распознавание именованных сущностей» 5 августа в 20:00 мск Мы расскажем, что такое NER, зачем это нужно и где применяется. Вы узнаете о подходах к решению этой задачи, метриках для оценки качества NER и увидите практические примеры для русского и английского языков. Спикер Андрей Коняев — Consultant GenAI Machine Learning Engineering (Professional Research & Development Engineer I) в T-Systems International.  👉Для регистрации пройдите тест https://otus.pw/d54x/?erid=LjN8K9TCq Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области, но еще не успели войти в большинство программ, так как были предложены совсем недавно.

🌟 Симуляция и рендеринг тканей в реальном времени Симуляция и рендеринг тканей, особенно имеющих сложную структуру, в режиме реального времени довольно сложны и требуют больших затрат ресурсов. Исследование, представленное в рамках конференции SIGGRAPH 2024, было создано учеными из Шаньдунского и Нанкинского университетов в Китае с целью решить эту проблему при помощи нейросетей. Плетеные ткани, как правило, имеют регулярно повторяющуюся структуру и рисунок. Существенное снижение нагрузки и уменьшение объема достигается за счёт автокодировщика – алгоритма, который кодирует паттерн этой структуры в латентный вектор с помощью энкодера, а затем расшифровывает декодером для получения реалистичного отображения. Энкодер в нейронной сети отвечает за сжатие информации о форме объекта и его внешнем виде в латентный вектор. Для этого алгоритм сначала преобразует геометрическую структуру объекта и параметры его внешнего вида в числовые характеристики. Затем эти характеристики объединяются в один вектор через небольшую нейронную сеть, чтобы представить материал объекта в более компактном виде для дальнейшей обработки декодером. Декодер же интерпретирует этот латентный вектор в изображение, сохраняя паттерн структуры и материал объекта. Именно благодаря кодированию ткани в состояние латентного вектора нейросеть может отражать разные материалы, разделяя их, в отличие от некоторых других способов, требующих предварительного обучения под каждый тип материала. Создатели представили ряд тестов, которые показали, что их инструмент способен в реальном времени рендерить ткани, а также редактировать параметры, такие как цвет, твёрдость, паттерн ткани и масштаб. В результате был достигнут баланс между качеством, скоростью и оптимальным использованием ресурсов компьютера. 🟡 Arxiv @data_analysis_ml

⚡️ Stability AI представляет Stable Video 4D — модель, которая позволяет генерировать разные ракурсы по загруженному видео Stable Video 4D позволяет загружать 1 видео и получать видео с 8 новыми ракурсами. 🟡 Анонс Stable Video 4D 🟡 Статья @data_analysis_ml

⚡️ Prompt Guard 86M — модель для защиты LLM от эксплуатации в неэтичных целях Prompt Guard — это модель классификатора, обученная на большом датасете из вредоносных промптов и джейлбреков; Prompt Guard способна обнаруживать вредоносные промпты и попытки пользователя обойти защитные механизмы LLM. Модель Prompt Guard полезна в качестве отправной точки для защиты LLM и приложений на их основе; для достижения максимальных результатов рекомендуется дополнительно тонко настроить Prompt Guard, исходя из своих рисков и пользователей LLM-приложения. 🤗 Hugging Face @data_analysis_ml

🌟 Ax — построение LLM-агентов на базе исследования Стэнфорда — DSP (demonstrate, search, predict) — npm install @ax-llm/ax Ax позволяет несложно создавать интеллектуальных агентов, реализовывать бесшовную интеграцию с несколькими LLM и VectorDB для создания конвейеров RAG или агентов, способных решать сложные задачи. 🖥 GitHub 🟡 Доки @data_analysis_ml

«Я в режиме реального времени поясняла структуру запросов / ответов в Postman и разбирала документацию в Swagger», — пишет аналитик, который прошел наш курс, а потом два технических собеседования в международные компании. Приятно, конечно ❤️ Если в 2024 году вы хотите: — научиться выбирать стиль интеграции под вашу задачу; — начать проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и других, + брокеры сообщений); — узнать как правильно собирать требования и моделировать в UML; — подготовиться к собеседованию, решив более 100 заданий; — запустить свой API на Python. Значит наш курс для вас! 🚀 Начните с открытых бесплатных уроков — переходите в бот курса и жмите «Старт» 👇 @studyit_help_bot 🚀 Скидка на курс от канала — 1 000₽ на Stepik по промокоду MLDATA3 до конца июля.

🌟 Dive into Deep Learning — свободная книга от исследователей Amazon: Zhang, Li и других Мощная книга, которая на 1108 страницах подробно описывает реализацию алгоритмов ML и Deep Learning с помощью PyTorch, NumPy/MXNet, JAX и TensorFlow. По этой книге читаются лекции в 500 университетах 70 стран. 🟡 Dive into Deep Learning 🟡 PDF 🖥 GitHub с кодом к книге @data_analysis_ml

🔥Слышали о модели BERT, но не знаете, как ее использовать? Хотите глубже погрузиться в область NLP и понять, что делает ChatGPT таким умным? Представьте, что вы знаете, как дообучать предобученные трансформерные модели и эффективно решать самые разные NLP-задачи. Вы уверенно используете BERT на практике и понимаете, как эта модель совершила революцию в мире Natural Language Processing.  ⚡Присоединяйтесь к открытому вебинару 29 июля в 18:00 мск и сделайте этот прыжок в будущее! Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 👉Регистрация - вступительный тест https://otus.pw/bT2A/?erid=LjN8KTEax Вебинар приурочен к старту курса Natural Language Processing (NLP), обучение на котором позволяет освоить различные языковые модели и создать собственный телеграм-бот.На курсе изучаются современные подходы и модели, которые на данный момент являются стандартом в области.

🌟 Optax — библиотека Python для более удобной работы с JAX — pip install optax Optax — это библиотека от DeepMind, созданная для облегчения ML-экспериментов с JAX; Optax предоставляет множество элементов, из которых можно собирать ML-приложения. В частности, Optax содержит реализации многих оптимизаторов (таких как Adam) и функций потерь. 🖥 GitHub 🟡 Доки 🟡 Notebook @data_analysis_ml

❓Сталкиваетесь с проблемами в поиске болей клиентов? Не знаете, как правильно проводить качественные и количественные исследования? Чувствуете, что вам не хватает знаний для уверенной работы в аналитике?  ✨Представьте, что вы умеете подготавливать гипотезы, проводить глубинные интервью и обрабатывать результаты. Вы уверенно используете карту эмпатии и кластеризацию для анализа данных. Ваши навыки востребованы и вы становитесь незаменимым специалистом в своей компании.  Присоединяйтесь к открытому бесплатному вебинару 24 июля в 20:00 и сделайте этот прыжок в будущее! Регистрируйтесь на вебинар прямо сейчас и прокачайте свои навыки аналитика: https://otus.pw/n0Bb/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KLto6

🌟 SlowFast-LLaVA — метод повышения точности работы VLLM от Apple Apple представляет SlowFast-LLaVA — метод, который позволяет добиться сравнимой или более высокой производительности по сравнению с видеомоделями SotA. Эксперименты показывают, что SF-LLaVA превосходит существующие необучаемые методы на широком спектре задач, связанных с видео. В некоторых бенчмарках она достигает сравнимой или даже лучшей производительности по сравнению с современными VLLM, которые точно настраиваются на наборах видеоданных. 🟡 Arxiv @data_analysis_ml

⚡️ Llama-3.1: Обновление семейства моделей Llama 3.1 - набор предварительно обученных и настроенных по инструкции генеративных моделей размером 8B, 70B и 405B (текст в тексте/текст на выходе). Модели Llama 3.1 с инструкциями (8B, 70B, 405B) оптимизированы для использования в многоязычных диалогах и превосходят многие из доступных моделей с открытым исходным кодом и закрытых моделей для чатов в распространенных отраслевых тестах. Llama 3.1 - это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформаторов. В настроенных версиях используются контролируемая тонкая настройка (SFT) и обучение с подкреплением и обратной связью (RLHF) для согласования с предпочтениями человека в отношении полезности и безопасности. ▶️Доступные для скачивания модели LLaMa 3.1( полный список) Pretrained: Meta-Llama-3.1-8B Meta-Llama-3.1-70B Meta-Llama-3.1-405B Meta-Llama-3.1-405B-MP16 Meta-Llama-3.1-405B-FP8 Fine-tuned: Meta-Llama-3.1-8B-Instruct Meta-Llama-3.1-70B-Instruct Meta-Llama-3.1-405B-Instruct Meta-Llama-3.1-405B-Instruct-MP16 Meta-Llama-3.1-405B-Instruct-FP8 Llama-Guard-3-8B Llama-Guard-3-8B-INT8 Llama-Guard-2-8B Llama-Guard-8B Prompt-Guard-86M ▶️ Комментарии к версии 405B: 🟢MP16 (Model Parallel 16) - полная версия весов BF16. Эти веса можно запустить только на нескольких нодах с использованием pipelined parallel инференса. Минимально требуется 2 ноды с 8 GPU. 🟢MP8 - полная версия весов BF16, но может быть развернута на одной ноде с 8 GPU с использованием динамического квантования FP8 (Floating Point 8). 🟢FP8 (Floating Point 8) - квантованная версия весов. Эти веса можно запустить на одной ноде с 8 GPU и с использованием статического квантования FP. 📌 Модель 405B требует примерно 750 ГБ и минимум двух нод (по 8 GPU) для инференса в MP16. 📌Загрузить модели можно с сайта Meta.Ai или с официальное репозитория на Huggingface Для скачивания нужно заполнить форму запроса доступа. 🟠UPD: Первая GGUF-версия на HF в Q8 уже появилась. @ai_machinelearning_big_data #AI #Llama3.1 #ML #LLM

🌟 ZenML — фреймворк для упрощения и стандартизации MLOps процессов — pip install "zenml[server]" notebook ZenML упрощает перенос ML-пайплайнов из ноутбуков в продакшн-среду. Обеспечивает гарантированную воспроизводимость экспериментов за счет версионирования данных, кода и моделей. ZenML также позволяет быстро переключаться между локальной и облачной средой, предоставляет готовые инструменты для сравнения и визуализации параметров и результатов, кеширования состояний конвейера для быстрых итераций и многое другое. 🖥 GitHub 🟡 Google Colab @data_analysis_ml

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод АНАЛИТИК-10 даст дополнительную скидку 10% от цены курса. Записаться: https://netolo.gy/dj9s Реклама. ООО "Нетология". Erid 2VSb5yvacac

🌟 Реализация диффузионной модели с архитектурой UNet на чистом CUDA В этом репозитории приведена реализация модели UNet на чистом CUDA с подробным описанием всех шагов. Цель этого проекта — создать диффузионную модель на CUDA и достичь производительности PyTorch; выбрана архитектура UNet как ключевая архитектура для диффузионных моделей В итоге, готовая модель была обучена на изображениях слонов из ImageNet 64x64 и теперь вполне успешно их генерирует. 🖥 GitHub @data_analysis_ml