Анализ данных (Data analysis)

❗️Как эффективно развертывать модели в облаках?  ▶️ Узнайте на практике на бесплатном открытом уроке «Deploy моделей в облаках (MLOps в облаках)» от OTUS и Павла Филонова – Ex-Data Science Manager в Kaspersky. На открытом уроке:  🔹Рассмотрим вариант развертывания моделей в облачном kubernetes 🔹Куда складывать образы и как создавать и управлять кластером 🔹Как безопасно подключить развертывание к CI/CD ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.  👉 РЕГИСТРАЦИЯ https://otus.pw/loVA/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8Jvdcm

𝗣𝗿𝗮𝗰𝘁𝗶𝗰𝗮𝗹 𝗱𝗲𝗲𝗽 𝗹𝗲𝗮𝗿𝗻𝗶𝗻𝗴 𝗰𝗼𝘂𝗿𝘀𝗲🌻: 𝗭𝗲𝗿𝗼-𝘀𝗵𝗼𝘁 𝗰𝗹𝗮𝘀𝘀𝗶𝗳𝗶𝗰𝗮𝘁𝗶𝗼𝗻 𝘄𝗶𝘁𝗵 𝗖𝗟𝗜𝗣 Узнайте, как промпт инжиниринг может помочь вам в классификации изображений в бесплатном курсе от dataflowr! 📋 курс: https://dataflowr.github.io/website/modules/19-clip/ 🤖 код: https://github.com/dataflowr/notebooks/blob/master/Module19/Zeroshot_with_CLIP.ipynb @data_analysis_ml

🤖Для обучения моделированию архитектуры на разных уровнях важно использовать инструмент, поддерживающий все основные элементы и связи языка, и контролирующий правила их применения. В качестве такого инструмента мы используем Archi. Узнайте больше на бесплатном уроке онлайн-курса «Archimate». 👉Приглашаем на бесплатный вебинар: «Описание технологического и физического слоя на языке Архимейт»: регистрация На вебинаре мы: — изучим элементы и правила построения технического и физических слоев; — познакомимся с элементами слоёв; — рассмотрим, как элементы технологического и физического слоя связываются с другими слоями. Занятие проведет Максим Рогоза — руководитель курса и главный архитектор в крупнейшем IT-интеграторе. 🔥После вебинара вы сможете продолжить обучение на курсе по спеццене, в том числе, в рассрочку. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8JxkX2

📕 Tutorial 2: Comparison to other methods of uncertainty quantification В популярный учебник по глубокому обучению добавляен целый большой раздел-учебник по Конформной классификацией. https://uvadlc-notebooks.readthedocs.io/en/latest/tutorial_notebooks/DL2/Bayesian_Neural_Networks/dl2_bnn_tut2_student_with_answers.html#Conformal-prediction @data_analysis_ml

🚀 Видеолекции, UC Berkeley Math 54 Линейная алгебра и дифференциальные уравнения ▪Курс ▪Лекции @data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — Введение в Apache Flink: осваиваем фреймворк на реальных примерах — Data Mesh – ячеистые топологии для работы с данными — XGBoost – один из наиболее эффективных алгоритмов прогнозирования временных рядов. — YOLO-NAS Pose: прорыв в технологии оценки позы — Подбираем параметры сессии в Apache Spark, чтобы не стоять в очереди — Milk Sad уязвимость в библиотеке Libbitcoin Explorer 3.x. Крупная кража на $ 900 000 у пользователей Биткоин Кошельков — Прогнозирование временных рядов с помощью библиотеки Skforecast — Руководство для начинающих по Spark UI: Как отслеживать и анализировать задания Spark — Знакомство с разработкой SAP Data Services — Easily Generate Mock Data with PostgreSQL — How to Scrape Amazon Product Reviews Behind a Login — The Future of Shopping: Innovative Startup with Robots for Automated Dark Stores — A Step-by-Step Roadmap to Data Engineering — Data Engineering for Beginners: Navigating the Foundations of a Data-Driven World — The Comprehensive Guide to Time Series Models: Navigating the Depths of Temporal Data — Looking for scam tokens using bubble charts in TON blockchain — Fine-Tuning or Not, That Is the Question — How Do I Build LLava AI ChatBot — Common Table Expressions in Postgresql Посмотреть: 🌐 Совет Python разработчикам - реши задачу Chain sum с реального собеседования. (⏱ 14:23) 🌐 Нейросеть для превращения #YouTube видео в презентацию (⏱ 00:28) 🌐 🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. #python (⏱ 00:20) 🌐 Applied Reinforcement Learning for Online Ads/Recommender - Kevin Noel (⏱ 42:37) 🌐 Sarah Bird, PhD - Building and Using Generative AI Responsibly: Microsoft’s Journey (⏱ 30:11) 🌐 The Ethics Of Digital Minds with Professor Nick Bostrom (⏱ 57:03) 🌐 Nick Bostrom, PhD - The Ethics of Digital Minds: A baffling new frontier (⏱ 36:28) 🌐 ML on-device: Building Efficient Models - Danni Li (⏱ 34:00) 🌐 Creating Virtual Worlds 20x Faster! (⏱ 06:08) 🌐 NVIDIA’s New AI: Wow, 8x Better Text To 3D! (⏱ 04:27) 🌐 OpenAI's ChatGPT: 7 Unexpected Results! (⏱ 08:57) 🌐 Тренировки по ML. Лекция 2: Линейная регрессия и регуляризация (⏱ 1:46:36) Хорошего дня! @data_analysis_ml

Есть знания в анализе данных, но не хватает реального опыта? Отточить навыки на практике и подготовиться к работе поможет Симулятор аналитика. Симулятор — это мостик между обучением и вашей первой работой. Представьте, что вы устроились в молодой стартап. Ваша задача — с нуля выстроить процессы под руководством ведущего аналитика Анатолия Карпова. За 6 недель вы научитесь строить realtime дашборды, автоматизировать поиск аномалий в данных, анализировать продуктовые метрики, планировать и запускать A/B-тесты и сможете подготовиться к реальной работе. Обучение начинается уже 13 ноября, а сейчас как раз можно вписаться по самой приятной цене [Узнать подробнее и записаться на курс]

🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. Все, что вам нужно сделать, это: %load_ext cudf.pandas import pandas as pd Их библиотека RAPIDS автоматически определяет, работаете ли вы на GPU или CPU, и ускоряет обработку. Попробовать можно здесь: https://colab.research.google.com/drive/12tCzP94zFG2BRduACucn5Q_OcX1TUKY3 Repo: https://github.com/rapidsai/cudf @data_analysis_ml

Заменит ли AI всех айтишников? Кто-то скажет НЕТ! Кто-то буркнет ДА! Но в действительности повышая свою квалификацию ➜ вы повышаете свою ценность Остается лишь только смириться с новым миром и начать работать с нейронкой Гораздо легче начать это под крылом спецов, в бесплатном канале AI Университета Ребята поделятся и курсами, и материалами для саморазвития. Подпишись: @ai_u Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8KRbSp

🖥 Vector Databases: from Embeddings to Applications Векторные базы данных являются ключевой частью многих приложений LLM, в которых требуется поиск или извлечение данных, например, с помощью Retrieval Augmented Generation (RAG). Узнайте, как они работают и как их использовать в новом бесплатном курсе на deeplearningai. https://www.deeplearning.ai/short-courses/vector-databases-embeddings-applications/ @data_analysis_ml

📱 В приложение ChatGPT для iOS добавлена поддержка расширенного анализа данных (ранее Code Interpreter). Теперь специалист по анализу данных или аналитик данных у вас в кармане. @data_analysis_ml

К вершинам - через ViRush 2023, вместе с Visiology! 20 ноября в 12:00 в Центре событий РБК в Москве стартует ежегодная конференция ViRush 2023, организованная компанией Visiology, лидером российского рынка BI-решений. На площадке выступят спикеры от российских корпораций и ведущих представителей разных сфер экономики. Свои кейсы представят АЛРОСА, Русатом Оверсиз, Россети-ЦЕНТР, РСХБ, ЛАНИТ, Positive Technologies. Компания Visiology представит новшества аналитической платформы, покажет BI-решение в действии, расскажет о роли искусственного интеллекта в Business Intelligence и планах по развитию. Управляйте данными! Принимайте выигрышные решения первыми! Ждем вас на событии! Участие - бесплатно. Регистрация. Реклама. ООО "ВИЗИОЛОДЖИ". ИНН 7705352195. erid: LjN8KM6Gh

⚡️ Google выпустили AltUp - метод, использующий преимущества увеличения масштаба сетей трансформеров без увеличения стоимости вычислений - он прост в реализации, широко применим к архитектурам трансформеров, который требует минимальной настройки параметров. Подробнее → https://blog.research.google/2023/11/alternating-updates-for-efficient.html @data_analysis_ml

🚀 pix2tex - это библиотека #Python, позволяющая преобразовывать изображения уравнений в код LaTeX. Это позволяет использовать уравнение из одного документа в другой документ, не переделывая его с нуля. 🐱 GitHub @data_analysis_ml

А это на сегодня в канал https://t.me/data_analysis_ml: Горящая вакансия для аналитиков данных от Ozon🔥 Аналитик данных в команду аналитики поиска Что по задачам: • Разрабатывать KPI метрики для продуктов поиска и повышать прозрачность продукта внутри компании в целом. • Собирать ETL процессы по обработке данных, дизайнить метрики и строить дашборды. • Проводить A/B-тесты: дизайнить, анализировать их и принимать решения по итогам. • Работать над методами повышения чувствительности для экспериментов ранжирования. • Заниматься продуктовым ресерчем. • Оптимизировать текущие процессы работы с данными. Стек: Python, PySpark, ClickHouse, Vertica, PostgreSQL, Airflow, Grafana. Ozon предлагает: • Без скромности — делать классные продукты на рынке e-com. • Удалёнку, гибрид или офис. • Систему менторства, адаптации, обучения, ДМС (+стоматология). • Скидки на спорт и изучение английского языка, корпоративные клубы (киберспорт, кино, рисование, настолки, спорт, etc). • Сильное сообщество. Откликнуться на вакансию

💼 Y'ORG Y'ORG объединяет большин языковые модель с Jupyter Notebook для выполнения различных задач. Цель Y'ORG - предоставить удобный интерактивный способ (1) изучения кода, (2) составления планов и задач для работы, (3) написания кода и добавления новых функций. Он также помогает ученым и аналитикам (4) проводить анализ данных и (5) создавать полноценные отчеты. ▪ Github @data_analysis_ml

7 фреймворков для работы с LLM 1. vLLM vLLM  —  быстрая и простая в использовании библиотека для вывода и поддержания LLM. Достигается 14-кратное  —  24-кратное увеличение производительности по сравнению с HuggingFace Transformers (HF) и 2,2-кратное  —  2,5-кратное по сравнению с HuggingFace Text Generation Inference (TGI). 2. Text Generation Inference Text Generation Inference  —  сервер для вывода текстов, написанных на Rust, Python и gRPC. Используется в производстве в HuggingFace для управления виджетами API-вывода LLM. 3. CTranslate2 CTranslate2  —  это библиотека, написанная на языках C++ и Python, для эффективного вывода данных с помощью моделей-трансформеров. 4. DeepSpeed-MII Благодаря DeepSpeed, MII обеспечивает вывод данных с низкой задержкой и высокой производительностью. 5. OpenLLM OpenLLM  —  это открытая платформа для работы с большими языковыми моделями (LLM) в производственной среде. 6. Ray Serve Ray Serve  —  это масштабируемая библиотека для создания API вывода в режиме онлайн. Serve не зависит от фреймворков, поэтому вы можете использовать один инструментарий для обслуживания любых моделей глубокого обучения. 7. MLC LLM MLC LLM (Machine Learning Compilation LLM, компиляция машинного обучения для LLM)  —  это универсальное решение для развертывания, которое позволяет LLM эффективно работать на потребительских устройствах, используя нативное аппаратное ускорение.

🔥 The-incredible-pytorch В этом репозитории собраны лучшие учебники, проекты, библиотеки, видео, статьи, книги и все, что связано с невероятным PyTorch. 🔗 https://github.com/ritchieng/the-incredible-pytorch @data_analysis_ml