Анализ данных (Data analysis)

⚡️ Моделирование стохастической модели пробоя диэлектрика (Ref: Fractal Dimension of Dielectric Breakdown 🖥 Код #python, #numpy #matplotlib @data_analysis_ml

📑 𝐦𝐥𝐟𝐥𝐨𝐰.𝐚𝐮𝐭𝐨𝐥𝐨𝐠() Сохранение параметров, метрик во время обучения позволяет воспроизводить эксперименты и выбирать наиболее эффективную модель. Однако написание множества записей в логах может быть обременительным. Для автоматического логирования добавьте 𝐦𝐥𝐟𝐥𝐨𝐰.𝐚𝐮𝐭𝐨𝐥𝐨𝐠() перед вашим кодом обучения модели. ▪ Github @data_analysis_ml

💸 Прогнозированию биткоина при помощи VAR (векторной авторегрессии), XGBoost и Facebook Prophet. ▪ Видео ▪ Код из видео @data_analysis_ml

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю Почитать: — Исследование рыночной корзины на основе данных розничной торговли в Стамбуле — Классификация текстов в spaCy: пошаговая инструкция — Как мы запустили автобиддер для управления рекламными кампаниями в Ozon? — Приглашаем на Ozon Tech Community ML&DS Meetup — Правда ли то, что национальный корпус русского языка «приватизирован» Яндексом? — Первое слово из нераспечатанного Геркуланумского папируса обнаружено 21-летним студентом факультета информатики — Построение ML модели для оценки текста языкового экзамена — Разметка данных при помощи GPT-4 — Антон Мальцев про удобные NPU, Computer Vision для коботов и восстание неуклюжих машин — От A/B-тестирования к Causal Inference в оффлайн ритейле — What was that commit? Searching GitHub with OpenAI embeddings — Simplifying the Fundamentals of Machine Learning — Data Cleaning with Pandas — Using machine learning to predict the selling price of a property — Engineering Practice for Real-time Feature Store in Decision-Making Machine Learning — What are biases in Machine Learning? — Hacktoberfest Machine Learning Projects for JS/TS Developers 🎃 — Build a Text Summarization app using Reflex (Pure Python) — Diving Deep into AI with open-appsec: A Personal Journey of Discovery and Growth — AI-Powered Cybersecurity: The Future of Protection Посмотреть: 🌐 Building a Data-Driven Workforce - Dominic Bohan (⏱ 32:52) 🌐 Enabling AI Transformation: MLOps Infrastructure, AI Command Centre & Data Science in Telecom (⏱ 33:08) 🌐 Пишем телеграм бота для скачивания #yotube видео (⏱ 20:41) Хорошего дня! @data_analysis_ml

Объединить мобильную и манипуляционную робототехнику, чтобы создать универсальный мозг для робота и сделать робототехнику доступной для людей? 🤖 Такую амбициозную цель ставит перед собой команда Центра робототехники Сбера. IT-специалисты хотят создать такую мультимодальную нейронную сеть, с помощью которой обучение ИИ будет проходить без учителя: самостоятельно или по минимальному числу демонстраций. Хорошая новость — вы ещё успеваете стать частью больших инноваций, исследовать возможности языковых моделей и избавить людей от рутинных и тяжёлых задач: как в работе, так и в повседневной жизни. По ссылке — все открытые вакансии в Центре робототехники. Выбирайте ту, которая больше всего подходит под навыки, и откликайтесь!

PlotAI 🎨🤖 PlotAI - ии инструмент для генерации графиков на Matplotlib. — пользователь подает на вход датафрейм; — PlotAI создаёт промт для LLM, который содержит первые пять записей и генерирует код Python; — возвращенный код Python выполняется, и отображается график. pip install plotai ▪Github @data_analysis_ml

🌳Деревья решений в pySpark: от семечка до параметрической оптимизации случайного леса Деревья решений представляют собой семейство алгоритмов, которые естественным образом могут обрабатывать как категориальные, так и числовые функции. Главные преимущества алгоритма: устойчивость к выбросам в данных, возможность использования данных разных типов и в разных масштабах без предварительной обработки или нормализации, и главное — ДОСТУПНОСТЬ ДЛЯ ПОНИМАНИЯ. На самом деле используются одни и те же рассуждения, воплощенные в деревьях решений, неявно в повседневной жизни. Например, серия решений «да/нет», которые приводят к прогнозу будет ли тренировка на улице или нет. Модель дерева решений сама “придумывает” эти развилки. Чем больше развилок, тем точнее модель будет работать на тренировочных данных, но на тестовых значениях она начнет чаще ошибаться. Необходим некоторый баланс, чтобы избежать этого явления, известного как переобучение. ## Случайные леса решений Деревья решений обобщаются в более мощный алгоритм, называемый случайные леса. Случайные леса объединяют множество деревьев решений, чтобы снизить риск переоснащения и обучения деревьев решений отдельно. Объединение прогнозов уменьшает дисперсию прогнозов, делает результирующую модель более обобщенной и повышает производительность на тестовых данных. Подготовка данных 📌 Читать @data_analysis_ml

📒 GigaChat нового поколения. Разработчики @gigachat_bot изменили подход к обучению модели, а потому практически все умения модели были улучшены. В частности, речь идет о сокращении текстов, ответов на вопросы и генерации идей. Появился и бот GigaChat в социальной сети «ВКонтакте» — после активации, его можно использовать для самых разных целей: от создания текстов до генерации изображений (за счет интеграции с Kandinsky). Число уникальных пользователей GigaChat достигло 1 млн. • Попробовать @data_analysis_ml

🖥 Шпаргалка по различным базам данных в облачных сервисах и соответствующим им вариантам с открытым исходным кодом . Выбор подходящей базы данных для своего проекта - сложная задача. Существует множество видов баз данных, каждая из которых подходит для разных случаев использования. Данная шпаргалка поможет определить, какой сервис соответствует потребностям вашего проекта, и избежать возможных "подводных камней". @data_analysis_ml

🖥 Build Web Apps in Jupyter Notebook Если вы хотите создать веб-приложение в вашем #JupyterNotebook, попробуйте Mercury. 🖥 Github @data_analysis_ml

💪 Что такое Байесовское А/B-тестирование и как его провести?  Подробно обсудим 19 октября в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced».   🔹 На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3. 📌  Результаты урока: Познакомитесь с основами A/B тестирования и получите новый, простой и эффективный инструмент для A/B тестирования 👉 РЕГИСТРАЦИЯ https://otus.pw/UqGO/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KUFd5

Графовые сверточные сети: введение в GNN Графовые нейронные сети (GNN) представляют собой одну из наиболее интересных и быстро развивающихся архитектур в области глубокого обучения. Будучи моделями глубокого обучения, предназначенными для обработки данных, структурированных в виде графов, GNN обладают универсальностью и огромными обучающими возможностями. Среди различных типов GNN наиболее распространенной и широко применяемой моделью стали графовые сверточные сети (GCN). Инновационность GCN обусловлена их способностью использовать для прогнозирования как особенности узла, так и его локальность, что обеспечивает эффективный способ обработки данных, структурированных в виде графов. В этой статье будет подробно описан механизм работы слоя GCN с объяснением его внутреннего устройства. Кроме того, вы узнаете, как практически применять этот слой для решения задач классификации узлов с использованием в качестве инструмента PyTorch Geometric. PyTorch Geometric (PyG) — это специализированное расширение PyTorch, созданное для разработки и реализации GNN. Эта продвинутая и в то же время удобная в использовании библиотека предоставляет полный набор инструментов для машинного обучения на основе графов. 📌 Читать дальше 📌 PyTorch Geometric @data_analysis_ml

Бесплатный интенсив по Python, который научит вас работать с данными На трансляции вы: ● познакомитесь с основными возможностями Pandas на примере кейса о продажах продуктов в интернет-магазине; ● научитесь применять их для анализа, обработки и визуализации данных. Интенсив проведёт Анатолий Карпов — тот самый автор «основ статистики» и «введения в Data Science», благодаря которым статистику и основы анализа данных поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. Будет полезно и интересно для любого уровня: если вы только начинаете путь в программировании, вы сможете сделать первый шаг. А если уже используете Python, сможете понять как делать это в разы эффективнее и упрощать работу с данными. Встречаемся уже 18 октября в 19:00 [Зарегистрироваться на интенсив] Реклама. ООО "Карпов Курсы". Erid: LjN8K64d2

🖥 GitUp В командах Git иногда можно запутаться (путаница между "git reset" и "git revert" может привести к непредвиденным последствиям). Кроме того, исправление ошибок в Git может быть сложным. GitUp представляет удобную модель взаимодействия с #Git, которая позволяет работать с Git быстро и безопасно. GitUp предоставляет: 🔹 Быстрая отмена/повтор практически всех операций 🔹 Мгновенный поиск по всему репо, включая diff-содержимое 🔹 Интерактивный граф репо для редактирования репозитория. 🔹 Удобный пользовательский интерфейс, который работает быстрее, чем командная строка. • Github @data_analysis_ml

🖥 Если вы работаете с блокнотами jupyter для работы с Python и Data Science, попробуйте эти волшебные команды, которые сэкономят вам массу времени:🧵 1. Jupyter AI: выберите любую модель и пообщайтесь с ней прямо из блокнота Jupyter. Используйте волшебную команду "%%ai", чтобы указать модель и пообщаться с ней, используя промыт на естественном языке: https://github.com/jupyterlab/jupyter-ai 2. %%latex: Это позволяет отображать LaTeX-код в Jupyter Notebook. Картинка 2. 3. %%sql С помощью команд %sql(line magic) и %%sql(cell magic) можно выполнить любой SQL-запрос. Картинка 3. 4. %run Запуск Python-файла в блокноте становится простым. Если у вас есть python-файл, например, "demo .py", и вы хотите запустить его в блокноте, то это можно сделать с помощью следующей команды %run demo .py 5. %%writefile Пример: %%writefile app .py В результате будет создан новый файл "app .py" со всем содержимым, присутствующим в ячейке. 6. %history -n Все мы случайно удаляем команды и их результаты в блокноте. Для отображения всех предыдущих команд можно воспользоваться этой волшебной командой -n поможет получить последние n команд @data_analysis_ml

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — Как «воспитать ламу» и ускорить ML-эксперименты — Airflow vs NiFi: исследуем оркестратор для формирования витрин данных — Сравнение методов веб-скрепинга для данных Википедии: Beautiful Soup против WikipediaAPI — Применение нейросетевых подходов для формирования признаков в моделях — ipywidgets: создаем графические приложения на базе Jupyter — Как использовать GPU для ускорения аналитической обработки данных — Введение в библиотеку Diffusers и диффузионные модели — 70 % программистов пользуются ИИ-ассистентами. Скоро код будут писать алгоритмы? — Проблематика Open Source: профиль риска, лицензирование, как выбирать продукт и подход к разработке решений — LLaMA 2, RWKV, Santacoder и другие LLM на iOS — MLOps на примере прогноза движений акций с помощью MLRun — Using ggplot2 for Visualization in R — ИИ вместо астролога или как я создавала астробота Катю — Learning to Decode the Surface Code with a Recurrent, Transformer-Based Neural Network — Milvus Adventures | October 13, 2023 — Data Science Roadmap — Exploratory Data Analysis with Data Visualization Techniques — Data Visualization — Exploratory Data Analysis using Data Visualization Techniques. — Exploratory Data Analysis using Data Visualization Techniques — Nobel Laureates’ Countries, or Creating a Word Cloud with JS — Data Modelling — Exploratory Data Analysis using Data Visualization Techniques — Exploratory Data Analysis using Data Visualization Techniques — Stream Processing Engines and Streaming Databases: Design, Use Cases, and the Future Посмотреть: 🌐 Chatgpt, Bard , Claude, Theb - используй API лучших нейросетей бесплатно и без ВПН на Python. (⏱ 05:23) 🌐 NLP практика. Определяем тональность текста при помощи NLTK и DL (⏱ 19:37) 🌐 Django шаблонизация и маршрутизация (⏱ 09:11) 🌐 Задача, которая очень часто встречается на собеседованиях #python (⏱ 00:59) 🌐 Решение непростой задачи с Leetcode, часто всплывает на собеседования #pythontutorial (⏱ 00:59) 🌐 Хитрая задача с собеседования #Python (⏱ 00:59) 🌐 Lightning Interview "The Storied History of Video Games and AI" (⏱ 46:35) 🌐 Accelerate your AI/ML Initiatives and Deliver Business Value Quickly (⏱ 33:08) 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) 🌐 Google’s New AI Watched 2,500 Videos! But Why? (⏱ Хорошего дня!

Чтобы ограничить внешний доступ и модификацию переменной за пределами класса, сделайте ее приватной, используя двойное подчеркивание. Это позволяет свести к минимуму вероятность непреднамеренных изменений. #Python @data_analysis_ml

Яндекс продолжает приём заявок на Yandex ML Prize — премию для учёных и преподавателей в области Machine Learning Принять участие могут исследователи, научные руководители и преподаватели в области машинного обучения. Премия вручается за исследования в следующих направлениях: — компьютерное зрение, — обработка естественного языка и машинный перевод, — распознавание и синтез речи, — информационный поиск и анализ данных, — генеративные модели. География премии охватывает 11 стран. Подать заявку на соискание премии могут исследователи и преподаватели из России, Азербайджана, Армении, Беларуси, Казахстана, Кыргызстана, Молдовы, Таджикистана, Туркменистана, Узбекистана и Сербии. Лауреаты Yandex ML Prize получат денежные призы от 500 тысяч до 1 млн рублей, гранты от Yandex Cloud для использования сервиса в своих исследованиях, а также подписки на Яндекс 360 и Плюс Мульти. Больше информации по ссылке. Реклама. ООО «Яндекс»