Анализ данных (Data analysis)

Создание инфографики с помощью Matplotlib Создание захватывающих и привлекательных визуализаций данных имеет важное значение для работы с данными и для того, чтобы быть специалистом по Data Science. Это позволяет нам предоставлять читателям информацию в сжатой форме, которая помогает понимать данные без необходимости просмотра необработанных значений. Кроме того, мы можем использовать диаграммы и графики, чтобы рассказать увлекательную и интересную историю, отвечающую на один или несколько вопросов о данных. В мире Python существует множество библиотек, которые позволяют специалистам по данным создавать визуализации, и одна из первых, с которой многие сталкиваются, начиная свое путешествие по Data Science — это matplotlib. В этой статье мы рассмотрим создание инфографики с помощью matplotlib. 📌 Читать статью @data_analysis_ml

Стать Middle ML-специалистом просто — поступи в крупнейшую в России магистратуру по ИИ в ИТМО 🚀 Магистратура AI Talent Hub создана компанией Napoleon IT совместно с ведущим технологическим вузом — ИТМО. За 2 года вы получите актуальные знания в области искусственного интеллекта и освоите перспективные ML-специальности на уровне Middle. AI Talent Hub — это: 🔹200 бюджетных мест для талантливых абитуриентов — становитесь профессионалами в ИИ 🔹обучение на решении реальных бизнес-задач — применяйте знания и навыки на практике уже во время магистратуры 🔹опытные профессионалы-менторы из ведущих партнерских IT-компаний — OZON, VK, Сбер, МТС Digital, Huawei Noah's Ark, «Татнефть», Mail.ru, Яндекс, Газпром и другие — получайте практические знания и возможности для развития 🔹онлайн-формат обучения — учитесь из любой точки земного шара 🔹более 100 курсов по разным направлениям машинного обучения от ИТМО, Передовой инженерной школы ИТМО и экспертов крупных IT-компаний — выбирайте сами, кем хотите стать 🔹обучение в неклассических образовательных форматах — воркшопы, хакатоны, проектные и кейс-семинары — забудьте про скучные лекции и лабораторные. Набор на программу AI Talent Hub «Искусственный интеллект» уже в самом разгаре 🔥 До 10 июля подавайте заявку на конкурс проектов, поступайте без экзаменов и становитесь экспертом в области искусственного интеллекта!

🖥 Продвинутый парсинг данных на Python. Сегодня многие веб-сайты используют JavaScript для динамической загрузки контента. Это может затруднить парсинг данных традиционными методами. Тем не менее, существует ряд инструментов, которые могут помочь вам спарсить данные с сайтов, использующих JavaScript. 1. Парсинг динамических сайтов. Вот пример того, как использовать Selenium для парсинга веб-сайта, перегруженного JavaScript: from selenium import webdriver from bs4 import BeautifulSoup driver = webdriver.Firefox() driver.get('https://www.example.com') # Wait for the JavaScript to load time.sleep(5) # Get the page source soup = BeautifulSoup(driver.page_source, 'html.parser') # Extract the data table = soup.find('table', attrs={'id':'dynamic-table'}) data = [] for row in table.find_all('tr'): data.append([cell.text for cell in row.find_all('td')]) # Close the browser driver.quit() Этот код сначала откроет веб-сайт в браузере Firefox. Затем он будет ждать загрузки JavaScript. После загрузки JavaScript, мы получим исходный текст страницы и разберм его с помощью BeautifulSoup. Наконец, мы извлечем данные из таблицы и закроем браузер. 2. Работа с CAPTCHA и IP-блокировками Существует ряд инструментов, которые могут помочь вам решить CAPTCHA. Одним из популярных инструментов является Anti-Captcha: https://anti-captcha.com/. import requests url = 'https://anti-captcha.com/api/create' data = { 'type': 'image', 'phrase': captcha_text } response = requests.post(url, data=data) captcha_id = response.json()['captchaId'] url = 'https://anti-captcha.com/api/solve' data = { 'captchaId': captcha_id } response = requests.post(url, data=data) solution = response.json()['solution'] Этот код сначала отправляет текст CAPTCHA в Anti-Captcha. Затем Anti-Captcha вернет captchaId, который вы можете использовать для запроса решения. Получив решение, вы можете использовать его для обхода CAPTCHA. 3. Пример того, как использовать прокси-сервис для изменения вашего IP-адреса: import requests import random def get_proxy(): """Gets a proxy from the proxy scrape service.""" response = requests.get('https://www.proxyscrape.com/') data = response.json() proxy = random.choice(data['results'])['ip'] + ':' + data['results'][0]['port'] return proxy def scrape_website(proxy): """Scrape the website using the proxy.""" response = requests.get(url, proxies={'http': proxy, 'https': proxy}) soup = BeautifulSoup(response.text, 'html.parser') data = [] for row in soup.find_all('tr'): data.append([cell.text for cell in row.find_all('td')]) return data if __name__ == '__main__': proxy = get_proxy() data = scrape_website(proxy) print(data) # Rotate the proxy proxy = get_proxy() data = scrape_website(proxy) print(data) Этот код сначала получит прокси от сервиса proxy scrape. Затем он будет использовать прокси для сканирования веб-сайта. Наконец, он выведет данные, которые были получены при парсинге. @data_analysis_ml

12 июля в 11:00 мск Visiology првоводит вебинар на тему "BI + AI = ? Супер-оружие аналитиков или угроза профессии?". Записаться на вебинар Что будет на вебинаре 1. Начнем с обзора новых возможностей на основе ИИ в BI платформах лидерах мирового рынка - Power BI, Qlik, Tableau. Почему про ИИ в BI говорили и раньше, но только сейчас это перестало быть маркетинговой фишкой и стало реально помогать в ежедневной работе аналитика? 2. Продемонстрируем на реальных кейсах, как аналитику может помочь новый виртуальный помощник Visiology ViTalk GPT. Посмотрим, как он пишет DAX запросы и интеграции с источниками данных на Python. Обсудим ограничения технологии и разберемся, как эту технологию использовать эффективно. Зарегистрироваться

📚 7 примеров современных алгоритмов машинного обучения с кодом и полезными статьями для изучения. 1. Трансформеры Что почитать: - Трансформеры - Transformer в картинках - Знакомство с трансформерами - Обучение алгоритма генерации текста на основе трансформеров 2 Графовые нейронные сети (GNN) Что почитать: - Графовые нейронные сети - Graph Neural Networks: просто на математическом - Ищем скрытые смыслы. Графовые нейронные сети 3. XGBoost: Что почитать: - XGBoost в R: пошаговый пример - Введение в XGBoost для прикладного машинного обучения - Как работает нативная поддержка категорий в XGBoost 4. Вариационные автоэнкодеры (VAE) Что почитать: - Вариационные автоэнкодеры (VAE) для чайников - Применение простых Автоэнкодерных архитектур в задачах поиска аномалий при максимально несбалансированных данных 5. AutoML Что почитать: - Автоматическое машинное обучение - Что такое автоматизированное машинное обучение (AutoML) 6. Генеративно-состязательная сеть (GAN) Что почитать: - Генеративная состязательная сеть (GAN) для чайников - Создание изображений с использованием генеративно-состязательных нейронных сетей (GAN) на примере ЭКГ - Генеративно-состязательная сеть 7. Трансферное обучение Что почитать: - Трансферное обучение: почему deep learning стал доступнее - Трансферное обучение с Т5 @data_analysis_ml

⚡ Полный список Awesome проектов для дата-сайентистов Список Awesome проектов, в которых можно найти все от датасетов и вопросов для подготовки к собеседованиям до интересных идей для мл проектов. ▪Awesome Machine Learning ▪lists ▪awesome-dataviz ▪awesome-python ▪Data Science IPython Notebooks. ▪awesome-r ▪awesome-datasets ▪awesome-Machine Learning & Deep Learning Tutorials ▪Awesome Data Science Ideas ▪Machine Learning for Software Engineers ▪Community Curated Data Science Resources ▪Awesome Machine Learning On Source Code ▪Awesome Community Detection ▪Awesome Graph Classification ▪Awesome Decision Tree Papers ▪Awesome Fraud Detection Papers ▪Awesome Gradient Boosting Papers ▪Awesome Computer Vision Models ▪Awesome Monte Carlo Tree Search ▪Glossary of common statistics and ML terms ▪100 NLP Papers ▪Awesome Game Datasets ▪Data Science Interviews Questions ▪Awesome Explainable Graph Reasoning ▪Top Data Science Interview Questions ▪Awesome Drug Synergy, Interaction and Polypharmacy Prediction ▪Deep Learning Interview Questions ▪Top Future Trends in Data Science in 2023 @data_analysis_ml

🔊 AudioPaLM - нейросеть Google, которая умеет разговаривать, слушать и переводить. AudioPaLM новая языковая модель, от Google, объединяющая две предыдущие модели: PaLM-2 и AudioLM. Эта мультимодальная архитектура позволяет модели распознавать речь, сохранять особенности интонации и акцента, осуществлять перевод на другие языки на основе коротких голосовых подсказок и делать транскрипцию. При переводе некоторых языков, таких как итальянский и немецкий, модель имеет заметный акцент, а при переводе других, например французского, говорит с идеальным американским акцентом. Матрица эмбеддингов предварительно обученной модели используется для моделирования набора аудио-токенов. На вход в модель подается смешанная последовательность текстовых и аудио-токенов, и модель декодирует эти токены в текст или аудио. Аудио-токены в дальнейшем преобразуются обратно в исходное аудио с использованием слоев модели AudioLM. 🖥 Demo: https://google-research.github.io/seanet/audiopalm/examples/#asr-section 📕 Статья: https://arxiv.org/abs/2306.12925 @data_analysis_ml

пост такой: Аналитик рисков в Финтех Яндекса Если вы ищите риски, вас тут тоже кое-кто ищет — Финтех Яндекса. Это молодой сервис Яндекса, где соединились корпоративные блага и свобода стартапа, бесплатные сырки и возможность влиять на продукт, ДМС и бар в офисе. А главное — тут можно расти, как бамбук 🎋 Что нужно делать Заниматься аналитикой целого направления. Понимать, кому можно выдавать кредит, а кому не стоит. Создать правила для оценки пользователей и много-много тестировать. А ещё быть хорошим руководителем: помогать расти специалистам и выстраивать рабочие процессы. Что надо уметь Оптимизировать кредитный бизнес, знать принципы работы ML и если что — писать модели. А ещё думать не о мелких задачах, а о пользе для бизнеса. И если всё получиться — расти вместе со своим продуктом. Тут есть куда! Откликайтесь, если узнали себя

🔥 Большой список сайтов с практическимим задачами для программистов. Codeforces — платформа для алгоритмических соревнований. Проводит контесты и раунды с 5 задачами на 2 часа. Есть система рейтинга и два дивизиона. Задачи можно решать и проверять после соревнования. Также есть доступ к тренировкам с задачами с прошлых соревнований. HackerRank - сайт будет больше интересен продвинутым программистам, которые уже многое умеют. На этом сайте собрано множество задач на самые разные разделы Computer Science: традиционная алгоритмика, ИИ, машинное обучение и т.д. Если вы решите много задач, то вами могут заинтересоваться работодатели, регуляторно мониторящие эту платформу. Codewars — популярный cборник задач на разные темы, от алгоритмов до шаблонов проектирования. LeetCode — известный сайт с задачами для подготовки к собеседованиям. Можно пообщаться и посмотреть решения других программистов. Timus Online Judge — русскоязычная (хотя английский язык также поддерживается) платформа, на которой более тысячи задач удачно отсортированы по темам и по сложности. TopCoder - популярная американская платформа. Она проводит алгоритмические контесты, а также соревнования по промышленному программированию и марафоны, где задачи требуют исследования и нет единого верного алгоритма. Участникам даются недели на решение таких задач. informatics.mccme.ru - платформа с теоретическим материалом и задачами, удобно разделенными по категориям. Большая база задач с олимпиад школьников также доступна. SPOJ - большой англоязычный сайт с 20000+ задачами на разные темы: DP, графы, структуры данных и др. Иногда проводят неинтересные контесты, если не из страны их проведения. CodeChef — менее крупный аналог Codeforces и TopCoder, тоже с огромным архивом задач и регулярными контестами. Project Euler - сборник 500 задач, проверяющих знание математических алгоритмов. Часто используется на собеседованиях, чтобы оценить алгоритмическую подготовку кандидата. Kaggle - соревнования по анализу данных. Golang tests - канал с тестами по Go CodinGame - сайт для программистов и геймеров, предлагающий большую коллекцию видеоигр, оформленных в виде задач на программирование. Al Zimmermann’s Programming Contests — платформа, на которой регулярно проводятся контесты с задачами на исследование и оптимизацию. Интересен тем, что писать программу необязательно — даются только тестовые данные. Ответы можно расчитывать вручную, или просто гадать их на кофейной гуще. Programming Praxis — сайт, где можно найти много интересных задач. CheckIO — сайт с задачами для программистов всех уровней, который вы проходите в виде игры. Ruby Quiz — сайт с задачами для программистов на Ruby, но решения можно писать и на других языках. Prolog Problems — Подборка задач для программистов, использующих Prolog. Сборник задач от СppStudio - задачи на С++, но их можно и на других языках. Operation Go — практика написания кода на Go в форме браузерной игры. Empire of Code — сайт для программистов, где необходимо писать код, реализующий стратегию и тактику виртуальных бойцов. @data_analysis_ml

🔥 Kubernetes и Docker для дата-сайентистов Изучение и применение новейших инструментов и технологий в области науки о данных является неотъемлемым условием для развития специалистов. Появление Docker и Kubernetes привело к существенным изменениям в процессе разработки и развертывания программных продуктов. Однако, какова роль этих инструментов и почему они важны для дата-сайентистов? Мы представляем полный обзор Docker и Kubernetes, включая их преимущества и функционал. Как отличаются эти две технологии и какова их польза для дата-сайентистов? В конце статьи вы получите ясное понимание роли контейнеризации и оркестрации в более эффективной работе дата-сайентиста. 📌 Читать @data_analysis_ml

⚡️Осилите ли вы тест для Data-инженеров? Ответьте на 24 вопросов за 30 минут и проверьте, готовы ли вы к обучению на онлайн-курсе «Spark Developer» от OTUS. Spark — важнейший фреймворк в Big Data c открытым исходным кодом. На курсе вы научитесь работать с большими данными и закрепите знания с помощью сложных домашних заданий и выпускного проекта. Пройдете тест — получите демо-ролик о занятиях на курсе и доступ к 2 открытым урокам: — «Spark UDAF: разрабатываем свой агрегатор», 27 июня в 20:00 — «Оптимизация параметров запуска приложения Spark», 11 июля в 20:00 📝Пройти тест: https://otus.pw/BFMz/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 PyGWalker: A Python Library for Exploratory Data Analysis with Visualization PyGWalker: преобразуем датафрейм pandas в пользовательский интерфейс в стиле таблицы для визуального анализа. pip install pygwalker import polars as pl df = pl.read_csv('./bike_sharing_dc.csv',try_parse_dates = True) gwalker = pyg.walk(df) 🖥 Github 📌 Colab @data_analysis_ml

🔥Хотите стать одним из авторов проектов, которые меняют жизнь людей к лучшему в области автоматизации предприятий, медицины, робототехники, виртуальной реальности и других сферах, или стать руководителем отдела Computer Vision в вашей компании? Все это возможно после прохождения обучения на курсе “Компьютерное зрение” в OTUS. Сейчас открыт набор в группу. Приходите 29 июня в 20:00 мск на открытый урок «PyTorch 2.0», чтобы познакомиться с преподавателем и программой курса, оценить все перспективы, которые откроются перед вами. На занятии мы также обсудим, что нового принес фреймворк PyTorch 2.0 в сферу компьютерного зрения и глубокого обучения. 📌Вы узнаете: - Как начать использовать PyTorch для обучения своих нейронных сетей - Что нового в PyTorch 2.0 и чем он отличается от 1.x - Как ускорить и оптимизировать свою нейросеть при помощи одной строчки кода - Как перейти с PyTorch 1.x на 2.0 - Как ускорить трансформеры HuggingFace при помощи PyTorch Transformer API 👉🏻Для участия отправьте заявку https://otus.pw/2ZGX/ Кому подходит этот урок: - Начинающим и опытным специалистам в области компьютерного зрения и глубокого обучения - Дата сайентистам, которые хотят ускорить инференс своих моделей - Опытным специалистам, которые еще не перешли на PyTorch 2.0 - Тем, кто хочет познакомиться с фреймворков PyTorch и начать обучать свои нейросети Нативная интеграция подробная информация о продукте www.otus.ru

🔝Топ-10 инструментов для обнаружения ChatGPT, GPT-4, Bard и Claude 1. GPTZero GPTZero обладает высокой точностью, прост в использовании и имеет удобное расширени для Chrome. 2. OpenAI AI Text Classifier ИИ-классификатор текста OpenAI обладает высокой точностью, но не предоставляет дополнительной информации о содержимом контента. 3. CopyLeaks Это быстрая и точная проверка на плагиат, в виде расширения для Chrome. 4. SciSpace SciSpace Academic AI Detector немного отличается от других упомянутых инструментов. Он обладает высокой точностью, но был специально разработан для обнаружения научного контента в PDF-файлах. 5. Hive Moderation Функция обнаружения ИИ-генеративного контента Hive Moderation. 6. Content at Scale ИИ-детектор контента Content at Scale прост в использовании и дает достаточно точные отчеты о конетнте. 7. Hello Simple AI ChatGPT Detector by Hello Simple AI – это бесплатный инструмент с открытым исходным кодом, который можно использовать для обнаружения текста, создаваемого ChatGPT. 8. OpenAI HF Detector OpenAI Detector – это бесплатный инструмент с открытым исходным кодом, который можно использовать для обнаружения текста, сгенерированного языковой моделью GPT от OpenAI. 9. Corrector.app AI Detector от Corrector.app – это довольно точный инструмент, который можно использовать для обнаружения текста, сгенерированного ChatGPT, Bard и другими больми языковыми моделями (LLM). 10. Writer.com Детектор контента AI от Writer.com завершает наш список, представляя собой наименее точный вариант с ограничением в 1500 символов. @data_analysis_ml

Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube 📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud. За 2 часа вы: 👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис 👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики 👉 применение low-code/no-code инструментов из Реестра российского ПО Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем. Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO. Программа вебинара Регистрация: @itprocompbot

🔍 Podman: Альтернатива Docker без deamon Хотя Docker, безусловно, перевернул наше представление о разработке, развертывании и запуске приложений, стоит изучить, чем отличается Podman (Pod Manager) и почему вам может быть интересно начать использовать его вместо Docker. Podman — это менеджер контейнеров и падов с открытым исходным кодом. Аналогично Docker, он позволяет создавать, запускать, останавливать и удалять контейнеры OCI, а также управлять образами контейнеров. Он также поддерживает пады в рамках своего функционала, а значит, вы можете создавать и управлять падами так же, как с Kubernetes. Что такое OCI-контейнеры OCI (Open Container Initiative) — это организация отраслевого стандарта, которая стремится создать набор правил (спецификаций и стандартов), обеспечивающих согласованную работу контейнеров на разных платформах. Это означает, что образы/контейнеры Podman полностью совместимы с Docker или любой другой технологией контейнеризации, которая использует совместимый с OCI исполнитель контейнеров. Большинство пользователей Docker могут просто сделать псевдоним Docker для Podman (alias docker=podman) без каких-либо проблем. Это означает, что все команды Docker остаются такими же, за исключением команды docker swarm. Архитектура Podman Архитектура Podman не подразумевает использование демонов (deamons). Демоны — это процессы, которые выполняются в фоновом режиме системы, они обычно работают непрерывно на заднем плане, ожидая определенных событий или запросов. Возвращаясь к контейнерам, представьте себе демона Docker в качестве посредника, общающегося между пользователем и самим контейнером. Использование демона для управления контейнерами приводит к нескольким проблемам: Одна точка отказа. Когда демон падает, падают все контейнеры. Требуются привилегии root Поэтому демоны в Docker — это идеальная цель для хакеров, которые хотят получить контроль над вашими контейнерами и проникнуть в хост-систему. Podman решает упомянутые проблемы, напрямую взаимодействуя с реестрами контейнеров, контейнерами и хранилищем образов без необходимости в демоне. Переходя в режим без прав root, пользователи могут создавать, запускать и управлять контейнерами, что снижает риски безопасности. Утилита buildah заменяет команду docker build как инструмент для создания контейнерного образа. Аналогично, skopeo заменяет команду docker push и позволяет перемещать контейнерные образы между реестрами. Эти инструменты обеспечивают эффективное и прямое взаимодействие с необходимыми компонентами, исключая необходимость в отдельном демоне в процессе. Нужно ли переписывать каждый Dockerfile и docker-compose файл, чтобы использовать Podman с существующими проектами Абсолютно нет. Podman предлагает совместимость с синтаксисом Docker для файлов контейнеров (containerfile). Также Podman предлагает инструмент под названием pod compose в качестве альтернативы docker compose. Pod compose использует тот же синтаксис, позволяя вам определять и управлять многоконтейнерными приложениями с использованием того же подхода или даже с использованием существующих файлов "docker-compose.yml". Podman также поставляется с Podman Desktop, предлагая расширенные функции, которые делают его мощнее и проще. Он совместим с Docker и Kubernetes, расширяя их возможности и обеспечивая простую работу. Руководство по установке и документацию по Podman можно найти на их официальном веб-сайте podman.io. @data_analysis_ml

Как использовать многоруких бандитов на практике | Гайд для аналитиков, продуктовых менеджеров и ML-специалистов Ведущая аналитическая система MyTracker разработала практическое руководство для использования многоруких бандитов в продуктах. Вы узнаете, что такое многорукие бандиты и как они применяются в различных сферах, в том числе в рекомендательных системах. Подробнее остановимся на различных алгоритмах бандитов: жадный, алгоритм UCB, алгоритм сэмплирования Томпсона и контекстуальные многорукие бандиты. Гайд пригодится аналитикам для определения оптимальных стратегий тестирования, продуктовым менеджерам - для тестирования новой функциональности, а ML-специалистам - для настройки моделей машинного обучения. Руководство составлено командой предиктивной аналитики MyTracker, которая использует многоруких бандитов в своей работе. Скачайте практическое руководство от команды предиктивной аналитики MyTracker и узнайте, как многорукие бандиты могут увеличить прибыль вашего продукта и улучшить продуктовые метрики.

🖥 Docker Шпаргалка для Датасаентиста с основными командами. ▪ Шпаргалка @data_analysis_ml

Data Science | Machinelearning - самый большой русскоязычный канал с полезными материалами на такие темы как, Machine Learning, Data Science, Алгоритмы, Python. Так же часто публикуются крутые 🔥 вакансии. 👉 Вам сюда: @devsp А любителям читать статьи в оригинале вот сюда: 👉 @ds_international Добро пожаловать!

🤖 Заставляем трансформеров отвечать на вопросы Интеллектуальные системы призваны облегчать жизнь человека, выполняя за него рутинные задачи. Одной из таких задач является поиск информации в большом количестве текста. Возможно ли и эту задачу перенести на плечи интеллектуальных систем? Этим вопросом я решил задаться. ▪ Читать @data_analysis_ml