Анализ данных (Data analysis)

📊 Руководство по работе с Matplotlib Качественный образовательный материал, объясняющий простым языком принципы построения самых разнообразных диаграмм (в том числе комбинированных, например, scatterplot + line plot). - Про различные типы графиков - Подробный разбор компонентов и функций matplotlib - Про то, как управлять подписями на осях, размерами и расположением визуализаций - Разбор функций для построения продвинутых визуализаций ▪ Руководство ▪Книга Matplotlib @data_analysis_ml

“Анализ тональности текста” в Google Colab с использованием ChatGPT Иногда люди используют слова или язык тела, чтобы показать, что они чувствуют. Анализ тональности текста (sentiment Analysis) – это своего рода компьютерный способ понять, что чувствуют люди, когда они что-то пишут, например, по электронной почте или в социальных сетях. Компьютер просматривает слова и пытается определить, несет ли написанное слово положительный, отрицательный оттенок или вовсе не несёт в себе эмоций. Это может быть полезно в различных приложениях, таких как понимание отзывов клиентов, мониторинг общественного мнения в социальных сетях или анализ отзывов о продуктах, особенно если у вас есть большое количество датасетов. ▪ Читать @data_analysis_ml

↪️ 7 Простых советов, которые сделают вас профессионалом в использовании Pandas Pandas – одна из самых популярных и широко используемых библиотек для анализа данных на Python. Её мощь и универсальность делают её незаменимым инструментом для всех, кто работает с данными. Независимо от того, являетесь ли вы новичком или опытным пользователем, всегда есть возможности для совершенствования ваших навыков работы с Pandas. Вот несколько советов, которые помогут вам поднять свои навыки владения Pandas на новый уровень. ▪ Читать @data_analysis_ml

🔥 Загляните вглубь алгоритма k Nearest Neighbours и попробуйте его на практике! 1 марта в 18:00 мск пройдет вебинар в рамках онлайн-курса «Machine Learning. Professional» в OTUS. Тема урока: «Мы похожи на свое окружение: алгоритм k Nearest Neighbours для задачи классификации» — https://otus.pw/kwLD/ ✅ На занятии мы поговорим о задаче классификации, крайне востребованном классе задач в области ML сегодня. Мы изучим алгоритм kNN для ее решения, а затем применим его на практике. В результате урока мы: - Познакомимся с популярным алгоритмом машинного обучения kNN - Узнаем, как устроен алгоритм kNN - Освоим принципы решения задачи классификации с помощью kNN ⚠️ Урок будет полезен IT-специалистам, которые хотят освоить продвинутые методы ML и перейти в Data Science. Продолжить обучение на курсе возможно в рассрочку. 👉 Пройдите вступительный тест для участия в вебинаре https://otus.pw/kwLD/ Реклама. Информация о рекламодателе на сайте otus.ru

🖥 Bamboolib — Анализ данных с помощью Python без программирования Bamboolib – это библиотека Python, которая предоставляет компонент пользовательского интерфейса для анализа данных без написания кода. Одним из вариантов её использования является импортирование готовых функций для анализа данных, создание которых занимает много времени. Bamboolib предназначена для автоматизации рутинных задач обработки данных, исследования и визуализации и может использоваться как начинающими, так и опытными аналитиками данных. 💨Статья 🖥 Github @data_analysis_ml

5️⃣ Шагов для разработки уникальных Data Science проектов Возможно, самая сложная часть любого проекта - это придумать новую, но выполнимую идею. Вы часами можете просматривать существующие наборы данных и пытаться придумать новые интересные идеи. Но вот в чём проблема такого подхода: когда вы фокусируетесь только на существующих датасетах — на Kaggle, Google Datasets, FiveThirtyEight — вы ограничиваете свой творческий потенциал небольшим набором задач, для решения которых был разработан этот набор данных. ▪ Читать @data_analysis_ml

Ищем учеников на бесплатное обучение по созданию искусственного интеллекта с нуля. Опыт программирования не важен!🤖 Всего за 3 вечера под руководством Дмитрия Романова - основателя Университета Искусственного Интеллекта, лидера обучения AI-разработке в РФ, вы с легкостью напишете свой первый искусственный интеллект👨‍💻 Какие нейронные сети вы создадите? ▫️Классификация людей на входящих и выходящих из автобуса ▫️Обнаружение возгораний ▫️Оценка стоимости квартир ▫️Оценка резюме соискателей ▫️Прогнозирование стоимости полиметаллов ▫️Сегментация изображений самолетов ▫️Распознавание команд умного дома⠀ Лучше освоить навыки создания нейронных сетей вам помогут домашние задания с проверкой от кураторов.⠀ Приходите на бесплатное обучение и напишите искусственный интеллект за 3 вечера💪 Регистрация по ссылке

🎉 32 библиотеки с открытым исходным кодом к 32-летию Python Гвидо Ван Россум создал Python 20 февраля, в 1991 году. За последние 32 года Python стал одним из самых популярных языков программирования в мире с более чем 15 миллионами разработчиков! Сегодня существует более 137 тысяч библиотек с открытым исходным кодом! Давайте посмотрим на 32 полезные библиотеки для Датасаентистов с открытым исходным кодом в честь 32-го дня рождения Python. ▪ Читать @data_analysis_ml

20 марта NewProLab запускает 4-й поток онлайн-программы Spark Advanced Программа разработана для дата-инженеров, имеющих практический опыт работы с Apache Spark 2 и желающих изучить внутреннюю архитектуру проекта. Вы получите опыт и знания, которые позволят ускорить обработку данных в ваших рабочих проектах уже в течение программы. 📌4 недели (всего 8 занятий в зуме 2 раза в неделю) 📌что вы сделаете во время программы: 1) Разработаете Encoder JSON to Row 2) Разработаете коннектор для DataFrame API с использованием Datasource API 3) Добавите поддержку Predicate Pushdown в коннектор 4) Добавите поддержку Structured Streaming API в коннектор 📌Подробности по ссылке: https://clck.ru/33bB7G В честь дня рождения NewProLab по промокоду birthday23 вы получите скидку 23% при покупке программы

🐼 О Pandas: малоизвестные функции и ошибки, которые следует избегать В этой статье мне бы хотелось поговорит о библиотеке для обработки и анализа данных на Python – Pandas. А если быть конкретнее, то о малоизвестных функциях, которые смогут расширить ваш кругозор, и об ошибках, которые следует избегать во время работы с этой библиотекой! ▪Читать @data_analysis_ml

🟢Как стать системным аналитиком? ➡️Поговорим об этом 21 февраля в 20:00 на открытом уроке в OTUS. Мы разберем, какими знаниями и навыками должен обладать системный аналитик, а также обсудим его роль в команде и проекте. Участие будет актуально для тех, кто хочет освоить востребованную IT-профессию. Открытый урок является частью специализации «Системный аналитик», которая доступна в рассрочку. Занятие проведет Мария Красавина, Lead System/Data Analyst в MentorMate and more. ➡️Готовьте свои вопросы и регистрируйтесь на вебинар: https://otus.pw/tM6Z/ Реклама. Информация о рекламодателе на сайте www.otus.ru

Нет опыта — нет работы, нет работы — нет опыта. Как аналитику данных разорвать этот замкнутый круг? Хорошие pet-проекты — отличный способ впечатлить работодателей и дать старт своей карьере. Получить классные идеи и реализовать их можно на Симуляторе аналитика от karpovꓸcourses. За 5 недель под руководством Анатолия Карпова вы с нуля выстроите аналитические процессы, поработаете с настоящей инфраструктурой, научитесь уверенно справляться с ежедневными задачами аналитика и поймёте, какая логика стоит за каждым решением. На курсе вы научитесь: ▪️Разрабатывать интерактивные дашборды ▪️Автоматизировать поиск аномалий в данных ▪️Строить ETL-пайплайны ▪️Анализировать продуктовые метрики ▪️Планировать и запускать A/B-тесты Свои решения вы сможете оформить в привлекательное портфолио, а опытные HR обязательно доведут вас до оффера в хорошую компанию. Переходите по ссылке и записывайтесь на Симулятор до 27 февраля!

19 Датасетов для анализа данных, о которых вы скорее всего не слышали. Работа с представленными датасетами сделает ваше портфолио в области науки о данных более привлекательным и разнообразным для работодателей. Эти необычные датасеты могут стать идеальным способом найти вдохновение в мире Data Science. ▪Смотреть @data_analysis_ml

🌲 Заглянем «под капот» алгоритмов, использующих в своей основе деревья решений Один из самых мощных алгоритмов контролируемого машинного обучения на сегодня – градиентный бустинг (Catboost, XBGR), построен на столь казалось легком и базовом элементе, как бинарное дерево, или же дерево решений. Оно является строительным блоком данного алгоритма, в данном случае можно привести притчу про веник и его части, но в этом случае, иногда даже одно дерево решений способно выдать неплохой результат в решениях задач классификации и регрессии. Сегодня я рассмотрю его подробнее, на примере Decision Tree и Random Forest из библиотеки sklearn, а также визуализирую работу. В практике всегда возникает проблема верного выявления гипотез, в моей работе с этим помогают модели машинного обучения, но и их необходимо контролировать. Визуализация весов - один из способов это сделать. ▪Читать ▪Датасет @data_analysis_ml

⚠️Пройдите тест на углубленные знания в сфере Machine Learning. Professional — https://otus.pw/lUOow/ 🔓 Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на продвинутом курсе «Machine Learning. Professional» от OTUS и его партнера — Сбера ⏰ Время прохождения теста ограничено 30 минут 📌 РЕЗУЛЬТАТ ПРОХОЖДЕНИЯ КУРСА: Серьезное портфолио с проектами и возможность претендовать на Junior+ и Middle позиции Data Scientist Протестируйте обучение на открытом уроке: ✅ Мы похожи на свое окружение: алгоритм k Nearest Neighbours для задачи классификации — https://otus.pw/BnIN/ 👉 ПРОЙТИ ТЕСТ: https://otus.pw/lUOow/

🗺 Визуализация интерактивных карт Часто возникает проблема визуализации данных за несколько периодов времени. Те, кто уже пытался создавать карты знают, что эту проблему можно решить с помощью разных слоёв на карте. Для визуализации интерактивных карт рассмотрим библиотеку - Folium. Folium — это мощная библиотека визуализации данных в Python, которая была создана в первую очередь для того, чтобы помочь людям визуализировать гео-пространственные данные. С помощью Folium можно создать карту любого местоположения в мире, если вы знаете его значения широты и долготы. Также можете создать карту и наложить маркеры, а также кластеры маркеров поверх карты для крутых и очень интересных визуализаций. Для интерактивной визуальной аналитики - библиотеку Folium сначала нужно установить. В терминале прописываем: pip install folium 📌 Читать дальше @data_analysis_ml

Ежегодная серия соревнований по машинному обучению Data Fusion Contest 2023 открыта! Вас ждут две задачи в уникальном турнирном соревновании от команд ВТБ и ODS.AI: 🗡 В задаче Атака участники будут создавать атаки на нейросеть, обученную на транзакционных данных. 🛡 В задаче Защита — наоборот, учиться защищать свои модели от заранее оговоренного вида атак. 🏆 Призеров определит турнир — лучшие команды обеих задач столкнутся друг с другом за призовой фонд в 2,000,000 рублей! 💪 Участников также ждет много мерча, онлайн митапы с воркшопами, и возможность фундаментально прокачаться в новых DS/ML методах. Подробности и регистрация — на сайте.