Анализ данных (Data analysis)

Модель нейросети Kandinsky 2.2 стала частью самого крупного и авторитетного в сфере ИИ фреймворка Diffusers на ресурсе Huggingface. Diffusers - это агрегатор открытых генеративных моделей, работающих на принципе диффузии. Сегодня этот фреймворк используют многие популярные ИИ-сервисы, инструменты и библиотеки: DreamFusion, Segment Anything, ML Stable Diffusion (by Apple), Invoke AI ( всего более 3000 решений). Также Kandinsky 2.2 вошел в список популярных моделей в основном репозитории Diffusers на GitHub. @data_analysis_ml

🖥 balance: a python package for balancing biased data samples Пакет balance python - это удобный инструмент для работы со смещенными выборками данных. Обеспечивает полный рабочий процесс: анализа смещений в данных, получения весов для балансировки данных, оценки качества весов и получения взвешенных оценок. python -m pip install git+https://github.com/bbalasub1/glmnet_python.git@1.0 Мы начинаем с загрузки данных и их корректировки: from balance import load_data, Sample # load simulated example data target_df, sample_df = load_data() # Import sample and target data into a Sample object sample = Sample.from_frame(sample_df, outcome_columns=["happiness"]) target = Sample.from_frame(target_df) # Set the target to be the target of sample sample_with_target = sample.set_target(target) # Check basic diagnostics of sample vs target before adjusting: # sample_with_target.covars().plot() # Using ipw to fit survey weights adjusted = sample_with_target.adjust() print(adjusted.summary()) # Covar ASMD reduction: 62.3%, design effect: 2.249 # Covar ASMD (7 variables):0.335 -> 0.126 # Model performance: Model proportion deviance explained: 0.174 adjusted.covars().plot(library = "seaborn", dist_type = "kde") ▪Github ▪Примеры с кодом ▪Статья ▪Проект @data_analysis_ml

Про оценку навыков мидлов и синьоров обычно говорят в разрезе того, как нанять крутого специалиста. Но вот как оценивать и пересматривать работу уже нанятых сотрудников, рассказывают гораздо реже. А навык важный: в больших компаниях людям как минимум нужен понятный карьерный путь. Вот здесь очень внятный и подробный гайд по performance review от Авито — это система регулярной оценки сотрудников, которая сильно упрощает жизнь и спецам, и менеджменту. Директор аналитики Илья Гуров понятно объясняет, как описать хард и софт скиллы, разложить требования к каждому грейду по компетенциям, давать фидбэк и почему менеджерам нужно откалибровать свои оценки сотрудника. Спойлер: формализация помогает синхронизировать ожидания всех членов команды. Так что лучше подушнить заранее, чтобы был готовый ответ на вопрос: «А как у вас стать сеньором?». Переходите по ссылке и сохраняйте себе в закладки.

🐼Анализ данных на основе промптов с помощью PandasAI Pandas AI — это библиотека Python со встроенным генеративным искусственным интеллектом или языковой моделью. Она превращает ваши фреймы данных в собеседников. Больше никаких бесконечных часов разглядывания строк и столбцов. PandasAI может генерировать визуализации на основе промптов, хотя PandasAI не является заменой Pandas, это дополняющая библиотека, которая предоставляет супервозможности ИИ для работы с данными. 🔵 Попробуем PandasAI на наборе данных Spotify Kaggle: # Import Dependencies import pandas as pd import opendatasets as od import pandasai as pai from pandasai.llm.openai import OpenAI # Get Spotify Data from kaggle od.download("https://www.kaggle.com/datasets/amitanshjoshi/spotify-1million-tracks") spotify_data = '<location>/spotify_data.csv' # Read Spotify Dataset df = pd.read_csv(spotify_data) # Initiate OpenAI LLM model for spotify dataset. llm = OpenAI("<OpenAI API Key>") pandas_ai = pai.PandasAI(llm) 🔵 Теперь мы готовы использовать наш кадр данных панды, управляемый OpenAI. # Let us get top 10 artist in year 2012 via a prompt pandas_ai(df, prompt='Which are top 10 artists in 2012?')p ▪ Результат Пробовали данную библиотеку? @data_analysis_ml

✏️ 13 июля в 19:00 по МСК пройдёт бесплатный вебинар «Spring Security» Что будет на трансляции: — Spring Security. Зачем? — Как подключить к проекту и использовать — Основные настройки и аннотации Ведущий: Сергей Полухин, Senior Java Developer, старший разработчик и руководитель разработки на проектах Infobip, Сбера, Evento, суперкассы, основатель PDev Studio. 🚀 Бесплатная регистрация: https://clck.ru/34xeky

🧳Подборка полезных датасетов, для дата саентистов. 1. Airbnb Этот датасет могут скинуть для интервью — собеседования с задачей провести исследовательский анализ данных и разработать модель машинного обучения. 2. NHANES Dataset Полезный набор данных для учащихся. Наименования столбцов этого датасета сначала могут показаться не очень понятными. 3. Heart Disease Dataset Он содержит классы: age, sex, chest pain type (4 вида), resting blood pressure, serum cholestoral in mg/dl, fasting blood sugar > 120 mg/dl, resting electrocardiographic results (values 0,1,2), maximum heart rate achieved, exercise induced angina, oldpeak = ST depression induced by exercise relative to rest, the slope of the peak exercise ST segment, number of major vessels (0–3) colored by flourosopy и т.д. 4. Cars Dataset Это датасет можно использовать для практики некоторых регрессионных моделей и исследовательского анализа данных. К тому же он разумного размера. 5. People Wiki Dataset Этот датасет включает в себя профили известных людей прямиком из Википедии. 6. Amazon Product Review Dataset Этот набор данных содержит миллионы отзывов на продукты Amazon. 7. Olympic Dataset Этот набор данных содержит информацию о результатах Олимпийских игр. Каждая строка содержит данные по стране. Дает почувствовать все грани боли от фильтрации данных. Автор статьи изучил библиотеки Python (Numpy и Pandas), используя этот набор данных. 8. Titanic Dataset Подойдет для исследовательского анализа данных , моделей машинного обучения (особенно моделей классификации), статистического анализа и практической отработки визуализации данных . 9. Iris Dataset Еще один широко котируемый набор данных в курсах по Data Science. Особенно хорош для изучения классификационных моделей. 10. Facebook Stock Data Может быть очень полезным при анализе и визуализации временных рядов или проблемах, связанных с временными рядами. 11. BBC Text Dataset Еще один замечательный набор данных для Natural Language Processing. Этот набор данных содержит информацию о различных типах новостей из архивов BBC. Это большой набор текстовых данных. 12. Cats vs Dogs Очень часто используется для отработки классификации изображений. Внутри ты найдешь изображения кошек и собак. Датасет хорош для проблем computer vision. 13. Malignant vs Benign Полезный набор данных для проблем компьютерного зрения. Датасет содержит изображения двух типов рака кожи. Подходит для задач классификации изображений. 14. Natural Images Dataset Этот набор данных содержит изображения самолетов, автомобилей, кошек, собак, цветов, фруктов, мотоциклов и людей. @data_analysis_ml

Аналитики данных — настоящие супергерои и занимают 1 место в рейтинге профессий с самым большим спросом на рынке труда до 2025 года (по данным Всемирного экономического форума). Как стать таким нужным специалистом? Приходите на бесплатный интенсив 18-19 июля, на котором вы: — погрузитесь в рабочие будни аналитика — узнаете о направлениях в аналитике и решите, какое подходит вам — научитесь работать в Google Sheets как аналитик данных А еще — поработаете руками, решите реальные бизнес-задачи и получите фидбэк от эксперта. За лучшее решение домашнего задания - мини-курс по аналитическому мышлению в подарок. Регистрируйтесь БЕСПЛАТНО: https://go.skillfactory.ru/J4jZCw Реклама ООО “Скилфэктори”

🖥 Не только Numpy и Pandas: раскрытие потенциала малоизвестных библиотек Python Python — один из наиболее часто используемых языков программирования в мире, предоставляющий разработчикам широкий набор библиотек. В любом случае, когда дело доходит до работе данными и научных вычислений, мы обычно думаем о таких библиотеках, как Numpy или Pandas. В этой статье мы представляем 3 малоизвестные Python-библиотеки, которые могут вас заинтересовать при работе с данным. 1. Xarray Xarray — это библиотека Python, которая расширяет функциональные возможности NumPy, давая нам возможность работать с помеченными массивами и наборами данных. 2. Dask Dask — это гибкая библиотека параллельных вычислений, которая обеспечивает распределённые вычисления и параллелизм для крупномасштабной обработки данных. 3. SymPy Если вам нужно выполнять сложные математические расчёты и вычисления и вы хотите использовать Python, рекомендуем попробовать библиотеку Sympy. ▪️Читать подробнее @data_analysis_ml

Хотите узнать, как у Сбера получается создавать такие точные персональные рекомендации? Приходите на RecSys Meetup by Sber — он состоится 20 июля в Питере 💚 На митапе топовые спикеры расскажут: • Как рекомендации на базе AI помогают бизнесу в разных индустриях. • На какие тренды в области AI, машинного обучения и рекомендательных систем стоит обратить внимание • Какие существуют особенности при построении рекомендательных сценариев в видео-стримингах В перерывах между докладами вас будут ждать интересные знакомства, обсуждения и нетворкинг. Регистрируйтесь по ссылке — встречаемся 20 июля в 19:00 по адресу: Art-Muse, Зал «Галерея Ц», 13-я линия Васильевского острова, 70 📍

⚡️ 7 основных способов для управления столбцами в Pandas Когда дело доходит до анализа данных, Pandas является наиболее используемой библиотекой Python для обработки и подготовки данных для дальнейшего анализа и машинного обучения. • Реальность такова, что Pandas — действительно гибкая библиотека, и её можно использовать даже для преобразования форматов файлов. 1️⃣ Создайте столбец Pandas как Pandas Series # Create a Pandas series series = pd.Series([6, 12, 18, 24]) # Print Pandas series print(series) >>> 0 6 1 12 2 18 3 24 dtype: int64 2️⃣ Создайте столбец Pandas как фрейм данных Pandas import pandas as pd # Create a Pandas column as a Pandas data frame df = pd.DataFrame({'A': [1, 2, 3, 4]}) # Print Pandas data frame print(df) >>> A 0 1 1 2 2 3 3 4 3️⃣ Создайте столбец Pandas как фрейм данных Pandas, начиная с массива NumPy import numpy as np import pandas as pd # Create a NumPy array values = np.array([5, 10, 15, 20]) # Transform array into Pandas data frame df = pd.DataFrame(values) # Print data frame print(df) >>> 0 0 5 1 10 2 15 3 20 ➡️ Читать продолжение @data_analysis_ml

🔥 19 июля пройдет занятие «Интеграции с помощью API и интеграционной шины» Что будет на занятии: — роль интеграций в сложных бизнес-процессах; — когда и для чего используется интеграция через интеграционную шину; — методы и инструменты при описании и документировании API (OpenApi - Swagger, SOAP - WSDL). Спикер: Семен Тикунов — системный аналитик в Сбере. Более 10 лет в системном анализе. Преподаватель курса «Системный аналитик в FinTech». 🚀 Стартуем 19 июля в 19.00 по МСК Регистрируйся бесплатно 👇 https://clck.ru/34wYap

📕 5 бесплатных курсов по ChatGPT 1. Введение в ChatGPT 2. ChatGPT для начинающих: Конечные примеры использования для всех 3. Оперативное проектирование для ChatGPT 4. ChatGPT Prompt Engineering для разработчиков 5. Построение систем с помощью API ChatGPT 📌Читать подробнее про курсы @data_analysis_ml

🔥 Подборка обучающих каналов для программистов. 🖥 Machine learning ai_ml – крупнейши канал по ии, нейросетям и науке о данных. datasc - дата сайнс обучение самой востребованной профессии. @bigdatai - Big Data @machinelearning_ru – гайды по машинному обучению @machinelearning_interview – подготовка к собеседованию мл. @datascienceiot – бесплатные книги ds @ArtificialIntelligencedl – ИИ @machinee_learning – чат о машинном обучении @datascienceml_jobs - вакансии ds, ml @Machinelearning_Jobs - чат с вакансиями 🖥 Python @pythonl - крупнейший канал для Python программистов. @pro_python_code – учим python с ментором. @python_job_interview – подготовка к Python собеседованию. @python_testit - проверочные тесты на python @pythonlbooks - современные книги Python @python_djangojobs - работа для Python программистов @python_django_work - чат обсуждения вакансий #️⃣ c# C# - канал для изучения C# на практике. @csharp_cplus - C# чат @csharp_1001_notes - инструменты C# 🖥 C++ @cpluspluc - C++ кодинг 🖥 SQL базы данных @sqlhub - Повышение эффективности кода с грамотным использованием бд. @chat_sql - чат изучения бд. 👣 Golang @Golang_google - восхитительный язык от Google, мощный и перспективный. @golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков. @golangtests - интересные тесты и задачи GO @golangl - чат изучающих Go @GolangJobsit - отборные вакансии и работа GO @golang_jobsgo - чат для ищущих работу. @golang_books - полезные книги Golang @golang_speak - обсуждение языка Go @golangnewss - новости go 🖥 Linux linux - kali linux ос для хакинга linux chat - чат linux для обучения и помощи. @linux_read - бесплатные книги linux 🖥 Javascript / front @react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов. @javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS @Js Tests - каверзные тесты JS @hashdev - погружение в web разработку. @javascriptjobjs - отборные вакансии и работа FrontEnd. @jsspeak - чат поиска FrontEnd работы. 🖥 Java @javatg - выучить Java с senior разработчиком на практике @javachats - чат для ответов на вопросы по Java @java_library - библиотека книг Java @android_its - Android разработка @java_quizes - тесты Java @Java_workit - работа Java @progersit - шпаргалки ит 👷‍♂️ IT работа https://t.me/addlist/_zyy_jQ_QUsyM2Vi -ит каналы по яп с вакансиями 🤡It memes @memes_prog - ит-мемы ⚙️ Rust @rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп @rust_chats - чат rust 📓 Книги https://t.me/addlist/HwywK4fErd8wYzQy - актуальные книги по всем яп ⭐️ Нейронные сети @vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы. @aigen - сети для генерации картинок. видео, музыки и многого другого. @neural – погружение в нейросети. 📢 English for coders @english_forprogrammers - Английский для программистов 🖥PHP @phpshka - PHP академия для программистов. 🖥 Devops Devops - канал для DevOps специалистов. 🔥 Папки для программитов https://t.me/addlist/_FjtIq8qMhU0NTYy - машинное обучение, нейросети, глубокое обучение https://t.me/addlist/eEPya-HF6mkxMGIy - папка для Python разработчиков https://t.me/addlist/MUtJEeJSxeY2YTFi - папка для Golang разработчиков

🖥 Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы SQL — это основа для каждого специалиста по работе с данными. Неважно, являетесь ли вы аналитиком данных, специалистом по данным или инженером по обработке данных, вам необходимо иметь четкое представление о том, как писать чистые и эффективные SQL-запросы. Это связано с тем, что за любым тщательным анализом данных или любой сложной моделью машинного обучения стоят базовые данные, и эти данные должны откуда-то поступать. Cегодня мы рассмотрим две новые техники SQL, которые вы можете добавить в свой набор инструментов, чтобы вывести ваши запросы на новый уровень. Эти методы называются Обобщённое табличное выражение (CTE) и Оконные функции. ▪ Читать @data_analysis_ml

Яндекс Практикум и Томский государственный университет запускают совместную программу магистратуры «Дата-аналитика для бизнеса». Поможем стать уверенным middle-специалистом и получить степень магистра ТГУ за 2 года. Если вы уже работаете аналитиком, то сможете учиться на кейсах вашей компании. — Обучение онлайн 20-25 часов в неделю — удобно совмещать с работой — Диплом государственного образца по направлению «Прикладная информатика» — Преподаватели — действующие аналитики данных — 6 месяцев практики и 30 проектов в резюме — Системное развитие софтскилов Мы готовим специалистов широкого профиля, которые подкованы в аналитике, бизнесе и коммуникациях. Первый и второй семестр заложат базу: программирование, экономика, менеджмент, математика. В третьем семестре можно будет выбрать специальность: продуктовая, маркетинговая или бизнес-аналитика. Подавайте заявку и растите в T-shaped специалиста.

🤗 Бесплатный курс по обработке естественного языка (NLP) от The Hugging Face В этом курсе вы сможете узнать об обработке естественного языка с помощью библиотек из экосистемы Hugging Face. ▪Transformers ▪Datasets ▪Tokenizers ▪Accelerate Здесь можно посмотреть видео о курсе. 🚀 Курс: https://huggingface.co/learn/nlp-course/chapter1/1 @data_analysis_ml

Как определить, какая версия сайта работает лучше? Что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку?  Точные ответы на эти вопросы позволяют получить A/B-тесты. На нашем симуляторе вы поработаете с нетривиальными кейсами и разберёте полный пайплайн тестирования на реальных задачах бизнеса — всё под руководством экспертов из X5 Retail Group и Blockchainꓸcom.   Вы поймёте, какие метрики нужно измерять, как получить качественный результат даже на небольшой выборке, а также разберёте частые ошибки.  Если вы хотите научиться принимать решения на основе data-driven не погружаясь в программирование и сложную математическую статистику — вам подойдёт базовая версия программы. Все задачи вы будете решать в Google Sheets, а запускать эксперименты — на уже готовой инфраструктуре.  А если вы уже знаете основы Python и математической статистики, и вам важно на практике разобраться во всех тонкостях A/B-тестирования — приходите на продвинутую версию.  Обучение на симуляторе позволит вам вывести карьеру на новый уровень и заранее отработать на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.  [Начать учиться]

🌍 20 библиотек Python для работы с пространственными данными. Python стал доминирующим языком в области работы с геоданными, благодаря своей универсальности, обширной экосистеме библиотек и удобному синтаксису. Эта подборка геопространственных библиотек Python содержит богатый инструментарий, для обработки и анализа данных ГИС. 1. ArcGIS API for Python (Esri) : Разработанная компанией Esri, эта библиотека предоставляет возможности GeoAI для пользователей ArcGIS. 2. Earth Engine API : API Earth Engine позволяет получить доступ к обширной коллекции геопространственных данных Google Earth Engine и выполнять задачи анализа с помощью Python. 3. TorchGeo (PyTorch): TorchGeo предоставляет инструменты и утилиты для работы с геопространственными данными в PyTorch. 4. fastai.vision (fast.ai): Хотя fastai.vision не предназначена специально для GeoAI, она является популярной библиотекой для задач глубокого обучения и компьютерного зрения, которая может быть использована для анализа геопространственных изображений. 5. arcpy (Esri) - это библиотека Python, предоставляемая Esri для работы с геопространственными данными на платформе ArcGIS. Она позволяет автоматизировать задачи геообработки и выполнять пространственный анализ. 6. PyQt (Riverbank Computing) - это набор утилиты Python для Qt. Его можно использовать для создания графических интерфейсов (GUI) для геопространственных приложений. 7. GeoPandas: расширяет функциональность Pandas, популярной библиотеки анализа данных, для работы с геопространственными данными. Она предоставляет высокоуровневый интерфейс для работы с векторными данными, такими как точки, линии и полигоны. 8. Rasterio - это библиотека для чтения и записи геопространственных растровых наборов данных. Она обеспечивает эффективный доступ к растровым данным и позволяет выполнять различные операции с геоданными. 9. GDAL (Open-Source Geospatial Foundation) - это мощная библиотека для чтения, записи и манипулирования геопространственными растровыми и векторными форматами данных. 10. Fiona - это Python API для чтения и записи геопространственных данных в различных форматах, включая Shapefiles и GeoJSON. Он хорошо интегрируется с другими библиотеками, такими как GeoPandas. 11. Shapely - это библиотека для геометрических операций в Python. Она позволяет создавать, манипулировать и анализировать геометрические объекты. 12. GeoPy - это библиотека которая позволяет преобразовывать адреса в географические координаты и наоборот. Библиотека для геокодирования и вычисления расстояний. Geopy также предоставляет функции для вычисления расстояний между точками на основе различных метрик расстояния. 13. PySAL: предоставляет широкий спектр методов пространственного анализа, включая пространственную автокорреляцию, кластеризацию и пространственную регрессию. 14. Pyproj - это интерфейс Python к библиотеке PROJ, которая предоставляет возможности преобразования координат. Она позволяет преобразовывать координаты между различными системами отсчета координат (CRS). 15. Rasterstats предоставляет инструменты для зонального статистического анализа наборов данных. 16. Geos - это библиотека C++, которая обеспечивает низкоуровневые геометрические операции, а библиотека Python Geos предлагает интерфейс Python к Geos. Она часто используется в сочетании с Shapely. 17. RSGISLib - имеет функции для обработки тепловых изображений, включая радиометрическую коррекцию, оценку температуры поверхности земли. 18. WhiteboxTools - это библиотека для геопространственного анализа и обработки данных. Она предлагает полный набор инструментов для таких задач, как анализ рельефа, гидрологическое моделирование и обработка данных LiDAR. 19. GeoDjango - GeoDjango интегрируется с Django. 20. Xarray: Предназначен для работы с многомерными геопространственными наборами данных, предоставляет инструменты для манипулирования данными, анализа и визуализации. @data_analysis_ml

💡Как оптимизировать параметры запуска приложения Spark? Поговорим об этом 11 июля в 20:00 мск на открытом уроке в OTUS. Этот вебинар пройдет в рамках онлайн-курса «Spark Developer» в OTUS. 📝На занятии мы с экспертом разберем признаки ошибочной конфигурации, базовые настройки для повышения производительности и Ganglia как инструмент мониторинга кластера для определения узких мест работы приложения Spark. ✅ В результате урока вы получите: ⁃ Сформированное понимание качества базовой настройки приложения Spark ⁃ Понимание баланса использования ресурсов для приложения ⁃ Умение идентифицировать ошибки, связанные с неправильной настройкой приложения ⁃ Навык визуально анализировать параметры загрузки кластера в процессе работы приложения Урок будет полезен начинающим и опытным специалистам в области аналитики данных, Data Engineering, а также руководителям и менеджерам команд разработки. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку. 👉Для участия зарегистрируйтесь: https://otus.pw/piyE/ Нативная интеграция. Информация о продукте www.otus.ru