Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
@ozon_tech Intro Meetup в Алматы📍
27 июля | 18:00 (UTC +6)
офлайн | онлайн
ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке:
1️⃣Рекламная платформа в Ozon, её архитектура и ML.
2️⃣Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей.
3️⃣Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок.
4️⃣Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы.
5️⃣Программы обучения, стажировки и жизнь сообщества Ozon Tech.
Регистрация штука обязательная. Не откладывайте её.
До встречи на митапе!
#ozontech_meetup
18 7月 2023, 04:01
26 7月 2023, ~03:21
👣 Популярные API в Data Science
Туториалы по работе с API для специлистов по работе с данными:
• CareerCon
• DataQuest
• Towards Data Science
Api для сбора данных:
• Amazon Machine Learning API
• IBM Watson Discovery API
• Open Weather Map
• REST Countries
• IP API
• Random Data API
• Google API
• VK API
•Telegram API
• Twilio API
• Census.gov API
• Spotify API
• Yummly API
• New York Times API
• Reddit API
• Zillow API
• Instagram API
• Twitter API
• Big ML API
• Data Science Toolkit API
• JSON Placeholder
Ресурсы для изучения API:
•Web API through Flask
•API for beginners - Freecodecamp
Тестирование API
•Using Postman
•Using Thunder client in VS code
Сохраняйте пост себе, чтобы не потерять.
@data_analysis_ml
17 7月 2023, 14:02
Курс по соревновательному Data Science👨💻
🏆 Научись строить высокоточные ML-модели и начни выигрывать в соревнованиях по анализу данных.
🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник.
⚡️В программе курса вас ждет:
* Продвинутая работа с pandas и numpy
* Генерация, визуализация и фильтрация признаков
* Модуль про SOTA градиентные бустинги и то как их тюнить
* Стекинг и блендинг моделей
* Ускорение вычислений и оптимизация памяти
* Парсинг данных из открытых источников
* Работа с Kaggle Api и различными облачными вычислительными сервисам
* Нейронки для табличных данных
* Интервью с Kaggle Grand Masters и многое другое
🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкивались на практике.
🔗 Подписывайтесь на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами.
17 7月 2023, 12:01
28 7月 2023, ~03:51
📎 Открытые датасеты 📎
🔵 Labelled Faces in the Wild. 13 тысяч размеченных изображений лиц.
🔵 IMF Data. Датасеты о финансах и ценах на товары.
🔵 Google Trends. Данные о поисковой статистике и трендовых запросах.
🔵 xView. Большой набор воздушных снимков Земли с аннотациями.
🔵 World Bank Open Data. Наборы данных о демографии и экономических показателях.
🔵 Labelme. Большой датасет с уже размеченными изображениями.
🔵 HotspotQA Dataset . Датасет с вопросами-ответами для генерации ответов на часто задаваемые простые вопросы.
🔵 Berkeley DeepDrive BDD100k. Тысячи часов вождения для обучения автопилотов.
🔵 MIMIC-III. Обезличенные медицинские данные пациентов.
🔵 CREMA-D — датасет для распознавания эмоций по записи голоса.
@data_analysis_ml
17 7月 2023, 11:21
Зачем рекламной кампании предиктивная классификация?
Об этом рассказала Ирина Гутман из аналитики маркетинга Авито. Если коротко, то прогноз поведения клиента поможет вам привести его к целевому событию — будь то покупка, посещение сайта или регистрация на сервисе.
На практике все, разумеется, куда тоньше. Чтобы построить прогноз на 90 дней, нужно поделить пользователей на группы, определить ценность контакта, выбрать, что предсказываете, а дальше — долго и скрупулезно считать и тестировать модели.
Зато результат окупает усилия: с предиктивными моделями эффективность рекламы Авито выросла на 22%, стоимость привлечения снизилась на 12%, а новых пользователей в тестовых кампаниях было 60%. Так что посмотрите, как это сделать — в кейсе есть все формулы, метрики и методики тестирования.
17 7月 2023, 08:21
⚡️ Создайте клон себя с помощью точно настроенного LLM
Вы задумывались о цифровом двойнике? 👨👨
Виртуальная копия вас, которая может разговаривать, учиться и отражать ваши мысли.
Прогресс в области искусственного интеллекта (ИИ) сделал эту идею реальностью. 🌟
Цель этой статьи - показать, как эффективно настроить высокопроизводительный LLM на пользовательских данных. Рассмотрен будет использование модели Falcon-7B с адаптерами LoRA и Lit-GPT для минимизации затрат.
• Читай
@data_analysis_ml
15 7月 2023, 12:00
👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом.
У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие.
Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции.
✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!
15 7月 2023, 10:02
23 7月 2023, ~03:29
🗂 10 библиотек Python для автоматического разведочного анализа данных
• Разведочный анализ данных (EDA) является важнейшим шагом в разработке модели Data science и исследовании наборов данных. EDA включает в себя изучение, анализ и обобщение фундаментальных характеристик наборов данных для получения представления о внутренней информации, содержащейся в них.
• Известные библиотеки Python для автоматизированного EDA:
1. D-Tale
D-Tale – это библиотека Python, которая предоставляет интерактивный и удобный интерфейс для визуализации и анализа данных.
2. Pandas-profiling
Pandas-Profiling – позволяет автоматизировать первичный анализ данных и, тем самым, значительно его упростить и ускорить.
3. Sweetviz
Sweetviz – это библиотека Python с открытым исходным кодом, которая генерирует отчеты с удобной визуализацией для выполнения EDA с помощью всего двух строк кода. Библиотека позволяет быстро создать подробный отчет по всем характеристикам набора данных без особых усилий. В возможности Sweetviz также входит целевой анализ, сравнение двух датасетов, сравнение двух частей датасета, выделенных по определенному признаку, выявление корреляций и ассоциаций, также sweetviz создает позволяет создавать и сохранять отчет как HTML файл.
4. Autoviz
AutoViz – это библиотека Python, предоставляющая возможности автоматической визуализации данных, позволяющая визуализировать наборы данных любого размера всего одной строкой кода.
5. dataprep
DataPrep – это библиотека Python с открытым исходным кодом, которая предоставляет функциональные возможности для анализа, подготовки и обработки данных. Она построена поверх Pandas и Dask DataFrame, что делает её легко интегрируемым интсрументом с другими библиотеками Python.
6. KLib
KLib – это библиотека Python, которая предоставляет возможности автоматического разведочного анализа данных (EDA) и профилирования данных. Она предлагает различные функции и визуализации для быстрого изучения и анализа наборов данных. KLib помогает упростить процесс EDA и сделать его более удобным.
7. dabl
Dabl Dabl - поможет визуализировать данные за одну строчу кода. Обычно ML-специалисты используют matplotlib для визуализации, строя нужны графики один за другим. В Dabl вызов одного метода построит целый набор диаграмм.
8. speedML
SpeedML – это библиотека Python, целью которой является ускорение процесса разработки конвейера машинного обучения.
9. Sketch
Sketch— это новая библиотека, которая использует возможности ИИ, чтобы помочь вам понять ваши dataframes pandas, используя вопросы на естественном языке непосредственно в Jupyter.
10. Bamboolib
Bamboolib - это библиотека Python, которая предоставляет компонент пользовательского интерфейса для анализа данных без кода в Jupyter. Одним из вариантов её использования является написание кода для функций, создание которых занимает много времени. Bamboolib предназначена для упрощения обычных задач обработки данных, исследования и визуализации и может использоваться как начинающими, так и опытными аналитиками данны
▪ Подробнее
@data_analysis_ml
15 7月 2023, 05:38
👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом.
У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие.
Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции.
✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!
15 7月 2023, 04:02
15 7月 2023, ~04:02
⁉️ Как разработчику повысить свою зарплату?
Один из вариантов — освоить MS SQL.
Освойте востребованные компетенции, чтобы уже через полгода вырасти с мидла до сеньора!
🦾 Знание этой СУБД может стать вашим конкурентным преимуществом и аргументом для повышения заработной платы.
Если вы хотите научиться разрабатывать на SQL, добро пожаловать на онлайн-курс «MS SQL Server разработчик» в OTUS.
⚠️ За 5 месяцев вы научитесь разрабатывать на SQL, проектировать и оптимизировать свои БД, писать сложные запросы и поймете, как работают базы изнутри.
Все это вы освоите на живых вебинарах с преподавателями-практиками, а закрепите навыки на выпускном проекте — собственной базе данных, которая усилит ваше портфолио.
👉 Пройдите тест по MS SQL и проверьте, насколько вы готовы к обучению на углубленном курсе
https://otus.pw/wXSP/
Нативная интеграция информация о продукте www.otus.ru
15 7月 2023, 03:38
23 7月 2023, ~03:29
Модель нейросети Kandinsky 2.2 стала частью самого крупного и авторитетного в сфере ИИ фреймворка Diffusers на ресурсе Huggingface.
Diffusers - это агрегатор открытых генеративных моделей, работающих на принципе диффузии. Сегодня этот фреймворк используют многие популярные ИИ-сервисы, инструменты и библиотеки: DreamFusion, Segment Anything, ML Stable Diffusion (by Apple), Invoke AI ( всего более 3000 решений).
Также Kandinsky 2.2 вошел в список популярных моделей в основном репозитории Diffusers на GitHub.
@data_analysis_ml
14 7月 2023, 10:08
🖥 balance: a python package for balancing biased data samples
Пакет balance python - это удобный инструмент для работы со смещенными выборками данных.
Обеспечивает полный рабочий процесс: анализа смещений в данных, получения весов для балансировки данных, оценки качества весов и получения взвешенных оценок.
python -m pip install git+https://github.com/bbalasub1/glmnet_python.git@1.0
Мы начинаем с загрузки данных и их корректировки:
from balance import load_data, Sample
# load simulated example data
target_df, sample_df = load_data()
# Import sample and target data into a Sample object
sample = Sample.from_frame(sample_df, outcome_columns=["happiness"])
target = Sample.from_frame(target_df)
# Set the target to be the target of sample
sample_with_target = sample.set_target(target)
# Check basic diagnostics of sample vs target before adjusting:
# sample_with_target.covars().plot()
# Using ipw to fit survey weights
adjusted = sample_with_target.adjust()
print(adjusted.summary())
# Covar ASMD reduction: 62.3%, design effect: 2.249
# Covar ASMD (7 variables):0.335 -> 0.126
# Model performance: Model proportion deviance explained: 0.174
adjusted.covars().plot(library = "seaborn", dist_type = "kde")
▪Github
▪Примеры с кодом
▪Статья
▪Проект
@data_analysis_ml14 7月 2023, 06:02
Про оценку навыков мидлов и синьоров обычно говорят в разрезе того, как нанять крутого специалиста. Но вот как оценивать и пересматривать работу уже нанятых сотрудников, рассказывают гораздо реже. А навык важный: в больших компаниях людям как минимум нужен понятный карьерный путь.
Вот здесь очень внятный и подробный гайд по performance review от Авито — это система регулярной оценки сотрудников, которая сильно упрощает жизнь и спецам, и менеджменту. Директор аналитики Илья Гуров понятно объясняет, как описать хард и софт скиллы, разложить требования к каждому грейду по компетенциям, давать фидбэк и почему менеджерам нужно откалибровать свои оценки сотрудника.
Спойлер: формализация помогает синхронизировать ожидания всех членов команды. Так что лучше подушнить заранее, чтобы был готовый ответ на вопрос: «А как у вас стать сеньором?». Переходите по ссылке и сохраняйте себе в закладки.
14 7月 2023, 04:02
🐼Анализ данных на основе промптов с помощью PandasAI
Pandas AI — это библиотека Python со встроенным генеративным искусственным интеллектом или языковой моделью. Она превращает ваши фреймы данных в собеседников. Больше никаких бесконечных часов разглядывания строк и столбцов.
PandasAI может генерировать визуализации на основе промптов, хотя PandasAI не является заменой Pandas, это дополняющая библиотека, которая предоставляет супервозможности ИИ для работы с данными.
🔵 Попробуем PandasAI на наборе данных Spotify Kaggle:
# Import Dependencies
import pandas as pd
import opendatasets as od
import pandasai as pai
from pandasai.llm.openai import OpenAI
# Get Spotify Data from kaggle
od.download("https://www.kaggle.com/datasets/amitanshjoshi/spotify-1million-tracks")
spotify_data = '<location>/spotify_data.csv'
# Read Spotify Dataset
df = pd.read_csv(spotify_data)
# Initiate OpenAI LLM model for spotify dataset.
llm = OpenAI("<OpenAI API Key>")
pandas_ai = pai.PandasAI(llm)
🔵 Теперь мы готовы использовать наш кадр данных панды, управляемый OpenAI.
# Let us get top 10 artist in year 2012 via a prompt
pandas_ai(df, prompt='Which are top 10 artists in 2012?')p
▪ Результат
Пробовали данную библиотеку?
@data_analysis_ml13 7月 2023, 06:01
✏️ 13 июля в 19:00 по МСК пройдёт бесплатный вебинар «Spring Security»
Что будет на трансляции:
— Spring Security. Зачем?
— Как подключить к проекту и использовать
— Основные настройки и аннотации
Ведущий: Сергей Полухин, Senior Java Developer, старший разработчик и руководитель разработки на проектах Infobip, Сбера, Evento, суперкассы, основатель PDev Studio.
🚀 Бесплатная регистрация: https://clck.ru/34xeky
13 7月 2023, 04:02
23 7月 2023, ~03:29
🧳Подборка полезных датасетов, для дата саентистов.
1. Airbnb
Этот датасет могут скинуть для интервью — собеседования с задачей провести исследовательский анализ данных и разработать модель машинного обучения.
2. NHANES Dataset
Полезный набор данных для учащихся. Наименования столбцов этого датасета сначала могут показаться не очень понятными.
3. Heart Disease Dataset
Он содержит классы: age, sex, chest pain type (4 вида), resting blood pressure, serum cholestoral in mg/dl, fasting blood sugar > 120 mg/dl, resting electrocardiographic results (values 0,1,2), maximum heart rate achieved, exercise induced angina, oldpeak = ST depression induced by exercise relative to rest, the slope of the peak exercise ST segment, number of major vessels (0–3) colored by flourosopy и т.д.
4. Cars Dataset
Это датасет можно использовать для практики некоторых регрессионных моделей и исследовательского анализа данных. К тому же он разумного размера.
5. People Wiki Dataset
Этот датасет включает в себя профили известных людей прямиком из Википедии.
6. Amazon Product Review Dataset
Этот набор данных содержит миллионы отзывов на продукты Amazon.
7. Olympic Dataset
Этот набор данных содержит информацию о результатах Олимпийских игр. Каждая строка содержит данные по стране. Дает почувствовать все грани боли от фильтрации данных. Автор статьи изучил библиотеки Python (Numpy и Pandas), используя этот набор данных.
8. Titanic Dataset
Подойдет для исследовательского анализа данных , моделей машинного обучения (особенно моделей классификации), статистического анализа и практической отработки визуализации данных .
9. Iris Dataset
Еще один широко котируемый набор данных в курсах по Data Science.
Особенно хорош для изучения классификационных моделей.
10. Facebook Stock Data
Может быть очень полезным при анализе и визуализации временных рядов или проблемах, связанных с временными рядами.
11. BBC Text Dataset
Еще один замечательный набор данных для Natural Language Processing.
Этот набор данных содержит информацию о различных типах новостей из архивов BBC. Это большой набор текстовых данных.
12. Cats vs Dogs
Очень часто используется для отработки классификации изображений. Внутри ты найдешь изображения кошек и собак. Датасет хорош для проблем computer vision.
13. Malignant vs Benign
Полезный набор данных для проблем компьютерного зрения. Датасет содержит изображения двух типов рака кожи. Подходит для задач классификации изображений.
14. Natural Images Dataset
Этот набор данных содержит изображения самолетов, автомобилей, кошек, собак, цветов, фруктов, мотоциклов и людей.
@data_analysis_ml
12 7月 2023, 08:07
Аналитики данных — настоящие супергерои и занимают 1 место в рейтинге профессий с самым большим спросом на рынке труда до 2025 года (по данным Всемирного экономического форума).
Как стать таким нужным специалистом?
Приходите на бесплатный интенсив 18-19 июля, на котором вы:
— погрузитесь в рабочие будни аналитика
— узнаете о направлениях в аналитике и решите, какое подходит вам
— научитесь работать в Google Sheets как аналитик данных
А еще — поработаете руками, решите реальные бизнес-задачи и получите фидбэк от эксперта. За лучшее решение домашнего задания - мини-курс по аналитическому мышлению в подарок.
Регистрируйтесь БЕСПЛАТНО: https://go.skillfactory.ru/J4jZCw
Реклама ООО “Скилфэктори”
12 7月 2023, 06:06
18 7月 2023, ~06:42
🖥 Не только Numpy и Pandas: раскрытие потенциала малоизвестных библиотек Python
Python — один из наиболее часто используемых языков программирования в мире, предоставляющий разработчикам широкий набор библиотек.
В любом случае, когда дело доходит до работе данными и научных вычислений, мы обычно думаем о таких библиотеках, как Numpy или Pandas.
В этой статье мы представляем 3 малоизвестные Python-библиотеки, которые могут вас заинтересовать при работе с данным.
1. Xarray
Xarray — это библиотека Python, которая расширяет функциональные возможности NumPy, давая нам возможность работать с помеченными массивами и наборами данных.
2. Dask
Dask — это гибкая библиотека параллельных вычислений, которая обеспечивает распределённые вычисления и параллелизм для крупномасштабной обработки данных.
3. SymPy
Если вам нужно выполнять сложные математические расчёты и вычисления и вы хотите использовать Python, рекомендуем попробовать библиотеку Sympy.
▪️Читать подробнее
@data_analysis_ml
11 7月 2023, 09:48
Хотите узнать, как у Сбера получается создавать такие точные персональные рекомендации? Приходите на RecSys Meetup by Sber — он состоится 20 июля в Питере 💚
На митапе топовые спикеры расскажут:
• Как рекомендации на базе AI помогают бизнесу в разных индустриях.
• На какие тренды в области AI, машинного обучения и рекомендательных систем стоит обратить внимание
• Какие существуют особенности при построении рекомендательных сценариев в видео-стримингах
В перерывах между докладами вас будут ждать интересные знакомства, обсуждения и нетворкинг.
Регистрируйтесь по ссылке — встречаемся 20 июля в 19:00 по адресу: Art-Muse, Зал «Галерея Ц», 13-я линия Васильевского острова, 70 📍
11 7月 2023, 07:48
18 7月 2023, ~05:42
⚡️ 7 основных способов для управления столбцами в Pandas
Когда дело доходит до анализа данных, Pandas является наиболее используемой библиотекой Python для обработки и подготовки данных для дальнейшего анализа и машинного обучения.
• Реальность такова, что Pandas — действительно гибкая библиотека, и её можно использовать даже для преобразования форматов файлов.
1️⃣ Создайте столбец Pandas как Pandas Series
# Create a Pandas series
series = pd.Series([6, 12, 18, 24])
# Print Pandas series
print(series)
>>>
0 6
1 12
2 18
3 24
dtype: int64
2️⃣ Создайте столбец Pandas как фрейм данных Pandas
import pandas as pd
# Create a Pandas column as a Pandas data frame
df = pd.DataFrame({'A': [1, 2, 3, 4]})
# Print Pandas data frame
print(df)
>>>
A
0 1
1 2
2 3
3 4
3️⃣ Создайте столбец Pandas как фрейм данных Pandas, начиная с массива NumPy
import numpy as np
import pandas as pd
# Create a NumPy array
values = np.array([5, 10, 15, 20])
# Transform array into Pandas data frame
df = pd.DataFrame(values)
# Print data frame
print(df)
>>>
0
0 5
1 10
2 15
3 20
➡️ Читать продолжение
@data_analysis_ml10 7月 2023, 07:50
