Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 907 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 907 名订阅者。
根据 17 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 389,过去 24 小时变化为 -16,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.71%。内容发布后 24 小时内通常能获得 8.49% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 077 次浏览,首日通常累积 4 406 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 173。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 18 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 907
订阅者
-1624 小时
-507 天
+38930 天
帖子存档
🖥 Build Web Apps in Jupyter Notebook
Если вы хотите создать веб-приложение в вашем #JupyterNotebook, попробуйте Mercury.
🖥 Github
@data_analysis_ml
18 10月 2023, 06:36
💪 Что такое Байесовское А/B-тестирование и как его провести?
Подробно обсудим 19 октября в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced».
🔹 На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3.
📌 Результаты урока:
Познакомитесь с основами A/B тестирования и получите новый, простой и эффективный инструмент для A/B тестирования
👉 РЕГИСТРАЦИЯ
https://otus.pw/UqGO/
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KUFd5
18 10月 2023, 05:36
19 10月 2023, ~09:14
Графовые сверточные сети: введение в GNN
Графовые нейронные сети (GNN) представляют собой одну из наиболее интересных и быстро развивающихся архитектур в области глубокого обучения.
Будучи моделями глубокого обучения, предназначенными для обработки данных, структурированных в виде графов, GNN обладают универсальностью и огромными обучающими возможностями.
Среди различных типов GNN наиболее распространенной и широко применяемой моделью стали графовые сверточные сети (GCN).
Инновационность GCN обусловлена их способностью использовать для прогнозирования как особенности узла, так и его локальность, что обеспечивает эффективный способ обработки данных, структурированных в виде графов.
В этой статье будет подробно описан механизм работы слоя GCN с объяснением его внутреннего устройства.
Кроме того, вы узнаете, как практически применять этот слой для решения задач классификации узлов с использованием в качестве инструмента PyTorch Geometric.
PyTorch Geometric (PyG) — это специализированное расширение PyTorch, созданное для разработки и реализации GNN. Эта продвинутая и в то же время удобная в использовании библиотека предоставляет полный набор инструментов для машинного обучения на основе графов.
📌 Читать дальше
📌 PyTorch Geometric
@data_analysis_ml
17 10月 2023, 07:03
Бесплатный интенсив по Python, который научит вас работать с данными
На трансляции вы:
● познакомитесь с основными возможностями Pandas на примере кейса о продажах продуктов в интернет-магазине;
● научитесь применять их для анализа, обработки и визуализации данных.
Интенсив проведёт Анатолий Карпов — тот самый автор «основ статистики» и «введения в Data Science», благодаря которым статистику и основы анализа данных поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses.
Будет полезно и интересно для любого уровня: если вы только начинаете путь в программировании, вы сможете сделать первый шаг. А если уже используете Python, сможете понять как делать это в разы эффективнее и упрощать работу с данными.
Встречаемся уже 18 октября в 19:00
[Зарегистрироваться на интенсив]
Реклама. ООО "Карпов Курсы". Erid: LjN8K64d2
17 10月 2023, 05:03
28 10月 2023, ~17:46
🖥 GitUp
В командах Git иногда можно запутаться (путаница между "git reset" и "git revert" может привести к непредвиденным последствиям). Кроме того, исправление ошибок в Git может быть сложным.
GitUp представляет удобную модель взаимодействия с #Git, которая позволяет работать с Git быстро и безопасно.
GitUp предоставляет:
🔹 Быстрая отмена/повтор практически всех операций
🔹 Мгновенный поиск по всему репо, включая diff-содержимое
🔹 Интерактивный граф репо для редактирования репозитория.
🔹 Удобный пользовательский интерфейс, который работает быстрее, чем командная строка.
• Github
@data_analysis_ml
16 10月 2023, 07:16
🖥 Если вы работаете с блокнотами jupyter для работы с Python и Data Science, попробуйте эти волшебные команды, которые сэкономят вам массу времени:🧵
1. Jupyter AI: выберите любую модель и пообщайтесь с ней прямо из блокнота Jupyter.
Используйте волшебную команду "%%ai", чтобы указать модель и пообщаться с ней, используя промыт на естественном языке: https://github.com/jupyterlab/jupyter-ai
2. %%latex:
Это позволяет отображать LaTeX-код в Jupyter Notebook. Картинка 2.
3. %%sql
С помощью команд
%sql(line magic) и %%sql(cell magic) можно выполнить любой SQL-запрос. Картинка 3.
4. %run
Запуск Python-файла в блокноте становится простым.
Если у вас есть python-файл, например, "demo .py", и вы хотите запустить его в блокноте, то это можно сделать с помощью следующей команды
%run demo .py
5. %%writefile
Пример:
%%writefile app .py
В результате будет создан новый файл "app .py" со всем содержимым, присутствующим в ячейке.
6. %history -n
Все мы случайно удаляем команды и их результаты в блокноте.
Для отображения всех предыдущих команд можно воспользоваться этой волшебной командой
-n поможет получить последние n команд
@data_analysis_ml15 10月 2023, 05:12
🔥 Дайджест полезных материалов из мира Data Science за неделю
Почитать:
— Как «воспитать ламу» и ускорить ML-эксперименты
— Airflow vs NiFi: исследуем оркестратор для формирования витрин данных
— Сравнение методов веб-скрепинга для данных Википедии: Beautiful Soup против WikipediaAPI
— Применение нейросетевых подходов для формирования признаков в моделях
— ipywidgets: создаем графические приложения на базе Jupyter
— Как использовать GPU для ускорения аналитической обработки данных
— Введение в библиотеку Diffusers и диффузионные модели
— 70 % программистов пользуются ИИ-ассистентами. Скоро код будут писать алгоритмы?
— Проблематика Open Source: профиль риска, лицензирование, как выбирать продукт и подход к разработке решений
— LLaMA 2, RWKV, Santacoder и другие LLM на iOS
— MLOps на примере прогноза движений акций с помощью MLRun
— Using ggplot2 for Visualization in R
— ИИ вместо астролога или как я создавала астробота Катю
— Learning to Decode the Surface Code with a Recurrent, Transformer-Based Neural Network
— Milvus Adventures | October 13, 2023
— Data Science Roadmap
— Exploratory Data Analysis with Data Visualization Techniques
— Data Visualization
— Exploratory Data Analysis using Data Visualization Techniques.
— Exploratory Data Analysis using Data Visualization Techniques
— Nobel Laureates’ Countries, or Creating a Word Cloud with JS
— Data Modelling
— Exploratory Data Analysis using Data Visualization Techniques
— Exploratory Data Analysis using Data Visualization Techniques
— Stream Processing Engines and Streaming Databases: Design, Use Cases, and the Future
Посмотреть:
🌐 Chatgpt, Bard , Claude, Theb - используй API лучших нейросетей бесплатно и без ВПН на Python. (⏱ 05:23)
🌐 NLP практика. Определяем тональность текста при помощи NLTK и DL (⏱ 19:37)
🌐 Django шаблонизация и маршрутизация (⏱ 09:11)
🌐 Задача, которая очень часто встречается на собеседованиях #python (⏱ 00:59)
🌐 Решение непростой задачи с Leetcode, часто всплывает на собеседования #pythontutorial (⏱ 00:59)
🌐 Хитрая задача с собеседования #Python (⏱ 00:59)
🌐 Lightning Interview "The Storied History of Video Games and AI" (⏱ 46:35)
🌐 Accelerate your AI/ML Initiatives and Deliver Business Value Quickly (⏱ 33:08)
🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24)
🌐 Google’s New AI Watched 2,500 Videos! But Why? (⏱
Хорошего дня!
14 10月 2023, 04:52
Чтобы ограничить внешний доступ и модификацию переменной за пределами класса, сделайте ее приватной, используя двойное подчеркивание.
Это позволяет свести к минимуму вероятность непреднамеренных изменений.
#Python
@data_analysis_ml
13 10月 2023, 11:03
Яндекс продолжает приём заявок на Yandex ML Prize — премию для учёных и преподавателей в области Machine Learning
Принять участие могут исследователи, научные руководители и преподаватели в области машинного обучения.
Премия вручается за исследования в следующих направлениях:
— компьютерное зрение,
— обработка естественного языка и машинный перевод,
— распознавание и синтез речи,
— информационный поиск и анализ данных,
— генеративные модели.
География премии охватывает 11 стран. Подать заявку на соискание премии могут исследователи и преподаватели из России, Азербайджана, Армении, Беларуси, Казахстана, Кыргызстана, Молдовы, Таджикистана, Туркменистана, Узбекистана и Сербии.
Лауреаты Yandex ML Prize получат денежные призы от 500 тысяч до 1 млн рублей, гранты от Yandex Cloud для использования сервиса в своих исследованиях, а также подписки на Яндекс 360 и Плюс Мульти.
Больше информации по ссылке.
Реклама. ООО «Яндекс»
13 10月 2023, 09:02
13 10月 2023, ~11:32
📊 Perspective
Perspective - это инструмент интерактивной аналитики и визуализации данных, который особенно хорошо подходит для работы с большими и/или потоковыми наборами данных. С его помощью можно создавать настраиваемые отчеты, информационные панели, блокноты и приложения, а затем развертывать их отдельно в браузере или совместно с Python и/или Jupyterlab.
• Github
• Проект
@data_analysis_ml
13 10月 2023, 07:18
🖥 Feature engineering и кластерный анализ клиентов на PySpark.
BigData плотно входит в нашу жизнь. Датасеты растут и постоянно изменяются, что усложняет задачу кластеризации клиентов. Обычно для задач кластеризации используется библиотека
Sklearn, но с большим объёмом данных её использовать не получиться. Spark позволяет реализовать параллельные вычисления на кластерах и имеет в составе своего фреймворка библиотеку машинного обучения MLlib. В случае больших данных, когда привычные инструменты отказываются работать с такими объёмами, PySpark приходит на выручку.
При этом, прежде чем запустить алгоритмы машинного обучения на вашем датасете, необходимо подготовить данные и провести feature engineering, а это достаточно трудозатратная задача, но в то же время необходимая, так как от этого этапа во многом зависит качество конечного результата. Данный этап также необходимо делать на PySpark, опять-таки из-за объёма данных.
Перед нами стояла задача анализа массива данных заёмщиков физических лиц – злостных неплательщиков кредитов, дела по которым уже направлены в суд. Этот массив необходимо было разбить на блоки (кластеры). Цель кластерного анализа – понять, какие группы по общим признакам можно выделить, и в дальнейшем разработать для каждой группы индивидуальную тактику взыскания, и, возможно, найти пути улучшения методологии скоринга.
1. Подготовка данных
1.1. Идеи
Подготовка данных – этап, предшествующий анализу и требующий хорошего понимания предметной области. Предобработка осуществляется если не руками самого эксперта в этой области, то в очень тесном с ним сотрудничестве. Останавливаться на предварительной подготовке данных долго не будем, поскольку общих рекомендаций здесь не выработать, только кратко отметим основные моменты, которые мы произвели с нашим датасетом и которые отличаются от классической борьбы с отсутствующими значениями.
Выбирали признаки, которые:
• непосредственно характеризуют именно самого заёмщика, а не кредитный продукт, не договор и прочее;
• имеют значение до выхода на просрочку (то есть, например, данные по процедурам взыскания в анализ не берём, так как хотим разобраться в причинах, которые к этому привели).
Убрали признаки:
• дублирующие друг друга по существу (например, остаток основного долга (ОД) в валюте и остаток ОД в рублях – достаточно оставить только один показатель);
• по которым слишком много вариантов (например, 100-200 значений для признака «должность на месте работы»).
В результате предобработки датасета количество исходных данных существенно сократилось. В исходном датасете количество признаков достигало 191, после чистки на основе описанных выше идей их осталось 43. Среди них:
• признаки, связанные с первым кредитным договором: вид кредитования, срок кредита, признак реструктуризации, дата выдачи кредита, ставка, валюта и т.д.;
• числовые признаки (итого по всем договорам): сумма обеспечения, сумма общей задолженности в рублях, сумма погашений по основному долгу;
• признаки — индивидуальные характеристики заёмщика: пол, возраст, резидентство, признак vip, наличие заграничного паспорта, категория надёжности, данные, связанные с рабочей деятельности, данные, связанные с собственностью и т.д.
1.2 Реализация на PySpark
После импорта необходимых библиотеки и создания сессии Spark, входной точки каждого PySpark приложения, загружаем исходные данные и подготовленный совместно с экспертом список признаков в объекты Spark DataFrame. DataFrame – одна из двух абстракций массива данных в Spark (вторая абстракция — RDD), которая предоставляет более высокоуровневое API (по сравнению с RDD). Метод загрузки данных зависит от формата файла (в рассматриваемом примере CSV, но может быть JSON, ORC, Parquet и др.).
Далее на основе списка признаков из исходного датасета отбираем нужные колонки. Затем группируем полученный массив данных по идентификатору заёмщика, при этом для колонок с числовыми значениями данные суммируем, а для колонок с категориальными значениями оставляем только первое значение.
📌 Читать
@data_analysis_ml12 10月 2023, 15:41
⚡️ Яндекс продолжает прием заявок на научную премию в области машинного обучения
Yandex ML Prize — это премия для ML-исследователей, их наставников и преподавателей из 11 стран. Наградят в этом году за достижения в сферах:
— распознавание и синтез речи;
— компьютерное зрение;
— информационный поиск и анализ данных;
— обработку языка и машинный перевод
— генеративные модели
Кандидаты могут подать заявку сразу в несколько номинаций — от «Первой публикации» до «Лучшего молодого научного руководителя». Единственное условие для исследователей — наличие публикаций или докладов, в том числе постера, на конференции A* или A за 2022–2023 гг. А для научных руководителей — более 5 студентов с такими публикациями.
🏆 Победители получат от 500 тысяч рублей, грант на использование сервиса Yandex Cloud для исследований и подписку на Яндекс 360.
Не пропустите шанс заявить о себе научному сообществу — подать заявку можно до 16 октября по ссылке.
Реклама. ООО «Яндекс»
12 10月 2023, 13:41
20 10月 2023, ~11:54
Cleanlab 🚀
Всего за 3 строки кода эта библиотека с открытым исходным кодом может очистить любой датасет!
Вы можете:
- удалять выбросы
- находить ошибки в данных
- выявлять дубликаты
- проводить активное обучение
- строить распределения
- И многое другое ...
Cleanlab разработана специалистами Массачусетского технологического института и работает на основе нового алгоритма под названием
Confident Learning!
На картинке 2 приведено упрощенное объяснение этого алгоритма!
Библиотека работает с:
- Любыми данными (текст, изображения, таблицы, аудио и т.д.)
- Любые задачи ML (классификация,, распознавание, работа с LLM и многое другое ...)
• Github
@data_analysis_ml12 10月 2023, 06:19
Большие датафреймы могут потреблять значительные объемы памяти. Если обрабатывать #данные небольшими фрагментами, то можно избежать нехватки памяти и получить доступ к данным быстрее.
В приведенном примере кода используется
chunksize=100000, что работает примерно в 5495 раз быстрее, чем без использования chunksize.
#tips #datascience #junior
@data_analysis_ml11 10月 2023, 07:13
✅ A/B тестирование: как сделать правильный выбор?
А/В-тестирование – это метод, который используется для сравнения двух версий переменной, например, дизайна сайта при маркетинговом исследовании с целью выявления лучшей версии. Это критически важный метод исследования в
Data Science, который часто используется различными организациями при принятии решений с целью оптимизации существующего продукта и максимизации прибыли.
Представлю, что компания, продающая мебель, хочет увеличить число кликов по баннеру «Мебель на заказ». Они значительно изменили дизайн сайта для этой цели. К сожалению, не существует способов предсказать, как именно изменится поведение людей на обновленном сайте по сравнению со старой версией. А/В-тестирование может помочь, например, измерить разницу в конверсии между двумя версиями сайта и сказать, является ли эта разница статистически значимой.
Нулевая гипотеза в рамках А/В-тестирования – предположение о том, что разницы между версиями сайта А и В в действительности нет, а все наблюдаемые различия обусловлены случайностью. Моя задача в ходе А/В-тестирования – опровергнуть нулевую гипотезу. Альтернативная гипотеза в рамках А/В-тестирования утверждает, что версии сайта А и В различны с точки зрения поведения пользователей.
Уровень значимости – это порог вероятности для определения того, являются ли результаты эксперимента статистически значимыми. Чаще всего уровень значимости устанавливается равным 0,05. Это значит, что моё утверждение о значимости результата будет справедливо на 95%. Чем ниже выбранный уровень значимости, тем ниже риск того, что будет обнаружена разница, вызванная случайностью.
P—value – это вероятность наблюдения данного результата при условии, что нулевая гипотеза верна. Если p-value меньше, чем уровень значимости (α), то отвергается нулевая гипотеза в пользу альтернативной (то есть результаты являются статистически значимыми). Например, при уровне значимости 0,05 p-value должна быть меньше 0,05 для признания результатов эксперимента статистически значимыми.
Доверительный интервал – интервал значений, в котором, с вероятностью (1- α), лежит истинное значение переменной. Доверительный интервал является оценкой возможных значений переменной в зависимости от её стандартного отклонения.
Статистическая мощность – вероятность отклонения нулевой гипотезы в случае, если альтернативная гипотеза верна. Обычно статистическая мощность теста устанавливается равной 0,8. Это значение используется для вычисления размера выборки, необходимой для подтверждения гипотезы с необходимой силой эффекта.
Организация эксперимента
Для проведения А/В-теста требуется разделить всех пользователей на две группы: одна группа будет видеть старый дизайн сайта, а другая – новый. Пользователи распределяются между группами случайным образом. Как правило, группу, которой показывают новый дизайн сайта (В), называют тестовой, а группу, которой показывают старый дизайн (А) – контрольной.
Целевая метрика – CTR, то есть количество кликов на баннер, делённое на количество показов. Буду сравнивать среднее значение метрики CTR для контрольной и тестовой групп. Предположу, что в контрольной группе среднее значение метрики составляет 12%, а в тестовой – 14%.
Если среднее значение метрики в тестовой группе выше, чем в контрольной, то означает ли это, что дизайн сайта В лучше дизайна сайта А? Ответ: нет. Необходимо показать, что результаты А/В-теста статистически значимы. Это означает, что различие в версиях наблюдается не случайно и не обусловлено какой-либо ошибкой. Проверить это можно с помощью статистических тестов.
Не буду заниматься сбором данных в рамках данной публикации. Буду анализировать данные, взятые из датасета с Kaggle. Скачать его можно здесь.
📌 Читать дальше
@data_analysis_ml10 10月 2023, 13:03
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшее мероприятие:
• 16-20 октября — Fast Track для технических менеджеров, офер за 5 дней в команду Crowd.
Зарегистрироваться
Реклама. ООО "Яндекс". erid:2Vtzqv5JoPP
10 10月 2023, 11:03
18 10月 2023, ~09:59
📊 Pmdarima
Для достижения функциональности, аналогичной auto.arima в R, в рамках scikit-learn-подобного интерфейса, используйте Pmdarima.
Pmdarima - это статистическая библиотека, для анализа временных рядов на Python.
#Python #DataScience
• Github
@data_analysis_ml
10 10月 2023, 07:21
Samokat.teсh & Systems.Education Meetup — cистемный анализ и проектирование в e-commerce
Когда: 20 октября (пятница), 18:00 – 21:30 по Мск
Где: г. Москва, Овчинниковская набережная, 18/1 стр. 2 + онлайн-трансляция
Приходите послушать спикеров из Samokat.tech, Systems.Education и ИТ-интегратора AWG про особенности работы системных аналитиков и архитекторов в быстрорастущих и высоконагруженных проектах e-commerce. После докладов — присоединяйтесь к дискуссии на круглом столе!
В программе:
1️⃣ Почему аналитик не может быть кроссдоменным координатором? — Анастасия Тарасова, старший системный аналитик в Samokat.teсh
2️⃣ Проектирование системы от нефункциональных требований — Евгений Скориков, главный архитектор в AWG
3️⃣ Круглый стол с экспертами
Темы: матрица компетенций, проектирование сквозных процессов, использование 🗓Вig Data в проектах.
Модератор: Юрий Куприянов, ведущий эксперт по системному анализу и проектированию Systems.Education
👉 Регистрация и чат митапа
Реклама ООО «Умное пространство» ИНН 7811554010 erid: LatgC5xRf
10 10月 2023, 05:20
17 10月 2023, ~05:42
