ch
Feedback

不要被骗子欺骗!Telemetrio 会找到并标记这些频道 👉 如果想查看标记,请订阅

Анализ данных (Data analysis)

Анализ данных (Data analysis)

前往频道在 Telegram

Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp

显示更多

📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览

频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 907 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。

📊 受众指标与增长动态

自 невідомо 创建以来,项目保持高速增长,吸引了 51 907 名订阅者。

根据 17 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 389,过去 24 小时变化为 -16,整体触达仍然可观。

  • 认证状态: 未认证
  • 互动率 (ER): 平均受众互动率为 11.71%。内容发布后 24 小时内通常能获得 8.49% 的反应,占订阅者总量。
  • 帖子覆盖: 每篇帖子平均可获得 6 077 次浏览,首日通常累积 4 406 次浏览。
  • 互动与反馈: 受众积极参与,单帖平均反应数为 173。
  • 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。

📝 描述与内容策略

作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp”

凭借高频更新(最新数据采集于 18 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。

51 907
订阅者
-1624 小时
-507 天
+38930 天
帖子存档
🖥 Build Web Apps in Jupyter Notebook Если вы хотите создать веб-приложение в вашем #JupyterNotebook, попробуйте Mercury. 🖥 Github @data_analysis_ml
18 10月 2023, 06:36

💪 Что такое Байесовское А/B-тестирование и как его провести? Подробно обсудим 19 октября в 20:00 мск на открытом уроке в OTU
💪 Что такое Байесовское А/B-тестирование и как его провести?  Подробно обсудим 19 октября в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced».   🔹 На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3. 📌  Результаты урока: Познакомитесь с основами A/B тестирования и получите новый, простой и эффективный инструмент для A/B тестирования 👉 РЕГИСТРАЦИЯ https://otus.pw/UqGO/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KUFd5
18 10月 2023, 05:36
19 10月 2023, ~09:14

Графовые сверточные сети: введение в GNN Графовые нейронные сети (GNN) представляют собой одну из наиболее интересных и быстр
Графовые сверточные сети: введение в GNN Графовые нейронные сети (GNN) представляют собой одну из наиболее интересных и быстро развивающихся архитектур в области глубокого обучения. Будучи моделями глубокого обучения, предназначенными для обработки данных, структурированных в виде графов, GNN обладают универсальностью и огромными обучающими возможностями. Среди различных типов GNN наиболее распространенной и широко применяемой моделью стали графовые сверточные сети (GCN). Инновационность GCN обусловлена их способностью использовать для прогнозирования как особенности узла, так и его локальность, что обеспечивает эффективный способ обработки данных, структурированных в виде графов. В этой статье будет подробно описан механизм работы слоя GCN с объяснением его внутреннего устройства. Кроме того, вы узнаете, как практически применять этот слой для решения задач классификации узлов с использованием в качестве инструмента PyTorch Geometric. PyTorch Geometric (PyG) — это специализированное расширение PyTorch, созданное для разработки и реализации GNN. Эта продвинутая и в то же время удобная в использовании библиотека предоставляет полный набор инструментов для машинного обучения на основе графов. 📌 Читать дальше 📌 PyTorch Geometric @data_analysis_ml
17 10月 2023, 07:03

Бесплатный интенсив по Python, который научит вас работать с данными На трансляции вы: ● познакомитесь с основными возможност
Бесплатный интенсив по Python, который научит вас работать с данными На трансляции вы: ● познакомитесь с основными возможностями Pandas на примере кейса о продажах продуктов в интернет-магазине; ● научитесь применять их для анализа, обработки и визуализации данных. Интенсив проведёт Анатолий Карпов — тот самый автор «основ статистики» и «введения в Data Science», благодаря которым статистику и основы анализа данных поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. Будет полезно и интересно для любого уровня: если вы только начинаете путь в программировании, вы сможете сделать первый шаг. А если уже используете Python, сможете понять как делать это в разы эффективнее и упрощать работу с данными. Встречаемся уже 18 октября в 19:00 [Зарегистрироваться на интенсив] Реклама. ООО "Карпов Курсы". Erid: LjN8K64d2
17 10月 2023, 05:03
28 10月 2023, ~17:46

🖥 GitUp В командах Git иногда можно запутаться (путаница между "git reset" и "git revert" может привести к непредвиденным последствиям). Кроме того, исправление ошибок в Git может быть сложным. GitUp представляет удобную модель взаимодействия с #Git, которая позволяет работать с Git быстро и безопасно. GitUp предоставляет: 🔹 Быстрая отмена/повтор практически всех операций 🔹 Мгновенный поиск по всему репо, включая diff-содержимое 🔹 Интерактивный граф репо для редактирования репозитория. 🔹 Удобный пользовательский интерфейс, который работает быстрее, чем командная строка. • Github @data_analysis_ml
16 10月 2023, 07:16

🖥 Если вы работаете с блокнотами jupyter для работы с Python и Data Science, попробуйте эти волшебные команды, которые сэкон
+2
🖥 Если вы работаете с блокнотами jupyter для работы с Python и Data Science, попробуйте эти волшебные команды, которые сэкономят вам массу времени:🧵 1. Jupyter AI: выберите любую модель и пообщайтесь с ней прямо из блокнота Jupyter. Используйте волшебную команду "%%ai", чтобы указать модель и пообщаться с ней, используя промыт на естественном языке: https://github.com/jupyterlab/jupyter-ai 2. %%latex: Это позволяет отображать LaTeX-код в Jupyter Notebook. Картинка 2. 3. %%sql С помощью команд %sql(line magic) и %%sql(cell magic) можно выполнить любой SQL-запрос. Картинка 3. 4. %run Запуск Python-файла в блокноте становится простым. Если у вас есть python-файл, например, "demo .py", и вы хотите запустить его в блокноте, то это можно сделать с помощью следующей команды %run demo .py 5. %%writefile Пример: %%writefile app .py В результате будет создан новый файл "app .py" со всем содержимым, присутствующим в ячейке. 6. %history -n Все мы случайно удаляем команды и их результаты в блокноте. Для отображения всех предыдущих команд можно воспользоваться этой волшебной командой -n поможет получить последние n команд @data_analysis_ml
15 10月 2023, 05:12

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — Как «воспитать ламу» и ускорить ML-эксперименты — Airflow vs NiFi: исследуем оркестратор для формирования витрин данных — Сравнение методов веб-скрепинга для данных Википедии: Beautiful Soup против WikipediaAPI — Применение нейросетевых подходов для формирования признаков в моделях — ipywidgets: создаем графические приложения на базе Jupyter — Как использовать GPU для ускорения аналитической обработки данных — Введение в библиотеку Diffusers и диффузионные модели — 70 % программистов пользуются ИИ-ассистентами. Скоро код будут писать алгоритмы? — Проблематика Open Source: профиль риска, лицензирование, как выбирать продукт и подход к разработке решений — LLaMA 2, RWKV, Santacoder и другие LLM на iOS — MLOps на примере прогноза движений акций с помощью MLRun — Using ggplot2 for Visualization in R — ИИ вместо астролога или как я создавала астробота Катю — Learning to Decode the Surface Code with a Recurrent, Transformer-Based Neural Network — Milvus Adventures | October 13, 2023 — Data Science Roadmap — Exploratory Data Analysis with Data Visualization Techniques — Data Visualization — Exploratory Data Analysis using Data Visualization Techniques. — Exploratory Data Analysis using Data Visualization Techniques — Nobel Laureates’ Countries, or Creating a Word Cloud with JS — Data Modelling — Exploratory Data Analysis using Data Visualization Techniques — Exploratory Data Analysis using Data Visualization Techniques — Stream Processing Engines and Streaming Databases: Design, Use Cases, and the Future Посмотреть: 🌐 Chatgpt, Bard , Claude, Theb - используй API лучших нейросетей бесплатно и без ВПН на Python. (⏱ 05:23) 🌐 NLP практика. Определяем тональность текста при помощи NLTK и DL (⏱ 19:37) 🌐 Django шаблонизация и маршрутизация (⏱ 09:11) 🌐 Задача, которая очень часто встречается на собеседованиях #python (⏱ 00:59) 🌐 Решение непростой задачи с Leetcode, часто всплывает на собеседования #pythontutorial (⏱ 00:59) 🌐 Хитрая задача с собеседования #Python (⏱ 00:59) 🌐 Lightning Interview "The Storied History of Video Games and AI" (⏱ 46:35) 🌐 Accelerate your AI/ML Initiatives and Deliver Business Value Quickly (⏱ 33:08) 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) 🌐 Google’s New AI Watched 2,500 Videos! But Why? (⏱ Хорошего дня!
14 10月 2023, 04:52

Чтобы ограничить внешний доступ и модификацию переменной за пределами класса, сделайте ее приватной, используя двойное подчер
Чтобы ограничить внешний доступ и модификацию переменной за пределами класса, сделайте ее приватной, используя двойное подчеркивание. Это позволяет свести к минимуму вероятность непреднамеренных изменений. #Python @data_analysis_ml
13 10月 2023, 11:03

Яндекс продолжает приём заявок на Yandex ML Prize — премию для учёных и преподавателей в области Machine Learning Принять участие могут исследователи, научные руководители и преподаватели в области машинного обучения. Премия вручается за исследования в следующих направлениях: — компьютерное зрение, — обработка естественного языка и машинный перевод, — распознавание и синтез речи, — информационный поиск и анализ данных, — генеративные модели. География премии охватывает 11 стран. Подать заявку на соискание премии могут исследователи и преподаватели из России, Азербайджана, Армении, Беларуси, Казахстана, Кыргызстана, Молдовы, Таджикистана, Туркменистана, Узбекистана и Сербии. Лауреаты Yandex ML Prize получат денежные призы от 500 тысяч до 1 млн рублей, гранты от Yandex Cloud для использования сервиса в своих исследованиях, а также подписки на Яндекс 360 и Плюс Мульти. Больше информации по ссылке. Реклама. ООО «Яндекс»
13 10月 2023, 09:02
13 10月 2023, ~11:32

📊 Perspective Perspective - это инструмент интерактивной аналитики и визуализации данных, который особенно хорошо подходит д
📊 Perspective Perspective - это инструмент интерактивной аналитики и визуализации данных, который особенно хорошо подходит для работы с большими и/или потоковыми наборами данных. С его помощью можно создавать настраиваемые отчеты, информационные панели, блокноты и приложения, а затем развертывать их отдельно в браузере или совместно с Python и/или Jupyterlab. • Github • Проект @data_analysis_ml
13 10月 2023, 07:18

🖥 Feature engineering и кластерный анализ клиентов на PySpark. BigData плотно входит в нашу жизнь. Датасеты растут и постоянно изменяются, что усложняет задачу кластеризации клиентов. Обычно для задач кластеризации используется библиотека Sklearn, но с большим объёмом данных её использовать не получиться. Spark позволяет реализовать параллельные вычисления на кластерах и имеет в составе своего фреймворка библиотеку машинного обучения MLlib. В случае больших данных, когда привычные инструменты отказываются работать с такими объёмами, PySpark приходит на выручку. При этом, прежде чем запустить алгоритмы машинного обучения на вашем датасете, необходимо подготовить данные и провести feature engineering, а это достаточно трудозатратная задача, но в то же время необходимая, так как от этого этапа во многом зависит качество конечного результата. Данный этап также необходимо делать на PySpark, опять-таки из-за объёма данных. Перед нами стояла задача анализа массива данных заёмщиков физических лиц – злостных неплательщиков кредитов, дела по которым уже направлены в суд. Этот массив необходимо было разбить на блоки (кластеры). Цель кластерного анализа – понять, какие группы по общим признакам можно выделить, и в дальнейшем разработать для каждой группы индивидуальную тактику взыскания, и, возможно, найти пути улучшения методологии скоринга. 1. Подготовка данных 1.1. Идеи Подготовка данных – этап, предшествующий анализу и требующий хорошего понимания предметной области. Предобработка осуществляется если не руками самого эксперта в этой области, то в очень тесном с ним сотрудничестве. Останавливаться на предварительной подготовке данных долго не будем, поскольку общих рекомендаций здесь не выработать, только кратко отметим основные моменты, которые мы произвели с нашим датасетом и которые отличаются от классической борьбы с отсутствующими значениями. Выбирали признаки, которые: • непосредственно характеризуют именно самого заёмщика, а не кредитный продукт, не договор и прочее; • имеют значение до выхода на просрочку (то есть, например, данные по процедурам взыскания в анализ не берём, так как хотим разобраться в причинах, которые к этому привели). Убрали признаки: • дублирующие друг друга по существу (например, остаток основного долга (ОД) в валюте и остаток ОД в рублях – достаточно оставить только один показатель); • по которым слишком много вариантов (например, 100-200 значений для признака «должность на месте работы»). В результате предобработки датасета количество исходных данных существенно сократилось. В исходном датасете количество признаков достигало 191, после чистки на основе описанных выше идей их осталось 43. Среди них: • признаки, связанные с первым кредитным договором: вид кредитования, срок кредита, признак реструктуризации, дата выдачи кредита, ставка, валюта и т.д.; • числовые признаки (итого по всем договорам): сумма обеспечения, сумма общей задолженности в рублях, сумма погашений по основному долгу; • признаки — индивидуальные характеристики заёмщика: пол, возраст, резидентство, признак vip, наличие заграничного паспорта, категория надёжности, данные, связанные с рабочей деятельности, данные, связанные с собственностью и т.д. 1.2 Реализация на PySpark После импорта необходимых библиотеки и создания сессии Spark, входной точки каждого PySpark приложения, загружаем исходные данные и подготовленный совместно с экспертом список признаков в объекты Spark DataFrame. DataFrame – одна из двух абстракций массива данных в Spark (вторая абстракция — RDD), которая предоставляет более высокоуровневое API (по сравнению с RDD). Метод загрузки данных зависит от формата файла (в рассматриваемом примере CSV, но может быть JSON, ORC, Parquet и др.). Далее на основе списка признаков из исходного датасета отбираем нужные колонки. Затем группируем полученный массив данных по идентификатору заёмщика, при этом для колонок с числовыми значениями данные суммируем, а для колонок с категориальными значениями оставляем только первое значение. 📌 Читать @data_analysis_ml
12 10月 2023, 15:41

⚡️ Яндекс продолжает прием заявок на научную премию в области машинного обучения Yandex ML Prize — это премия для ML-исследователей, их наставников и преподавателей из 11 стран. Наградят в этом году за достижения в сферах: — распознавание и синтез речи; — компьютерное зрение; — информационный поиск и анализ данных; — обработку языка и машинный перевод — генеративные модели Кандидаты могут подать заявку сразу в несколько номинаций — от «Первой публикации» до «Лучшего молодого научного руководителя». Единственное условие для исследователей — наличие публикаций или докладов, в том числе постера, на конференции A* или A за 2022–2023 гг. А для научных руководителей — более 5 студентов с такими публикациями.  🏆 Победители получат от 500 тысяч рублей, грант на использование сервиса Yandex Cloud для исследований и подписку на Яндекс 360. Не пропустите шанс заявить о себе научному сообществу — подать заявку можно до 16 октября по ссылке. Реклама. ООО «Яндекс»
12 10月 2023, 13:41
20 10月 2023, ~11:54

Cleanlab 🚀 Всего за 3 строки кода эта библиотека с открытым исходным кодом может очистить любой датасет! Вы можете: - удалят
+1
Cleanlab 🚀 Всего за 3 строки кода эта библиотека с открытым исходным кодом может очистить любой датасет! Вы можете: - удалять выбросы - находить ошибки в данных - выявлять дубликаты - проводить активное обучение - строить распределения - И многое другое ... Cleanlab разработана специалистами Массачусетского технологического института и работает на основе нового алгоритма под названием Confident Learning! На картинке 2 приведено упрощенное объяснение этого алгоритма! Библиотека работает с: - Любыми данными (текст, изображения, таблицы, аудио и т.д.) - Любые задачи ML (классификация,, распознавание, работа с LLM и многое другое ...) • Github @data_analysis_ml
12 10月 2023, 06:19

Большие датафреймы могут потреблять значительные объемы памяти. Если обрабатывать #данные небольшими фрагментами, то можно из
Большие датафреймы могут потреблять значительные объемы памяти. Если обрабатывать #данные небольшими фрагментами, то можно избежать нехватки памяти и получить доступ к данным быстрее. В приведенном примере кода используется chunksize=100000, что работает примерно в 5495 раз быстрее, чем без использования chunksize. #tips #datascience #junior @data_analysis_ml
11 10月 2023, 07:13

✅ A/B тестирование: как сделать правильный выбор? А/В-тестирование – это метод, который используется для сравнения двух версий переменной, например, дизайна сайта при маркетинговом исследовании с целью выявления лучшей версии. Это критически важный метод исследования в Data Science, который часто используется различными организациями при принятии решений с целью оптимизации существующего продукта и максимизации прибыли. Представлю, что компания, продающая мебель, хочет увеличить число кликов по баннеру «Мебель на заказ». Они значительно изменили дизайн сайта для этой цели. К сожалению, не существует способов предсказать, как именно изменится поведение людей на обновленном сайте по сравнению со старой версией. А/В-тестирование может помочь, например, измерить разницу в конверсии между двумя версиями сайта и сказать, является ли эта разница статистически значимой. Нулевая гипотеза в рамках А/В-тестирования – предположение о том, что разницы между версиями сайта А и В в действительности нет, а все наблюдаемые различия обусловлены случайностью. Моя задача в ходе А/В-тестирования – опровергнуть нулевую гипотезу. Альтернативная гипотеза в рамках А/В-тестирования утверждает, что версии сайта А и В различны с точки зрения поведения пользователей. Уровень значимости – это порог вероятности для определения того, являются ли результаты эксперимента статистически значимыми. Чаще всего уровень значимости устанавливается равным 0,05. Это значит, что моё утверждение о значимости результата будет справедливо на 95%. Чем ниже выбранный уровень значимости, тем ниже риск того, что будет обнаружена разница, вызванная случайностью. P—value – это вероятность наблюдения данного результата при условии, что нулевая гипотеза верна. Если p-value меньше, чем уровень значимости (α), то отвергается нулевая гипотеза в пользу альтернативной (то есть результаты являются статистически значимыми). Например, при уровне значимости 0,05 p-value должна быть меньше 0,05 для признания результатов эксперимента статистически значимыми. Доверительный интервал – интервал значений, в котором, с вероятностью (1- α), лежит истинное значение переменной. Доверительный интервал является оценкой возможных значений переменной в зависимости от её стандартного отклонения. Статистическая мощность – вероятность отклонения нулевой гипотезы в случае, если альтернативная гипотеза верна. Обычно статистическая мощность теста устанавливается равной 0,8. Это значение используется для вычисления размера выборки, необходимой для подтверждения гипотезы с необходимой силой эффекта. Организация эксперимента Для проведения А/В-теста требуется разделить всех пользователей на две группы: одна группа будет видеть старый дизайн сайта, а другая – новый. Пользователи распределяются между группами случайным образом. Как правило, группу, которой показывают новый дизайн сайта (В), называют тестовой, а группу, которой показывают старый дизайн (А) – контрольной. Целевая метрика – CTR, то есть количество кликов на баннер, делённое на количество показов. Буду сравнивать среднее значение метрики CTR для контрольной и тестовой групп. Предположу, что в контрольной группе среднее значение метрики составляет 12%, а в тестовой – 14%. Если среднее значение метрики в тестовой группе выше, чем в контрольной, то означает ли это, что дизайн сайта В лучше дизайна сайта А? Ответ: нет. Необходимо показать, что результаты А/В-теста статистически значимы. Это означает, что различие в версиях наблюдается не случайно и не обусловлено какой-либо ошибкой. Проверить это можно с помощью статистических тестов. Не буду заниматься сбором данных в рамках данной публикации. Буду анализировать данные, взятые из датасета с Kaggle. Скачать его можно здесь. 📌 Читать дальше @data_analysis_ml
10 10月 2023, 13:03

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшее мероприятие: • 16-20 октября — Fast Track для технических менеджеров, офер за 5 дней в команду Crowd. Зарегистрироваться Реклама. ООО "Яндекс". erid:2Vtzqv5JoPP
10 10月 2023, 11:03
18 10月 2023, ~09:59

📊 Pmdarima Для достижения функциональности, аналогичной auto.arima в R, в рамках scikit-learn-подобного интерфейса, использу
📊 Pmdarima Для достижения функциональности, аналогичной auto.arima в R, в рамках scikit-learn-подобного интерфейса, используйте Pmdarima. Pmdarima - это статистическая библиотека, для анализа временных рядов на Python. #Python #DataScience • Github @data_analysis_ml
10 10月 2023, 07:21

Samokat.teсh & Systems.Education Meetup — cистемный анализ и проектирование в e-commerce Когда: 20 октября (пятница), 18:00 –
Samokat.teсh & Systems.Education Meetup — cистемный анализ и проектирование в e-commerce Когда: 20 октября (пятница), 18:00 – 21:30 по Мск Где: г. Москва, Овчинниковская набережная, 18/1 стр. 2 + онлайн-трансляция Приходите послушать спикеров из Samokat.tech, Systems.Education и ИТ-интегратора AWG про особенности работы системных аналитиков и архитекторов в быстрорастущих и высоконагруженных проектах e-commerce. После докладов — присоединяйтесь к дискуссии на круглом столе! В программе: 1️⃣ Почему аналитик не может быть кроссдоменным координатором? — Анастасия Тарасова, старший системный аналитик в Samokat.teсh 2️⃣ Проектирование системы от нефункциональных требований — Евгений Скориков, главный архитектор в AWG 3️⃣ Круглый стол с экспертами Темы: матрица компетенций, проектирование сквозных процессов, использование 🗓Вig Data в проектах. Модератор: Юрий Куприянов, ведущий эксперт по системному анализу и проектированию Systems.Education 👉 Регистрация и чат митапа Реклама ООО «Умное пространство» ИНН 7811554010 erid: LatgC5xRf
10 10月 2023, 05:20
17 10月 2023, ~05:42