Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 581,并在 俄罗斯 地区排名第 11 797 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
⚡ Event-Driven Declarative Orchestrator
Популярные библиотеки оркестровки потоков операций по обработке данных, такие как Airflow, требуют написания Python-кода для использования их возможностей, что усложняет код и затрудняет работу с проектом.
Чтобы отделить код data science от логики оркестровки, используйте библиотеку Kestra.
▪Github
▪Демо
@data_analysis_ml
Как подготовить IT-инфраструктуру к бизнес-сезону вместе с сервисами для Kubernetes
Совсем скоро наступит осень, а значит, для компаний начнется жаркая пора — и в это время как никогда нужно быть уверенными в отказоустойчивости и надежности своей инфраструктуры. Решить эту проблему поможет переход на микросервисную архитектуру на базе кластеров Kubernetes. Благодаря этой методологии вы сможете выстроить гибкую и масштабируемую инфраструктуру для быстрого запуска новых продуктов на рынке.
Кстати, 29 августа в 11:00 состоится вебинар про Kubernetes от команды провайдера облачных и AI-технологий Cloud․ru.
В прямом эфире эксперты расскажут о:
😶🌫️преимуществах и сценариях применения сервиса для управления кластерами Kubernetes;
😶🌫️способах настройки сетевых доступов внутри кластеров Kubernetes;
😶🌫️вариантах настройки безопасного контура внутри кластера в облаке на примере реального приложения.
Всем зарегистрированным участникам встречи будет доступна запись вебинара.
😶🌫️Зарегистрироваться на вебинар: https://sc.link/1Ieu
😶🌫️Подписаться на Телеграм канал: @cloudruprovider
🔍 Выявление неявных связей при анализе графов или как увидеть незримое
Неявные связи в графах. Что это и как с ними работать, разберу на примерах.
Граф — множество узлов, объединенных множеством ребер.
С узлами все понятно, взяли города России, клиентов банка или компьютеры в сети, и получили множество объектов, которые и будут узлами для графа.
Что же с ребрами? На первый взгляд все просто: города соединены дорогами, клиенты совершают переводы денежных средств, а компьютеры постоянно обмениваются информацией. Все, что было перечислено, относится к явным типам связей.
Существует факт взаимосвязи между объектами: если дороги нет, то ребро между узлами отсутствует.
Что же относится к неявным связям? Неявные связи сложнее, они могут зависеть от явных связей или же быть самостоятельными.
Например, возьмем двух людей, которые работают на абсолютно разных работах, живут в разных концах города. На первый взгляд, они не имеют ничего общего, но при этом они оба по выходным приходят на матч любимой команды – это и есть неявная связь.
Теперь перейдем к практическому примеру.
Есть 2 файла:
◾️Данные о мошенниках, их номерах телефонов, а также периоды их активности;
◾️Данные о клиентах и номерах телефонов с периодами активности.
◾️Данные с номерами телефонов сложно найти в открытом доступе, придется сгенерировать их самостоятельно. Код для генерации необходимых данных расположен по ссылке.
Следующим этапом будет создание графа. Для этой задачи понадобятся следующие python-библиотеки:
▪️Pandas – для работы с файлами;
▪️NetworkX – для создания графа связей, его визуализации;
▪️Matplotlib и Numpy – нужны для настройки визуализации графа;
▪️Datetime – для операций над временными данными.
Перед созданием графа взглянем на данные, с которыми нам предстоит работать.
Описание данных:
📍index – id клиента / мошенника;
📍numbers – номер телефона;
📍Date_start – начало периода активности;
📍Date_end – окончание периода активности.
➡️ Продолжение
@data_analysis_ml
Что-то не джойнится, половины данных нет, АБ тест запустили криво, дашборд сломался. Рано или поздно каждый аналитик сталкивается с такими проблемами. О таких и многих других кейсах в своем канале рассказывает аналитик - Юрий Борзило
В канале есть много клевых материалов:
1 Подборки:
💎 Подборка материалов по АБ тестам
💎 Подборка курсов по инструментам аналитика
💎 Подборка комплексных курсов по аналитике
2 Про работу аналитиком:
💎 Как ставить задачи аналитику
💎 Почему LTV плохая метрика
💎 Базовая схема сквозной аналитики
Кроме полезнях в канале полно прикольных мемасов про анализ данных. Немколько рандомных мемасов: тык1, тык2, тык3
Ссылка на канал Юрия
👩🎓Получаем степень в области Data Science с лучшими бесплатными курсами.
📂 Python:
http://cs50.harvard.edu/python/2022/
📂 Machine Learning:
http://developers.google.com/machine-learning/crash-course
📂 Deep Learning
http://introtodeeplearning.com
📂 Data Analysis
http://pll.harvard.edu/course/data-analysis-life-sciences-4-high-dimensional-data-analysis
📂 Линейная Алгебра
http://pll.harvard.edu/course/data-analysis-life-sciences-2-introduction-linear-models-and-matrix-algebra
📂 Excel и PowerBI
http://learn.microsoft.com/training/paths/modern-analytics/
📂 Визуализация данных:
http://pll.harvard.edu/course/data-science-visualization
📂 PowerBI
http://learn.microsoft.com/users/collinschedler-0717/collections/m14nt4rdwnwp04
📂 Tableau:
http://tableau.com/learn/training
📂 Statistics:
http://cognitiveclass.ai/courses/statistics-101…
📂 SQL:
http://online.stanford.edu/courses/soe-ydatabases0005-databases-relational-databases-and-sql
@data_analysis_ml
Как устроены ChatGPT, Siri, Алиса и Маруся — и какие навыки нужны, чтобы запускать такие продукты?
Узнайте у Владимира Васильева, руководителя направления из Сбера, разрабатывающего русскую версию ChatGPT.
Регистрируйтесь на бесплатный онлайн-практикум от ТГУ и Skillfactory 29 августа в 17:00 мск.
За 1,5 часа вы:
— Изучите ключевые задачи и навыки для работы с NLP;
— Погрузитесь в мировые тренды развития анализа естественного языка;
— Поймете с чего начать карьеру в NLP.
Регистрация по ссылке БЕСПЛАТНО: https://go.skillfactory.ru/&erid=2VtzquoArT1
Реклама ООО "Скилфэктори", ИНН 9702009530
☝️Низкое качество #данных может привести к неверным выводам и плохой работе модели.
pandera предоставляет гибкий и удобный API для выполнения проверки данных на объектах типа
dataframe, чтобы сделать конвейеры обработки данных более читаемыми и надежными.
▪Github
▪Документация
@data_analysis_mlБесплатный практический интенсив, после которого вы точно разберётесь в статистике
А всё потому что его проведёт Анатолий Карпов — тот самый автор «основ статистики», благодаря которым статистику поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses.
Что будет на интенсиве:
• Узнаете, как спланировать исследование
• Проанализируете данные A/B-теста
• Поймёте что значат статистически значимые различия и при чём тут ошибка выжившего
Задачи будут как для начинающих, так и для специалистов с опытом, поэтому будет интересно и полезно всем.
Встречаемся 24 и 25 августа в 19:00
Зарегистрируйтесь на интенсив и получите гид по старту карьеры в Анализе данных: https://karpov.courses/analytics-intensive
🔥 Применение эффективного асинхронного web-парсинга при работе с Bigdata
Парсинг или веб-скрапинг — это автоматизированный сбор и структурирование информации из открытых источников при помощи специальной программы, называемой парсером. Технически получить доступ к открытой информации можно с помощью API, но как правило доступ ограничен или требует вложения денежных средств.
Рассмотрим принцип работы парсинга. Данный процесс происходит в несколько этапов:
1. Отправка HTTP-запроса на сервер.
2. Поиск необходимых данных.
3. Трансформация полученных данных.
При отправке HTTP-запроса на сервер у нас есть два варианта:
• отправить запрос и ждать, пока сервер даст ответ (синхронный запрос);
• отправить запрос и продолжить работу. Когда данные будут получены, программа вызовет функцию обработчик события (асинхронный запрос).
У каждой из представленных реализаций есть свои плюсы и минусы. Так, например, асинхронный запрос значительно увеличивает производительность кода, поскольку позволяет обрабатывать несколько запросов одновременно, но его довольно сложно реализовать. В свою очередь, синхронный запрос прост в разработке и отладке, но имеет низкую эффективность за счёт последовательной отправки HTTP-запросов.
Основные проблемы парсинга
Парсинг, как и любая технология, сталкивается с рядом проблем. Перечислим наиболее актуальные:
• блокировка доступа к данным: использование CAPTCHA, блокирование IP-адресов и другое;
• скорость выполнения: большой объем данных требует много ресурсов и времени;
• сложность обработки ошибок: ошибки соединения, ошибки синтаксиса и другие;
• работа с динамическим контентом: необходимо разрабатывать специальные инструменты для анализа сайтов, использующих технологии ajax и javascript.
Реализация парсера на основе Beautiful Soup. Обзор возможностей.
Beautiful Soup — это библиотека Python для извлечения данных из файлов форматов HTML и XML. Beautiful Soup (или BS4) использует DOM-модель (Document Object Model) для трансформации и извлечения данных.
Основными возможностями BS4 являются:
• поиск элементов на странице по тегу, классу, id и другим атрибутам;
• извлечение текста и атрибутов элементов;
• навигация по дереву элементов страницы;
• манипуляции с HTML-кодом, такие как добавление, удаление или изменение элементов.
Для извлечения данных из HTML-кода необходимо использовать конструктор BeautifulSoup(), который принимает два аргумента: разметку (HTML-код) и анализатор (необходим для обработки HTML-кода). BS4 поддерживает различные библиотеки для синтаксического анализа, включая стандартные html.parser, а также более быстрые, такие как lxml и html5lib. В нашем случае будем использовать lxml. Также, для отправки запросов на сайт воспользуемся библиотекой requests.
Реализация кода на базе Beautiful Soup
Для начала установим и импортируем библиотеки.
# установка
pip install beautifulsoup4
pip install requests
pip install lxml
# импорт
from bs4 import BeautifulSoup
import requests
📌 Продолжение
@data_analysis_ml🖥 AutoScraper: Умный, автоматический, быстрый и легкий веб-парсер на Python
Если вы хотите автоматически спарить веб-сайт в нескольких строках кода на #Python, попробуйте autoscraper.
С помощью autoscraper можно извлекать элементы с определенными шаблонами, просто предоставив текст с этим шаблоном.
$ pip install autoscraper
▪Github
@pythonlData Science — наука о данных, включающая инструменты и технологии, которые помогают обрабатывать большие массивы информации и обучать нейросети. На бесплатном мини-курсе вы узнаете, где востребован Data Science, как работают и сколько получают специалисты этой сферы. На практике познакомитесь с языками Python и SQL, нейросетями и визуализацией данных.
Забудьте о затянутых лекциях и медленном старте в карьере. Мы знаем, как ценно время, поэтому предлагаем интенсивный мини-курс, который поможет быстро познакомиться с необходимыми навыками.
👉 Зарегистрируйтесь прямо сейчас и получите полезный материал «Как пользоваться ChatGPT и Midjourney»: https://epic.st/niIky
В программе:
📌 Профессии в Data Science и язык Python.
📌 ML Engineer — пишем нейросеть для подбора новостных статей.
📌 Data Engineer — знакомимся с языком запросов SQL.
📌 Data Analyst — учимся визуализировать данные.
Кому полезен мини-курс:
— Тем, кто хочет влиться в IT. Познакомитесь с одним из самых востребованных IT-направлений и узнаете, как начать работать в Data Science, в том числе удалённо.
— Тем, кто интересуется Data Science. На практике познакомитесь с основными направлениями и выполните несколько практических заданий, чтобы решить, какая специальность вам ближе.
Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880
🟡 Дайджест полезных материалов из мира : Data Science за неделю
Почитать:
— Опыт работы с данными или с чем может столкнуться аналитик
— Кто, как и ради чего создаёт онлайн-образование в IT-сфере: истории пяти экспертов
— Тестирование грамматики Llama Cpp, основанной на ограничениях выборки
— 2 ВИЗУАЛИЗАЦИИ, КОТОРЫЕ ЛЕГЧЕ С ПИТОНОМ (по сравнению с TABLEAU)
— Как получить real-time данные смарт-контракта, используя The Graph (пишем свой сабграф)
— Apache Spark 3.4 для Databricks Runtime 13.0
— ML-искусство переживать проблемы: как избегать разочарований и находить аналоги товаров в периоды out-of-stock
— Enhancing Database Performance: In-Depth Query Optimization with ApacheAGE
— Step by step guide to becoming a Data Scientist in 2023
— Visual Language Processing: Bridging Vision and Language with Transformers
— Guia Avançado do Método `merge` no Pandas com Exemplos
— 8 Completely FREE Big Data Resources
— CV-based self-diagnosis telemedicine application
— A Powerful Tool for Data Engineers: Apache Doris 2.0.0 is Production-Ready!
— Embracing Modularity: Template for Structuring Machine Learning Projects
— ⛏ Get Mining into Data with These Top 5 Resources
— Python Data Type
Посмотреть:
🌐 Универсальный рецепт по написанию и аннотированию декораторов Python.
🌐 NVIDIA Omniverse: Virtual Worlds Come Alive
🌐 Lightning Interview "Hands-On Generative AI Applications"
Хорошего дня!
@data_analysis_ml
🖥 Контроль за дрейфами предсказательных моделей и Popmon
Для решения задачи мониторинга данных в голландском банке ING была разработана библиотека Popmon для Python, название которой является сокращением от «population monitoring» — «наблюдение за популяцией».
В качестве датасета для демонстрации я буду использовать данные ежедневных замеров метеорологических сенсоров с 1961 по 1978 год: показания трех датчиков, минимальная и максимальная температура воздуха, минимальная температура травы, количество осадков и скорость ветра. Целью датасета является предсказание скорости ветра. Источник находится здесь.
Данная библиотека позволяет найти отклонения по входным и выходным данным в датасетах. Также имеется возможность провести сравнительный анализ датасета на основе статистики из другого.
Popmon умеет работать с датафреймами из библиотек Pandas и PySpark. В целях демонстрации я буду использовать Pandas.
▪Читать дальше
▪Github
@data_analysis_ml
«Easy Report: российский BI, применяющий ИИ для общения с данными»
24 августа приглашаем на вебинар, на котором поговорим про ИИ, NLP в BI и поделимся опытом внедрения BI-системы в крупнейших компаниях РФ.
Что будет на вебинаре
➡️ Зачем нужны ИИ и NLP в BI? Поделимся опытом от практиков, которым удалось создать работающую систему.
➡️ Кейсы применения BI-решения с ИИ. Реальные кейсы внедрения BI-системы в крупнейших компаниях РФ (ритейл, FMCG, строительство, фармацевтика).
➡️ Магия Как работает Easy Report
- формирование отчетов "на лету" по запросу на естественном языке
- подключение к источникам в различных режимах: с кэшированием данных и без
- создание гетерогенной модели данных (Excel + Таблица в БД) и расчетных показателей
Спикеры:
Юрий Ефаров - CEO Easy Report, генеральный директор Sapiens solutions (в ТОП-15 поставщиков аналитических решений в РФ)
Игорь Пантелеев - Соучредитель и CTO Easy Report, более 5 лет внедряет модули NLP в проекты
Регистрация по ссылке.
🗓 24 августа, 11:00 мск • Онлайн
✔ Redis Explained
Глубокое техническое погружение во все тонкости Redis.
В статье рассматриваются различные топологии Redis, персистентность данных и форкинг процессов.
Отличная иллюстрированная статья для глубокого понимания Redis.
▪Читать
@data_analysis_ml
Яндекс уже применяет нейросеть YandexGPT в браузере и в Алисе, голосовом помощнике. Какие профессии нужны, чтобы нейросеть становилась умнее, и как отбирают данные для обучения — расскажут сотрудники, работающие над YandexGPT.
→ Бесплатно, 21 августа в 19:00 Мск
Наши спикеры:
◾️Николай Зинов
Руководитель группы YaLM Alignment в Яндексе
◾️Ирина Барская
Руководитель службы аналитики и исследований в Яндексе
Вы узнаете:
— что такое нейросетевые языковые модели;
— как модель предобучают на гигантском наборе текстов, а затем учат делать то, что попросит человек;
— кто в этом участвует: разработчики, аналитики и другие специалисты;
— как аналитики собирают данные и почему эти данные так важны.
→ Зарегистрируйтесь на вебинар
Реклама АНО ДПО "Образовательные технологии Яндекса", ИНН:7704282033, erid:LjN8JvPzS
Эмбеддинг - это как переводчик, преобразующий слова в числа, чтобы алгоритмы могли их понять.
Chroma позволяет легко создавать эмбеддинги из документов и находить похожие результаты, используя всего нескольких строк кода.
▪Github
▪Colab
@data_analysis_ml
Хотите выйти на новый уровень в аналитике данных?
Научитесь всему необходимому для решения своих рабочих задач на курсе «Аналитик данных» от школы karpovꓸcourses. Вы не только изучите теорию — на практических кейсах вы сможете отточить навыки работы со всеми актуальными инструментами для анализа данных.
Обучение построено на реальных задачах индустрии и проходит в формате буткемпа, когда максимум знаний даётся за минимальный срок. Преподаватели — специалисты с опытом работы в топовых IT-компаниях.
Записывайтесь на следующий поток: https://karpov.courses/analytics
Кстати, сейчас на курс скидка, а по промокоду DATA44ML для вас действует дополнительная скидка 5% до 31 августа.
⚡ Data Cleaning and Preprocessing for data science beginners
В этом руководстве рассмотрены все важнейшие этапы с примера кода по очистке и предварительной обработке данных.
В книге описано, как качество данных может напрямую влиять на эффективность прогностических моделей и выводы, которые можно сделать на основе проведенного анализа. Понимание этих основополагающих процессов позволит превратить беспорядочные данные реального мира в золотую жилу надежных выводов.
📚Скачать книгу
@data_analysis_ml
💣 Научитесь создавать рекомендательные системы для контента
📌 Приходите 24 августа в 20:00 (мск) на открытый урок «Векторизация текстов для практических задач» в рамках курса «Natural Language Processing» от OTUS!
✅ Что будем делать:
— Обсудим, как можно получать векторы текстов и использовать их в практических целях;
— Узнаем, как быстро сделать рекомендательную систему для текстов;
— Рассмотрим похожие статьи на основе тематического моделирования, экстрактивной суммаризации и векторизации FastText;
— Поищем похожие товары на основе векторизации TF-IDF;
— Обсудим векторизацию текстов архитектурой BERT.
👉 В результат вы узнаете, как эффективно подбирать похожие по смыслу и тематике тексты.
💻 Успейте зарегистрироваться по ссылке https://otus.pw/18KH/ , количество свободных слотов на регистрацию ограничено.
Нативная интеграция информация о продукте www.otus.ru
