Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 907 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 907 名订阅者。
根据 17 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 389,过去 24 小时变化为 -16,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.71%。内容发布后 24 小时内通常能获得 8.49% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 077 次浏览,首日通常累积 4 406 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 173。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 18 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 907
订阅者
-1624 小时
-507 天
+38930 天
帖子存档
📊 «Представление информации»: базовые правила визуализации данных
Рассказываем о самых важных принципах дизайнерской работы с инфографикой.
Работа с данными требует точности и педантичности. Даже из-за неправильного выбора цвета или ошибочной сортировки вся инфографика может испортиться, а читатель уйдёт с неправильными выводами.
В книге «Представление информации» Тафти на реальных примерах разбирает ошибки в визуализации данных и формулирует принципы, которые помогут вам сделать инфографику понятной.
Издательство — Graphics Press.
Эдвард Тафти — американский статистик и член Американской статистической ассоциации. Благодаря своим книгам и публикациям о представлении информации считается одним из основоположников информационного дизайна. В своих книгах он рассказывает об удачных инфографиках и аргументированно критикует плохие.
Рассказываем о принципах из книги «Представление информации»: почему данные не нуждаются в декорациях, как использовать информационные слои и как количество информации может влиять на эмоции человека.
➡️ Читать дальше
📓 Handbook of Data Visualization
@data_analysis_ml
14 8月 2022, 07:00
📃 Классификация текста с использованием моделей трансформеров
Модели трансформеров на данный момент являются state-of-the-art решениями в мире обработки естественного языка. Новые, более крупные и качественные модели появляются почти каждый месяц, устанавливая новые критерии производительности по широкому кругу задач. В данной статье мы будем использовать модель трансформера для бинарной классификации текста.
Для работы с текстом существует большое количество решений. Самая простая и популярная связка – TF-IDF + линейная модель. Данный подход позволяет обрабатывать и решать языковые задачи без особых затрат вычислительных ресурсов. Однако процесс использования такой связки требует дополнительных операций: чистка, лемматизация. В случае с BERT можно (даже нужно) опустить препроцессинг и сразу перейти к токенизации и обучению. Помимо дополнительных шагов, линейные модели часто выдают некорректные результат, так как не учитывают контекст слов. Понимание контекста является главным преимуществом трансформеров. На входе имеются обращения пользователей на различные темы. Необходимо обучить модель находить обращения с жалобой на сотрудника или другими словами – бинарная классификация
➡️ Читать дальше
@data_analysis_ml
13 8月 2022, 11:52
Многих молодых аналитиков, и не только их, работа с исследованиями уводит в темные дебри поиска проблем, планирования, итераций, выводов, а про презентацию результатов и вовсе забывают. Самое досадное случается, когда все потраченные усилия уходят «в стол». И это далеко не редкость для бизнеса.
В последнем кейсе на Хабре аналитик из Delivery Club поделился подходом их команды по работе с исследованиями. Из статьи вы узнаете, почему так важен подготовительный этап, а в конце вас ждет чек-лист основных действий.
12 8月 2022, 02:55
📋 Собеседование в области науки о данных: 7 распространенных ошибок
Наука о данных — одна из самых быстрорастущих областей в технологической индустрии. Если вы постоянно получаете отказы после собеседований, постарайтесь выявить свои “слабые места” и поработать над ними. Данная статья вам в этом поможет.
Материал написан на основе собеседований с более чем 70 кандидатами на различные должности в области науки о данных и МО.
➡️ Читать дальше
@data_analysis_ml
11 8月 2022, 09:07
Попробуйте себя в практической разработке — создайте собственный продукт на Python! Участвуйте в онлайн-интенсиве по программированию с 15 по 17 августа в 21:00 по московскому времени и попробуйте себя в сфере IT!
Успейте записаться бесплатно: 🔜 https://clc.to/GcRF4Q
Зарплата специалистов Python с опытом работы 1–3 года, по данным HeadHunter, достигает 250 000 рублей.
За 3 дня вы научитесь:
— понимать основы сетевого ПО;
— разбираться в различных типах данных, структурах, функциях и ООП;
— программировать клиентскую часть для подключения и передачи сообщений;
— разрабатывать сервер для прослушивания подключений;
— работать с библиотеками PyQT, Kivy, wxWidgets, Тkinter;
— создавать форму через Qt Designer.
Спикер интенсива — специалист, который 17 лет работает в области разработки высоконагруженных систем, обработки больших данных и машинного обучения, Михаил Овчинников.
🎁 Всем, кто зарегистрируется, отправим статью с полезными скриптами на Python «Экспекто Питонум: 10 заклинаний на змеином языке». А тем, кто дойдёт до конца интенсива, — электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ.
⭐️ Подключайтесь, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox.
11 8月 2022, 07:01
💪 Colossal-AI инструмент, который упрощает инженерные задачи обучения нейронных сетей для исследователей данных
Архитектура Transformer улучшила производительность моделей глубокого обучения в таких областях, как компьютерное зрение и обработка естественного языка. Вместе с лучшей производительностью приходят и большие размеры моделей. Это создает проблемы производительности аппаратного обеспечения. Не разумно тренировать большие модели, такие как Vision Transformer, BERT, GPT, на одном графическом процессоре или одной машине. Существует острая потребность в обучении моделей в распределенной среде. Однако распределенное обучение, особенно параллелизм моделей, часто требует знаний в области компьютерных систем и архитектуры. Для исследователей ИИ остается сложной задачей внедрение сложных распределенных обучающих решений для своих моделей. В этой статье рассмотрим систему Colossal-AI, которая представляет собой единую параллельную обучающую систему, предназначенную для плавной интеграции различных парадигм методов распараллеливания. Она позволяет исследователям данных сосредоточиться на разработке архитектуры модели и отделяет проблемы распределенного обучения от процесса разработки.
➡️ Читать дальше
⚙️ Github
@data_analysis_ml
11 8月 2022, 05:05
На картинке 12 терминов. Сколько из них вы можете объяснить?
Если больше 10 - то вы молодец ✔️
Если меньше - то есть риск не вписаться в новую реальность ❌
Всё поправимо. Достаточно 2 минуты в день читать этот канал, который ведут инсайдеры из крупнейших российских компаний и ведомств, и вы быстро войдёте в курс необходимых в 2022 году знаний о цифровой трансформации. Как минимум, сможете блеснуть на собеседовании. Как максимум - сможете перезапустить бизнес.
А ещё там подписчикам раздают чек-листы по цифровизации и топовые книги.
Подписывайтесь по этой ссылке: https://t.me/cdo2day.
11 8月 2022, 03:00
14 8月 2022, ~06:42
Попробуйте себя в практической разработке — создайте собственный продукт на Python! Участвуйте в онлайн-интенсиве по программированию с 15 по 17 августа в 21:00 по московскому времени и попробуйте себя в сфере IT!
Успейте записаться бесплатно: 🔜 https://clc.to/GcRF4Q
Зарплата специалистов Python с опытом работы 1–3 года, по данным HeadHunter, достигает 250 000 рублей.
За 3 дня вы научитесь:
— понимать основы сетевого ПО;
— разбираться в различных типах данных, структурах, функциях и ООП;
— программировать клиентскую часть для подключения и передачи сообщений;
— разрабатывать сервер для прослушивания подключений;
— работать с библиотеками PyQT, Kivy, wxWidgets, Тkinter;
— создавать форму через Qt Designer.
Спикер интенсива — специалист, который 17 лет работает в области разработки высоконагруженных систем, обработки больших данных и машинного обучения, Михаил Овчинников.
🎁 Всем, кто зарегистрируется, отправим статью с полезными скриптами на Python «Экспекто Питонум: 10 заклинаний на змеином языке». А тем, кто дойдёт до конца интенсива, — электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ.
⭐️ Подключайтесь, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox.
11 8月 2022, 03:00
11 8月 2022, ~03:16
🦾 Динамика в деле: интерактивные графики в Dash.
Фреймворк Dash позволяет создавать веб-приложения с визуализацией различной информации, в частности – графиков. Несомненно, такая функция фреймворка очень полезна для специалиста по анализу данных.
Dash в основном использует «под капотом» Plotly.js (построение диаграмм), Flask (веб-сервер) и React (веб-интерфейс). Вам не нужно разбираться в этих технологиях, чтобы успешно применять Dash в своей работе, достаточно просто иметь базовые знания в Python и представлять, какие графики вы хотите видеть на своем дэшборде.
➡️ Читать дальше
⚙️ Полный код
@data_analysis_ml
10 8月 2022, 03:49
💨 Машинное обучение для поиска аномалий
Выявлять нетипичное поведение или аномальные значения признаков можно разными путями. При наличие данных за прошедшие периоды, размеченные как fraud/not fraud, можно использовать модели классификаторы для выявления подозрительных операций в настоящем. Я же рассмотрю случай, когда размеченных должным образом данных нет и анализ нужно проводить с чистого листа. Данная методика была применена для анализа поставщиков программного обеспечения и компьютерной техники на предмет выявления компаний с аномальным, не характерным для подобных контрагентов поведением.
➡️ Читать дальше
@data_analysis_ml
09 8月 2022, 03:58
🧠 NLP. Проект по распознаванию адресов. Natasha, Pullenti, Stanza
Многие аналитики данных сталкиваются с задачей распознавания адресов, напечатанных на документах. Для решения этой задачи я обратился к инструментам выявления сущностей в тексте с помощью NLP: NLTK, Spacy, Flair, DeepPavlov, Polyglot, AdaptNLP, Stanza, AllenNLP, HanLP, PullEnti, Natasha и т. д. Глаза начали разбегаться. И что же делать? Конечно, выбрать самое лучшее. Я выбрал несколько самых популярных библиотек, поддерживающих русский язык, и сравнил, кукую же из них использовать — Natasha, Stanza и Pullenti. Далее пойдет речь именно об этих библиотеках.
➡️ Читать
@data_analysis_ml
08 8月 2022, 05:16
Под бой курантов цели на год приходят в голову легко — уйду в IT работать на удалёнке! А вот путь к ним перекрывают сомнения: не потяну, не смогу работать и учиться, не возьмут без опыта, это всё не для меня. Вот уже лето, а цель всё так же далека.
Стать аналитиком данных за год реально — на курсе Яндекс Практикума. Вот почему мы в этом уверены:
— Размеренную учёбу по 10–15 часов в неделю можно совмещать с работой, вузом и семьёй.
— После курса у вас будет портфолио: 14 учебных проектов и два боевых, от реальных заказчиков.
— Работу находят выпускники с очень разным опытом — бывший офицер, звукорежиссёр, менеджер и другие.
— 78% наших выпускников трудоустраиваются. Смогли они — получится и у вас.
Дойти до цели вам поможет команда сопровождения. Специалисты объяснят сложные темы на вебинарах, проверят проекты, научат писать резюме и проходить собеседования.
Курс можно оплатить в рассрочку: 15 500 ₽ в месяц. Сэкономить 13 020 ₽ поможет промокод DAPLUSAUGUST — он даёт 7% скидки на курс с 8 по 21 августа.
Протестируйте формат бесплатно →
08 8月 2022, 03:07
14 8月 2022, ~06:42
🌌 Выявление и визуализация отсутствующих данных для применения машинного обучения
У нас есть персональные данные покупателей сервиса, их местоположение, а также данные о статусе покупки сервиса и обратна связь по качеству сервиса в одном предложении.
Для того, чтобы решить задачу о прогнозе оттока клиентов необходимо прежде всего оценить качество имеющихся данных. Вопрос качества данных важен потому, что от него напрямую зависит корректность решения задачи машинного обучения.
Предлагаю рассмотреть имеющиеся данные на вопрос наличия в них пустых значений, чтобы оценить полноту предоставленной информации. Для того, чтобы вопрос качества имеющихся данных был наглядным визуализируем полноту данных при помощи разных инструментов.
Рассмотрим мой стандартный способ визуализации полноты данных с помощью диаграммы, дендрограммы и тепловой карты корреляции наличия данных.
➡️ Читать
@data_analysis_ml
07 8月 2022, 02:14
❄️ Визуализируем данные из xml в виде социальной сети
Вы наверняка часто слышали об XML и вам известно хотя бы одно приложение, экспортирующее данные в этот формат. XML имеет большую совместимость и благодаря этому применяется для обмена данными между базами данных и пользовательскими компьютерами. Но как именно с ним работать и анализировать? В этой статье разберем практическую задачу с экспортированными данными в XML и визуализацией этих данных.
➡️ Читать
@data_analysis_ml
05 8月 2022, 03:40
🌉 Ансамбли методов в алгоритмах поиска выбросов
Большое число практических задач, например, поиск мошеннических операций, выявление брака или аномалий, обнаружение вирусных атак на основе нетипичной активности сводятся к задачам определения выбросов в данных. Для определения выбросов обычно используют стандартные методы, например, метод ближайших соседей (KNN) или метод локального уровня выбросов (LOF). Применение ансамблей позволяет улучшить точность работы стандартных методов. В посте рассмотрю, как это сделать.
Идея ансамблей методов проста. Буду делать подвыборки из обучающей выборки и обучать на них базовые алгоритмы. Получаю набор из независимых детекторов (этот набор называется ансамбль), которые выдают оценки для каждой точки данных. Комбинируя оценки выбросов от базовых алгоритмов, обученных на различных подвыборках, получаю более точное предсказание выбросов.
Источник
@data_analysis_ml
04 8月 2022, 05:20
Спешите присоединиться к бесплатному онлайн-интенсиву по Python-разработке 8–10 августа в 19:00 по московскому времени! Познакомитесь с востребованным языком программирования. Узнаете, как работают «умные» чат-боты и виртуальные ассистенты ⚙️
Подробная программа: ▶️ https://clc.to/PL1uPw.
✔️ Освоите основы программирования на Python.
✔️ Узнаете, что такое NLU и как компьютер понимает естественную речь.
✔️ Разберёте архитектуру «умных» чат-ботов.
✔️ Создадите чат-бота, научите его говорить и подключите к Telegram.
👉 Спикер интенсива — Михаил Овчинников, главный методист технического направления Skillbox. Разрабатывает ПО последние 17 лет. Докладчик крупнейших IT-конференций России. Специалист в области разработки высоконагруженных систем, обработки больших данных и машинного обучения.
🎁 Всем участникам подарим электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ. Подключайтесь к прямым эфирам и используйте возможность получить сертификат на 10 000 рублей на любой курс Skillbox.
04 8月 2022, 03:03
🎑 Визуализация в Python: matplotlib
Про возможность отрисовки графиков в Python знают многие, но что с настройкой графиков? Представим, вам хотелось бы сделать стандартный график в Python более информативным — развернуть его, добавить/убрать легенду, оси — или более привлекательным на вид – «поиграть» с цветом или шрифтом.
Расскажу о библиотеке matplotlib, которая позволяет строить графики любых, даже самых сложных форм, а впоследствии настраивать их так, чтобы добиться максимальной читаемости и информативности.
➡️ Читать
✅ Шпаргалка по Matplotlib
@data_analysis_ml
03 8月 2022, 03:54
🔥 9 бесплатных курсов Гарварда для изучения науки о данных в 2022 году
Читать
@data_analysis_ml
02 8月 2022, 10:16
С 2020 по 2021 год прирост по количеству вакансий направления Data Science составил 120%! Больше всего вакансий на позиции Middle и Senior. Чтобы выйти из ситуации нехватки кадров и обеспечить себе команды профессионалов, крупные компании открывают свои школы и сотрудничают с университетами. Таким образом, предпочтение уходит талантам, которые уже адаптированы под бизнес-задачи компаний.
Так, в Университете ИТМО на базе проекта AI Talent Hub была запущена онлайн-магистратура «Инженерия машинного обучения» с участием менторов из МТС Digital, Huawei Noah's Ark, «Татнефть» и других компаний. Руководители RnD команд «присматривают» к себе лучших, а студенты растут до Middle уровня и учатся на реальных задачах.
На программе 90 бюджетных мест! До 6 августа есть возможность оставить заявку на сайте проекта!
02 8月 2022, 07:57
🚀 Эффективный сбор данных с DASK.
Чем больше у нас данных, тем больше возможностей извлечь из них полезную в работе информацию. Однако сбор данных - это только часть задачи, первый этап. Необходимо решить и где их хранить, и как обработать.
Обычно для этого используются проверенные временем инструменты, например, Pandas и NumPy. Они эффективны и пользуются большим доверием.
По мере увеличения объёма данных мы начинаем сталкиваться с физическими ограничениями этих инструментов. Отчасти эта проблема решается увеличением объёма оперативной памяти. Но это не всегда возможно и только отодвигает проблему, не решая её принципиально. Также хотелось бы иметь возможность обрабатывать данные параллельно на нескольких компьютерах или используя несколько процессоров/ядер. Для решения задач можно было бы перейти к более масштабируемому решению, такому как Spark, но, зачастую, такая доработка требует много времени.
Разве не было бы замечательно, если бы вы могли сделать это в своей системе локально, а при необходимости и масштабировать до кластера? В этом может помочь Dask.
➡️ Читать
🎯Шпаргалка по Dask
@data_analysis_ml
02 8月 2022, 03:16
