ch
Feedback

不要被骗子欺骗!Telemetrio 会找到并标记这些频道 👉 如果想查看标记,请订阅

Анализ данных (Data analysis)

Анализ данных (Data analysis)

前往频道在 Telegram

Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp

显示更多

📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览

频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 907 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。

📊 受众指标与增长动态

自 невідомо 创建以来,项目保持高速增长,吸引了 51 907 名订阅者。

根据 17 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 389,过去 24 小时变化为 -16,整体触达仍然可观。

  • 认证状态: 未认证
  • 互动率 (ER): 平均受众互动率为 11.71%。内容发布后 24 小时内通常能获得 8.49% 的反应,占订阅者总量。
  • 帖子覆盖: 每篇帖子平均可获得 6 077 次浏览,首日通常累积 4 406 次浏览。
  • 互动与反馈: 受众积极参与,单帖平均反应数为 173。
  • 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。

📝 描述与内容策略

作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp”

凭借高频更新(最新数据采集于 18 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。

51 907
订阅者
-1624 小时
-507 天
+38930 天
帖子存档
❗️Одно из ключевых требования для дата-инженера — знание Spark. 🚀Начните осваивать этот незаменимый инструмент уже 6 октября
❗️Одно из ключевых требования для дата-инженера — знание Spark. 🚀Начните осваивать этот незаменимый инструмент уже 6 октября в 20:00 мск на бесплатном вебинаре «ФОРМАТЫ ДАННЫХ В SPARK» от OTUS. 📚На занятии мы: - Познакомимся с Spark API для работы с такими форматами, как XML, JSON, CSV, PARQUET, ORC, AVRO. - Обсудим их плюсы и минусы, поговорим о том, как будет строиться работа с форматами в будущем. - Проведем замеры, необходимые для выбора формата. 👉Регистрация на вебинар: https://otus.pw/fOOwN/ Открытый урок пройдет в рамках онлайн-курса «Spark Developer» для специалистов с опытом работы с базами данных. Реклама. Информация о рекламодателе на сайте otus.ru
29 9月 2022, 06:31
06 10月 2022, ~02:39

Как использовать MSE в науке о данных В большинстве описаний среднеквадратичной ошибки (mean square errore, MSE) упускается о
Как использовать MSE в науке о данных В большинстве описаний среднеквадратичной ошибки (mean square errore, MSE) упускается один важнейший нюанс: метрики и функции потерь  —  это не совсем одно и то же. Для оценки и оптимизации производительности модели в машинном обучении нужны две отдельные функции потерь. MSE может быть либо тем, либо другим, либо третьим  —  выбор за исследователем. Чтобы было понятнее, что имеется в виду под оценкой производительности и оптимизацией, вместо отвлеченных рассуждений обратимся к конкретным примерам. Для демонстрации будем использовать среднеквадратичную ошибку (MSE), но имейте в виду: MSE  —  это полезная метрика, но не панацея. Итак, погрузимся в тему! Что такое MSE? Среднеквадратичная ошибка (MSE)  —  одна из множества метрик, которые используются для оценки эффективности модели. Для расчета MSE необходимо возвести в квадрат количество обнаруженных ошибок и найти среднее значение. Зачем вычислять MSE? Это можно сделать для 2 целей. Оценка производительности  —  визуальное определение того, насколько хорошо работает модель. Другими словами, это возможность быстро понять, с чем предстоит работать. Оптимизация модели позволяет выяснить, достигнуто ли наилучшее из возможных соответствий или же требуются улучшения. Другими словами, определить, какая модель максимально подходит для работы с выбранными точками данных. ➡️ Читать дальше 🎞 MSE @data_analysis_ml
29 9月 2022, 04:31

Как использовать MSE в науке о данных В большинстве описаний среднеквадратичной ошибки (mean square errore, MSE) упускается о
Как использовать MSE в науке о данных В большинстве описаний среднеквадратичной ошибки (mean square errore, MSE) упускается один важнейший нюанс: метрики и функции потерь  —  это не совсем одно и то же. Для оценки и оптимизации производительности модели в машинном обучении нужны две отдельные функции потерь. MSE может быть либо тем, либо другим, либо третьим  —  выбор за исследователем. Чтобы было понятнее, что имеется в виду под оценкой производительности и оптимизацией, вместо отвлеченных рассуждений обратимся к конкретным примерам. Для демонстрации будем использовать среднеквадратичную ошибку (MSE), но имейте в виду: MSE  —  это полезная метрика, но не панацея. Итак, погрузимся в тему! Что такое MSE? Среднеквадратичная ошибка (MSE)  —  одна из множества метрик, которые используются для оценки эффективности модели. Для расчета MSE необходимо возвести в квадрат количество обнаруженных ошибок и найти среднее значение. Зачем вычислять MSE? Это можно сделать для 2 целей. Оценка производительности  —  визуальное определение того, насколько хорошо работает модель. Другими словами, это возможность быстро понять, с чем предстоит работать. Оптимизация модели позволяет выяснить, достигнуто ли наилучшее из возможных соответствий или же требуются улучшения. Другими словами, определить, какая модель максимально подходит для работы с выбранными точками данных. ➡️ Читать дальше 🎞 MSE @data_analysis_ml
29 9月 2022, 03:17
29 9月 2022, ~03:17

DataWorkshop Машинное обучение, [28 сент. 2022 г., 20:16:24]: ⏰ 29 сентября в 18:30 (мск) пройдет live coding вебинар "Прогно
DataWorkshop Машинное обучение, [28 сент. 2022 г., 20:16:24]: ⏰ 29 сентября в 18:30 (мск) пройдет live coding вебинар "Прогнозирование опозданий самолетов с помощью Machine Learning". 🚩 Регистрация ✅ Получите бесплатный доступ к серверу ✅ Попробуете себя в роли специалиста в Data Science ✅ Будете кодить на Python вместе с экспертом ✅ Сделаете прогноз на реальных данных ✅ Получите личную рекомендацию от эксперта ✅ Получите 100% практику Не получается быть на вебинаре в этот раз, подписывайтесь на их телеграм канал, чтобы не пропустить очередное полезное событие. это для канала machinelearning_ru А второй текст для data_analysis_ml ⏰ 29 сентября в 18:30 (мск) пройдет live coding вебинар "Прогнозирование опозданий самолетов с помощью Machine Learning". 🚩 Регистрация ✅ Получите бесплатный доступ к серверу ✅ Попробуете себя в роли специалиста в Data Science ✅ Будете кодить на Python вместе с экспертом ✅ Сделаете прогноз на реальных данных ✅ Получите личную рекомендацию от эксперта ✅ Получите 100% практику Не получается быть на вебинаре в этот раз, подписывайтесь на их телеграм канал, чтобы не пропустить очередное полезное событие.
29 9月 2022, 02:30
06 10月 2022, ~02:39

🧩 FILL-MASK моделирование! Fill-mask моделирование – это задача маскирования некоторых слов в предложении и дальнейшее предс
🧩 FILL-MASK моделирование! Fill-mask моделирование – это задача маскирования некоторых слов в предложении и дальнейшее предсказание, какие слова должны заменить данные маски. Подобный тип задач используется для обучения больших моделей, направленных на решение специфических проблем. Например, данные модели применяются для извлечения информации из узкоспециализированных источников, что в дальнейшем позволит исследовать данные по заданной теме, извлекать необходимые объекты или классифицировать их. Fill-mask максимально полезен в том случае, когда необходимо получить статистическое понимание языка, на котором обучалась или будет обучаться модель. Принцип работы MLM (маскированное языковое моделирование) Для того, чтобы обучить модель определять и адекватно предлагать слова, которые можно будет вставить в пропуск, ей необходимо случайным образом маскировать 15% слов на входе до тех пор, пока она не сможет предсказать маскированные в предложении слова. Этот принцип значительно отличается от традиционных рекуррентных нейронных сетей, которые видят слова одно за другим, или от авторегрессионых GPT-моделей, которые внутри себя маскируют будущие лексемы. Fill-mask моделирование позволяет изучать двунаправленное представление предложения, иными словами, выражает объектные, определительные, обстоятельственные синтаксические отношения. ➡️ Читать дальше ⚙️ Модель @data_analysis_ml
28 9月 2022, 05:00

🧩 FILL-MASK моделирование! Fill-mask моделирование – это задача маскирования некоторых слов в предложении и дальнейшее предсказание, какие слова должны заменить данные маски. Подобный тип задач используется для обучения больших моделей, направленных на решение специфических проблем. Например, данные модели применяются для извлечения информации из узкоспециализированных источников, что в дальнейшем позволит исследовать данные по заданной теме, извлекать необходимые объекты или классифицировать их. Fill-mask максимально полезен в том случае, когда необходимо получить статистическое понимание языка, на котором обучалась или будет обучаться модель. Принцип работы MLM (маскированное языковое моделирование) Для того, чтобы обучить модель определять и адекватно предлагать слова, которые можно будет вставить в пропуск, ей необходимо случайным образом маскировать 15% слов на входе до тех пор, пока она не сможет предсказать маскированные в предложении слова. Этот принцип значительно отличается от традиционных рекуррентных нейронных сетей, которые видят слова одно за другим, или от авторегрессионых GPT-моделей, которые внутри себя маскируют будущие лексемы. Fill-mask моделирование позволяет изучать двунаправленное представление предложения, иными словами, выражает объектные, определительные, обстоятельственные синтаксические отношения. ➡️ Читать дальше @data_analysis_ml
28 9月 2022, 04:35
28 9月 2022, ~04:35

💻 Узнай, как начать карьеру в IT: оффлайн и за 1 день! Все работодатели – в 1-ом месте! 20 компаний, среди которых Сбер, VK,
💻 Узнай, как начать карьеру в IT: оффлайн и за 1 день! Все работодатели – в 1-ом месте! 20 компаний, среди которых Сбер, VK, Яндекс, Kaspersky, Альфа-Банк и др. Они готовы взять начинающих IT-шников на стажировку или в штат 🔥 Почему это крутая возможность: • Лично познакомишься с HR и представителями компаний, • Прокачаешься на мастер-классах и Q&A-сессии, • Классно проведешь время с друзьями и поборешься за Apple AirPods Pro и Xiaomi Smart Band 7. Участие бесплатное❗️ Регистрируйся (и приходи) на «Найти IT»: 15 октября в Санкт-Петербурге, 25 октября в Москве.
28 9月 2022, 03:00
05 10月 2022, ~06:29

🐼 Продвинутая работа с данными. 7 фишек pandas для науки о данных ➡️ Читать дальше @data_analysis_ml
27 9月 2022, 03:59

💻 Типы таблиц в PostgreSQL: clustered, foreign, partitioned и inherited tables В статье речь пойдёт про кластеризованные, вн
💻 Типы таблиц в PostgreSQL: clustered, foreign, partitioned и inherited tables В статье речь пойдёт про кластеризованные, внешние, партицированные и наследуемые таблицы. Посмотрим на примеры их создания, области применения, плюсы и минусы их использования. Clustered tables — кластеризованные таблицы Мало кто любит хаос, всем нравится порядок. В рамках реляционных баз данных понятие хаоса тесно переплетено с хранением информации, потому что на протяжении своего жизненного цикла таблица постоянно видоизменяется. В процессе работы с РСУБД на уровне диска происходит постоянное изменение содержимого таблицы. Например, вы обновили данные и ваша обновлённая строка попала на другую страницу таблицы (тут надо оговориться про FILLFACTOR) с появлением мёртвой записи (dead tuple) в текущей позиции. Затем autovacuum-процесс удалил мёртвую запись, и освободившийся слот заполнился вновь поступившей строкой. ➡️ Читать дальше @data_analysis_ml
26 9月 2022, 08:28

Как начать работать с AI Вместе с командой Cloud собрали пошаговую инструкцию, благодаря которой вы сможете сделать первые ша
+5
Как начать работать с AI Вместе с командой Cloud собрали пошаговую инструкцию, благодаря которой вы сможете сделать первые шаги в сторону внедрения AI Подписывайтесь на канал Cloud, чтобы еще больше узнать об облачных технологиях и искусственном интеллекте от ведущих экспертов🤜🤛
26 9月 2022, 04:52
05 10月 2022, ~06:29

⚜️ Руководство по созданию интерактивных визуализаций на Python Визуализация данных — один из важнейших этапов проекта в области науки о данных и аналитики данных. Она помогает как изучать и понимать данные, так и эффективно обмениваться результатами. Самыми распространенными библиотеками для создания визуализаций на Python являются Matplotlib и Seaborn, но существует и множество других инструментов. В этом руководстве мы изучим инструменты HoloViz, а точнее Panel и hvPlot  — библиотеки с открытым исходным кодом, которые используются для создания интерактивных диаграмм и контрольных панелей. Также узнаем, как легко развернуть и поделиться контрольной панелью с помощью Jupyter Notebook. В этом проекте мы будем использовать данные о различных покемонах, доступные на Kaggle и Wikipedia, а также данные о продажах игр про покемонов. Краткий обзор Мы выполним следующие задачи. Создадим простой интерактивный график, используя hvPlot и Pandas. Построим более сложные визуализации, используя Panel для создания виджетов, которые будут фильтровать данные, и hvPlot для отображения этих данных. Создадим контрольную панель, показывающую табличные данные, информацию о проекте, а также различные интерактивные диаграммы. Узнаем, как развертывать контрольную панель на Heroku, чтобы проектом можно было делиться. ➡️ Читать дальше ⚙️ Код @data_analysis_ml
26 9月 2022, 02:01

📎 Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных Данные из боев
📎 Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много. ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных. Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл. ➡️ Читать дальше @data_analysis_ml
25 9月 2022, 03:48

English for Developers - канал для тех, кто хочет учить технический английский. 1. техническая лексика 2. опросы на английско
English for Developers - канал для тех, кто хочет учить технический английский. 1. техническая лексика 2. опросы на английском 3. шутки на английском Подписывайтесь, проходите опросы, читайте полезные прогерские фразы на английском: english_forprogrammers. 1 канал вместо тысячи учебников и курсов
25 9月 2022, 03:47

✔️ Как прокачать свой SQL до уровня больших данных Чем отличается SQL в больших данных от обычного SQL? В больших данных испо
✔️ Как прокачать свой SQL до уровня больших данных Чем отличается SQL в больших данных от обычного SQL? В больших данных используются распределённые вычисления. Вычисления распределяются между несколькими серверами. Одна база данных находится сразу на нескольких серверах. Результат запроса тоже вычисляется одновременно несколькими серверами. Алгоритмы распределённых вычислений описывает парадигма MapReduce. Давайте разберём, на что это влияет и как прокачать свой SQL до уровня больших данных. Предупреждение: в данной статье рассматриваются канонические архитектуры обработки данных. Многие современные СУБД и фреймворки построены на их основе и содержат в себе множество доработок и улучшений. Однако набор оптимизаций может отличаться. Поэтому реальная обработка данных на вашем проекте может отличаться в лучшую сторону благодаря именно вашему инструменту. Важно понимать, какие именно оптимизации способен выполнять ваш фреймворк, чтобы правильно контролировать эффективность алгоритмов. ➡️ Читать дальше @data_analysis_ml
24 9月 2022, 04:00

🔍 Data Quality: новые правила В нашем мире проблемы с данными делятся на два типа: предсказуемые (известные неизвестные) и н
🔍 Data Quality: новые правила В нашем мире проблемы с данными делятся на два типа: предсказуемые (известные неизвестные) и непредсказуемые (неизвестные неизвестные). Вот какой комплексный подход применяют лучшие специалисты по работе с данными для решения этих проблем в крупномасштабных системах. Это статья о новых способах повышения качества данных с помощью тестирования и наблюдаемости (observability). В последние годы команды по анализу данных стали использовать аналог юнит-тестирования для обнаружения проблем с качеством данных. В 2021 году на фоне все увеличивающегося потока обрабатываемых данных пайплайны становятся сложнее, — и подход, основанный на выявлении единой точки отказа, перестал работать. Тестировать самые важные данные надо — без этого нельзя выявить конкретные, лежащие на поверхности известные проблемы в пайплайне. Для этой задачи есть прекрасные инструменты. Например, данные из того же Segment или Salesforce извлекаются с помощью Fivetran, поступают в хранилище данных Snowflake, трансформируются с помощью dbt и в конечном счете оказываются на дашборде Looker, который ваш CEO использует для просмотра квартальных финансовых отчетов. Сразу же, без всяких проверок. Но даже если вы автоматизировали тестирование, у вас все равно остается немало задач: обновлять имеющиеся тесты и пороговые значения, писать новые и удалять старые — потому что экосистема данных развивается, а данные меняются. Со временем этот процесс становится утомительным, занимает все больше времени и приводит к образованию технического долга, по которому придется расплачиваться позже. ➡️ Читать дальше @data_analysis_ml
23 9月 2022, 05:01

28 сентября приглашаем на форум «Управление данными — 2022. Всё о стратегиях, архитектурах и практике работы с данными в эпох
28 сентября приглашаем на форум «Управление данными — 2022. Всё о стратегиях, архитектурах и практике работы с данными в эпоху перемен»   Вас ждут:  📌Проверенный кризисом опыт извлечения ценности из корпоративных данных 📌Практика миграции на отечественные платформы управления данными 📌Мастер-класс с разбором ошибок реализации процессов управления данными 📌Обмен свежими идеями с коллегами из разных отраслей, в том числе c лауреатами Data Award.   🎤 В программе выступления экспертов: Банка России, ВТБ, Сбера, «Тинькофф банка», МТС, Tele2, ЕВРАЗа, «УралХима», «Балтики», «М.Видео-Эльдорадо», «Магнита», «Интер РАО — Онлайн», «ВсеИнструменты.ру», «К-Скай», «Юнидата», Arenadata, Data.Ру, DIS Group, Navicon и др.   Присоединяйтесь к крутому сообществу дата-профессионалов!   Где: в Москве, в Palmira Business Club, Новоданиловская наб., 6, корп. 2 🎧 Онлайн тоже будет!    Регистрация тут Подписчикам канала Издательство «Открытые системы» скидка 10% про промокоду tgDA10dm22
23 9月 2022, 03:01
30 9月 2022, ~01:35

⌚ Gluon Time Series – библиотека от Amazon для работы с временными рядами Данные временных рядов, то есть наборы данных, кото
⌚ Gluon Time Series – библиотека от Amazon для работы с временными рядами Данные временных рядов, то есть наборы данных, которые индексированы по времени, присутствуют в различных областях и отраслях. Например, розничный торговец может подсчитывать и сохранять количество проданных единиц для каждого продукта в конце каждого рабочего дня. Для каждого продукта это приводит к временному ряду ежедневных продаж. Электроэнергетическая компания может измерять количество электроэнергии, потребляемой каждым домохозяйством за фиксированный интервал, например, каждый час. Это приводит к сбору временных рядов потребления электроэнергии. Клиенты могут использовать данные для записи различных показателей, относящихся к их ресурсам и услугам, что приводит к сбору данных, которые основаны на временных рядах. К распространенным задачам машинного обучения, относящимся к временным рядам, являются: экстраполяция (прогнозирование), интерполяция (сглаживание), обнаружение (например, выбросы, аномалии), классификация. Временные ряды возникают во многих различных приложениях и процессах, обычно путем измерения значения некоторого базового процесса за фиксированный интервал времени. ➡️ Читать дальше ⚙️ Код 🗒 Документация по GluonTS ✔️ Информация по модели DeepAR Forecasting Algorithm @data_analysis_ml
22 9月 2022, 05:01

Работаете специалистом по машинному обучению и хотите расширить свои знания в области Computer Vision? ⚡️ Начните осваивать н
Работаете специалистом по машинному обучению и хотите расширить свои знания в области Computer Vision? ⚡️ Начните осваивать необходимые навыки 22 сентября в 20:00 на открытом вебинаре «Сверточные нейронные сети» На занятии мы рассмотрим: ⁃ сверточную нейронную сеть ⁃ деконволюцию и субдискретизацию ⁃ Dropout и BatchNorm для сверток 📚 Demo-занятие пройдет в рамках онлайн-курса «Computer Vision» и позволяет оценить качество материалов и познакомиться с преподавателем. Чтобы записаться на мероприятие 👉Пройдите вступительное тестирование
22 9月 2022, 03:01
28 9月 2022, ~12:35

Сжатие текстовых данных методом арифметического кодирования АРИФМЕТИЧЕСКОЕ КОДИРОВАНИЕ Арифметическое кодирование (АК) — это
Сжатие текстовых данных методом арифметического кодирования АРИФМЕТИЧЕСКОЕ КОДИРОВАНИЕ Арифметическое кодирование (АК) — это статистический метод сжатия данных, работающий по принципу кодирования одного символа за один раз. Длина закодированного выходного кода каждого символа может варьироваться в зависимости от вероятности частоты появления символа. Меньшее количество битов используется для кодирования символов, которые встречаются с высокой вероятностью, а большее количество – с низкой вероятностью. Идея алгоритма АК: При арифметическом кодировании слово представляется в виде интервала действительных чисел от 0 до 1. С увеличением длины слова, уменьшается интервал для его представления и увеличивается число бит для его определения. Более вероятные символы уменьшают интервал на меньшую величину, чем маловероятные символы, и, следовательно, добавляют меньше битов к слову. ➡️ Читать дальше ⚙️ Код @data_analysis_ml
21 9月 2022, 03:52

Аналитику данных без математики не обойтись. Если вы мечтаете об этой професии, но ваши знания нужно обновить или подтянуть,
Аналитику данных без математики не обойтись. Если вы мечтаете об этой професии, но ваши знания нужно обновить или подтянуть, в Яндекс Практикуме есть курс «Математика для анализа данных». Курс подойдет: Начинающим аналитикам Начинающим специалистам по Data Science Тем, кто готовится к собеседованиям в IT-компании Студентам и выпускникам курсов по анализу данных Как мы учим: ◼️Объясняем сложное простым языком, интерактивно и не скучно ◼️Разбираем бизнес-кейсы и каждый урок завершаем практикой ◼️Помогаем освоить навыки для работы и собеседований, объясняем и разбираем типовые задачи На всех этапах вас поддержат: ◼️Преподаватели – ответят в чате и помогут с решением сложных задач ◼️Кураторы – напомнят о сроках и ответят на вопросы об учебном процессе ◼️Поддержка 24/7 – поможет с техническими вопросами ◼️Одногруппники – развеселят и обнимут Оцените формат и пройдите бесплатный вводный урок: https://practicum.yandex.ru/math-for-da-ds/
21 9月 2022, 02:30
28 9月 2022, ~12:59