Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 949 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 798 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 949 名订阅者。
根据 19 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 368,过去 24 小时变化为 3,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 12.37%。内容发布后 24 小时内通常能获得 8.25% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 423 次浏览,首日通常累积 4 286 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 147。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 20 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 949
订阅者
+324 小时
-327 天
+36830 天
帖子存档
📌Machine learning pipeline — основы. Cookiecutter и Hydra
⏩Простые проекты по Data Science делаются в Jupyter Notebooks и это нормально.
Но с увеличением сложности начинаются проблемы; например, вы строите несколько типов моделей с несколькими вариантами заполнения пропусков (среднее, медиана), генерируете набор feature engineering и применяете разные варианты разбиения выборки.
Можно разместить весь этот код в один Jupyter Notebooks и логгировать метрики и конфиги. Код получится громоздкий и не поворотливый. Для запуска экспериментов надо будет или перескакивать или комментировать ячейки, которые не нужно запускать.
⏩Для решения этих проблем рекомендую использовать pipeline для автоматизации рабочих процессов машинного обучения. Основная цель создания пайплайна — это контроль. Хорошо организованный пайплайн делает реализацию более гибкой.
Об этом и идёт речь в статье, а также о Cookiecutter и Hydra, которые помогают строить пайплайны.
📎 Статья
@data_analysis_ml
06 4月 2024, 05:03
Обучайтесь бесплатно на магистерской программе от Альфа-Банка и МФТИ и получите прикладную специализацию в Data Science.
На программе «Машинный интеллект в финансах» вас ждут:
— бесплатное обучение с ежемесячной стипендией;
— возможность получить оффер в IT-команду банка;
— практические задачи и стажировка в Альфа-Банке с первого семестра;
— полное погружение в Data Science — вы научитесь создавать и обучать модели, анализировать данные с помощью Python и защищать свои идеи.
Подайте заявку на программу до 7 апреля, чтобы освоить востребованную профессию и начать карьеру в банке: https://u.to/d5uTIA
06 4月 2024, 03:03
13 4月 2024, ~10:11
👨🎓 AIDE стала первым агентом искусственного интеллекта человеческого уровня для работы с данными!
AIDE превосходит половину специалистов по обработке данных в широком спектре конкурсов Kaggle, превосходя обычных агентов AutoML, LangChain и ChatGPT 🏆
▪Статья
▪Github
@data_analysis_ml
05 4月 2024, 11:03
🔥 Компания Anthropic только что выпустила метод джейлбрейка, позволяющий обойти все меры безопасности LLMs.
""manyshot jailbreaking" использует преимущества больших контекстных окон, добавляя в промпты сотни вредоносных диалогов между человеком и искусственным интеллектом.
Простого включения очень большого количества фальшивых диалогов, предшествующих последнему вопросу, было достаточно, чтобы обойти меры безопасности.
🔥 Подробнее
@data_analysis_ml
05 4月 2024, 06:03
🌐 Не пропусти митап по работе с каталогами данных!
X5 Tech совместно с сообществом dbt & modern data stack собирают экспертов, чтобы обсудить, как в мире, перегруженном данными, систематизировать их так, чтобы это работало.
👨🏻💻Спикеры из X5 Tech, Beeline и Tele2 рассмотрят успешные внедрения открытых каталогов данных на базе OpenMetadata и DataHub с месячной аудиторией от десятков специалистов машинного обучения до тысяч бизнес пользователей.
🛎 Добавь в календарь!
Х5 Tech Talk: Наводим порядок в данных
11 апреля, 19:00
Зарегистрироваться
05 4月 2024, 04:03
11 4月 2024, ~05:34
📌Основные типы распределений вероятностей в примерах
⏩Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения.
⏩В данной статье автор делает упор не на функции и формулы, которые обычно сопутствуют распределениям (функции вероятности, распределения, PMF, PDF, CDF). Скорее он пытается показать, как генерируются те или иные распределения на конкретных примерах.
⏩Отличная статья для понимания сути этих распределений и того, как они в итоге применяются на практике для решения конкретных задач анализа.
Enjoy)
📎 Статья
@data_analysis_ml
04 4月 2024, 13:03
Считаешь себя экспертом в IT? Участвуй в «Цифровом марафоне» от Сбера и «Школы 21» и будь на код впереди! Миллион рублей уже ждёт тебя.
В этом масштабном конкурсе ты будешь соревноваться со специалистами по всей России. Тройка лучших поделит в финале в Москве призовой фонд в 1,8 миллионов рублей.
Но сначала нужно пройти онлайн-игру, тестирование и цифровой диктант. Начнёшь с «разминки» и покажешь свои аналитические и мягкие навыки. Далее — ответь на вопросы теста согласно своему уровню подготовки. Прослушай на диктанте техническое задание и напиши код решения.
Поспеши: 20 апреля — твой последний шанс нажать на кнопку «Хочу участвовать». Переходи
на сайт и регистрируйся прямо сейчас!
04 4月 2024, 11:02
11 4月 2024, ~05:34
🔥 Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.
Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.
▪100 вопросов для собеседования по машинному обучению в 2024 году
▪50 вопросов для собеседования по компьютерному зрению в 2024 году
▪50 вопросов для интервью по глубинному обучению в 2024 году
▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году
▪100 вопросов с собеседований Data Science
@machinelearning_interview
04 4月 2024, 07:14
💲 Financial Datasets - это библиотека Python с открытым исходным кодом, которая позволяет разработчикам создавать синтетические наборы финансовых данных с использованием больших языковых моделей (LLM).
С помощью этой библиотеки вы можете генерировать реалистичные наборы финансовых данных за 5 строк кода, на основе отчетов SEC, таких как 10-Ks, 10-Qs и других финансовых отчетов.
Такие датасеты полезны для:
• оценки LLM
• точной настройки LLM
• тестирования финансовых инструментов
• и многого другого
Проект полностью открытым исходным кодом.
pip financial-datasets.
▪GitHub: https://github.com/virattt/financial-datasets
▪Пример с кодом: https://colab.research.google.com/gist/virattt/f9b5a0ae82cc0caab57df5dedc2927c9/intro-financial-datasets.ipynb#scrollTo=K-b_1BPtJsS1
@data_analysis_ml04 4月 2024, 03:23
📌Подборка полезных материалов по Data Science
Держите, здесь ссылки на шпаргалки, полезные статьи, курсы на Stepik и ещё много всего
Enjoy)
📎 Ссылка
@data_analysis_ml
03 4月 2024, 09:02
Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки
до 12 мая, успейте зарегистрироваться.
ШАД для вас, если вы:
· интересуетесь Machine Learning
· имеете хорошую математическую подготовку
· уверенно владеете каким-либо языком программирования
Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data
Science, инфраструктура больших данных, разработка машинного обучения или анализ
данных и ИИ в прикладных науках.
Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых
дверей. Узнать даты и зарегистрироваться можно по ссылке.
03 4月 2024, 07:03
🔥 Сегодня выпущены два самых больших открытых набора данных для распознавания текста за всю историю 📜 📜
Набор данных содержит миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds
Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 )
PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds
@data_analysis_ml
03 4月 2024, 02:51
✨ Знакомьтесь, #Moirai: Библиотека, которая революционизирует прогнозирование временных рядов с помощью универсальных моделей!
Целью этой библиотеки является предоставление унифицированного решения для работы с временными рядами.
Uni2TS также предоставляет инструменты для точной настройки, оценки и прогнозирования временных рядов.
▪Github
▪Hf
▪Blog
@data_analysis_ml
02 4月 2024, 12:15
Российский AI-ассистент разработчика доступен на GitVerse
AI-ассистенты (AI, artificial intelligence — искусственный интеллект) — это программы, которые анализируют код и предлагают варианты завершения в режиме онлайн. Разработчик может быстрее выполнять привычные задачи, избавиться от рутины сосредоточиться на важных проектах.
К одному из таких помощников вы можете получить доступ уже сейчас!
GigaCode – это AI-ассистент, который знает 15 языков программирования — Java, Python, TypeScript, C/C++ и другие. GigaCode работает в любой привычной среде разработки. Его можно подключить к IDEA, PyCharm, VSCode, Jupyter и другим.
GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. А по опыту команд в Сбере, GigaCode может сокращать время для создания кода до 25%. Ранний доступ к AI-ассистенту можно получить на площадке GitVerse. Это российская платформа для работы с исходным кодом от СберТеха, где можно хранить открытые и закрытые репозитории и продвигать свои проекты.
Чтобы получить доступ к GitVerse и протестировать GigaCode в своем проекте, оставьте заявку на сайте.
02 4月 2024, 10:02
11 4月 2024, ~05:34
🖥 Мультиклассовая классификация текста с использованием Spark ML в Python
⏩Итак, кейс: мы имеем дело с наборами данных, которые слишком велики или сложны для обработки с помощью традиционного прикладного программного обеспечения для обработки данных.
В руководстве ниже описано использование механизма распределенной обработки данных общего назначения под названием Apache Spark для обработки наших данных и создания модели машинного обучения для классификации текста.
⏩Apache Spark — это многоязычный механизм для выполнения обработки данных, обработки данных и машинного обучения на одноузловых компьютерах или кластерах.
⏩PySpark — это интерфейс для Apache Spark в Python. Он позволяет писать приложения Spark с использованием API-интерфейсов Python, а также предоставляет оболочку PySpark для интерактивного анализа ваших данных в распределенной среде.
PySpark поддерживает большинство функций Spark, таких как Spark SQL, DataFrame, Streaming, MLlib (машинное обучение) и Spark Core.
📎 Руководство
@data_analysis_ml
02 4月 2024, 06:03
Яндекс зовёт в летнюю Школу аналитиков-разработчиков
В этом году Академия Яндекса запустила новую пятую школу, для бесплатного обучения навыкам, востребованным в IT. Студентов научат работать с реальными проектами и делать выводы на основе данных: извлекать из них смыслы и принимать решения.
Как попасть
Подайте заявку и успешно пройдите отбор, состоящий из двух туров. В первом — выполнение тестового задания и запись видеоинтервью, во втором — онлайн-собеседование. Чтобы лучше подготовиться, посмотрите подборку полезных материалов.
Где и когда пройдет обучение
С 11 июня по 31 августа: cначала лекции онлайн, а потом очный этап в офисах Яндекса в Москве и Санкт-Петербурге. Компания оплатит билеты и проживание участникам из других городов.
Лучшие студенты пройдут очный этап в новом формате — Лаборатории
Ученики, показавшие самые высокие результаты на онлайн-этапе, будут приглашены на пятинедельную оплачиваемую практику с погружением во внутренние сервисы Яндекса и возможностью поработать бок о бок с опытными программистами.
Подать заявку и получить тестовое задание можно по ссылке
02 4月 2024, 04:02
14 5月 2024, ~05:18
💡 Во время работы с таблицами в Spark возникают ситуации, когда для обработки данных набора встроенных функций оказывается недостаточно.
В этом случае можно выгрузить таблицу в
Pandas DataFrame и обрабатывать данные на Python привычными функциями. Однако, есть способ сделать это быстрее – UDF-функции в Spark.
UDF (User Defined Functions) – это функции, которые не содержатся во встроенных модулях Spark и определяются самим пользователем. UDF позволяют расширить возможности обработки данных и могут содержать в себе комбинацию встроенных функций.
Использование UDFS в PySpark может помочь упростить выполнение сложных запросов #SQL, за счет запуска сложных операций в одном вызове функции.
В приведенном примере кода мы определяем UDF с именем modify_name, эта функция приводит все имена в нашей таблице к верхнему регистру.
📌 Подробнее о UDF
@data_analysis_ml01 4月 2024, 12:03
Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов!
Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат:
- Персонализацию учебной траектории;
- Стажировку в одной из лучших ИТ-компании страны;
- Личного ментора на все время обучения;
- Доступ к современному кампусу в центре Москвы.
Получить полную информацию и оставить заявку можно здесь.
erid:2VtzqwB4n38
Реклама, АНО ВО «Центральный университет», ИНН 7743418023
01 4月 2024, 10:02
11 4月 2024, ~05:34
🔜 DSGW - Data Science GPU Workplace
Проект DSGW призван упростить разворот полноценного рабочего места на сервере с GPU для Data Science разработки
DSGW базируется на:
— Ubuntu 22.04
— Nvidia CUDA 12.3.2
— Nvidia cuDNN 9
— Python 3.12
— VsCode Server
🤓 GitLab
@data_analysis_ml
01 4月 2024, 06:02
💼 Quantstats
Полезная библиотека QuantStats на Python, которая выполняет анализ финансового портфеля, позволяя инвесторам и аналитикам данных лучше понимать свою работу.
QuantStats предоставляет функции для углубленной аналитики, визуализации данных и генерации метрик риска.
Чтобы визуализировать и анализировать эффективность роста цен конкретных акций в вашем портфеле, используя всего несколько строк на #Python, попробуйте Quantitated.
▪Github
@data_analysis_ml
31 3月 2024, 09:43
