Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 581,并在 俄罗斯 地区排名第 11 797 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
Есть знания в анализе данных, но не хватает реального опыта?
Отточить навыки на практике и подготовиться к работе поможет Симулятор аналитика. Симулятор — это мостик между обучением и вашей первой работой.
Представьте, что вы устроились в молодой стартап. Ваша задача — с нуля выстроить процессы под руководством ведущего аналитика Анатолия Карпова.
За 6 недель вы научитесь строить realtime дашборды, автоматизировать поиск аномалий в данных, анализировать продуктовые метрики, планировать и запускать A/B-тесты и сможете подготовиться к реальной работе.
Обучение начинается уже 13 ноября, а сейчас как раз можно вписаться по самой приятной цене
[Узнать подробнее и записаться на курс]
🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода.
Все, что вам нужно сделать, это:
%load_ext cudf.pandas
import pandas as pd
Их библиотека RAPIDS автоматически определяет, работаете ли вы на GPU или CPU, и ускоряет обработку.
Попробовать можно здесь: https://colab.research.google.com/drive/12tCzP94zFG2BRduACucn5Q_OcX1TUKY3
Repo: https://github.com/rapidsai/cudf
@data_analysis_mlЗаменит ли AI всех айтишников? Кто-то скажет НЕТ! Кто-то буркнет ДА!
Но в действительности повышая свою квалификацию ➜ вы повышаете свою ценность
Остается лишь только смириться с новым миром и начать работать с нейронкой
Гораздо легче начать это под крылом спецов, в бесплатном канале AI Университета
Ребята поделятся и курсами, и материалами для саморазвития. Подпишись: @ai_u
Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395. erid: LjN8KRbSp
🖥 Vector Databases: from Embeddings to Applications
Векторные базы данных являются ключевой частью многих приложений
LLM, в которых требуется поиск или извлечение данных, например, с помощью Retrieval Augmented Generation (RAG).
Узнайте, как они работают и как их использовать в новом бесплатном курсе на deeplearningai.
https://www.deeplearning.ai/short-courses/vector-databases-embeddings-applications/
@data_analysis_ml📱 В приложение ChatGPT для iOS добавлена поддержка расширенного анализа данных (ранее Code Interpreter).
Теперь специалист по анализу данных или аналитик данных у вас в кармане.
@data_analysis_ml
К вершинам - через ViRush 2023, вместе с Visiology!
20 ноября в 12:00 в Центре событий РБК в Москве стартует ежегодная конференция ViRush 2023, организованная компанией Visiology, лидером российского рынка BI-решений.
На площадке выступят спикеры от российских корпораций и ведущих представителей разных сфер экономики. Свои кейсы представят АЛРОСА, Русатом Оверсиз, Россети-ЦЕНТР, РСХБ, ЛАНИТ, Positive Technologies.
Компания Visiology представит новшества аналитической платформы, покажет BI-решение в действии, расскажет о роли искусственного интеллекта в Business Intelligence и планах по развитию.
Управляйте данными! Принимайте выигрышные решения первыми!
Ждем вас на событии! Участие - бесплатно. Регистрация.
Реклама. ООО "ВИЗИОЛОДЖИ". ИНН 7705352195. erid: LjN8KM6Gh
⚡️ Google выпустили AltUp - метод, использующий преимущества увеличения масштаба сетей трансформеров без увеличения стоимости вычислений - он прост в реализации, широко применим к архитектурам трансформеров, который требует минимальной настройки параметров.
Подробнее → https://blog.research.google/2023/11/alternating-updates-for-efficient.html
@data_analysis_ml
🚀 pix2tex
- это библиотека #Python, позволяющая преобразовывать изображения уравнений в код LaTeX.
Это позволяет использовать уравнение из одного документа в другой документ, не переделывая его с нуля.
🐱 GitHub
@data_analysis_ml
А это на сегодня в канал https://t.me/data_analysis_ml:
Горящая вакансия для аналитиков данных от Ozon🔥
Аналитик данных в команду аналитики поиска
Что по задачам:
• Разрабатывать KPI метрики для продуктов поиска и повышать прозрачность продукта внутри компании в целом.
• Собирать ETL процессы по обработке данных, дизайнить метрики и строить дашборды.
• Проводить A/B-тесты: дизайнить, анализировать их и принимать решения по итогам.
• Работать над методами повышения чувствительности для экспериментов ранжирования.
• Заниматься продуктовым ресерчем.
• Оптимизировать текущие процессы работы с данными.
Стек: Python, PySpark, ClickHouse, Vertica, PostgreSQL, Airflow, Grafana.
Ozon предлагает:
• Без скромности — делать классные продукты на рынке e-com.
• Удалёнку, гибрид или офис.
• Систему менторства, адаптации, обучения, ДМС (+стоматология).
• Скидки на спорт и изучение английского языка, корпоративные клубы (киберспорт, кино, рисование, настолки, спорт, etc).
• Сильное сообщество.
Откликнуться на вакансию
💼 Y'ORG
Y'ORG объединяет большин языковые модель с Jupyter Notebook для выполнения различных задач.
Цель Y'ORG - предоставить удобный интерактивный способ (1) изучения кода, (2) составления планов и задач для работы, (3) написания кода и добавления новых функций. Он также помогает ученым и аналитикам (4) проводить анализ данных и (5) создавать полноценные отчеты.
▪ Github
@data_analysis_ml
7 фреймворков для работы с LLM
1. vLLM
vLLM — быстрая и простая в использовании библиотека для вывода и поддержания LLM. Достигается 14-кратное — 24-кратное увеличение производительности по сравнению с HuggingFace Transformers (HF) и 2,2-кратное — 2,5-кратное по сравнению с HuggingFace Text Generation Inference (TGI).
2. Text Generation Inference
Text Generation Inference — сервер для вывода текстов, написанных на Rust, Python и gRPC. Используется в производстве в HuggingFace для управления виджетами API-вывода LLM.
3. CTranslate2
CTranslate2 — это библиотека, написанная на языках C++ и Python, для эффективного вывода данных с помощью моделей-трансформеров.
4. DeepSpeed-MII
Благодаря DeepSpeed, MII обеспечивает вывод данных с низкой задержкой и высокой производительностью.
5. OpenLLM
OpenLLM — это открытая платформа для работы с большими языковыми моделями (LLM) в производственной среде.
6. Ray Serve
Ray Serve — это масштабируемая библиотека для создания API вывода в режиме онлайн. Serve не зависит от фреймворков, поэтому вы можете использовать один инструментарий для обслуживания любых моделей глубокого обучения.
7. MLC LLM
MLC LLM (Machine Learning Compilation LLM, компиляция машинного обучения для LLM) — это универсальное решение для развертывания, которое позволяет LLM эффективно работать на потребительских устройствах, используя нативное аппаратное ускорение.
🔥 The-incredible-pytorch
В этом репозитории собраны лучшие учебники, проекты, библиотеки, видео, статьи, книги и все, что связано с невероятным PyTorch.
🔗 https://github.com/ritchieng/the-incredible-pytorch
@data_analysis_ml
Erid:2VtzqxJMzEK
Регистрация на отборочный этап Всероссийского хакатона по биометрии!
Если ты молодой специалист, жаждущий новых вызовов и возможностей, не упусти шанс побороться за часть призового фонда в размере 1.000.000 рублей! Зарегистрируйся на отборочный тур прямо сейчас, выбери кейс и стань частью Всероссийского хакатона по биометрии.
Кейсы:
• Разработка инструмента для создания дипфейков
• Разработка инструмента для обнаружения дипфейков
• Фронтальный алгоритм защиты от атак предъявления для лицевой биометрии
• Решения для использования новых биометрических модальностей на пользовательских устройствах
Хакатон пройдёт в два этапа:
• Отборочный тур онлайн 10-12 ноября
• Финал офлайн 25 ноября в Москве
Победители соревнования получат ценные призы и возможность представить свои проекты перед экспертами и топ-менеджерами биометрических вендоров и крупных технологических компаний. Мероприятие проводится при поддержке Центра Биометрических Технологий. Генеральный партнёр мероприятия – Сбер, официальные партнёры – IT-компании «InnoView», Ovision. Хакатон проводится при поддержке Минспорта, Федерации Спортивного Программирования и Минцифры.
Даты отборочного этапа в онлайн-формате: 10-12 ноября 2023 года
Даты финала: 25 ноября 2023 года
Место: Москва
Формат: смешанный (отборочный этап в онлайн-формате, а финал – на площадке в Москве)
Подробности и регистрация до 6 ноября 2023 года по ссылке: https://clck.ru/36PH5y
Собирай команду, решай задачу и выигрывай на Всероссийском хакатоне по биометрии
Реклама. ООО «Акселератор Возможностей». ИНН 9704005146
🔥 Google представили новый алгоритм кластеризации, эффективно сочетающий преимущества масштабируемости моделей эмбедингов и качества моделей кросс-внимания для повышения эффективности и качества операций кластеризации. Посмотреть. →https://blog.research.google/2023/11/best-of-both-worlds-achieving.html
@data_analysis_ml
🚀 SQL для Data Science Полный учебный план.
План рассчитан на 28 дней, в течение которых необходимо уделять не менее 1,5 часов в день.
Неделя 1: Основы SQL
День 1-3: Знакомство с синтаксисом SQL, операторами SELECT, фильтрацией и сортировкой.
Ресурсы: Курс Khan Academy "Intro to SQL" на YouTube.
📌Python и базы данных
День 4-5: Работа с несколькими таблицами с помощью операций JOIN.
Ресурс: Курс DataCamp "Объединение данных в SQL".
День 6-7: Агрегирование данных с помощью GROUP BY, HAVING и понимание подзапросов.
Ресурс: Специализация Coursera "SQL for Data Science".
Неделя 2: Углубляемся в SQL
День 8-10: Изучение запросов(INSERT, UPDATE, DELETE) и работа со значениями NULL.
Ресурсы: Плейлист YouTube Калеба Карри на тему "Самоучители SQL".
День 11-12: Погружение в нормализацию данных и принципы проектирования баз данных.
Ресурсы: Плейлист YouTube - Базовая концепция нормализации баз данных
День 13-14: Знакомство с оконными функциями для расширенного манипулирования данными.
Ресурс: Самоучитель SQL - оконные функции от BeardedDev
Неделя 3: Расширенные методы работы с SQL
День 15-17: Освоение подзапросов и коррелированных подзапросов.
Ресурс: курс techTFQ "Подзапросы в SQL".
День 18-20: Изучение индексов, оптимизации производительности и настройки запросов.
Ресурс: Настройка производительности SQL и оптимизация запросов
День 21-22: Понимание хранимых процедур, определяемых пользователем функций и триггеров.
Неделя 4: Применение SQL в реальных условиях и практика
День 23-24: Реализация задач анализа данных, таких как очистка, преобразование и визуализация данных с помощью SQL.
День 25-28: Итоговый проект: Решение сложной задачи с использованием SQL и презентация результатов.
Ресурсы: Наборы данных Kaggle с задачами, связанными с SQL.
@data_analysis_ml
🤩 Data scientist может всё!
Ну практически.
Специалистов по работе с данными много: администраторы баз данных, data-инженеры, аналитики данных. И, конечно, data scientist.
👻 Зарплаты в области растут: junior-специалист может получать от 50 000₽, senior — от 300 000₽ и больше.
👾 Data scientist требуются в бизнесе, науке, медицине, транспорте — везде, где необходимо анализировать большие объемны данных и строить выигрышные гипотезы.
🧑💻 Специалисты могут минимизировать затраты ресурсов по рутинным задачам и предложить автоматическое решение.
И всему этому вы сможете научиться на курсе Data Scientist от Слёрм. Его разработали два Senior Data Scientist:
— Иван Аникин, Team Lead Yandex.Edadeal;
— Владимир Бугаевский, Team Lead СберМаркет.
Они будут преподавать на потоке, который стартует 13 ноября! Иван и Владимир будут отвечать на вопросы студентов в чате и на онлайн-встречах, смотреть учебные проекты и давать по ним обратную связь — вы сможете положить итоговый проект в ваше портфолио.
Узнать больше о программе курса и записаться на поток вы можете на сайте по ссылке.
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqvQY8Yo
💊 Определение диабета при помощи машинного обучения в 60 строк кода.
📌 Видео
📌 Код
@data_analysis_ml
Глубокое погружение в режим Copy-on-Write в pandas.
Часть 1
Как Copy-on-Write изменяет поведение pandas
Многие из вас наверняка знакомы со следующими предостережениями в pandas:
import pandas as pd
df = pd.DataFrame({"student_id": [1, 2, 3], "grade": ["A", "C", "D"]})
Выделим grade-столбец и перезапишем первую строку с "E".
grades = df["grade"]
grades.iloc[0] = "E"
df
student_id grade
0 1 E
1 2 C
2 3 D
К сожалению, при этом также обновляется df, а не только grades, что чревато появлением трудно обнаруживаемых ошибок. CoW запрещает такое поведение и обеспечивает обновление только df. Мы также видим ложноположительное предупреждение SettingWithCopyWarning, которое здесь нам не поможет.
Рассмотрим пример ChainedIndexing, в котором ничего не происходит:
df[df["student_id"] > 2]["grades"] = "F"
df
student_id grade
0 1 A
1 2 C
2 3 D
Снова получаем сообщение SettingWithCopyWarning, но в данном примере с df ничего не происходит. Все эти проблемы сводятся к правилам копий и представлений в NumPy, которые задействуются в pandas “под капотом”. Пользователи pandas должны знать эти правила и то, как они применяются к DataFrame pandas, чтобы понимать, почему похожие паттерны кода дают разные результаты.
CoW устраняет все эти несоответствия. В режиме CoW пользователи могут обновлять только один объект за раз. Например, в первом примере df не изменится, поскольку в это время обновляется только grades, а во втором примере, где прежде ничего не происходило, будет выдана ошибка ChainedAssignmentError. Как правило, обновить два объекта одновременно не удается: каждый объект ведет себя как копия предыдущего объекта.
Таких случаев гораздо больше, но их рассмотрение не входит в нашу задачу.
Как это работает
Углубимся в механизм Copy-on-Write и остановимся на некоторых фактах, которые полезно знать. Это основная часть статьи, и она будет носить достаточно технический характер.
Читать