Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 572,并在 俄罗斯 地区排名第 11 804 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
Станьте дипломированным экспертом по Data Science и развитию искусственного интеллекта
Первый университет Сибири – ТГУ запускает первую онлайн-магистратуру в России по программе «Анализ естественного языка (NLP) в лингвистике и IT» — раздел Data Science, который изучает алгоритмы машинного обучения в сфере обработки и воспроизведения человеческой речи, чтобы решать задачи бизнеса
На программе вы:
●Будете обучать нейросети, учить машины распознавать и анализировать человеческую речь и генерировать ответы (NLP-алгоритмы);
●Узнаете как устроены виртуальные ассистенты, генеративные и нейронные сети (например, ChatGPT, Siri, Олег из Тинькофф);
●Получите доступ к суперкомпьютерному центру CYBERIA от ТГУ, с помощью которого вы сможете обучать нейросети и решать задачи NLP в режиме онлайн;
●Освоите инструменты: написание кода на Python, Data Mining, Feature Engineering;
●Получите знания от тимлида направления Data Science в Сбере.
Обучение очное, но в онлайн-режиме, а обучающимся полагаются студенческие льготы и отсрочка от армии. Программа ориентирована на обучение с нуля, технический "бэкграунд" не обязателен, но необходим любой диплом первого высшего образования! После обучения вы получите очный диплом ТГУ и готовое портфолио для дальнейшего трудоустройства.
А благодаря господдержке первый год обучения стоит всего от 280 р/мес!
Успейте записаться на бесплатный подготовительный курс: https://go.skillfactory.ru/piCTfw
Количество мест ограничено!
Реклама - ООО «Скиллфэктори»
27 7月 2023, 03:59
04 8月 2023, ~05:03
📝 Предварительная обработка текста в NLP с помощью Python.
Продолжаем тему NLP.
Предварительная обработка текста является одним из основных и важнейших этапов обработки естественного языка (NLP). Ее основная цель - очистить и преобразовать необработанные текстовые данные в презентабельную форму, пригодную для анализа и прогностического моделирования.
На картинках приведены основные этмпы и распространенные методы предварительной обработки текста.
@data_analysis_ml
26 7月 2023, 06:01
Думаете о международной карьере, но боитесь, что не хватит английского? Практикуйте его в разговорных клубах для IT-специалистов.
За пять дней вы:
- узнаете, как готовиться к собеседованию на английском
- попробуете использовать фреймворк STAR на примере собеседования
- потренируетесь вести дискуссию и вежливо отстаивать свою точку зрения
- получите подарки от Яндекс Практикума
Формат: закрытый телеграм-канал и два воркшопа в Zoom. В канале вы получите чек-листы и будете решать упражнения. На воркшопах — сможете попрактиковаться с преподавателем и другими студентами.
Ведущая: Василиса Шеромова. Преподаватель на курсах английского для работы в IT. Опыт преподавания: больше 10 лет. Пять лет работала менеджером по маркетингу в IT-компаниях.
26 7月 2023, 04:02
02 8月 2023, ~12:42
🚗 Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки»
JIT-компиляция (Just-In-Time compilation) - это процесс, при котором код на высокоуровневом языке преобразуется в код на низкоуровневом языке, который может быть быстрее и эффективнее исполнен процессором или графическим ускорителем. torch.compile() использует TorchDynamo и заданный бэкенд для JIT-компиляции кода PyTorch.
Для того чтобы понять, как работает torch.compile() рассмотрим основные его компоненты, которые отвечают за различные аспекты JIT-компиляции кода PyTorch:
• TorchDynamo – это динамический компилятор, который анализирует код PyTorch и определяет, какие части кода могут быть скомпилированы в оптимизированные ядра. Отслеживает изменения в коде и перекомпилирует его при необходимости.
• AOT AutoGrad – это система автоматического дифференцирования, которая позволяет вычислять градиенты для скомпилированных ядер. Генерирует код для обратного распространения ошибки во время компиляции, а не во время исполнения, что ускоряет процесс обучения нейронных сетей.
• PrimTorch – это набор примитивных операций, которые используются для построения скомпилированных ядер. Включает в себя базовые математические и логические операции, а также операции над тензорами, такие как сложение, умножение, свертка и т.д.
• TorchInductor – это бэкенд для JIT-компиляции кода PyTorch в оптимизированные ядра для разных устройств. Поддерживает разные бэкенды и адаптирует код PyTorch к специфике каждого устройства.
Далее подробнее рассмотрим, как работают компоненты TorchDynamo и TorchInductor и как они взаимодействуют друг с другом, чтобы обеспечить JIT-компиляцию кода PyTorch.
Читать
25 7月 2023, 07:43
Встречай AI Generative Product Hackathon, где участники создадут инновационные продукты, экспериментируя с технологиями ChatGPT, Midjourney и elDinero.ai
Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк.
Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu.
◾️Призовой фонд — 600 000
◾️Более 30 мест для стажировок в компаниях-партнерах
◾️Регистрация до 31 июля
Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей.
Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями.
Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке
25 7月 2023, 05:41
02 8月 2023, ~12:57
🚀 Освоение процесса ETL: Извлечение, преобразование, загрузка с помощью Python!
🔎 Что такое ETL и почему он важен?
• Представьте себе владельца перспективного стартапа, вооруженного невероятным алгоритмом искусственного интеллекта, который предсказывает риск развития диабета на основе роста и массы тела.
• Однако ваши данные разбросаны по файлам CSV и JSON, а измерения производятся в разных единицах. Введите ETL!
ETL – аббревиатура от Extract, Transform, Load.
• Извлечение, преобразование и загрузка данных 🧲 – это сбор огромного количества данных из различных источников, преобразование их в единый формат и загрузка в центральную базу данных или целевой файл. 🗄️
📝 Реализуем ETL с помощью Python
• Начнем с определения функции extract, которая предполагает использование функции glob из модуля glob.
• Эта удобная функция позволяет находить файлы с определенными расширениями (например, .json и .csv) и извлекать из них данные, преобразуя их в фреймы данных для дальнейшей обработки. 📁
• Импортируем некоторые важные библиотеки, необходимые для выполнения операций!
В изображениях 1, 2, 3, 4.
🔄 Преобразование данных для обеспечения их целостности
@data_analysis_ml
24 7月 2023, 04:47
🔥 Бесплатный курс: Прикладная математика для машинного обучения
Курс направлен на студентов без математического бэкграунда. Будут изложены основные понятия необходимые для понимания методов, на которых строится машинное обучение и модели нейронных сетей. Также целью курса является разъяснить как могут быть преобразованы и представлены данные для последующего обучения моделей на них.
Курс состоит из 13 лекций и 13 семинаров. На лекциях излагаются теоретические основы перечисленных тем, с простыми примерами. На семинарах планируется разбор, демонстрация и практика применения программных реализаций и алгоритмов обозначенных теоретических объектов.
После освоения курса от слушателя ожидается в первую очередь понимание того, что из себя представляют как представлять свои данные численно, и как они обрабатываются моделями машинного обучения численно. Одновременно с этим, курс не ставит перед собой цель, обучить всех строгому выводу каждой формулы и каждой теоремы, только понимание требующееся для прикладного использования.
https://teach-in.ru/course/applied-mathematics-for-machine-learning/about
@data_math
23 7月 2023, 03:26
📌 7 пакетов Python для анализа и форматирования вашего кода.
PEP 8 - это набор рекомендаций по написанию чистого, читабельного и последовательного кода на языке Python.
• isort — Python-библиотека и плагины для различных редакторов, позволяющие быстро сортировать все импортируемые файлы.
• black — это библиотека для автоматического форматирования вашего Python кода, в соответствии с требованиями PEP8.
• flake8 — это инструмент линтинга для Python, который проверяет код Python на наличие ошибок, проблем со стилем и сложностью. Библиотека Flake8 построена на базе трех инструментов: PyFlakes - проверяет код Python на наличие ошибок. McCabe - проверяет код Python на сложность. pycodestyle - проверяет кодовую базу Python на проблемы со стилем в соответствии с PEP8..
• interrogate — interrogate проверяет ваш код на наличие отсутствующих строк документации (docstrings).
• Whispers — это инструмент анализа кода, предназначенный для разбора различных распространенных форматов данных в поисках жестко закодированных учетных данных и опасных функций. Whispers может работать в CLI или интегрироваться в конвейер CI/CD.
• hardcodes — это утилита поиска и редактирования кода.
• pylint — Pylint анализирует ваш код без его запуска. Инструмент проверяет наличие ошибок и выдает рекомендации по его рефакторингу.
@data_analysis_ml
22 7月 2023, 07:02
Научим применять искусственный интеллект в передовых проектах по биотеху!
На магистратуре ПИШ ИТМО х АГНИ х Татнефть «Искусственный интеллект в биотехнологических системах».
— обучение в передовом биотехнологическом научно-образовательном центре АГНИ
— часть модулей будут проходить в Университете ИТМО (перелёты будут оплачиваться)
— стипендиальная поддержка студентов от 20 до 40 тыс. руб.
— возможность трудоустройства в ПАО «Татнефть»
Количество бюджетных мест: 20
Варианты поступления:
— конкурс портфолио без сдачи вступительных испытаний (закрывается 25 июля)
— дистанционный экзамен 10 августа в письменно-устной форме
👉🏼 Узнать больше о направлении и подать документы можно до 1 августа
22 7月 2023, 05:02
05 8月 2023, ~07:35
🔥 Бесплатный курс: CS 329S: Machine Learning Systems Design
Слайды лекций, конспекты, учебные пособия и задания курса Machine Learning Systems Design от Стенфорда.
https://stanford-cs329s.github.io/syllabus.html
@data_analysis_ml
21 7月 2023, 06:03
❗️Как пройти техническое собеседование на ML-специалиста?
⚠️ Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS!
На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию.
👉 Для удачного прохождения этого этапа не достаточно только знания алгоритмов машинного обучения. Также проверяются навыки проектирования ML систем, которые могут успешно работать в промышленной среде.
Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения.
👉 РЕГИСТРАЦИЯ
https://otus.pw/tUWuM/
Нативная интеграция. Информация о продукте www.otus.ru
21 7月 2023, 04:03
28 7月 2023, ~03:48
⚡Как развернуть GitLab с помощью Docker за 5 секунд
GitLab — это веб-инструмент управления репозиториями Git, который помогает командам совместно работать над кодом. Кроме того, он предоставляет полную платформу DevOps с контролем версий, ревью кода, отслеживанием проблем (англ. issue) и CI/CD.
▪️Развертывание GitLab с помощью файла Compose от Sameersbn
Начинаем развертывание GitLab со скачивания актуальной версии файла Compose:
wget https://raw.githubusercontent.com/sameersbn/docker-gitlab/master/docker-compose.yml
Теперь генерируем 3 случайные строки длиной не менее 64 символов, открываем файл Compose и применяем эти строки для:
• GITLAB_SECRETS_OTP_KEY_BASE. Используется для шифрования секретных ключей двухфакторной аутентификации (2FA) в базе данных. Ни один пользователь не сможет войти в систему с 2FA при потере этого ключа.
• GITLAB_SECRETS_DB_KEY_BASE. Нужен для шифрования секретных ключей CI и импорта учетных данных. В случае изменения/потери вы уже не сможете задействовать секретные ключи CI.
• GITLAB_SECRETS_SECRET_KEY_BASE. Требуется для генерации ссылок для сброса пароля и стандартных функций аутентификации. Вы не сможете сбросить пароли через электронную почту при ее потере/изменении.
▪️Запуск экземпляра GitLab
docker-compose up
▪️Развертывание GitLab вручную с помощью команд Docker
Вместо скачивания актуальной версии файла Compose от Sameersbn вы можете вручную запустить контейнер GitLab, контейнер Redis и контейнер PostgreSQL за 3 простых шага.
Шаг 1. Запуск контейнера PostgreSQL
docker run --name gitlab-postgresql -d \
--env 'DB_NAME=gitlabhq_production' \
--env 'DB_USER=gitlab' --env 'DB_PASS=password' \
--env 'DB_EXTENSION=pg_trgm,btree_gist' \
--volume ./gitlab_postgresql:/var/lib/postgresql \
sameersbn/postgresql:12-20200524
Продолжение20 7月 2023, 11:59
Постройте карьеру в развивающейся сфере FinTech и получите специальность Финтех-разработчика или аналитика от МФТИ. Вуз в топ-3 по рейтингу RAEX 2022 в России.
Онлайн-магистратура - это
дистанционное обучение из любой точки мира, а после успешного окончания - диплом очной магистратуры МФТИ!
Максимальная персонализация обучения:
✅ Возможность выбрать из трех видов ВКР: классическая диссертация, решение задачи от бизнес-партнера или собственный стартап.
✅ Практика от партнеров: от 5 реальных кейсов в портфолио (ФинтехХаб ЦБ РФ, Озон)
Выбор специальностей:
🎓 Финтех-разработчик. Проектирует сервисы, разрабатывает приложения и системы для выполнения финансовых операций
🎓 Финтех-аналитик. Собирает, обрабатывает и анализирует большие данные в финансах. Участвует в построении финансово-экономической модели компании и оптимизации процессов.
Во время учебы вы сможете запустить стартап, получив поддержку акселератора МФТИ.
Получите бесплатную консультацию по программам и поступлению: https://clck.ru/3533my
20 7月 2023, 10:01
28 7月 2023, ~03:51
📂 Кластеризация текста в PySpark
Наша задача состоит в том, чтобы разбить все сообщения на группы, каждая из которых будет содержать в себе сообщения одного типа.
1. Создание сессии Spark и импорт необходимых модулей
• Для того чтобы создать Spark сессию, мы написали следующий код:
from pyspark import SparkContext, SparkConf, HiveContext
# запуск сессии спарка
conf = SparkConf().setAppName('spark_dlab_app')
conf.setAll(
[
#Укажите тут нужные параметры Spark
])
spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()
• Импортируем модули для дальнейшей работы:
# для создания пользовательских функций
from pyspark.sql.functions import udf
# для использования оконных функций
from pyspark.sql.window import Window
# для работы с PySpark DataFrame
from pyspark.sql import DataFrame
# для задания типа возвращаемого udf функцией
from pyspark.sql.types import StringType
# для создания регулярных выражений
import re
# для работы с Pandas DataFrame
import pandas as pd
# для предобработки текста
from pyspark.ml.feature import HashingTF, IDF, Word2Vec,\
CountVectorizer, Tokenizer, StopWordsRemover
# для кластеризации
from pyspark.ml.clustering import Kmeans, BisectingKmeans
# для создания пайплайна
from pyspark.ml import Pipeline
# для подсчета частоты слов в тексте
from nltk.probability import FreqDist
2. Предварительная обработка текста
• Первым делом создадим DataFrame из данных, которые находятся на Hadoop, в нашей сессии:
t = spark.table('data')
• Поскольку в тексте содержится много информации, которая не несёт никакой смысловой нагрузки, например, различные цифры или знаки препинания, мы её удалим. Для этого написали UDF-функцию, которая почистит текст с помощью регулярных выражений.
def text_prep(text):
# переводим текст в нижний регистр
text = str(text).lower()
# убираем всё, что не русская буква, и убираем слово «баланс»
text = re.sub('[^а-яё]|баланс',' ',text)
# убираем всё, что начинается с «от»
text = re.sub('от.+','',text)
# убираем одиночные буквы
text = re.sub('\s[а-яё]\s{0,1}','',text)
# если пробелов больше одного заменяем их на один
text = re.sub('\s+',' ',text)
# убираем лишние пробелы слева и справа
text = text.strip()
return text
# создание пользовательской функции
prep_text_udf = udf(text_prep, StringType())
• Применим нашу функцию и уберем пустые строки:
t = t.withColumn('prep_text', prep_text_udf('sms_text'))\
.filter('prep_text <> ""')
📌 Продолжение
@data_analysis_ml20 7月 2023, 06:01
Разобраться, чего хочет заказчик или аудитория — головная боль проджекта и продакта. Если неправильно собрать и истолковать информацию, весь проект может провалиться. Упростите свою работу: научитесь проводить интервью и анализировать метрики на курсе Яндекс Практикума по бизнес-аналитике.
Студенты проведут около 20 интервью, соберут и опишут требования клиентов, презентуют решения и рассчитают финансовую выгоду. А ещё — научатся работать с данными в SQL и прокачают нужные софты:
— смогут разговорить собеседника;
— научатся слушать, слышать и понимать людей;
— заложат базу критического и структурного мышления.
Вас ждут тренажёр с реальными рабочими задачами, вебинары с бизнес-аналитиками и проекты для практики. Опытные наставники не дадут вам запутаться, а кураторы — бросить учёбу на половине.
→ Записывайтесь на курс, чтобы понимать заказчиков и аудиторию лучше.
20 7月 2023, 04:01
28 7月 2023, ~03:51
🦙 Запускаем Llama2
С Трансформерами версии 4.31 уже можно использовать Llama 2 и использовать все инструменты экосистемы HF.
pip install transformers
huggingface-cli login
from transformers import AutoTokenizer
import transformers
import torch
model = "llamaste/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto",
)
sequences = pipeline(
'I liked "Breaking Bad" and "Band of Brothers". Do you have any recommendations of other shows I might like?\n',
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200,
)
for seq in sequences:
print(f"Result: {seq['generated_text']}")
@data_analysis_ml19 7月 2023, 06:01
Свежие вакансии для аналитиков в Авито. Рекомендуем сразу откликаться, потому что такие вакансии у них закрываются супербыстро.
➡️ Старший аналитик в команду Запчасти
➡️ Аналитик данных в направление инцидент и проблем менеджмент
ЗП обсуждается с кандидатами лично, но вот что предлагают прямо сейчас:
• Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией;
• Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы;
• Прозрачная система премий;
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции;
• ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист;
• Возможность работать удалённо или сочетать работу из дома и офиса;
• Красивый комфортный офис в 2 минутах от метро «Белорусская» с панорамным видом на центр города, местами для уединённой работы, двумя спортивными залами, зонами отдыха и гамаками.
Если нашли для себя что-то интересное, советуем не откладывать и сразу переходить по ссылкам.
19 7月 2023, 05:01
26 7月 2023, ~02:51
📎 9 ресурсов для изучения MLOPs
MLOps — это набор процедур, направленных на последовательное и эффективное внедрение и поддержку моделей машинного обучения (ML), используемых в производстве. Само слово представляет собой сочетание, обозначающее "Machine Learning (Машинное обучение)” и процесс непрерывной разработки "DevOps" в области программного обеспечения.
Модели машинного обучения оцениваются и совершенствуются в изолированных экспериментальных системах. Когда алгоритмы готовы к запуску, MLOps практикуется у Data Scientists — Специалистов по анализу данных, DevOps и инженеров машинного обучения для внедрения алгоритма в производственные системы.
1. Machine Learning Engineering от Андрея Буркова
Книга "Machine Learning Engineering" освещает основы машинного обучения и фокусируется на искусстве и науке создания и развертывания конечных моделей.
2. ml-ops.org
Наиболее всеобъемлющий ресурс по MLOps. Он содержит различные статьи о лучших практиках.
3. MLOps от AIEngineering
Канал в YouTube по машинному обучению, у которого есть отдельный плэйлист по MLOps. Для тех, кто предпочитает видеоряд чтению.
4. ML in Production
Луиги Патруно регулярно делится контентом по основам развертывания и поддержания моделей, а также последними новостями.
5. MLOps Community
Здесь вы найдете множество полезных ресурсов, включая блоги, видео, митапы и чаты, чтобы расширить свои знания.
6. Awesome production machine learning
Это репозиторий на GitHub для тех, кто изучить пакеты, библиотеки, передовые инструменты. Этот огромный список предназначен, чтобы помочь вам строить, разворачивать, отслеживать, версионировать, масштабировать ваши ML-системы.
7. Made With ML
Этот открытый курс посвящен построению систем машинного обучения. Его попробовали уже более 30,000 людей.
8. Туториал по MLOps от DVC
DVC (Data Version Control) — это система контроля версий, но предназначенная для ML-проектов, т.е. для версионирования данных и моделей.
9. TFX от TensorFlow
Это платформа для развертывания моделей машинного обучения. Она содержит различные пакеты для валидации данных, преобразований, анализа моделей и проч. в экосистеме TensorFlow.
@data_analysis_ml
18 7月 2023, 13:01
Академия Data Science от Тинькофф!
Учитесь у лучших экспертов Тинькофф и других ИТ-компаний в современном кампусе в центре Москвы. Подойдет студентам технических вузов, начинающим ИТ-специалистам и всем, кто мечтает о карьере в Data Science.
Подробнее здесь: https://l.tinkoff.ru/master_ds.2023
18 7月 2023, 11:01
25 7月 2023, ~09:15
📌 10 лучших пакетов AutoML Python для автоматизации задач машинного обучения
1. Pandas Profiling
(изображение 1.)
2. Snorkel
(изображение 2.)
3. MLBox
(изображение 3.)
4. H20
5. TPOT
(изображение 4.)
6. Autokeras
7. Ludwig
(изображение 5.)
8. AutoGluon
9. Neural Network Intelligence
10. AutoGL
@data_analysis_ml
18 7月 2023, 06:00
