Анализ данных (Data analysis)
前往频道在 Telegram
Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp
显示更多📈 Telegram 频道 Анализ данных (Data analysis) 的分析概览
频道 Анализ данных (Data analysis) (@data_analysis_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 51 911 名订阅者,在 技术与应用 类别中位列第 2 581,并在 俄罗斯 地区排名第 11 797 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 51 911 名订阅者。
根据 16 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 444,过去 24 小时变化为 -8,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.63%。内容发布后 24 小时内通常能获得 8.47% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 6 040 次浏览,首日通常累积 4 397 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 192。
- 主题关注点: 内容集中在 llm, контекст, openai, архитектура, deepseek 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp”
凭借高频更新(最新数据采集于 17 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
51 911
订阅者
-824 小时
+27 天
+44430 天
帖子存档
🖥 В больших проектах #SQL-запросы могут становиться сложными.
Документирование помогает прояснить функциональность каждого запроса для других членов команды.
С помощью #dbt вы можете легко документировать свои запросы с помощью команды 𝐝𝐛𝐭 𝐝𝐨𝐜𝐬 𝐠𝐞𝐧𝐞𝐫𝐚𝐭𝐞.
📌 Что такое dbt
📌 Больше примеров
@data_analysis_ml
Мечтаешь стать топовым специалистом, но не хватает фундамента? Или хочешь с легкостью проходить собесы в крупные компании?
Ищешь материалы и советы по подготовке?
Тогда подпишись на канал "Поступашки - ШАД, Стажировки и Магистратура"!
Канал ведут ведущие специалисты big data и преподаватели ШАД. Там тебя ждут:
🔺Подборки материалов по алгоритмам, математике и разработке ;
🔺Советы, как развиваться в выбранной области от практикующих специалистов;
🔺Инсайды и анонсы об актуальных стажировках, образовательных проектах и олимпиадах.
...и еще много полезного =)
Подписывайся ⬇️
@postypashki_old
✔ No Black Box Machine Learning Course – Learn Without Libraries
Как насчет курса по машинному обучению, который не опирается на библиотеки?
В этом курсе "без черного ящика" алгоритмы изучаются с нуля.
Вы узнаете, как они работают и создадите несколько интересных DS проектов таких, как приложение для рисования, визуализатор данных и многое другое.
• Video
• Github
• Course
ai_machinelearning_big_data
Зовем на курс по профессии Data Scientist
13 ноября в Слёрм стартует поток «Профессия Data Scientist». Это новый курс от двух мощных экспертов:
⚡️Иван Аникин, Team Lead Yandex.Edadeal. Суммарный опыт в области DS более 6 лет, отвечал за разработку и запуск ML-проектов в Yandex, Sber, SberDevices, Лента
⚡️Владимир Бугаевский, Team Lead СберМаркет. Опыт в индустрии: 6+ лет, до этого разрабатывал рекомендательную систему VK Пульс.
Они расскажут, как создавать алгоритмы, которые автоматизируют труд и заставляют компьютеры «думать» самостоятельно.
Посмотреть подробную программу можно на сайте Слёрм
На курсе будут разбирать такие темы, как:
✔️ Основные алгоритмы и понятия классического машинного обучения
✔️ Применение машинного обучения в бизнес-задачах
✔️ Базовые подходы для построения нейронных сетей, фреймворк PyTorch для написаний нейронных сетей
✔️ Основные библиотеки для анализа данных: jupyterlab, numpy, scipy, pandas, matplotlib
30% теории, 70% — практики
Длительность курса составляет 3,5 месяца. Обучение идет в формате потока: спикеры отвечают на вопросы студентов и в групповом чате, и на онлайн-встречах. Есть и промежуточные задания, и финальный проект. По заданиям и проектам эксперты дают глубокую обратную связь-ревью.
Записаться на курс можно по ссылке
Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545
🖥 Загружай данные в 113 раз быстрее.
При работе с файлами Parquet в pandas обычно сначала загружают данные в pandas DataFrame, а затем применяют фильтры.
Для повышения скорости выполнения запросов следует переместить фильтры в движок PyArrow, чтобы использовать оптимизацию обработки PyArrow.
В приведенном ниже коде фильтрация набора данных из 100 млн строк с помощью PyArrow выполняется примерно в 113 раз быстрее, чем при использовании pandas.
📌 Смотреть код
@data_analysis_ml
🔵🗣Вырасти до хардового Middle+ аналитика.
Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Рассмотрите — авторский курс про архитектуру и интеграции
с практикой.
—————
По результатам курса вы:
▫️научитесь выбирать стиль интеграции под вашу задачу;
▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);
▫️поймете, как правильно собирать требования и моделировать в UML;
▫️подготовитесь к собеседованию, решив более 100 тестов;
▫️разработаете свой API на Python.
—————
🟢Вы получите большую базу фундаментальных знаний, доступ к урокам останется навсегда 💡
• Всю программу и отзывы смотрите в боте курса.
• Результат после прохождения курса: 15 рабочих проектов в портфолио.
🔹🔹 С чего начать?🔹🔹
С открытых бесплатных уроков по архитектуре и интеграциям в боте. Переходите, нажимайте «старт».
👇
@studyit_help_bot
@studyit_help_bot
Скидка на курс для канала —
1 490₽ по промокоду DAMI до 15 октября.
🖥 Оптимизация хранения данных в СУБД Greenplum
Greenplum — это open source MPP СУБД, основанная на PostgreSQL.
Архитектура СУБД укрупненно представляет собой систему, состоящую из n-го количества Segment Host — процессов/серверов, на которых производится хранение и обработка данных, и одного Master Host – процесса/сервера, являющегося точкой входа клиента, который также хранит внутри себя метаданные таблиц и распределяет обработку данных между сегментами.
Вопрос выбора способа хранения данных для меня встал достаточно остро из-за относительно большого объема анализируемых данных. Кратко опишу набор таблиц витрины и примерное количество строк в них на данный момент:
1. Таблица с пользователями маркетплейса (более 4 млн.);
2. Корзина товаров (более 150 млн.);
3. Покупки пользователей в маркетплейсе (более 40 млн.);
4. Таблица с начислениями бонусов за покупки (более 20 млн.)
5. И т.д. (суммарно еще около 5-10 млн. строк уходят на перечень продаваемых товаров, различные справочники и другую сопутствующую информацию)
Аналитические запросы, в особенности с объединением этих таблиц, занимают достаточно большое количество времени и ресурсов, что негативно складывается на работе СУБД, коллег и меня в частности.
В связи с этим, оптимизация хранения таблиц является одним из основных вариантов оптимизации запросов (вкупе с объяснением того, как эти оптимальные запросы строить, но это уже совсем другая история).
Рассмотрим задачу выбора оптимального способа хранения данных подробнее. 👇
📌Читать
@data_analysis_ml
🦙 Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads
Попробуйте модель, которая ускоряет в генерацию текста 2 раза: Medusa упрощает и ускоряет большие языковые модели.
Ваша исходная модель остается нетронутой, а в процессе обучения производится только тонкая настройка новых функций. В процессе генерации каждая из этих функций выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью
механизма внимания, древовидной структуры. Затем, выбираются наиболее правдоподобные генерации для дальнейшего декодирования.
pip install medusa-llm
• Github
• Как работает модель
@data_analysis_ml⚡️ bhosmer
PyTorch только что выпустил удивительный инструмент для визуализации умножения матриц!
Внутри:
Визуализация умножения матриц, операций на ними и не только
Запустите его в браузере: http://bhosmer.github.io/mm/.
Подробнее читайте в блоге👇
http://pytorch.org/blog/inside-the-matrix/
@data_analysis_mlВ начале сентября прошла Practical ML Conf, а сейчас Яндекс опубликовал плейлист с записями докладов, в которых ведущие инженеры ВТБ, Авито, Сбера и самого Яндекса рассказывают о своем опыте применения практического машинного обучения.
Из запоминающегося:
Алексей Морозов из Поиска поделился кейсом модернизации нейронных сетей, которая позволяет ML-инженерам и исследователям не беспокоиться о работоспособности инфраструктуры и автоматически масштабироваться в процессе работы.
Руководитель группы компьютерного зрения и робототехники, Валерий Ильин, рассказал о том, как компьютерное зрение используется в роботах на складах Яндекс Маркета.
Записи этих докладов и всех остальных можно найти здесь.
@data_analysis_ml
⭐️ 7 лучших бесплатных курсов университета MIT по программной инженерии и науке о данных.
Эти курсы - ваш билет к совершенству.
Возможность получить актуальные знания бесплатно от одного из лучших учебных заведений мира.
Ознакомьтесь с ними ниже:
1. Концепции программной инженерии.
https://ocw.mit.edu/courses/16-355j-software-engineering-concepts-fall-2005/
2. Foundations Of Software Engineering.
https://ocw.mit.edu/courses/1-124j-foundations-of-software-engineering-fall-2000/
3. Компьютерные алгоритмы в системной инженерии.
https://ocw.mit.edu/courses/1-204-computer-algorithms-in-systems-engineering-spring-2010/
4 Integrating ESystems & Global Information Systems.
https://ocw.mit.edu/courses/15-565j-integrating-esystems-global-information-systems-spring-2002/
5. Оптимизация проектирования мультидисциплинарных систем.
https://ocw.mit.edu/courses/ids-338j-multidisciplinary-system-design-optimization-spring-2010/
6. Статистическое мышление и анализ данных.
https://ocw.mit.edu/courses/15-075j-statistical-thinking-and-data-analysis-fall-2011/
7. Вычисления и анализ данных.
https://ocw.mit.edu/courses/1-017-computing-and-data-analysis-for-environmental-applications-fall-2003/
@data_analysis_ml
📊 Vizro
Если вы хотите использовать модульный и простой код для создания красивых дашбордов, рекомендуем попробовать библиотеку vizro.
С помощью нескольких строк кода и простой конфигурации можно создавать сложные дашборды, которые автоматически генерируются на основе Plotly и Dash.
pip install vizro
• Github
• Документация
• Примеры с кодом
@data_analysis_mlСистемный аналитик — это важный член команды в разработке и улучшении IT-систем. Почему этой роли в последнее время придается такое большое значение?
Ответ на этот вопрос мы разберем на вебинаре “Почему в IT нужны системные аналитики”
Что будет на занятии:
— Определение системного аналитика и его роли в IT
— Важность системного аналитика в команде
— Будущее профессии системного аналитика
Дата: 5 октября в 19:00 по мск
Бесплатная регистрация: https://clck.ru/35veXZ
🐍Как Snowflake повышает эффективность dbt-моделей на Python
dbt — это инструмент, помогающий управлять всеми трансформациями данных, которые выполняются в базах данных с использованием SQL.
Допустим, у вас есть таблица с общим числом клиентских заказов, и нужно подсчитать, сколько из них пришлось на праздничные дни. Выполнить эту задачу можно с помощью двух SQL-запросов.
1. Добавить столбец is_holiday в таблицу sf100_orders, объединив ее с all_holidays. Назвать полученную таблицу sf100_orders_annotated.
2. Подсчитать строки, для которых is_holiday=true в таблице sf100_orders_annotated.
Эти два шага объединяют исходные данные, визуализированные с помощью dbt: в изображении.
Производный граф: из двух исходных таблиц составляется таблица count_holidays
Используя dbt, можно записать эти две трансформации в виде “dbt-моделей”, которые представляют собой файлы, содержащие SQL и некоторую конфигурацию dbt (при необходимости):
-- sf100_orders_annotated.sql
{{ config(materialized='table') }}
select a.*, b.date is not null is_holiday
from {{ref('sf100_orders')}} a
left join {{ref('all_holidays')}} b
on a.o_orderdate = b.date
-- count_holidays.sql
{{config(materialized='table')}}
select count(*) total_days
, count_if(is_holiday) holiday_count
, holiday_count/total_days ratio
from {{ref('sf100_orders_annotated')}}
Эти два файла выглядят как типичный SQL, но с некоторым отличием. Вместо ссылок на таблицы dbt позволяет ссылаться на другие “модели” с помощью аннотаций {{ref(‘sf100_orders_annotated’)}}. Таким образом, dbt определяет связь и зависимости между всеми трансформациями, через которые проходят данные.
Продолжение
@data_analysis_ml#карьерные_форумы #junior #intern # IT
🖥 Дайджест дней карьеры для начинающих IT-специалистов
На форуме “Найти IT” Сбер, Росатом, Kaspersky и 40+ топовых компаний завалят вас предложениями о работе!
📍 Где и когда:
— Москва: 3 октября
— Санкт-Петербург: 7 октября
— Новосибирск: 26 октября
💥 Участников ждут мастер-классы и кейсы от крутых компаний, предварительные собеседования и Q&A, мерч, призы и вкусная еда.
И все это бесплатно 😲 Нужно только прийти!
🔗 Регистрация
Реклама. ООО "ФТ". ИНН 7731611424. erid: LjN8KXdey
🔪 Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии
Jackknife+ — это эффективный метод конформного прогнозирования, разработанный ведущими исследователями в области машинного обучения из Чикагского университета, Стэнфордского университета, Университета Карнеги-Меллона и Калифорнийского университета в Беркли.
Наша задача — построить функцию регрессии с помощью обучающих данных, которые включают пары признаков (Xi, Yi). Нам нужно предсказать выход Yn+1 для нового вектора признаков Xn+1=x и создать соответствующий интервал погрешности для этого предсказания. Предположительно данный интервал будет включать истинное значение Yn+1 с заранее определенной вероятностью охвата.
Прямой подход может заключаться в подгонке базовой регрессионной модели к обучающим данным, вычислении остатков и использовании этих остатков для оценки квантиля. Этот квантиль затем может быть использован для определения ширины интервала прогнозирования для новой тестовой точки.
Однако такой подход имеет тенденцию недооценивать фактическую погрешность из-за чрезмерной подгонки: остатки, полученные из обучающего множества, обычно меньше, чем те, которые можно было бы получить на основе неизвестных тестовых данных.
📌Читать
@data_analysis_ml
Считаете ребенку недостаточно школьной программы?
Опрос 200 тысяч школьников в России показал, что 60% из них мечтают построить карьеру в IT.
Школа не может помочь реализовать все мечты ребёнка, а IT-кружки рядом с домом часто дают поверхностную информацию без учёта его способностей и интересов: он теряется, опускает руки и бросает своё увлечение.
Главная задача Московской школы программистов — не только дать фундаментальные знания в IT, но и сохранить у ребёнка интерес к профессии. Мы берём ответственность за успеваемость и прогресс каждого ученика.
Ребёнок что-то не понял? Объясним через простую игровую практику. Много пропустил из-за болезни? Проведём дополнительные бесплатные занятия. Мы находим подход к каждому ребёнку.
Регистрируйтесь и начните путь к программированию!
Реклама. ЧУ ДО "МОСКОВСКАЯ ШКОЛА ПРОГРАММИСТОВ". ИНН 9715290128. erid: LjN8KGBxd
🔥 Дайджест полезных материалов из мира Data Science за неделю
Почитать:
— TechArena Ireland: как готовился хакатон
— Построение пайплайна обработки данных в реальном времени с использованием Python
— Исследования возможностей нейронных сетей глубокого обучения в распознавании маскируемого трафика
— Как мы создавали self-service функционал проверки качества данных для ML-моделей
— Становясь Пангеей: будущее современного стека для анализа данных
— Как я пришёл в дата-анализ после долгих блужданий по онлайн-курсам, маршрут со всеми тупиками и ухабами
— Как оценить объем работ по миграции хранилища данных на Arenadata DB / Greenplum: методика и пример
— Data Science for Beginners: 2023 - 2024 Complete Roadmap
— A Beginner's Guide to Data Analytics: Understanding the Fundamentals
— The Start of My Year-long Journey into AI: From Novice to Engineer
— Data Science for Beginners: 2023–2024 Complete Roadmap
— Data Science for Beginners: 2023 - 2024 Complete Roadmap
— Data Science Roadmap.
— How can Ed-tech companies adopt AI, and what ways will it help in revenue generation and in work Operations?
— Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level
— Data Analysis with SQL
— Autoscout24 SQL Analysis
Посмотреть:
🌐 Large Language Models Are Not (Necessarily) Generative Ai - Karin Verspoor, PhD (⏱ 29:59)
🌐 Django начало работы. (⏱ 08:18)
🌐 Популярная задача с собеседования в Яндекс #python #задача #программирование #собеседование (⏱ 01:00)
🌐 Новые функции в IOS 17 (⏱ 00:29)
🌐 TokenFlow редактирование видео с помощью текстового описания (⏱ 00:22)
🌐 Парсер телеграм каналов на Python. Гайд по написанию мощного бота. (⏱ 11:58)
🌐 Задача из Собеседования в Яндекс с зарплатой 85000 рублей #python #собеседование #задача #yandex (⏱ 00:59)
🌐 Асинхронный парсинг сайтов на Python (⏱ 22:06)
🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21)
🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48)
🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21)
🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48)
🌐 New AI Listened To 20,000 Hours Of Music. What Did It Learn? (⏱ 07:33)
Хорошего дня!
@data_analysis_ml
🖥 GIF
Если вы хотите без особых усилий анимировать график
matplotlib в Python, используйте библиотеку gif.
Следующая анимация создана с помощью gif.
pip install gif
import gif
from random import randint
from matplotlib import pyplot as plt
x = [randint(0, 100) for _ in range(100)]
y = [randint(0, 100) for _ in range(100)]
# (Optional) Set the dots per inch resolution to 300
gif.options.matplotlib["dpi"] = 300
# Decorate a plot function with @gif.frame
@gif.frame
def plot(i):
xi = x[i*10:(i+1)*10]
yi = y[i*10:(i+1)*10]
plt.scatter(xi, yi)
plt.xlim((0, 100))
plt.ylim((0, 100))
# Construct "frames"
frames = [plot(i) for i in range(10)]
# Save "frames" to gif with a specified duration (milliseconds) between each frame
gif.save(frames, 'example.gif', duration=50)
• Github
@data_analysis_ml⚡ Крутая олимпиада по анализу данных DANO.
Открыта регистрация на олимпиаду по анализу данных от Тинькофф и НИУ ВШЭ где победители и призеры получат дополнительные преимущества при поступлении в различные высшие учебные заведения по всей стране. Например, в НИУ ВШЭ, УрФУ, Университет Иннополис, РЭШ, ИТМО и АГУ. Десять участников, набравших наибольшее количество баллов, также будут иметь возможность обучаться в Центральном университете, за счет выделенных грантов, которые покроют 100% стоимости обучения. Зарегестрироваться можно до 4 октября.
Этапы олимпиады
Первый (отборочный) этап. Направлен на проверку базовых знаний математики и логики. Открыт для всех желающих.
Второй (отборочный) этап. Направлен на проверку умения анализировать данные. Открыт только для школьников, победивших или занявших призовое место в предыдущем этапе.
Заключительный этап состоит из двух туров: сначала участники решают задачи продвинутого уровня по анализу данных, а во втором туре работают над реальным командным исследовательским проектом совместно с экспертами. Второй тур пройдет офлайн — с выездом на неделю в Подмосковье.
@data_analysis_ml
