uk
Feedback

Не попадись на ботовода! Telemetrio знаходить і позначає такі канали мітками 👉 Хочеш бачити мітку, оформляй підписку

Анализ данных (Data analysis)

Анализ данных (Data analysis)

Відкрити в Telegram

Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp

Показати більше

📈 Аналітичний огляд Telegram-каналу Анализ данных (Data analysis)

Канал Анализ данных (Data analysis) (@data_analysis_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 51 911 підписників, посідаючи 2 581 місце в категорії Технології та додатки та 11 797 місце у регіоні Росія.

📊 Показники аудиторії та динаміка

З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 51 911 підписників.

За останніми даними від 16 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 444, а за останні 24 години на -8, загальне охоплення залишається високим.

  • Статус верифікації: Не верифікований
  • Рівень залученості (ER): Середній показник залученості аудиторії становить 11.63%. Протягом перших 24 годин після публікації контент зазвичай збирає 8.47% реакцій від загальної кількості підписників.
  • Охоплення публікацій: В середньому кожен допис отримує 6 040 переглядів. Протягом першої доби публікація в середньому набирає 4 397 переглядів.
  • Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 192.
  • Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як llm, контекст, openai, архитектура, deepseek.

📝 Опис та контентна політика

Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp”

Завдяки високій частоті оновлень (останні дані отримано 17 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.

51 911
Підписники
-824 години
+27 днів
+44430 днів
Архів дописів
🖥 В больших проектах #SQL-запросы могут становиться сложными. Документирование помогает прояснить функциональность каждого запроса для других членов команды. С помощью #dbt вы можете легко документировать свои запросы с помощью команды 𝐝𝐛𝐭 𝐝𝐨𝐜𝐬 𝐠𝐞𝐧𝐞𝐫𝐚𝐭𝐞. 📌 Что такое dbt 📌 Больше примеров @data_analysis_ml

Мечтаешь стать топовым специалистом, но не хватает фундамента? Или хочешь с легкостью проходить собесы в крупные компании? Ищешь материалы и советы по подготовке? Тогда подпишись на канал "Поступашки - ШАД, Стажировки и Магистратура"! Канал ведут ведущие специалисты big data и преподаватели ШАД. Там тебя ждут: 🔺Подборки материалов по алгоритмам, математике и разработке ; 🔺Советы, как развиваться в выбранной области от практикующих специалистов; 🔺Инсайды и анонсы об актуальных стажировках, образовательных проектах и олимпиадах. ...и еще много полезного =) Подписывайся ⬇️ @postypashki_old

✔ No Black Box Machine Learning Course – Learn Without Libraries Как насчет курса по машинному обучению, который не опирается
✔ No Black Box Machine Learning Course – Learn Without Libraries Как насчет курса по машинному обучению, который не опирается на библиотеки? В этом курсе "без черного ящика" алгоритмы изучаются с нуля. Вы узнаете, как они работают и создадите несколько интересных DS проектов таких, как приложение для рисования, визуализатор данных и многое другое. • Video • Github • Course ai_machinelearning_big_data

Зовем на курс по профессии Data Scientist 13 ноября в Слёрм стартует поток «Профессия Data Scientist». Это новый курс от двух
Зовем на курс по профессии Data Scientist 13 ноября в Слёрм стартует поток «Профессия Data Scientist». Это новый курс от двух мощных экспертов: ⚡️Иван Аникин, Team Lead Yandex.Edadeal. Суммарный опыт в области DS более 6 лет, отвечал за разработку и запуск ML-проектов в Yandex, Sber, SberDevices, Лента ⚡️Владимир Бугаевский, Team Lead СберМаркет. Опыт в индустрии: 6+ лет, до этого разрабатывал рекомендательную систему VK Пульс. Они расскажут, как создавать алгоритмы, которые автоматизируют труд и заставляют компьютеры «думать» самостоятельно. Посмотреть подробную программу можно на сайте Слёрм На курсе будут разбирать такие темы, как: ✔️ Основные алгоритмы и понятия классического машинного обучения ✔️ Применение машинного обучения в бизнес-задачах ✔️ Базовые подходы для построения нейронных сетей, фреймворк PyTorch для написаний нейронных сетей ✔️ Основные библиотеки для анализа данных: jupyterlab, numpy, scipy, pandas, matplotlib 30% теории, 70% — практики Длительность курса составляет 3,5 месяца. Обучение идет в формате потока: спикеры отвечают на вопросы студентов и в групповом чате, и на онлайн-встречах. Есть и промежуточные задания, и финальный проект. По заданиям и проектам эксперты дают глубокую обратную связь-ревью. Записаться на курс можно по ссылке Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545

🖥 Загружай данные в 113 раз быстрее. При работе с файлами Parquet в pandas обычно сначала загружают данные в pandas DataFram
🖥 Загружай данные в 113 раз быстрее. При работе с файлами Parquet в pandas обычно сначала загружают данные в pandas DataFrame, а затем применяют фильтры. Для повышения скорости выполнения запросов следует переместить фильтры в движок PyArrow, чтобы использовать оптимизацию обработки PyArrow. В приведенном ниже коде фильтрация набора данных из 100 млн строк с помощью PyArrow выполняется примерно в 113 раз быстрее, чем при использовании pandas. 📌 Смотреть код @data_analysis_ml

🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб
🔵🗣Вырасти до хардового Middle+ аналитика. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Рассмотрите — авторский курс про архитектуру и интеграции с практикой. ————— По результатам курса вы: ▫️научитесь выбирать стиль интеграции под вашу задачу; ▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений); ▫️поймете, как правильно собирать требования и моделировать в UML; ▫️подготовитесь к собеседованию, решив более 100 тестов; ▫️разработаете свой API на Python. ————— 🟢Вы получите большую базу фундаментальных знаний, доступ к урокам останется навсегда 💡 • Всю программу и отзывы смотрите в боте курса. • Результат после прохождения курса: 15 рабочих проектов в портфолио. 🔹🔹 С чего начать?🔹🔹 С открытых бесплатных уроков по архитектуре и интеграциям в боте. Переходите, нажимайте «старт». 👇 @studyit_help_bot @studyit_help_bot Скидка на курс для канала — 1 490₽ по промокоду DAMI до 15 октября.

🖥 Оптимизация хранения данных в СУБД Greenplum Greenplum — это open source MPP СУБД, основанная на PostgreSQL. Архитектура С
🖥 Оптимизация хранения данных в СУБД Greenplum Greenplum — это open source MPP СУБД, основанная на PostgreSQL. Архитектура СУБД укрупненно представляет собой систему, состоящую из n-го количества Segment Host — процессов/серверов, на которых производится хранение и обработка данных, и одного Master Host – процесса/сервера, являющегося точкой входа клиента, который также хранит внутри себя метаданные таблиц и распределяет обработку данных между сегментами. Вопрос выбора способа хранения данных для меня встал достаточно остро из-за относительно большого объема анализируемых данных. Кратко опишу набор таблиц витрины и примерное количество строк в них на данный момент: 1. Таблица с пользователями маркетплейса (более 4 млн.); 2. Корзина товаров (более 150 млн.); 3. Покупки пользователей в маркетплейсе (более 40 млн.); 4. Таблица с начислениями бонусов за покупки (более 20 млн.) 5. И т.д. (суммарно еще около 5-10 млн. строк уходят на перечень продаваемых товаров, различные справочники и другую сопутствующую информацию) Аналитические запросы, в особенности с объединением этих таблиц, занимают достаточно большое количество времени и ресурсов, что негативно складывается на работе СУБД, коллег и меня в частности. В связи с этим, оптимизация хранения таблиц является одним из основных вариантов оптимизации запросов (вкупе с объяснением того, как эти оптимальные запросы строить, но это уже совсем другая история). Рассмотрим задачу выбора оптимального способа хранения данных подробнее. 👇 📌Читать @data_analysis_ml

🦙 Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads Попробуйте модель, которая ускоряет в генерацию текста 2 раза: Medusa упрощает и ускоряет большие языковые модели. Ваша исходная модель остается нетронутой, а в процессе обучения производится только тонкая настройка новых функций. В процессе генерации каждая из этих функций выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, древовидной структуры. Затем, выбираются наиболее правдоподобные генерации для дальнейшего декодирования. pip install medusa-llm • Github • Как работает модель @data_analysis_ml

⚡️ bhosmer PyTorch только что выпустил удивительный инструмент для визуализации умножения матриц! Внутри: Визуализация умножения матриц, операций на ними и не только Запустите его в браузере: http://bhosmer.github.io/mm/. Подробнее читайте в блоге👇 http://pytorch.org/blog/inside-the-matrix/ @data_analysis_ml

В начале сентября прошла Practical ML Conf, а сейчас Яндекс опубликовал плейлист с записями докладов, в которых ведущие инженеры ВТБ, Авито, Сбера и самого Яндекса рассказывают о своем опыте применения практического машинного обучения. Из запоминающегося: Алексей Морозов из Поиска поделился кейсом модернизации нейронных сетей, которая позволяет ML-инженерам и исследователям не беспокоиться о работоспособности инфраструктуры и автоматически масштабироваться в процессе работы. Руководитель группы компьютерного зрения и робототехники, Валерий Ильин, рассказал о том, как компьютерное зрение используется в роботах на складах Яндекс Маркета. Записи этих докладов и всех остальных можно найти здесь. @data_analysis_ml

⭐️ 7 лучших бесплатных курсов университета MIT по программной инженерии и науке о данных. Эти курсы - ваш билет к совершенств
⭐️ 7 лучших бесплатных курсов университета MIT по программной инженерии и науке о данных. Эти курсы - ваш билет к совершенству. Возможность получить актуальные знания бесплатно от одного из лучших учебных заведений мира. Ознакомьтесь с ними ниже: 1. Концепции программной инженерии. https://ocw.mit.edu/courses/16-355j-software-engineering-concepts-fall-2005/ 2. Foundations Of Software Engineering. https://ocw.mit.edu/courses/1-124j-foundations-of-software-engineering-fall-2000/ 3. Компьютерные алгоритмы в системной инженерии. https://ocw.mit.edu/courses/1-204-computer-algorithms-in-systems-engineering-spring-2010/ 4 Integrating ESystems & Global Information Systems. https://ocw.mit.edu/courses/15-565j-integrating-esystems-global-information-systems-spring-2002/ 5. Оптимизация проектирования мультидисциплинарных систем. https://ocw.mit.edu/courses/ids-338j-multidisciplinary-system-design-optimization-spring-2010/ 6. Статистическое мышление и анализ данных. https://ocw.mit.edu/courses/15-075j-statistical-thinking-and-data-analysis-fall-2011/ 7. Вычисления и анализ данных. https://ocw.mit.edu/courses/1-017-computing-and-data-analysis-for-environmental-applications-fall-2003/ @data_analysis_ml

📊 Vizro Если вы хотите использовать модульный и простой код для создания красивых дашбордов, рекомендуем попробовать библиотеку vizro. С помощью нескольких строк кода и простой конфигурации можно создавать сложные дашборды, которые автоматически генерируются на основе Plotly и Dash. pip install vizro • Github • Документация • Примеры с кодом @data_analysis_ml

Системный аналитик — это важный член команды в разработке и улучшении IT-систем. Почему этой роли в последнее время придается
Системный аналитик — это важный член команды в разработке и улучшении IT-систем. Почему этой роли в последнее время придается такое большое значение? Ответ на этот вопрос мы разберем на вебинаре “Почему в IT нужны системные аналитики” Что будет на занятии: — Определение системного аналитика и его роли в IT — Важность системного аналитика в команде — Будущее профессии системного аналитика Дата: 5 октября в 19:00 по мск Бесплатная регистрация: https://clck.ru/35veXZ

🐍Как Snowflake повышает эффективность dbt-моделей на Python dbt — это инструмент, помогающий управлять всеми трансформациями
🐍Как Snowflake повышает эффективность dbt-моделей на Python dbt — это инструмент, помогающий управлять всеми трансформациями данных, которые выполняются в базах данных с использованием SQL. Допустим, у вас есть таблица с общим числом клиентских заказов, и нужно подсчитать, сколько из них пришлось на праздничные дни. Выполнить эту задачу можно с помощью двух SQL-запросов. 1. Добавить столбец is_holiday в таблицу sf100_orders, объединив ее с all_holidays. Назвать полученную таблицу sf100_orders_annotated. 2. Подсчитать строки, для которых is_holiday=true в таблице sf100_orders_annotated. Эти два шага объединяют исходные данные, визуализированные с помощью dbt: в изображении. Производный граф: из двух исходных таблиц составляется таблица count_holidays Используя dbt, можно записать эти две трансформации в виде “dbt-моделей”, которые представляют собой файлы, содержащие SQL и некоторую конфигурацию dbt (при необходимости): -- sf100_orders_annotated.sql {{ config(materialized='table') }} select a.*, b.date is not null is_holiday from {{ref('sf100_orders')}} a left join {{ref('all_holidays')}} b on a.o_orderdate = b.date -- count_holidays.sql {{config(materialized='table')}} select count(*) total_days , count_if(is_holiday) holiday_count , holiday_count/total_days ratio from {{ref('sf100_orders_annotated')}} Эти два файла выглядят как типичный SQL, но с некоторым отличием. Вместо ссылок на таблицы dbt позволяет ссылаться на другие “модели” с помощью аннотаций {{ref(‘sf100_orders_annotated’)}}. Таким образом, dbt определяет связь и зависимости между всеми трансформациями, через которые проходят данные. Продолжение @data_analysis_ml

#карьерные_форумы #junior #intern # IT 🖥 Дайджест дней карьеры для начинающих IT-специалистов На форуме “Найти IT” Сбер, Рос
#карьерные_форумы #junior #intern # IT 🖥 Дайджест дней карьеры для начинающих IT-специалистов На форуме “Найти IT” Сбер, Росатом, Kaspersky и 40+ топовых компаний завалят вас предложениями о работе! 📍 Где и когда: — Москва: 3 октября — Санкт-Петербург: 7 октября — Новосибирск: 26 октября 💥 Участников ждут мастер-классы и кейсы от крутых компаний, предварительные собеседования и Q&A, мерч, призы и вкусная еда. И все это бесплатно 😲 Нужно только прийти! 🔗 Регистрация Реклама. ООО "ФТ". ИНН 7731611424. erid: LjN8KXdey

🔪 Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии Jackknife+ — это эффективный метод конформного пр
🔪 Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии Jackknife+ — это эффективный метод конформного прогнозирования, разработанный ведущими исследователями в области машинного обучения из Чикагского университета, Стэнфордского университета, Университета Карнеги-Меллона и Калифорнийского университета в Беркли. Наша задача — построить функцию регрессии с помощью обучающих данных, которые включают пары признаков (Xi, Yi). Нам нужно предсказать выход Yn+1 для нового вектора признаков Xn+1=x и создать соответствующий интервал погрешности для этого предсказания. Предположительно данный интервал будет включать истинное значение Yn+1 с заранее определенной вероятностью охвата. Прямой подход может заключаться в подгонке базовой регрессионной модели к обучающим данным, вычислении остатков и использовании этих остатков для оценки квантиля. Этот квантиль затем может быть использован для определения ширины интервала прогнозирования для новой тестовой точки. Однако такой подход имеет тенденцию недооценивать фактическую погрешность из-за чрезмерной подгонки: остатки, полученные из обучающего множества, обычно меньше, чем те, которые можно было бы получить на основе неизвестных тестовых данных. 📌Читать @data_analysis_ml

Считаете ребенку недостаточно школьной программы? Опрос 200 тысяч школьников в России показал, что 60% из них мечтают построи
Считаете ребенку недостаточно школьной программы? Опрос 200 тысяч школьников в России показал, что 60% из них мечтают построить карьеру в IT. Школа не может помочь реализовать все мечты ребёнка, а IT-кружки рядом с домом часто дают поверхностную информацию без учёта его способностей и интересов: он теряется, опускает руки и бросает своё увлечение. Главная задача Московской школы программистов — не только дать фундаментальные знания в IT, но и сохранить у ребёнка интерес к профессии. Мы берём ответственность за успеваемость и прогресс каждого ученика. Ребёнок что-то не понял? Объясним через простую игровую практику. Много пропустил из-за болезни? Проведём дополнительные бесплатные занятия. Мы находим подход к каждому ребёнку. Регистрируйтесь и начните путь к программированию! Реклама. ЧУ ДО "МОСКОВСКАЯ ШКОЛА ПРОГРАММИСТОВ". ИНН 9715290128. erid: LjN8KGBxd

🔥 Дайджест полезных материалов из мира Data Science за неделю Почитать: — TechArena Ireland: как готовился хакатон — Построение пайплайна обработки данных в реальном времени с использованием Python — Исследования возможностей нейронных сетей глубокого обучения в распознавании маскируемого трафика — Как мы создавали self-service функционал проверки качества данных для ML-моделей — Становясь Пангеей: будущее современного стека для анализа данных — Как я пришёл в дата-анализ после долгих блужданий по онлайн-курсам, маршрут со всеми тупиками и ухабами — Как оценить объем работ по миграции хранилища данных на Arenadata DB / Greenplum: методика и пример — Data Science for Beginners: 2023 - 2024 Complete Roadmap — A Beginner's Guide to Data Analytics: Understanding the Fundamentals — The Start of My Year-long Journey into AI: From Novice to Engineer — Data Science for Beginners: 2023–2024 Complete Roadmap — Data Science for Beginners: 2023 - 2024 Complete Roadmap — Data Science Roadmap. — How can Ed-tech companies adopt AI, and what ways will it help in revenue generation and in work Operations? — Matplotlib Tutorial: Let’s Take Your Country Maps to Another Level — Data Analysis with SQL — Autoscout24 SQL Analysis Посмотреть: 🌐 Large Language Models Are Not (Necessarily) Generative Ai - Karin Verspoor, PhD (⏱ 29:59) 🌐 Django начало работы. (⏱ 08:18) 🌐 Популярная задача с собеседования в Яндекс #python #задача #программирование #собеседование (⏱ 01:00) 🌐 Новые функции в IOS 17 (⏱ 00:29) 🌐 TokenFlow редактирование видео с помощью текстового описания (⏱ 00:22) 🌐 Парсер телеграм каналов на Python. Гайд по написанию мощного бота. (⏱ 11:58) 🌐 Задача из Собеседования в Яндекс с зарплатой 85000 рублей #python #собеседование #задача #yandex (⏱ 00:59) 🌐 Асинхронный парсинг сайтов на Python (⏱ 22:06) 🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21) 🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48) 🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices (⏱ 33:21) 🌐 OpenAI’s ChatGPT Has Been Supercharged! (⏱ 06:48) 🌐 New AI Listened To 20,000 Hours Of Music. What Did It Learn? (⏱ 07:33) Хорошего дня! @data_analysis_ml

🖥 GIF Если вы хотите без особых усилий анимировать график matplotlib в Python, используйте библиотеку gif. Следующая анимация создана с помощью gif. pip install gif import gif from random import randint from matplotlib import pyplot as plt x = [randint(0, 100) for _ in range(100)] y = [randint(0, 100) for _ in range(100)] # (Optional) Set the dots per inch resolution to 300 gif.options.matplotlib["dpi"] = 300 # Decorate a plot function with @gif.frame @gif.frame def plot(i): xi = x[i*10:(i+1)*10] yi = y[i*10:(i+1)*10] plt.scatter(xi, yi) plt.xlim((0, 100)) plt.ylim((0, 100)) # Construct "frames" frames = [plot(i) for i in range(10)] # Save "frames" to gif with a specified duration (milliseconds) between each frame gif.save(frames, 'example.gif', duration=50) • Github @data_analysis_ml

⚡ Крутая олимпиада по анализу данных DANO. Открыта регистрация на олимпиаду по анализу данных от Тинькофф и НИУ ВШЭ где победители и призеры получат дополнительные преимущества при поступлении в различные высшие учебные заведения по всей стране. Например, в НИУ ВШЭ, УрФУ, Университет Иннополис, РЭШ, ИТМО и АГУ. Десять участников, набравших наибольшее количество баллов, также будут иметь возможность обучаться в Центральном университете, за счет выделенных грантов, которые покроют 100% стоимости обучения. Зарегестрироваться можно до 4 октября. Этапы олимпиады Первый (отборочный) этап. Направлен на проверку базовых знаний математики и логики. Открыт для всех желающих. Второй (отборочный) этап. Направлен на проверку умения анализировать данные. Открыт только для школьников, победивших или занявших призовое место в предыдущем этапе. Заключительный этап состоит из двух туров: сначала участники решают задачи продвинутого уровня по анализу данных, а во втором туре работают над реальным командным исследовательским проектом совместно с экспертами. Второй тур пройдет офлайн — с выездом на неделю в Подмосковье. @data_analysis_ml