Аналитика данных / Data Study

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии. В сообществе вы найдете: ▫️ Новости индустрии production ML; ▫️ Полезные статьи, инструменты и технологии; ▫️ Опыт коллег и лучшие практики. Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+d-ZpkHXwDk85Mjcy Реклама ООО «Селектел», Pb3XmBtztBQHZXnefZA5KAihn7M9LbEGD1RCBQJ

Попробовал сегодня поработать с pygwalker, библиотека Python для визуализации данных с удобным интерфейсом, очень схожим с Tableau. Для быстрой визуализации результатов преобразований и анализа вообще супер! Всегда было запарно писать код для matplotlib или других визуалок, бывало что проще выгрузить sample данных в файлик и пойти повизуализировать в BI инструменте. Сейчас BI приехал прямо в Jupyter Notebook 🔥🔥🔥 Буду смотреть детально особенности и возможности библиотеки, уверен на курсах с учениками познакомимся с ней и будем применять в задачках 😃 Ссылка на описание pygwalker

Самый важный навык для аналитика Подумал на днях что чаще всего я использую в работе и без чего не обходится мой рабочий процесс. Понял, что я каждый день использую SQL в своих задачах. Напомню, что позиция моя называется BI Analyst, здесь Business Intelligence в явном виде означает что на проектах я выполняю роль как бизнес-аналитика, так и data-аналитика. Узнал потребность бизнеса -> Подготовил требования -> Исследовал данные и подготовил ТЗ -> Передал задачи инженеру данных. SQL для меня является универсальным инструментом, без которого невозможно работать на проектах по разработке хранилищ данных и внедрению аналитических BI-решений. 📍Первичное исследование структуры данных 📍Проверка качества данных 📍Написание бизнес-правил обработки данных 📍Подготовка витрин данных для визуализации 📍Ad-hoc запросы по расчету метрик 📍Валидация результатов визуализации Все это делаю с помощью SQL, а уже к нему дополнительно применяю BI тулы с визуализацией, Python. Не зря SQL сейчас встречается почти в каждой вакансии для аналитиков, без его знания вам будет туго. Поэтому считаю, что первым делом при обучении важно освоить теорию баз данных и хранилищ, изучить SQL на уверенном уровне, дальше уже нарабатывать другие навыки. Также важно правильно работать с требованиями и оформлять их в корректном и понятном виде, с применением общепринятых стандартов. Думаю, что свои курсы дальше буду еще больше углублять в эти навыки, потому что это действительно важно на работе для учеников + мне это очень нравится 😍

Как построить табличную модель (куб) в SSAS за 20 минут?! Тут расписали подробно шаги и где взять тестовую базу, если вы новичок. Канал ведут действующие аналитики из топовых ИТ компаний. Будут писать про BI и другие сервисы Microsoft для аналитики и дата инжиниринга. Много полезного и для новичков, и для профессионалов. Вот еще пару полезных и интересных постов: • про типы команд в SQL • про вакансии BI и требования к ним

Поздравляю всех девушке с международным женским днём!🌷🌷🌷 Любите и будьте любимы 😉💐

На днях познакомился с библиотекой geopandas для работы с различными форматами геоданных и дальнейшей геоаланилитики над ними 🔎 geopandas - библиотека Python для работы с географическими данными. Она позволяет работатьс раличными стандартными файлами для записи геоданных: shape-файлами, GeoJSON-данными, KML-файлами, GeoPandas DataFrames и PostGIS. Есть множество функций для работы с точками координат, форматам данных полигонам и мультиполигон (области на карте). Соответственно все функции pandas для привычных типов данных совместимы. Доступна различная визуализация карт. Для установки: pip install geopandas Документация

Открываем доступ в наш канал с бесплатными книгами по базам данных и алгоритмизации. MySQL, PostgreSQL, MongoDB, Big Data: книги по этим темам в избытке в библиотеке баз данных. На это стоит посмотреть: @dbbooks

Офис в Москва-Сити - престижно или нет? Сегодня ездил в один из офисов Москва-Сити по вопросу документов по ИП. Поймал себя на мысли, что я бы не хотел ездить туда работать каждый день. Выделил 2 момента: 1. Очень большая суета вокруг, больше чем в других местах Москвы 2. Чувствуется лишняя напыщенность людей (явно не все такие, но сегодня я по большей части контактировал с такими) Я никого не хочу сейчас обидеть или сказать, что так только в Москва-Сити. Это сегодняшнее мое наблюдение. Еще интересный момент, что HR любят писать в сообщениях и указывать в вакансиях, что у компании офис в башнях. Для компании может это и круто, статусно, но это никак не влияет на статусность самой вакансии, разве что это хорошее уточнение про местоположение офиса для кандидата) Почему-то сложилось вокруг мнение, что если человек работает в Москва-Сити, то он автоматически успешен все у него хорошо в карьере. При этом мало кто задаст второй вопрос: а кем ты там работаешь? Работа как и везде разная, начиная от дворников и заканчивая генеральными директорами. В общем, для себя я понял 2 вещи: 1. Меня не цепляют вакансии, которые хотят удивить или заманить кандидата шикарным офисом (лучше пусть пишут про 100% удаленку и гибрид по желанию 😃) 2. Для меня важна тишина и комфорт в рабочем пространстве, а еще лучше когда это будет воплощено в доступности с природой. Только представьте: веранда, солнышко, птички поют, речка в пешей доступности, тишина, и при этом работает безлимитный скоростной Интернет 🥹😍

На многих курсах в университете нам рассказывали про алгоритмы машинного обучения, все одно и то же: регрессия, кластеризация, классификация. На одном из курсов нам показали процесс построения ML-пайплайнов на очень простом и интуитивно понятном low-code решении Orange. Вещь реально классная, где можно с помощью drag and drop мышкой построить довольно замудреный процесс обработки данных, да еще и с применением ML, а в конце визуализировать результаты. Для учебных задач вообще 🔥. Естественно т.к. это готовый инструмент, есть свои ограничения по сравнению написания кода для работы с данными с нуля, для моделей доступно ограниченное количество параметров для настройки, зато красиво и интересно 😁 Orange Data Mining

Много у нас здесь студентов? Накидайте свои реакции 😉

Все больше погружаюсь в область Data Governance и Data Marketplace, потому что это сильные инструменты для получения из данных ценности в масштабе корпораций. Сейчас исследую тему каталогов данных (Data Catalog). Главный вопрос - Зачем они нужны? Некое summary 📍Data Discovery: Data catalogs provide a central repository for all enterprise data, making it easier to discover and locate relevant data sources. 📍Metadata Management: Data catalogs provide a platform to store and manage metadata associated with each data source, such as the source of the data, its format, and any other relevant information about the data. 📍Data Governance: Data catalogs provide an effective way to manage access control lists and keep track of who has access to what data. This helps organizations to protect sensitive data. 📍Quality Assurance: Data catalogs allow organizations to easily monitor the quality of their data sources by providing visibility into any errors or inconsistencies in the underlying datasets.

Аналитика будущего уже сегодня Какой профит можно получить от сочетания BI, Process Mining, Task Mining и Automation в одной системе? Ответ на этот и многие другие вопросы можно получить на вебинаре «Развитие системы активной бизнес-аналитики Proceset», который состоится 2 марта в 16:00. Спикеры: ▫️ Александр Бочкин, генеральный директор Инфомаксимум и эксперт в Process Mining, Task Mining и Business Intelligence; ▫️ Виталий Гудулин, руководитель департамента развития продуктов Инфомаксимум. Программа вебинара: – Архитектура системы активной бизнес-аналитики Proceset Как в системе работает связка технологий Business Intelligence – Process Mining – Task Mining – Automation. – Дашборд за 10 минут Self-service в деле: в режиме реального времени покажем, как быстро и просто построить любой дашборд без навыков программирования. – Обновления Proceset Кратко про основные нововведения и улучшения системы за последние полгода. – Сессия «Вопрос – ответ» Регистрируйтесь здесь. До встречи на вебинаре!

Привет! Делюсь ссылкой на полезные упражнения по библиотеке pandas для работы с данными Ссылка на упражнения Есть ещё вот такой замечательный сайт pandaspractice.com с упражнениями и примерами. Подойдёт для новичков, кто только начинает знакомство с функционалом библиотеки. Pandas Practice

Организуйте коллективное использование BI-системы легко и безопасно! На вебинаре Роман Бунин, BI-евангелист Yandex DataLens и автор Telegram-канала Reveal the Data, поделится паттернами проектирования системы дашбордов и организации контента для компаний разного размера. Разберёт как теорию, так и практические советы по разработке системы отчётности в Yandex DataLens. Темы для обсуждения: 🔹 права, доступы и сохранение нужного уровня безопасности; 🔹 работа и настройка доступа на уровне строк (RLS) в Yandex DataLens; 🔹 карта и система дашбордов для подразделений; 🔹 типы дашбордов и почему важно их разделять; 🔹 настройка кросс-ссылок между дашбордами; 🔹 будущая система управления контентом. Участие бесплатное, нужно только ➡️ зарегистрироваться

Как ваши выходные проходят? 😃 Ездили в домик на природу, к ноутбуку подходил только 1 день из 4, это достижение 😅 Накидайте 🔥 если в выходные получилось отдохнуть

DBT - инструмент для трансформации данных DBT (Data Build Tool) - это открытый инструмент для трансформации и анализа данных. DBT помогает разработчикам, аналитикам, специалистам по BI строить потоки данных и описывать процесс трансформации с помощью SQL запросов Полезные ссылки по инструменту: 1. dbt Documentation: https://docs.getdbt.com/ 2. dbt Tutorials: https://discourse.getdbt.com/c/tutorials 3. dbt Course on DataCamp: https://www.datacamp.com/courses/building-data-pipelines-with-dbt 4. dbt Slack Community: https://slackin-dbtcommunity.herokuapp.com/ 5. dbt YouTube Channel: https://www.youtube.com/channel/UCmX_KVQnjFvxCxGwLJb4qKg 6. dbt Blog: https://www.getdbt.com/blog-posts

Статья про DevOps практики для построения хранилищ данных Хоть DevOps и не моя прямая обязанность на проектах, но знаю что понимание всего технического процесса в целом очень сильно упрощает работу на проекте, особенно когда нужно отвечать на вопросы заказчиков "а как это у вас реализовано?" Поэтому рекомендую читать статьи из смежных отраслей вашей профессии также 😉 Читать статью

Открытый урок курса "Бизнес-анализ в IT" Рассказываю 1. Кто такой бизнес-аналитик 2. Почему бизнес-анализ востребован в IT 3. Компетенции востребованного аналитика 4. Задачи, решаемые аналитиками 5. Обзор рынка вакансий и статистика 6. Как получить необходимые навыки и получить работу Смотреть урок

Старт обучения "Бизнес-анализ в IT" Уже завтра начинается обучение на моем курсе "Бизнес-анализ в IT" Для кого подходит курс: 📍Специалистам из разных отраслей, кто переходит в IT 📍Нетехническим специалистам: менеджеры, руководители, владельцы продуктов 📍Техническим специалистам: разработчики, QA-инженеры, системные инженеры 📍Начинающим аналитикам: бизнес, системные, data, BI, продуктовые Формат обучения ➡️ Маленькая группа до 10 человек ➡️ Занятия 2 раза в неделю (вторник 19:00, суббота 10:00 мск) ➡️ Теоретические занятия (50%) + Практические занятия (50%) + Индивидуальный проект для портфолио ➡️ общение в telegram, живые созвоны занятий + созвоны вопрос/ответ ➡️ личная обратная связь от меня каждому ученику Программа курса по блокам 1️⃣ Работа со стейкхолдерами (вовлечение, виды и приемы коммуникации, методики проведения интервью и опросов) 2️⃣ Работа с бизнес-требованиями (иерархия требований, постановка целей по SMART, шаблоны формирования требований и потребностей) 3️⃣ Пользовательские требования (use cases, user story, мокапы/прототипы, шаблоны документации) 4️⃣ Системные требования (функциональные, нефункциональные, правила оформления) 5️⃣ Диаграммы бизнес-процессов (контекстные диаграммы, функциональные диаграммы, блок-схемы, UML-диаграммы, BPMN-диаграммы) 6️⃣ Навыки визуальной презентации + навыки прохождения и подготовки к интервью 7️⃣ Методологии проектной деятельности (Waterfall, Agile, Scrum, Kanban, приоритезация задач) 8️⃣ Навыки коммуникации в команде и решение конфликтных ситуаций 9️⃣ Оформление резюме ➕каждая тема закрепляется практическим занятием ➕выполнение итогового проекта (решение бизнес-кейса с проведением интервью и итоговой презентацией) Какие результаты получаете ✅ умеете работать с разными видами требований (бизнес, пользовательские, системные) ✅ умеете выявлять цели и задачи проекта, общаться со стейкхолдерами и составлять план проекта ✅ умеете работать с разными методологиями разработки ✅ умеете моделировать бизнес-процессы в разных нотациях ✅ умеете готовиться к интервью на работу и проходить его без паники, подчеркивать свои сильные стороны ✅ имеете грамотно оформленное резюме, готовое для отправки работодателям Все материалы курса остаются у вас навсегда, к ним можете вернуться в любое время Это последний запуск курса с моим полным вовлечением по такой цене, дальше условия и цена будет меняться Старт занятий: завтра 21 февраля в 19:00 по мск

Привет! Задеплоил своего первого бота ещё неделю назад. Вроде пока пользовался косяков не выскакивало) Основные функции: 1. Удобный доступ к ресурсам Data Study 2. Запись на личные консультации 3. Карманный ChatGPT. Просто пишите свои запросы в чат с ботом, он будет формировать на них ответ с помощью API от OpenAI. Глубоко не изучал вопрос, возможно в скроем времени вылезет лимит на запросы 😃, тогда буду разбираться что с этим можно сделать) Вообщем, надеюсь бот будет уже сейчас вам полезен. В будущем буду добавлять функционал, например подписка на получение интересующих вакансий, викторины по аналитике и т.п. ➡️ Начать пользоваться @data_study_bot P.S. Если заметите сбои/баги, либо просто будут классные идеи по дальнейшему развитию бота, пишите, буду благодарен 😉