Аналитика данных / Data Study

Сижу после работы пересматриваю и готовлю материал для завтрашнего практического занятия с учениками по Apache Superset. На курсе идет модуль по визуализации данных, прошли уже 2 инструмента: Tableau и Yandex Datalens. Завтра будет урок по Apache Superset, где будем разбирать особенности инструмента и работать с его функционалом. При работе с BI тулами выделяю 3 основных шага (в каждом из них может быть зарыта объемная работа): 1️⃣ Подключения источников данных и настройка датасетов 2️⃣ Построение визуализаций 3️⃣ Дизайн и настройка дашборда Пока писал пост стало интересно, что вы думаете, сколько нужно знать BI тулов аналитику данных? Голосуйте ниже 😉

Привет! Многие пишут вопросы по курсу «Основы анализа данных» лично. Отвечаю всем, но все же решил собрать часто задаваемые вопросы и ответы на них в одном месте ⤵️ Курс «Основы анализа данных» - старт 12 сентября, 7 поток 1️⃣ Вопрос: Какая продолжительность курса? Ответ: курс длится 3,5 месяца, по факту общения со студентами в группе мы можем договориться в процессе на интересующие дополнительные занятия и длительность будет 4 месяца 2️⃣ Вопрос: для кого подходит курс? Ответ: курс подходит 📍новичкам в сфере аналитики (курс поможет освоить навыки на уровне сильного junior аналитика, научитесь решать практические задачи и поменять аналитические инструменты для их решения) 📍начинающим аналитикам, инженерам (курс помогает систематизировать знания, развить имеющиеся hard-навыки и получить дополнительную проектную практику) 📍другие специалисты (менеджеры, разработчики, QA-инженеры, предприниматели, кто хочет повысить свои компетенции по работе с данными) 3️⃣ Вопрос: Какая стоимость курса и какие варианты оплаты? Ответ: стоимость курса 45000, в нее включены - видеоуроки - онлайн-занятия 1 раз в неделю - записи онлайн-занятий - конспекты уроков - обратная связь от меня по домашним заданиям - помощь в подготовке итогового проекта - защита проекта и сертификат об успешном окончании курса Варианты оплаты: - через сайт с карт банков РФ - рассрочка банковская - внутренняя рассрочка - оплата с зарубежных счетов Создал чат, где можно задать свои вопросы или поискать ответы на уже заданные вопросы Присоединяйтесь в чат с вопросами Курс «Основы анализа данных» - старт 12 сентября, 7 поток

Пятничный юмор 😅 Ссылочка на источник Всем хороших выходных 😉

Для тех, кто устал работать с непонятными отчетами в виде гигантских таблиц Если вы делаете отчеты для руководства или принимаете стратегические решения на основании отчетов, вам будет полезен канал Клуб Анонимных Аналитиков. Он для тех, кому не безразлично, как выглядят цифры, и как они могут приносить пользу бизнесу. Здесь вы найдете: 1️⃣ Лайфхаки и фишки для Excel и Power BI: https://t.me/analyst_club/562 2️⃣ Новости в мире визуализации данных каждую неделю: https://t.me/analyst_club/1113 3️⃣ Полезные материалы и чеклисты по визуализации: https://t.me/analyst_club/171 4️⃣ Рекомендации для роста в профессии: https://t.me/analyst_club/1114 5️⃣ Переверстки и разборы различных дашбордов: https://t.me/analyst_club/996 И много другое. Читайте пост с навигацией в описании канала и выбирайте интересное для вас. Все подписчики канала могут общаться в отдельном чате, просить совета у коллег или помогать другим. Подписывайтесь на канал, читайте другие посты и прокачивайтесь в визуализации данных: https://t.me/analyst_club

Навыки Аналитика DWH Привет! В двух прошлых постах писал про основные направления задач Аналитика DWH на проектах. Чем занимается DWH аналитик Чем занимается DWH аналитик (часть 2) Давайте здесь суммируем необходимые навыки для выполнения этих задач: 1️⃣ SQL Язык, на котором пишутся запросы к данным в базах и хранилищах. Что из операторов и нужно знать - DDL команды на создание/редактирование таблиц и их свойств - SELECT запросы и все что в них включается ⤵️ - операторы фильтрации WHERE, HAVING после агрегации - сами функции агрегации и оператор GROUP BY - JOIN для объединения таблиц - функции работы со строками, датой и временем - логические и арифметические операторы - Подзапросы и табличные выражения - Оконные функции - Индексы и оптимизация запросов + Составление моделей данных и ER-диаграмм 2️⃣ Подходы к построению хранилищ данных - Сюда можно включить знание основополагающих подходов к построению хранилищ от (Кимбалл, Инмон) - Понимание чем отличаются DWH от Data Lake, что такое объектное хранилище и какие есть гибриды (например, Lake House) - Другие модели построения хранилищ (Data Vault, Anchor Modelling) - Понимание моделей звезда ⭐️ и снежинка ❄️, чем отличаются таблицы фактов от таблиц измерений - Понимание различий между OLTP и OLAP системами - Понимание почему в хранилищах обычно несколько различных слоев хранения данных 3️⃣ Навык составления документации и сбор требований - Тут вообще важно сначала понимать роль аналитика на проекте, почему важно общаться и коммуницировать с бизнес-заказчиками и что IT - это цифровой помощник бизнеса. - Сбор требований (бизнес, пользовательские, функциональные, нефункциональные) вот в этих постах (пост 1, пост 2) есть много материалов про требования, да и просто по поиску в канале можете много чего найти по этой теме - составление словарей данных, source to target (S2T) документов Это основные навыки (ну либо скорее темы и направления для прокачки навыков), которые нужны аналитикам DWH. Кроме этого сюда можно добавить ETL/ELT инструменты, знание Python будет хорошим плюсом, а также из этого вытекают знания по возможным способам интеграции и передачи данных между системами, ну и конечно никто никогда не отменяет soft-навыков 😉 Приобрести эти навыки на курсе ➡️ "Основы анализа данных"

Что спрашивают на собеседовании в Тинькофф на аналитика? Хотите узнать, какие задачки дают аналитикам на технических интервью в топовые компании? Приходите к нам в IT Resume — мы собрали задачи с реальных собеседований в топовые компании: СБЕР, Авито, Тинькофф и другие 🔥 Наша платформа — как спортзал для аналитиков: тренируешься, решаешь задачки, а потом кайфуешь от результата — например, от оффера в Альфа-Банк 😏 🔗 Чтобы начать решать задачи, просто регистрируйтесь по ссылке → На платформе вас ждут: * 250+ задач с реальных собеседований * Задачи на Python, SQL, Pandas/Numpy, продуктовые метрики * Удобный редактор кода с шорткатами, 4 цветовыми темами и автокомплитом * 20+ тестов с вопросами с собеседований на время 🔗 Залетайте → P.S. А по промокоду analyst30 вы можете приобрести Premium-доступ со скидкой 30% до 10 августа 😏

SQL для аналитики — рейтинг прикладных задач с решениями “В этой публикации я собрал топ прикладных задач и мои подходы к их решению в терминах SQL. Каждая задача снабжена кусочком данных и кодом, с которым можно интерактивно поиграться на SQL Fiddle. “ https://habr.com/ru/companies/otus/articles/541882/

Подготовиться к собеседованию на позицию аналитика становится всё сложнее: работодатели предъявляют больше требований к соискателям, количество джунов растет, а вакансий — нет 🥴 Что делать? 👉🏻 Готовиться к собеседованию так, чтобы вам предложили оффер сразу после тестового! А чтобы вам было легче, мы создали Симулятор собеседования аналитика. Это полноценная программа, где мы не только устроим вам более 6 тестовых собеседований в разных форматах (тестирование, лайв-кодинг, тестовое задание), но и научим классным фишкам: 📌 Как же все-таки составить крутое резюме? 📌 Как бустануть конверсию в отклик на 70%? 📌 Как избежать 5 ошибок, из-за которых ваше резюме точно отправляют в мусорку? Помимо этого у нас получилось много классного материала Все как обычно: с примерами, шаблонами и лайфхаками от нашей команды — минимум воды и абстрактной болтовни. По промокоду data30 для вас будет доступна запись в Симулятор собеседования аналитика с 30% скидкой. Скидка действует 1 день. Скорей залетайте → [присоединиться в Симулятор]

вот собственно и проектный план того дорого стартапа, который хотели привлечь к работе 😅 и комментарии заказчика

сегодня внес последние доработки в дашборд перед сдачей проекта (который вел на фрилансе) с небольшими перерывами с апреля 2023 мы с заказчиком: 1. реализовали парсинг иностранного сайта с доской объявлений недвижимости в Испании 2. сделали хранение данных в базе, расчет необходимых метрик и сбор витрины 3. настроили всю инфраструктуру проекта в облаке (виртуалка для парсера, ETL-скрипт крутится там же, база данных, дашборд) 4. разработали дашборд по анализу рынка недвижимости 5. брались за задачи по внедрению модели прогнозирования цены с применением NLP для анализа описания объявления, но чуть позже решили приостановить активность, т.к. заказчику стали интересны не только объявления Испании, но и Польши. для работы с Польшей заказчик решил обратиться в другую компанию (некий дорогой стартап со своей командой аналитики). в итоге план проекта, который они прислали всех шокировал 😬, фотки будут ниже. в итоге просто заказчик отказался с ними работать с таким подходом к оформлению их работы. проектный план должен быть проработанным, аккуратным и понятным, а не составленным на коленках с таким почерком 😄

Планы на этот четверг: прокачать Pandas в Python! 3 августа в 18:00 по Мск Андрон Алексанян, CEO IT Resume & Simulative, проведет бесплатный интенсив по аналитике рекламных кампаний с помощью Pandas в Python. Что вас ждет: 1 живая обучающая лекция, теория и много-много практики — скучно не будет 🙂; Конспект лекции + домашнее задание по пройденному материалу; 2 подарка от команды Simulative 🎁 Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python: 🔸 мы будем подробно объяснять каждый свой шаг; 🔸 мы будем много говорить про аналитику и продуктовую составляющую на примере реальной бизнес-задачи — такой опыт точно будет вам полезен 😊 Если вы готовы прокачать свои знания, то ждём вас на интенсиве 👉🏻 Ссылка на интенсив

DAMA-DMBOK / Свод знаний по управлению данными (второе издание) "Главная задача книги — определить набор руководящих принципов и описать их применение в функциональных областях управления данными. Издание всесторонне описывает проблемы, возникающие в процессе управления данными, и предлагает способы их решения. В нем подробно описаны широко принятые практики, методы и приемы, функции, роли, результаты и метрики. «DAMA-DMBOK: Свод знаний по управлению данными. Второе издание» предоставляет специалистам по управлению данными, ИТ-специалистам, руководителям, преподавателям и исследователям обширный материал для совершенствования работы с информационными активами и корпоративными данными." Скачать книгу

отличная книга, которая собрала в себе теорию по управлению данными (Data Governance) в компаниях. Практических кейсов не расписано, но методология изложена детально, международная практика ориентируется во многом на этот свод знаний. для диплома кстати часть материала цитировал из этой книги, а также отдельные главы всегда говорю читать студентам на курсе, например про метрики качества данных

Как оценить уровень data-культуры в компании? Ваня Леонтьев, лидер направления аналитики в СберМаркете, рассказывает, как удалось оцифровать такую сложную концепцию как Data Driven’ность и почему её вообще нужно измерять — разве не достаточно просто чувствовать! 🌝 Внутри: 🔹 Почему у data-культуры обязательно должна быть своя метрика 🔹 О каких вариантах измерения мы думали и на каком остановились? 🔹 Секретная формула под названием Data Driven Index. Как считаем сейчас и как планируем развивать? 🔹 Как драйвить data-культуру в компании, чтобы это давало результаты? Читайте на Хабре!

привет! вернулся из отпуска с полной перезагрузкой в горах, надеюсь этого заряда энергии хватит надолго) сейчас голова не забита свадьбой и написанием диплома, поэтому сейчас буду сосредоточен на 3 направлениях 1. Повышение активности этого канала В последнее время посты не с завидной частотой пишу. В ближайшее время буду поднимать активность и наращивать новую аудиторию 🔝 2. Переупаковка материалов курса и набор нового потока "Основы анализа данных" 12 сентября будет старт обучения нового потока, набор уже идет и уже есть оплатившие и ждущие начало обучения студенты 🔥 Я постоянно на основе обратной связи от студентов дополняю материалы, практику в уроки. Часть материалов предзаписываю в виде видео-инструкций. Сейчас нужно обновить дизайн конспектов, презентаций, прошерстить каждый слайд чтобы все смотрелось еще более лаконично и понятно Кто желает начать обучение в Data Study на моем курсе ➡️ Описание курса 3. Поиск новой работы Текущая компания RNT Group (ex EPAM) мне нравится. За год полного переформатирования всех внутренних процессов работа осталась комфортной, есть варианты развития дальше в качестве специалиста. Но все же чувствую внутреннюю потребность идти дальше. Может быть потому что сейчас работаю не совсем на data проекте, а по большей части выполняю работу тех. лида с командой стюардов по работе с MDM и часть задач веду по системному анализу, а варианты ротации (переход на другой проект) сейчас отсутствуют. Поэтому возникает внутренняя потребность искать что-то поближе к DWH, BI и разработки платформ данных. С выбором не тороплюсь, но очередной процесс обновления резюме уже пошёл) Если у кого-то есть интересные задачи и Senior позиции, буду рад пообщаться 😉 @daniildzheparov

Чем занимается DWH аналитик (часть 2) В предыдущем посте про DWH аналитика я расписал 2 задачи, которые выполняют такие специалисты: 1. Поиск и определение источников данных 2. Описание требований для сбора, преобразования данных Сегодня расскажу про еще 2 задачи ⤵️ 1️⃣ Моделирование структуры данных в хранилище Хранилища данных имеют обычно несколько слоев хранения. Если обобщить, то можно выделить 3 слоя: - слой сырых данных (поступают почти без изменений из источника данных) - слой очищенных, предподготовленных данных (это основной, core слой хранения, где все таблицы с данными приведены к нужному согласно требованиям виду и эти данные могут быть переиспользованы для разных задач аналитики) - слой витрин данных (это собранные из разных таблиц данные в одной или нескольких широких таблицах, часто уже включающие агрегацию, частичный расчет метрик). О витринах поговорим еще в следующем пункте Каждый слой хранения должен быть правильно смоделирован, описан, чтобы каждый пользователь хранилища понимал где и какие данные он может найти. Также важно описывать правила, какие преобразования данных на каждом слое могут быть доступны: делупликация, обогащения, преобразование типов данных, агрегация и т.д. 2️⃣ Подготовка витрин данных для разных бизнес-задач Витрина данных включает в себя всю необходимую для анализа и решения конкретной бизнес-задачи информацию. Например, в одной таблице и у нас есть данные о клиентах, во второй - продукты компании, в третьей - покупки клиентов продуктов компании, т.е. некие транзакции. Витрина данных может объединить всю эту информацию в одной таблице, какую транзакции какой клиент совершил и какой продукт приобрел. Витрины чаще всего собираются с помощью SQL-запросов. 😃 Честно, это моя самая любимая часть работы, поэтому люблю эту тему подробно раскрывать в курсе «Основы анализа данных» Какие hard-навыки необходимы DWH аналитикам: 1. SQL (без него вообще никак, даже пытаться не стоит) 2. Умение моделировать ER-диаграммы, знание связей между таблицами 3. Знание концепций хранилищ данных, знание схем звезда и снежинка 4. Сбор требований, описание документации для потоков данных. Сюда можно включить Data flow диаграммы, S2T, словари данных Все эти навыки мы проходим на курсе Data Study Ставьте реакции 🔥 если хотите узнать подробней про каждый из навыков

Еще одно прекрасное события 👰‍♀️🤵‍♂️💍

@ozon_tech Intro Meetup в Алматы📍 27 июля | 18:00 (UTC +6) офлайн | онлайн ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке: 1️⃣Рекламная платформа в Ozon, её архитектура и ML. 2️⃣Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей. 3️⃣Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок. 4️⃣Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы. 5️⃣Программы обучения, стажировки и жизнь сообщества Ozon Tech. Регистрация штука обязательная. Не откладывайте её. До встречи на митапе! #ozontech_meetup

😂😂😂 кстати ученики 35+ очень ответственно относятся к обучению и очень много материала сами пытаются раскопать 👍