Аналитика данных / Data Study

привет! вернулся из отпуска с полной перезагрузкой в горах, надеюсь этого заряда энергии хватит надолго) сейчас голова не забита свадьбой и написанием диплома, поэтому сейчас буду сосредоточен на 3 направлениях 1. Повышение активности этого канала В последнее время посты не с завидной частотой пишу. В ближайшее время буду поднимать активность и наращивать новую аудиторию 🔝 2. Переупаковка материалов курса и набор нового потока "Основы анализа данных" 12 сентября будет старт обучения нового потока, набор уже идет и уже есть оплатившие и ждущие начало обучения студенты 🔥 Я постоянно на основе обратной связи от студентов дополняю материалы, практику в уроки. Часть материалов предзаписываю в виде видео-инструкций. Сейчас нужно обновить дизайн конспектов, презентаций, прошерстить каждый слайд чтобы все смотрелось еще более лаконично и понятно Кто желает начать обучение в Data Study на моем курсе ➡️ Описание курса 3. Поиск новой работы Текущая компания RNT Group (ex EPAM) мне нравится. За год полного переформатирования всех внутренних процессов работа осталась комфортной, есть варианты развития дальше в качестве специалиста. Но все же чувствую внутреннюю потребность идти дальше. Может быть потому что сейчас работаю не совсем на data проекте, а по большей части выполняю работу тех. лида с командой стюардов по работе с MDM и часть задач веду по системному анализу, а варианты ротации (переход на другой проект) сейчас отсутствуют. Поэтому возникает внутренняя потребность искать что-то поближе к DWH, BI и разработки платформ данных. С выбором не тороплюсь, но очередной процесс обновления резюме уже пошёл) Если у кого-то есть интересные задачи и Senior позиции, буду рад пообщаться 😉 @daniildzheparov

Чем занимается DWH аналитик (часть 2) В предыдущем посте про DWH аналитика я расписал 2 задачи, которые выполняют такие специалисты: 1. Поиск и определение источников данных 2. Описание требований для сбора, преобразования данных Сегодня расскажу про еще 2 задачи ⤵️ 1️⃣ Моделирование структуры данных в хранилище Хранилища данных имеют обычно несколько слоев хранения. Если обобщить, то можно выделить 3 слоя: - слой сырых данных (поступают почти без изменений из источника данных) - слой очищенных, предподготовленных данных (это основной, core слой хранения, где все таблицы с данными приведены к нужному согласно требованиям виду и эти данные могут быть переиспользованы для разных задач аналитики) - слой витрин данных (это собранные из разных таблиц данные в одной или нескольких широких таблицах, часто уже включающие агрегацию, частичный расчет метрик). О витринах поговорим еще в следующем пункте Каждый слой хранения должен быть правильно смоделирован, описан, чтобы каждый пользователь хранилища понимал где и какие данные он может найти. Также важно описывать правила, какие преобразования данных на каждом слое могут быть доступны: делупликация, обогащения, преобразование типов данных, агрегация и т.д. 2️⃣ Подготовка витрин данных для разных бизнес-задач Витрина данных включает в себя всю необходимую для анализа и решения конкретной бизнес-задачи информацию. Например, в одной таблице и у нас есть данные о клиентах, во второй - продукты компании, в третьей - покупки клиентов продуктов компании, т.е. некие транзакции. Витрина данных может объединить всю эту информацию в одной таблице, какую транзакции какой клиент совершил и какой продукт приобрел. Витрины чаще всего собираются с помощью SQL-запросов. 😃 Честно, это моя самая любимая часть работы, поэтому люблю эту тему подробно раскрывать в курсе «Основы анализа данных» Какие hard-навыки необходимы DWH аналитикам: 1. SQL (без него вообще никак, даже пытаться не стоит) 2. Умение моделировать ER-диаграммы, знание связей между таблицами 3. Знание концепций хранилищ данных, знание схем звезда и снежинка 4. Сбор требований, описание документации для потоков данных. Сюда можно включить Data flow диаграммы, S2T, словари данных Все эти навыки мы проходим на курсе Data Study Ставьте реакции 🔥 если хотите узнать подробней про каждый из навыков

Еще одно прекрасное события 👰‍♀️🤵‍♂️💍

@ozon_tech Intro Meetup в Алматы📍 27 июля | 18:00 (UTC +6) офлайн | онлайн ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке: 1️⃣Рекламная платформа в Ozon, её архитектура и ML. 2️⃣Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей. 3️⃣Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок. 4️⃣Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы. 5️⃣Программы обучения, стажировки и жизнь сообщества Ozon Tech. Регистрация штука обязательная. Не откладывайте её. До встречи на митапе! #ozontech_meetup

😂😂😂 кстати ученики 35+ очень ответственно относятся к обучению и очень много материала сами пытаются раскопать 👍

Теперь официально магистр 👨‍🎓😁

Когда недооценил трудозатраты на задачу 😅

В понедельник провел последнее занятие - защиту проектов по модулю SQL как приглашенный преподаватель в одной из онлайн-школ. Обратная связь от учеников положительная, много классных проектов для портфолио было сделано. Фотка так себе по качеству, но хотелось в очередной раз зафиксировать момент) А самое главное - сейчас ребята умеют работать с SQL и решать с помощью него различные задачи. За 6 занятий прошли 1. Моделирование данных, ER-диаграммы 2. SELECT запросы, условия фильтрации, логические/арифметические функции, функции работы с датами, временем и строками 3. JOINs 4. Подзапросы и табличные выражения 5. Оконные функции, фреймы оконных функций 6. Работа с индексами, оптимизация запросов и работа с планом выполнения запроса Лет 5 назад не думал, что буду преподавать другим 😁 Но сейчас видны результаты учеников и я этому очень рад, скорее всего с кем-то в будущем будем на одних проектах работать)

Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube 📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud. За 2 часа вы: 👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис 👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики 👉 применение low-code/no-code инструментов из Реестра российского ПО Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем. Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO. Программа вебинара Регистрация: @itprocompbot

Чем занимается DWH аналитик Вы наверно видели на сайта вакансии с названием "DWH аналитик". Однако в вакансиях не всегда понятно чем вообще предстоит заниматься в компании на такой позиции. Давайте разберемся, какие основные задачи обычно закладываются в такую позицию и какие навыки для этого нужны: 🔎 DWH (Data Warehouse) - аналитическое хранилище данных. Т.е. это комплексная система (или ряд систем), которые обеспечивают хранение, сбор, преобразование и подготовку данных для анализа. Аналитики в этом процессе МНОГО, ее можно разбить по задачам (или направлениям задач) 1. Поиск и определение источников данных Источниками данных выступают базы данных систем, которые используются в компании. А также в качестве источника могут быть простые файлы от бизнеса, которые в каком-то (скорее табличном) виде нужно положить в хранилище. К примеру, может понадобиться найти систему источник с данными о логистических запасах компании. При этом отдел логистики может использовать несколько разных систем. Аналитику DWH нужно будет выяснить в какой базе данных какой системы хранятся нужные нам данные. А также нужно будет зафиксировать и описать способ сбора этих данных. 2. Описание требований для сбора, преобразования данных Помимо того что аналитик должен узнать и раскопать где лежат нужные данные, необходимо ещё продумать логику как эти данные забирать: - забирать все или только часть данных - забирать по какому-то триггеру или по расписанию - как часто забирать (раз в час, 2 раза в день, раз в сутки…) - в какое время забирать данные, чтобы не нагружать систему, но чтобы данные попали к бизнес-пользователю и отчеты вовремя Все это необходимо обсудить с командой бизнеса, командой разработки и задокументировать в технической спецификации Это только часть работы, которой может заниматься аналитик на проектах с DWH. В отдельном посте распишу другие задачи, которые встречаются на проектах, а также обозначу навыки, которые для это позиции нужны.

Какому специалисту любая компания сделает оффер на 30% выше рынка? Тому, кто понимает бизнес, выдаëт прибыльные гипотезы и продуктовые рекомендации, помогает коллегам принимать решения на основе данных. Как научиться этому бесплатно? Павел в своем канале пишет о карьерном росте и развитии аналитической культуры в компаниях. Благодаря ему, вы узнаете: - как проходить 8 из 10 собеседований и попасть в компанию мечты - как решать распространенные задачи с собеседований - что нужно продуктовому аналитику для офферов выше среднего по рынку Еще 6 лет назад Павел начинал с онлайн курсов, а сегодня руководит командой из 8 аналитиков и инженеров данных. А также менторит компании и профессионалов из Сбера, X5, Lamoda и других крупных брендов. Ссылка для тех, кто хочет быстрее расти по карьере: https://t.me/nodatanogrowth

Если я вам когда-нибудь скажу как же замечательно работать дома - не верьте! Сбежал из дома в кофейню из-за ремонта соседей. Живем в новостройке вроде как бизнес-класса, но такое чувство, что про шумоизоляцию при строительстве новых домов вообще не задумываются вне зависимости от класса жилья. Ремонт делают соседи на этаже вообще в другом крыле за лифтом, это даже не соседняя квартира, но слышно как будто в соседней комнате перфоратор работает. В итоге убежал в кофейню, где частенько в последнее время спасаюсь от ремонтных будней, но и здесь раз на раз не приходится) Сегодня сюда пришла девушка с 2-мя маленькими девочками возраста начальной школы, которые не ладят между собой. В итоге их крики, ссоры и разборки кто кого достал слушают все посетители кофейни. При этом девушка сама пытается работать в ноутбуке и не отвлекаться на детей, которые ее дергают вопросами типа "кто лучше умеет заворачивать язык в трубочку" В такие моменты хочется реально поехать в офис с тихими коворкингами и изолированными переговорками для проведения встреч. Ну или уехать в загородный дом с камином работать, а вечером жарить шашлык и залипать на природу на берегу реки 😍

Когда в команде один сеньор и пять джунов

😅😁

На этой неделе провели 3 технических интервью для кандидатов в компанию. Ещё раз убеждаюсь, что для аналитика, работающего с данными важны как hard навыки работы с данными, так и знания классического бизнес-анализа по работе со стейкхолдерами, требованиями и понимание всех фаз SDLC цикла. Если готовитесь к собесам на позицию аналитика данных/BI, углубляйтесь как минимум в 2 направления: 1. Бизнес-анализ - работа со стейкхолдерами - проведение интервью, воркшопов, оценка требований - формирование и декомпозиция требований 2. Работа с данными - понимание ценности применения баз данных и хранилищ данных для бизнеса, где, когда и что лучше применять, зачем использовать - Модели данных, нормализация, SCD - SQL - Python - ETL инструментарий и в принципе понимание шагов обработки данных по слоям (от сырых данных к витринам) - Метрики качества данных - Написание интеграционной документации и описание потоков данных - BI и визуализация данных + про мат часть, статистику, теор. вероятности и ML не забывать, если на проекты с ML именно есть желание попасть

Привет! Судя по текущим проектам на рынке, многие компании до сих пор находятся либо на старте планирования проекта, либо в процессе работ по миграции с лицензионных решений на какие-либо open source solutions чтобы избежать Vendor-Lock или попытаться минимизировать риски. Коллеги из X5 Tech планируют митап "Customer Analytics Meetup", на котором поделятся опытом как смогли найти и внедрить альтернативное решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis. Тема: Клиентская аналитика и поиск альтернативных решений Когда: 27 июня 18:00–19:00 Мероприятие бесплатное и будет проходить в онлайн-формате, можно зарегистрироваться по ссылке ⤵️ Регистрация на Customer Analytics Meetup

На этой неделе защитил магистерский диплом 🎉🎉🎉 Теперь можно сказать, что 6 лет обучения и 2 ступени образования пройдены) Бакалавриат - Инфокоммуникационные системы и сети Магистратура - Бизнес-аналитика и системы больших данных Все это в замечательном НИУ ВШЭ По ощущениям учебы в магистратуре могу сказать что это довольно сложно совмещать полноценное обучение с работой, разработкой/ведением курсов. Магистратура была на международной программе, поэтому все обучение проходило на английском, это позволяло поддерживать язык в активном использовании. Учеба была вечерняя, т.е. с 18:00 до 21:00, вроде удобно совмещать с работой, но обычно сил на учебу уже и не оставалось. В целом, по форме образования могу сказать, что курсы от академических преподавателей сильно далеко находятся от реальных знаний и практики на работе. Теории много, а что и как применить - не всегда становится понятно. Также было много курсов от преподавателей - приглашенных практиков, обычно это Senior/Lead/Head of department уровень специалисты, которые часто раскрывали прикладные вещи, которые можно применять у себя на работе. Формат курсов от практиков мне прям понравился. Дальше выбор: почувствовать в этом году первый раз, что сентябрь - это всего лишь начало осени, а не начало учебного года 😂, либо идти в аспирантуру)

Как повышать эффективность выдачи кредитов и совершенствовать клиентский опыт с помощью Process Mining? Об этом вы узнаете на вебинаре Инфомаксимум «Анализ процесса кредитования с Process Mining: реальные кейсы», который состоится 15 июня в 16:00. Программа: ▪️ Активная бизнес-аналитика Что такое активная бизнес-аналитика и какие возможности она дает в рамках анализа бизнес-процессов в банках; ▪️ От «сырых» данных к оптимизации процесса кредитования Как построить эффективный дашборд, извлечь выводы и найти точки оптимизации процесса кредитования; ▪️ Сессия «Вопрос – Ответ» Участие бесплатное, регистрируйтесь по ссылке Больше о системе Proceset можно узнать в телеграм-канале: самые актуальные кейсы, новости, обновления.

Сравнение Data Scientist, Data Engineer, ML Engineer, Data Analyst В целом по визуализации понятно, кто из специалистов в каком направлении больше работает. Правда на таких диаграммах сложно оценить какие более детальные навыки нужны и на каком уровне их нужно освоить, чтобы например из Data Analyst перейти в Data Scientist

Привет! Я знаю что много кто из вас проходил курсы в онлайн-школах. У меня для вас новость ⤵️ Выпускница вышки сейчас пишет диплом про образовательные онлайн-платформы. Диплом по направлению "реклама и связи с общественностью", поэтому для хорошего и качественного исследования нужны респонденты Если - вы старше 18 лет - проходили курсы на любой из платформ: Skillbox, Skillfactory, Нетология, Geekbrains, Яндекс. Практикум Пройдите опрос по ссылке Я прошел, он у меня занял буквально 5 минут 😉 Сейчас пройдете опрос, а я потом попрошу выпускницу сделать краткие выводы по исследованию и поделюсь ими здесь. Интересно посмотреть, что в итоге получится) Пройти опрос