Аналитика данных / Data Study

Теперь официально магистр 👨‍🎓😁

Когда недооценил трудозатраты на задачу 😅

В понедельник провел последнее занятие - защиту проектов по модулю SQL как приглашенный преподаватель в одной из онлайн-школ. Обратная связь от учеников положительная, много классных проектов для портфолио было сделано. Фотка так себе по качеству, но хотелось в очередной раз зафиксировать момент) А самое главное - сейчас ребята умеют работать с SQL и решать с помощью него различные задачи. За 6 занятий прошли 1. Моделирование данных, ER-диаграммы 2. SELECT запросы, условия фильтрации, логические/арифметические функции, функции работы с датами, временем и строками 3. JOINs 4. Подзапросы и табличные выражения 5. Оконные функции, фреймы оконных функций 6. Работа с индексами, оптимизация запросов и работа с планом выполнения запроса Лет 5 назад не думал, что буду преподавать другим 😁 Но сейчас видны результаты учеников и я этому очень рад, скорее всего с кем-то в будущем будем на одних проектах работать)

Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube 📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud. За 2 часа вы: 👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис 👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики 👉 применение low-code/no-code инструментов из Реестра российского ПО Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем. Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO. Программа вебинара Регистрация: @itprocompbot

Чем занимается DWH аналитик Вы наверно видели на сайта вакансии с названием "DWH аналитик". Однако в вакансиях не всегда понятно чем вообще предстоит заниматься в компании на такой позиции. Давайте разберемся, какие основные задачи обычно закладываются в такую позицию и какие навыки для этого нужны: 🔎 DWH (Data Warehouse) - аналитическое хранилище данных. Т.е. это комплексная система (или ряд систем), которые обеспечивают хранение, сбор, преобразование и подготовку данных для анализа. Аналитики в этом процессе МНОГО, ее можно разбить по задачам (или направлениям задач) 1. Поиск и определение источников данных Источниками данных выступают базы данных систем, которые используются в компании. А также в качестве источника могут быть простые файлы от бизнеса, которые в каком-то (скорее табличном) виде нужно положить в хранилище. К примеру, может понадобиться найти систему источник с данными о логистических запасах компании. При этом отдел логистики может использовать несколько разных систем. Аналитику DWH нужно будет выяснить в какой базе данных какой системы хранятся нужные нам данные. А также нужно будет зафиксировать и описать способ сбора этих данных. 2. Описание требований для сбора, преобразования данных Помимо того что аналитик должен узнать и раскопать где лежат нужные данные, необходимо ещё продумать логику как эти данные забирать: - забирать все или только часть данных - забирать по какому-то триггеру или по расписанию - как часто забирать (раз в час, 2 раза в день, раз в сутки…) - в какое время забирать данные, чтобы не нагружать систему, но чтобы данные попали к бизнес-пользователю и отчеты вовремя Все это необходимо обсудить с командой бизнеса, командой разработки и задокументировать в технической спецификации Это только часть работы, которой может заниматься аналитик на проектах с DWH. В отдельном посте распишу другие задачи, которые встречаются на проектах, а также обозначу навыки, которые для это позиции нужны.

Какому специалисту любая компания сделает оффер на 30% выше рынка? Тому, кто понимает бизнес, выдаëт прибыльные гипотезы и продуктовые рекомендации, помогает коллегам принимать решения на основе данных. Как научиться этому бесплатно? Павел в своем канале пишет о карьерном росте и развитии аналитической культуры в компаниях. Благодаря ему, вы узнаете: - как проходить 8 из 10 собеседований и попасть в компанию мечты - как решать распространенные задачи с собеседований - что нужно продуктовому аналитику для офферов выше среднего по рынку Еще 6 лет назад Павел начинал с онлайн курсов, а сегодня руководит командой из 8 аналитиков и инженеров данных. А также менторит компании и профессионалов из Сбера, X5, Lamoda и других крупных брендов. Ссылка для тех, кто хочет быстрее расти по карьере: https://t.me/nodatanogrowth

Если я вам когда-нибудь скажу как же замечательно работать дома - не верьте! Сбежал из дома в кофейню из-за ремонта соседей. Живем в новостройке вроде как бизнес-класса, но такое чувство, что про шумоизоляцию при строительстве новых домов вообще не задумываются вне зависимости от класса жилья. Ремонт делают соседи на этаже вообще в другом крыле за лифтом, это даже не соседняя квартира, но слышно как будто в соседней комнате перфоратор работает. В итоге убежал в кофейню, где частенько в последнее время спасаюсь от ремонтных будней, но и здесь раз на раз не приходится) Сегодня сюда пришла девушка с 2-мя маленькими девочками возраста начальной школы, которые не ладят между собой. В итоге их крики, ссоры и разборки кто кого достал слушают все посетители кофейни. При этом девушка сама пытается работать в ноутбуке и не отвлекаться на детей, которые ее дергают вопросами типа "кто лучше умеет заворачивать язык в трубочку" В такие моменты хочется реально поехать в офис с тихими коворкингами и изолированными переговорками для проведения встреч. Ну или уехать в загородный дом с камином работать, а вечером жарить шашлык и залипать на природу на берегу реки 😍

Когда в команде один сеньор и пять джунов

😅😁

На этой неделе провели 3 технических интервью для кандидатов в компанию. Ещё раз убеждаюсь, что для аналитика, работающего с данными важны как hard навыки работы с данными, так и знания классического бизнес-анализа по работе со стейкхолдерами, требованиями и понимание всех фаз SDLC цикла. Если готовитесь к собесам на позицию аналитика данных/BI, углубляйтесь как минимум в 2 направления: 1. Бизнес-анализ - работа со стейкхолдерами - проведение интервью, воркшопов, оценка требований - формирование и декомпозиция требований 2. Работа с данными - понимание ценности применения баз данных и хранилищ данных для бизнеса, где, когда и что лучше применять, зачем использовать - Модели данных, нормализация, SCD - SQL - Python - ETL инструментарий и в принципе понимание шагов обработки данных по слоям (от сырых данных к витринам) - Метрики качества данных - Написание интеграционной документации и описание потоков данных - BI и визуализация данных + про мат часть, статистику, теор. вероятности и ML не забывать, если на проекты с ML именно есть желание попасть

Привет! Судя по текущим проектам на рынке, многие компании до сих пор находятся либо на старте планирования проекта, либо в процессе работ по миграции с лицензионных решений на какие-либо open source solutions чтобы избежать Vendor-Lock или попытаться минимизировать риски. Коллеги из X5 Tech планируют митап "Customer Analytics Meetup", на котором поделятся опытом как смогли найти и внедрить альтернативное решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis. Тема: Клиентская аналитика и поиск альтернативных решений Когда: 27 июня 18:00–19:00 Мероприятие бесплатное и будет проходить в онлайн-формате, можно зарегистрироваться по ссылке ⤵️ Регистрация на Customer Analytics Meetup

На этой неделе защитил магистерский диплом 🎉🎉🎉 Теперь можно сказать, что 6 лет обучения и 2 ступени образования пройдены) Бакалавриат - Инфокоммуникационные системы и сети Магистратура - Бизнес-аналитика и системы больших данных Все это в замечательном НИУ ВШЭ По ощущениям учебы в магистратуре могу сказать что это довольно сложно совмещать полноценное обучение с работой, разработкой/ведением курсов. Магистратура была на международной программе, поэтому все обучение проходило на английском, это позволяло поддерживать язык в активном использовании. Учеба была вечерняя, т.е. с 18:00 до 21:00, вроде удобно совмещать с работой, но обычно сил на учебу уже и не оставалось. В целом, по форме образования могу сказать, что курсы от академических преподавателей сильно далеко находятся от реальных знаний и практики на работе. Теории много, а что и как применить - не всегда становится понятно. Также было много курсов от преподавателей - приглашенных практиков, обычно это Senior/Lead/Head of department уровень специалисты, которые часто раскрывали прикладные вещи, которые можно применять у себя на работе. Формат курсов от практиков мне прям понравился. Дальше выбор: почувствовать в этом году первый раз, что сентябрь - это всего лишь начало осени, а не начало учебного года 😂, либо идти в аспирантуру)

Как повышать эффективность выдачи кредитов и совершенствовать клиентский опыт с помощью Process Mining? Об этом вы узнаете на вебинаре Инфомаксимум «Анализ процесса кредитования с Process Mining: реальные кейсы», который состоится 15 июня в 16:00. Программа: ▪️ Активная бизнес-аналитика Что такое активная бизнес-аналитика и какие возможности она дает в рамках анализа бизнес-процессов в банках; ▪️ От «сырых» данных к оптимизации процесса кредитования Как построить эффективный дашборд, извлечь выводы и найти точки оптимизации процесса кредитования; ▪️ Сессия «Вопрос – Ответ» Участие бесплатное, регистрируйтесь по ссылке Больше о системе Proceset можно узнать в телеграм-канале: самые актуальные кейсы, новости, обновления.

Сравнение Data Scientist, Data Engineer, ML Engineer, Data Analyst В целом по визуализации понятно, кто из специалистов в каком направлении больше работает. Правда на таких диаграммах сложно оценить какие более детальные навыки нужны и на каком уровне их нужно освоить, чтобы например из Data Analyst перейти в Data Scientist

Привет! Я знаю что много кто из вас проходил курсы в онлайн-школах. У меня для вас новость ⤵️ Выпускница вышки сейчас пишет диплом про образовательные онлайн-платформы. Диплом по направлению "реклама и связи с общественностью", поэтому для хорошего и качественного исследования нужны респонденты Если - вы старше 18 лет - проходили курсы на любой из платформ: Skillbox, Skillfactory, Нетология, Geekbrains, Яндекс. Практикум Пройдите опрос по ссылке Я прошел, он у меня занял буквально 5 минут 😉 Сейчас пройдете опрос, а я потом попрошу выпускницу сделать краткие выводы по исследованию и поделюсь ими здесь. Интересно посмотреть, что в итоге получится) Пройти опрос

Что делать, когда вокруг хаос Именно об этом расскажут уже 23 мая в 11.00 на вебинаре «Управление операционной эффективностью в эпоху “черных лебедей”». Акцент вебинара – на Proceset, особом программном решении, позволяющее значительно повысить эффективность бизнеса благодаря контролю исполнения внутренних процессов, и кейсе применения этой системы в Магнитогорском металлургическом комбинате. Уникальность проекта – это первое в металлургической отрасли РФ внедрение комплексного решения для сквозного управления, мониторинга, оптимизации процесса снабжения на базе технологии Process Mining. Программа: 🔹Как управлять операционной эффективностью в критические моменты; 🔹Что важно учесть при выборе и внедрении решения для комплексного повышения эффективности деятельности компании; 🔹Особенности миграции на российские платформы Process Mining и Task Mining с западных продуктов; 🔹Как устроена система активной бизнес-аналитики Proceset: живая демонстрация Участие бесплатно, необходима регистрация.

Про pipe в pandas pipe - это метод реализации паплайна в pandas через последовательную цепочку преобразований (не путать с Pipeline из скалерна). Например, у нас есть ряд функций, каждая из которых отвечает за какое-то преобразование. Тогда пайплайн в pandas можно реализовать так: def normilize(df): ... return df def fill_null(df, method): ... return df def parse_time(df): ... return df new_df = (df .pipe(normilize) .pipe(fill_null, method='median') .pipe(parse_time) ) 😻 #preprocessing

Классная штука, которую можно применять, если нужен поток из множества шагов обработки данных

Всем привет! Давно не выходил здесь на связь, очень много активностей происходит, было трудно найти время на написание контента. Буду потихоньку вливаться опять в ритм публикации постов. Неделю назад проводил мок-интервью на позицию BI-аналитика в прямом эфире вместе с Solvery. На мой взгляд получилось интересно, для людей присматривающихся к области BI будет полезно посмотреть и зафиксировать себе ответы и вопросы с интервью. Вообще всю прошлую неделю были эфиры по разным направлениям аналитики: - BI - Продуктовая - Системная - Big Data Собеседования проводили разные эксперты для кандидатов уровня junior Прикрепляю ссылки на записи эфиров ⬇️ 📍Моковое собеседование Junior BI-аналитик | Даниил Джепаров, Senior BI Analyst, RNT Group 📍Моковое собеседование Junior Бизнес-аналитика | Ольга Мазур, Head of Business Analysis, Samokat.tech 📍Моковое собеседование на позицию Junior Системного аналитика | Наталья Золотова, Ведущий системный аналитик 📍Моковое собеседование на позицию Junior Data Analyst | Дмитрий Лапин, DA/DS Team Lead, JSA Group

Must have для документации работы Год назад после блокировки Atlassian тулов стал искать альтернативу, что также удобно можно использовать для ведения своих личных заметок, документации собственных проектов и т.д. Выбор пал на Notion - мощный инструмент в формате wiki-системы (создание разделов, страниц, заметок, чек-листов, канбан-досок и т.п.) Туда еще по всем канонам современной моды добавили AI-движок (Notion AI), который за тебя может писать доку, исправлять уже написанный текст, менять формат с одного на другой. В общем, кажется что digital-командам это может помочь увеличить эффективность работы с документацией. Для индивидуального использования Notion бесплатен, что очень приятно) Для работы команд есть свой pricing. У них на YouTube-канале есть куча полезных и коротких видео по функционалу, можно посмотреть кому интересно)