Аналитика данных / Data Study

Сегодня поговорим о системах оркестрации рабочих процессов — тех самых инструментах, что держат на себе потоки данных в современных компаниях. Зачем они нужны? Представьте, что у вас сотни ETL‑процессов, ML‑пайплайнов и отчётов, которые должны запускаться в определённое время или по событию, зависеть друг от друга, перезапускаться при ошибке и логировать всё происходящее. Руками это не уследить, самим разработать такую систему - дорого и долго. Системы оркестрации решают эти задачи: ✅ выстраивают цепочки задач (DAG — Directed Acyclic Graph) ✅ контролируют зависимости между шагами; ✅ планируют расписание ✅ отслеживают статус выполнения ✅ оповещают о сбоях ✅ дают единую панель мониторинга Без них в крупной компании с сотнями пайплайнов наступает хаос и бардак Самые популярные оркестраторы, которые на слуху: 📍Apache Airflow 📍Informatica 📍SAP Data Services 📍Argo Workflows 📍Prefect 📍Dagster 📍Luigi ...Список можно бесконечно продолжать На работе сейчас Argo Workflows, работает на Kubernetes‑инфраструктуре и позволяет запускать пайплайны в изолированных контейнерах. До этого был опыт с Dagster, Prefect, Informatica и Airflow. Инструментов много, но стоит один раз понять суть работы в одном из них, тогда и переключиться на другой не страшно. Сразу понимаешь в сравнении плюсы/минусы и поднимаешь свою технологическую насмотренность 👀 Кто я | Навигация | Обучение

Возили сегодня кошку в вет-клинику, второй день сильно слюна течет, раньше такого никогда не было. На приеме Маркиза сильно разнервничалась, не дала осмотреть себя. Сейчас приехали домой, дадим успокоительное и вечером повторно повезем. Кто с таким сталкивался, напишите в ЛС, если есть мысли. Подозреваем что могли пыльцу от цветов лилий принести в дом, у нас они в лобби стояли. А кошки их не переносят

Оптимизируем аналитические SQL запросы Написал практическую статью с правилами написания оптимальных SELECT-запросов. Начинающим аналитикам и кто имеет мало опыта с SQL просто must have для прочтения, все правила помогают избавиться от типичных и распространенных ошибок! Прочитай обязательно если ✅ хочешь ускорить выполнение SELECT-запросов ✅ нужно сократить затраты ресурсов базы/хранилища данных на операции чтения ✅ нужен чистый аналитический код в едином стиле ✅ помнишь что техническая реализация запросов влияет также и на качество данных P.S. для запуска запросов из статьи есть доступ к базе данных ЧИТАТЬ СТАТЬЮ

С чего начать в аналитике? Самый частый вопрос у меня в ЛС Вот 3 шага: 1. Найди 20-30 вакансий на аналитика, которые тебе интересны и хотел бы на них откликнуться 2. Из этих вакансий выпиши все требуемые навыки и инструменты, отсортируй их по частоте упоминания в вакансиях. Разметь их по тегам «знаю» / не знаю» 3. Составь план обучения этим навыкам. Сначала бесплатные материалы: видео, курсы, статьи, книги. Для более глубокого и быстрого обучения найди ментора или платный курс

А я думаю почему на рабочем ноутбуке так мало место свободного 😁 Выгрузил 344Гб данных и не заметил)

Я получил образовательную лицензию! 🎉 С 2022 года я обучил больше 200 аналитиков в разном формате. Все это время меня не покидала мысль, чтобы получить документ, который не просто будет подтверждать мой практический опыт и компетенции, а будет являться маркером образовательного стандарта для моих авторских курсов. В целом мог бы продолжать работать и без этого, ведь форма ИП дает возможность давать дополнительное образование детям и взрослым, а также иметь возможность получить налоговый вычет ученикам.

Но при получении лицензии курс проверяет Министерство Образования на все требуемые стандарты: формат обучения, способ предоставления материалов, достаточное кол-во практических заданий, общий объем обучающих материалов и их качество. Это не просто бюрократия, а действительно проверка материалов на соответствие высокому качеству.

Это повышает доверие к обучению, а также усиливает ценность именно сертификата после завершения курса. Сертификат можно показывать при трудоустройстве или на текущей работе, чтобы подтвердить свои навыки. Пусть лицензия будет ценным дополнением к моему вкладу в вас, а для вас приятным бонусом и аргументом чтобы прокачивать свои технические навыки) Но самым главным хочу отметить всегда остаются ваши приобретенные навыки и знания 😉 Кто я | Навигация | Обучение

Аналитик не должен собирать данные. Аналитик должен их анализировать. Но реальность часто такая: - экспорт из Директа - экспорт из Метрики - Excel - Сведение данных - Графики Команда JetStat сделала готовый дашборд DataLens, который автоматически объединяет данные рекламы и сайта. Внутри автоматического дашборда: • расходы и ключевые метрики • эффективность кампаний • путь клик → поведение → результат Без сбора отчётов вручную. Получить шаблон → тут Реклама ООО “Джет лабс”, erid: 2VtzquuLjYx

Терпение и труд всё перетрут 💪 К этой пословице еще хочу добавить - гибкость к внешним факторам, но ловить фокус на том что важно именно тебе - упорство повторять то, что с первого раза не получается - рефлексию и анализ что сделано и что нужно улучшить, чтобы достичь цели У нас у всех всё получится!

Как считать Retention Rate через Когортный анализ 🔎 Retention Rate - метрика, которая показывает долю клиентов, которые продолжают пользоваться продуктов (покупать или совершать другое целевое действие) спустя какое-то время после их первого взаимодействия с продуктом. Эта метрика позволяет бизнесу оценить по-другому возвращаемость клиентов в компанию. 🔎 Когорты и когортный анализ - это метод анализ, когда клиентов объединяют одним признаком по дате совершения действия в одну группу (когорту) и считают метрику для когорты в целом, а не для конкретного клиента. Давай разберем картинку, на которой приведен пример анализа Retention Rate для оценки оценки подписок с момента регистрации пользователя. Например, нас интересует вопрос

как много клиентов и как долго оформляли ежемесячную подписку, которые зарегистрировались в марте 2019?

Формируется когорта: в марте зарегистрировалось 1000 человек - это наши 100% Идем читать retention по первой строке слева направо (March 2019 и по номеру месяцев 0,1,2,3...) 🔹91% из них оформили подписку в марте (0 месяц). Остальные значит ее либо вообще не оформили, либо оформили в последующие месяцы 🔹через месяц также 91% оформили подписку (1 месяц). Это считается от общего числа зарегистрированных еще в марте, по этому списку клиентов проверяем кто купил подписку а кто нет и считаем долю. 🔹а вот спустя 10 месяцев только 59% клиентов купили подписку из той самой 1000, кто зарегистрировался в марте. Таким образом у бизнеса благодаря анализу данных есть понятный инструмент по отслеживанию эффективности удержания клиентов. Как считать Retention Rate с помощью SQL и визуализировать в Datalens разбираем на курсе Продвинутый SQL. Кто я | Навигация | Обучение

Под капотом каждого технического продукта есть еще целый мир под названием "Инфраструктура" Так и у меня на курсе Продвинутый SQL настроено куча всего, чтобы на практике можно было работать с реальными инструментами для построения потоков данных. Для этого проделал много работы по настройке и дальнейшему администрированию: ✅ арендовал серверы на Linux ✅ установил на них Docker ✅ написал docker-compose файлы для нужных сервисов ✅ сделал план бэкапов ✅ настроил роли и доступы ✅ создал облако и сервисные аккаунты ✅ сделал процесс деплоя DAGов в Airflow через Github ✅ продумал модель данных ✅ разработал и автоматизировал скрипты загрузки сырых данных в базу ✅ подключил загрузку данных из Яндекс Метрики ✅ автоматизировал выдачу доступов к ресурсам ✅ настроил технический мониторинг ✅ использую биллинг, сколько сервисы потребляют💰 Объем работы уже тянет на стартап, но для меня важно чтобы каждый, кто приходит учиться, погружался прям в эту реальную техническую песочницу инструментов, а не пытался разворачивать инструменты у себя локально (если только в этом не заключается само обучение), проклиная все на свете. Или еще хуже просто писать запросы в формате тренажера, что вообще от практики и реальной работы сильно далеко. Тренажеры для базового изучения любого языка - ОК. Но на следующем уровне нужна практика в виде проектов с применением рабочих инструментов. Кто я | Навигация | Обучение

Как мы нашли аналитика в команду Про новый проект и почему искали человека С начала года я перешел на другой проект в Сравни. Переход был не запланированным, так сложились обстоятельства. А если быть точнее, то единственный аналитик приняла решение двигаться дальше по карьере вне компании и нужно было быстро найти того, кто подхватит работу. Этим человеком оказался я) Но при этом у меня в команде на тот момент было 3 аналитика. В итоге 🔹меня начинают погружать в новое направление 🔹вся моя команда переходит в смежные команды, продолжая заниматься +- похожими задачами что мы вместе делали На новом проекте сразу обсуждаем, что будем искать еще одного аналитика, чтобы нас было двое. Задач и планов много, поэтому нужно расширяться. Составили вакансию, сбились по условиям и по критериям кого конкретно ищем и что нам важно. Мы искали аналитика уровня middle с максимально уверенным владением Python и SQL. При чем в этот раз Python при поиске поставили приоритетом, т.к. много скриптов автоматизации с которыми нужно работать написаны именно на нем. Также важно было, чтобы кандидат понимал полный цикл решения аналитической задачи и мог искать методы оптимизации процессов обработки данных. Этапы отбора 1. скрининг HR Здесь прям Юля (рекрутер) хорошо сработала и мне выдавала резюме действительно подходящие под то что мы обсуждали. Был скрининговый созвон рекрутер-кандидат, после него кто подходит по основным критериям резюме уже попадали мне. 2. техническое интервью Буквально через 3-4 дня у нас сформировался график с первыми кандидатами на интервью. Проводил я его по 1-1.5 часа с частично теоретическими и по большей части практическими вопросами, чтобы понять по кандидату - как размышляет - с какими задачами/инструментами работал - какой опыт и насмотренность на разнообразие решений В качестве задания практического давал python-скрипт с реально нашей задачи, время на то чтобы в него погрузиться и рассказать что в скрипте происходит. Еще спрашивал что в этом скрипте можно переписать для оптимизации. Проверял понимание кода в целом 3. финальное интервью На финале были еще руководители с проекта, чтобы познакомиться с кандидатом, задать свои вопросы. Немного посмотреть на стрессоустойчивость и в целом на софты как человек умеет строить диалог. Мы готовились к достаточно долгим поискам, но для нас все сложилось максимально удачно и оффер мы сделали буквально через неделю от старта поиска. Теперь у нас есть Влад, который вышел к нам с начала марта, проходит онбординг и за это время уже успел реализовать 2 свои задачи 🙂 Кто я | Навигация | Обучение

🔈 Как найти работу в 2026 году Вы все слышали о том, что происходит с рынком труда (если коротко там полный трэш) - hh / rabotaby глючит, вакансии исчезают, конкуренция х10, а рекрутеры просто не отвечают. Каждую неделю новые правила, и ты либо под них подстраиваешься, либо идешь нахер. Эта подборочка может закрыть базу. Не моего авторства, но я посмотрела и там прям очень хорошо, можно использовать. 🔴10 ключевых лайфхаков по резюме 🔴Нужны ли сопроводительные и что там писать 🔴Как отвечать на вопрос «Расскажите о себе» 🔴Как рассказывать о своем факапе? 🔴13 шаблонных отказов рекрутеров - что они означают. 🔥 Разборы резюме для АНАЛИТИКОВ ну и то, что нам особенно интересно - про офферы и ЗП 🔴45 офферов по разным ИТ ролям: от аналитика до тим тим лида за 850к 🔴Какой аналитик получил 0,5 млн. 🔴Сколько может получать аналитик в 50+ лет 🔴Как получить 75к евро с релокацией в Европу 🔴Какой тим лид получил 1,2 млн 🔴Пошаговый план как выйти в найме на 1 млн руб Сохраняйте, читайте, подписывайтесь

Умная мысля 😎 Желаю всем отлично отдохнуть в ближайшие 3 выходных 😉

15 марта в Москве пройдет AI Dev Day — митап Яндекса, посвященный реальному опыту внедрения AI-инструментов в разработку. Программа делится на два блока. В первом руководители и инженеры из Яндекса, Авито, Сбера, Т-Банка, Ozon расскажут, как в их командах оценивают эффективность AI-инструментов. Андрей Попов из Яндекса расскажет о том, как в компании используют и измеряют полезность AI: в компании, помимо генерации кода, его используют для задач по оптимизации процессов, тестированию и работе с инцидентами. А Александр Мазько из Сбера, объяснит, какие метрики действительно показывают ROI в DevTools, как отделить реальный эффект от хайпа и связать инженерные показатели с бизнес-ценностью. Вторая часть программы посвящена конкретным технологиям и кейсам. Например, Сергей Бульдяев из Яндекса расскажет, как создавали кодового ассистента для разработки в IDE на базе open-source решения. И как этот инструмент продвигали внутри и растили адопшен. Регистрируемся на митап до 12 марта.

В жизни столько всего происходит. В «мире» хаосе дак вообще жесть, даже в соц. сети заходить уже страшно А я вот только рабочий ноутбук закрыл и не успеваю здесь поделиться своими новостями 😕 Новости основные 2 1. ко мне в команду вышел новый аналитик, сейчас онбординг проходим. Расскажу об этом в отдельном посте 2. Подал сегодня кое-какие документы, но подробнее расскажу когда все будет готово Вы как? ♥️ - держусь 🤯 - новости в мире не дают спокойно жить

Сегодня стартовало обучение на моем курсе по созданию аналитической отчетности под ключ в качестве аналитика-инженера Кто любит залетать в последний вагон, сегодня ваш шанс 😉 Сразу дам доступ к материалам и инфраструктуре, будете создавать потоки данных с аналитическими витринами Пишите мне @daniildzheparov

Как же я люблю свою работу и делиться знаниями с учениками ☺️ #отзыв

Съездили в Ярославль Очень красивый город и теперь хочется вернутся туда летом

Ребят, кто-то звонит от моего имени подписчикам Это не я и у меня нет других людей, кто будет вам звонить от меня или от имени канала. Пожалуйста, не ведитесь, ничему не верьте. Все мои контактные данные указаны в профиле канала. Я могу написать сам лично только в ответ на вашу заявку, либо вы мне сами можете написать. всех обнял и хорошего вечера пятницы