Аналитика данных / Data Study

Как построить карьеру в машинном обучении, если вы уже знаете Python Вы работаете с Python — пишете скрипты, анализируете данные или автоматизируете задачи? Сделайте следующий шаг и примените эти навыки в машинном обучении. ML — одна из самых быстрорастущих областей IT с высокими зарплатами и сложными задачами. На вебинаре от Кристины Желтовой, директора по разработке моделей в Газпромбанке, вы получите пошаговый план, как стать ML-инженером. В ходе вебинара разберём: 🟠Из каких сфер чаще всего приходят в профессию ML-инженера; 🟠Какие задачи решают специалисты в этой области; 🟠Какие навыки, технологии и инструменты потребуются для старта в профессии; 🟠Как перейти от теории к работе с реальными моделями и решению проблем бизнеса. 🕗 Встречаемся 15 октября в 19:00 МСК 💬 Обязательно ждем вас в лайве — вы сможете напрямую задать свои вопросы Кристине Желтовой и выстроить личный план перехода в профессию ML-инженера! 😶Зарегистрироваться на бесплатный вебинар

Вернулся из отпуска - впервые были в таком формате отдыха All Inclusive Впечатления класс, ехали в этот раз без каких-либо планов на активный отдых и экскурсии, полный релакс. Поэтому было 3 фактора счастья: 🥩🍸 еда ☀️☀️ много солнца 🌊🌅 море Немного фоточек на память)

IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач: → Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности. → Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях. 🏆 Призовой фонд: 900 000 рублей 💻 Формат: онлайн 🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsudatastudy Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек. Что тебя ждёт: • Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными. • Получишь готовый проект в портфолио. • Для участников ТОП-5 команд в каждом треке — фирменный мерч. Задачи соревнования: Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы. Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки. Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsudatastudy

Вопрос из комментариев решил еще раз подсветить о ролях DA и DE Грань между DA и DE бывает сильно размыта, мне ли это не знать если у меня позиция называется аналитик-инженер 😅 На самом деле расскажу например как у нас делится в Сравни DE (инженеры данных) отвечают за: - поддержание инфраструктуры и сервисом DWH (само хранилище, ETL, очереди сообщений и все что с этим связано) - выполнение дата-контрактов по загрузке сырых данных из систем-источников - написание витрин по запросу продуктовых команд, где нет своих ресурсов аналитиков DA (аналитики данных) отвечают за: - проверку данных в сыряке и написание дата-контрактов - описание бизнес-логики и разработку витрин - автоматизацию витрин - создание BI отчетов - создание своих нужных бизнесу и команде автоматизаций (джобы различные, отправки уведомлений с данными, алертинг по данными) поэтому вот таким задачам DA и будем учиться на курсе

IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач: → Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности. → Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях. 🏆 Призовой фонд: 900 000 рублей 💻 Формат: онлайн 🗓 Регистрация до 16 октября: [ссылка] Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек. Что тебя ждёт: • Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными. • Получишь готовый проект в портфолио. • Для участников ТОП-5 команд в каждом треке — фирменный мерч. Задачи соревнования: Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы. Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки. Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsuitm

Чем я занимаюсь на должности аналитик-инженер У меня прямо в трудовой должность так называется. Давайте разберемся как устроена работа с данными в большинстве компаний, где выстроены или строятся data driven процессы принятия решений. Если говорим про постоянные процессы, а не ad-hoc (одноразовые) задачи, то этапы работы с данными можно свести в такой флоу 🔹Работа по получению и преобразованию сырых данных 🔹Очистка, трансформации, бизнес-логика создания витрин данных 🔹Автоматизация обновления витрин 🔹Анализ данных Сюда включены как инженерные задачи (построить поток данных, автоматизировать), так и аналитические (узнать что и зачем делать, переложить бизнес-логику на данные, провести анализ и сделать выводы). Когда работаешь в одной роли твой масштаб и набор задач ограничен, ты делаешь лишь часть работы из всего процесса. ➖ это может надоедать ➖может быть стагнация в своей роли ➖возможно есть задачи интересней чем делаешь сейчас Многим компаниям требуются fullstack-специалисты, которые умеют работать и с инженерными и с аналитическими задачами. Вакансии могут называться как fullstack-аналитик, аналитик-разработчик, аналитик-инженер, DWH-аналитик. Как этому научиться? Все это будем разбирать на моем курсе по созданию и автоматизации витрин данных - весь процесс по шагам, на практике. Начинаем учиться 15 октября, длительность 1-1.5 месяца ‼️Осталось 3 места в группе, все места забронировали за 10 дней с момента анонса! 🔥🔥 Требование: должны быть знания базового SQL Заполняй анкету предзаписи, я свяжусь с тобой со всеми подробностями

Конференции и профессиональные сообщества для меня - это способ изучить и посмотреть как развивается твоя профессия на уровне всего рынка, как работают другие компании, что применяют у себя. Это всегда отличная возможность погрузиться в профессиональное сообщество и найти для себя что-то ценное: знакомства, знания, технологии, идеи. Я за год лично посетил уже больше 5 крупных конференций, а ведь он еще не закончился) Нужно это использовать как инструмент для своего развития, тем более что большинство конференций проводят бесплатно! И вот нашел для вас событие, которое просто идеально ложится в нашу область data мира. Если вы BI-специалист, аналитик или дата-инженер, это главный инсайт-хаб, который нужно посетить в этом году.😎 Речь про РУBIКОНФ’25 — это масштабная конфа по BI и дата-грамотности в России и СНГ. Я изучил программу. Это не просто «послушать доклады», это шанс закрыть свои самые острые боли как аналитика/инженера.🤯

🔜Импортозамещение и реальный опыт. Не теоретические рассуждения, а кейсы от компаний, которые уже мигрировали. Как построить DWH и аналитику на отечественных решениях — сколько это стоит, и как не облажаться. 🔜Мастер-классы (это прям ПУШКА!). Впервые будет отдельный формат интерактивных сессий. Можно сесть и руками освоить новые методы работы с данными. 🔜РУBIЛОВО. Будут дискуссии по самым спорным вопросам, которые часто остаются за кадром. Это всегда дает новый угол зрения и возможность понять тренды. 🔜Визуализация. Покажут, как делать дашборды, чтобы их читал и понимал даже ваш руководитель (а не только вы).

Конференция — это про сообщество и доверие. Это нетворкинг, который реально двигает карьеру. 🔥И главное! Участие в РУBIКОНФ’25 БЕСПЛАТНОЕ. Нужно только успеть зарегистрироваться заранее. Вам дают топовый контент и мощный нетворкинг, а вы платите только своим временем. 🔗Подробности и регистрация по ссылке. 7 октября, Москва. Кластер «Ломоносов» (Раменский б-р, д. 1). Приезжайте с 10:00!

У меня сейчас такая нить в голове пронеслась 😳 Я в спортзале выбираю один и тот же шкафчик для вещей, сегодня задумался о цифре 159 на нем. И только сейчас в моменте понял, что 159 - это номер моего родного региона Пермский край. Корни подсознательно проявляются 😁

Ходил в субботу на конференцию Data Driven от Яндекса. Мне понравилось что на месте фуршета были телевизоры с прямой трансляцией докладов, т.к. в зале мест было сильно меньше чем участников, поэтому это было спасением для тех кто в зал не влез) Был классный доклад про коммуникацию с пользователями через дашборды. Ожидал, что будет про понятные графики, полезные инсайты, подсвеченные аналитиком прямо в отчете, но нет. Яндекс рассказал про свой процесс сертификации отчетов, стандартизацию шаблона отчета со всей полезной информацией (ответственный за отчет, форма обратной связи, инструкция получения доступа…). А также проверка качества данных на отчете, их актуальность и производительность самого отчета. Записи докладов можно посмотреть здесь

Спешу рассказать про программу курса "Продвинутый SQL для анализа и преобразования данных " Материалы сформированы так, чтобы сначала получить необходимую теоретическую базу и изучить описанные практические примеры. Во второй половине курса всю эту базу знаний применить для решения бизнес-задач с разработкой и автоматизацией витрин данных. Опишу разделы курса, не погружаясь в детальные уроки Теоретическая-практическая часть: 🔹Витрины данных и их виды материализации 🔹Формирование требований для витрин данных 🔹Продвинутый SQL для преобразований данных и пользовательские функции 🔹Оптимизация запросов и работа с планом запроса 🔹Практические лайфхаки формирование метрик и аналитики 🔹Теория и практика работы с git и Github 🔹Cloud functions 🔹Apache Airflow 🔹Процедуры и триггеры PostgreSQL 🔹Реализация витрин с полной перезагрузкой 🔹Реализация витрин с инкрементальной загрузкой 🔹Формирование документации для витрин и потоков данных Практическая часть Здесь тебя ждут описанные бизнес-задачи на разработку 10 разных витрин данных с их автоматизацией. Чтобы максимально дать широкий спектр практики каждая витрина будет отражать разные бизнес-домены и отвечать потребностям разных бизнес-задач: 🔵 финансы — отчет формата PnL — отчет с ключевыми KPI компании — отчет план/факт 🔵 маркетинг — трафик — отчет по данным Яндекс Метрики с активностью на сайте 🔵 клиенты — отчет по источникам регистрации и активности клиентов — отчет по портрету клиента — отчет по Retention 🔵 CRM-коммуникация — эффективность каналов коммуникации Для всех этих бизнес-задач научитесь формировать аналитические витрины в нашей DWH-песочнице и автоматизировать разными способами, максимально подходящими для решения конкретной задачи. Чтобы попасть в группу, заполните форму или напишите мне сразу лично @daniildzheparov. Узнаю про ваш опыт работы и сориентирую по другим вопросам и оплате

Еще одно видео моего кумира 😂 У всех ведь перед отпуском начинается какой-то завал на работе? Сегодня Андрей из команды перед отпуском до последнего доделывал отчет. У меня аврал за недели 3 по ощущениям начинается каждый раз. Как это работает?) P.S. всех с пятницей 😎

Я уже заполнил форму регистрации, можем там встретиться и пообщаться с желающими ☝️

Как искать точки роста продуктов и эффективно использовать данные Обсудим вместе с аналитиками Городских сервисов Яндекса на Analytics Talks Meetup. — Катя Семакова из Яндекс Go расскажет о том, как мы с нуля запустили новый продукт для водителей, и поделится опытом, как прошли путь от идеи до product-market fit — Максим Левшин из Яндекс Маркета объяснит, как команде удалось создать модель, которая точно прогнозирует бизнес-эффект от сбора отзывов на маркетплейсе. — Руководители DWH Городских сервисов Яндекса обсудят, есть ли реальная польза от LLM и GenAI в DWH и аналитике или это только хайп. А еще вас ждет настольная игра Atlas от Яндекс Go, афтепати и нетворкинг. 📌 30 октября, сбор гостей с 18:00 📌 Москва, офлайн Пора регистрироваться! Мероприятие бесплатное. Количество мест ограничено — пожалуйста, дождитесь нашего подтверждения. Реклама. ООО «Яндекс.Такси» ИНН 7704340310

Сегодня ходил на конференцию, посвященную работе с клиентскими данными. Несколько тезисов, которые понравились 🔹Компании движутся в гипер-персонализацию, когда компании понимают не только что вам может быть интересно и предлагают это, но знают досконально ваши текущие жизненные ситуации, в которых вы находитесь и действуют проактивно, помогая вам в них. 🔹Взаимодействие с реальным человеком, а не с роботами/AI помощниками, будет все больше и больше привилегией премиум-сервиса, однако все может зависеть от конкретных кейсов: - попал в аварию, лучше и быстрей решить вопрос через человека со страховкой - нужно зарегать 🔹Приватность как-будто уходит на второй план, компании слишком много знают данных о своих клиентах и мало кто читает длинные согласия на обработку перс. данных. Однако, регуляторы наоборот озабочены защитой данных 🔹Практически все продукты компаний в рамках финтех и страховых практически одинаковые. Поэтому компании будут выделяться уровнем предоставляемого сервиса вокруг своих продуктов, чем новыми продуктовыми фичами 🔹Очень впечатлил проект ЕРН - единый реестр населения. Это гос. проект, который объединяет в себе золотые карточки по людям со всеми историческими и актуальными данными документов. Для контекста, все наши разные документы (паспорт, ИНН, СНИЛС, водительское удостоверение, свидетельство о браке …) находятся в обработке и хранении у множества разных гос. ведомств. Обмен и актуализация этих документов между ведомствами - огромная сложная задача + цифровизация всех старых документов и записей прошлого века. Теперь есть этот реестр ЕРН который все в цифровом виде, хранит, обрабатывает, стандартизирует, дедублицирует, обновляет, актуализирует в одном месте и будет являться эталонном источником информации о человеке. Вот это прям впечатляет по масштабу проекта и не сравнится даже с самыми большими корпорациями и их объемами данных 🤯

⚡️Собираем аналитический отчёт и генерим гипотезы роста Самая страшная ошибка в аналитике — построение фейковой аргументации. Это когда у есть некая проблема, и она объясняется чем-то, что на самом деле причиной не является. Подготовили для вас вебинар, где научим не просто собирать данные, но и понимать, а так же принимать решения на основании этих данных. Практический вебинар проведет Андрон Алексанян (эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative). В режиме реального времени соберем продуктовый отчет для анализа вебинарной воронки:

🟠Разберём ключевые метрики: CPReg, CPL, доходимость, CR1, AOV и другие; 🟠После сборки отчета проведём мозговой штурм: какие гипотезы можно проверить и как их внедрить? 🟠Разберём кейсы, где подобные инсайты уже дали результат; 🟠Упакуем наш анализ в удобный и универсальный шаблон.

🕗 Важно досмотреть до конца, будет много практики, ответы на вопросы и полезные инсайты от эксперта. 😶Зарегистрироваться на бесплатный вебинар

когда подсказал на работе откуда брать данные, а к тебе вернулись с обратной связью по собранной витрине 😄 о ней я думаю еще расскажу здесь, там такая логика сборки, которой во всем dwh нет и состоит она из 27 файлов сборки на sql!

🔥Анонс обучения SQL и построения витрин данных! Я это сделал, то что давно сидело в голове, то чем занимаюсь каждый день на работе и чем я рад буду делиться с вами! Рад объявить предзапись на курс "Продвинутый SQL для анализа и преобразования данных" Речь пойдет не только про сам SQL, но и про Python с ETL-инструментами. Стартуем учиться: 15 октября Длительность: 1 месяц (должны завершить практику 15-23 ноября) После курса ты сможешь творить с данными магию с помощью SQL, а именно: ✅ реализовывать сложные бизнес и технические задачи на SQL ✅ писать оптимальные и технически оптимизированные запросы ✅ создавать и автоматизировать витрины данных разными способами Курс НЕ С НУЛЯ ‼️ вы должны уже уметь писать SELECT запросы, знать JOIN, подзапросы, хотя бы слышали про оконные функции. 🎯 Главная цель курса: поделиться с вами практическими лайфхаками и фишками написания сложных аналитических запросов, показать как эффективно обрабатывать и анализировать данные любой сложности, а также автоматизировать расчет аналитических витрин данных. Как организовано обучение Я подготовил уже песочницу DWH с данными на разных слоях с их обновлением. У каждого будут полные права к своей песочнице с множеством разных таблиц. 1️⃣первые 10-15 дней изучаем теорию и практику с примерами (рассказываю все из своего опыта решения реальных задач) 2️⃣остальные 15-20 дней разрабатываем и автоматизируем витрины данных под разные бизнес-задачи с расчетом аналитических метрик. Добавляй еще к этому Python 🥲, Airflow 👎 и Git для автоматизации. Напишешь минимум 10 витрин данных разной сложности, которые дадут тебе кратный буст по опыту 🚀, соизмеримый с годами работы! Первый набор по стартовой цене, места сильно ограничены Стоимость: 23.000 💸 Заполни форму чтобы попасть в лист предзаписи. Я напишу каждому, проведем мини-созвон по опыту в аналитике и SQL. Больше деталей и ответы на вопросы будут здесь в группе

Сегодня первый раз в жизни сходил в зал утром. Сам, по своему желанию без принуждения 😅 Для меня это подвиг если честно, я привык жить вечерами и делать все основное вечером. Народу нет, а у меня чувство что уже день начался полезно 🔥 Сейчас приду домой и спокойно начну работать 👨‍💻

windows уже не смог добавить в реакцию( Чтобы была вторая кастомная реакция на посты, проголосуйте за канал https://t.me/boost/data_study 🙏