Аналитика данных / Data Study

Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями Понравилась статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век. Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными. Читать статью

Сегодня пополнение в моей библиотеке 😃 Какую первую начать читать? Голосуем реакциям) 👍 - левая книга 🔥 - правая книга

Прочитал книгу «Мама, я Тимлид!» Мне книга очень понравилась, читается легко, понятная структура глав, самое приятное что каждая глава - это передача накопленного опыта автора в конкретной теме с опорой на мнения других руководителей и авторов книг. Также понравилось, что в конце есть рекомендация книг с кратким описанием сути от автора. Послевкусие как будто поговорил по душам с опытным руководителем, который поделился своим многолетним опытом за чашечкой кофе) Для себя понял, что многие моменты на уровне интуиции или опыта уже реализую из книги, но также подчеркнул новые мысли. Несколько цитат из книги ⤵️

Качественное выполнение задач - это уже повод сказать человеку спасибо

Приучите людей к тому, что задавать вопросы кому угодно и когда угодно, независимо от должностей, - это нормально

Помимо стремлений команды к каким-то корпоративным успехам, у каждого человека есть личные цели. Секрет успешного руководителя в том, чтобы эти цели узнать и помочь человеку их достигать с пользой для компании

Всем отличных выходных и немного юмора 😁

Классный сборник ресурсов для data инженеров (или кто хочет им стать) https://github.com/DataExpert-io/data-engineer-handbook

Довольно часто сталкиваюсь с вопросами о рынке труда ☝️ ❓есть ли спрос на специалистов ❓какие сейчас зарплатные вилки ❓можно ли без опыта найти работу ❓сколько времени занимает трудоустройство Если не исследовать рынок и не изучать вакансии - на такие вопросы довольно сложно ответить, особенно начинающим специалистам. Но есть очень крутые исследования и опросы специалистов из рынка, на основе которых можно понять что происходит сейчас и какая тенденция рынка. Сейчас исследование проводят NEWHR по рынку аналитиков, они собирают данные каждый год начиная с 2018! Рынок каких аналитиков исследуют? ➤ Дата-аналитиков ➤ Продуктовых аналитиков ➤ BI-аналитиков ➤ Маркетинговых аналитиков ➤ Веб-аналитиков Что исследуют? 👉 Зарплаты и их динамика. Спрашивают про вилки, а потом делятся результатами и корреляциями. 👉 Рейтинг работодателей для аналитиков 👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройство. 👉 Как меняется зона ответственности аналитиков. 👉 Как аналитики ищут работу и выбирают работодателя. Как принять участие в исследовании? ⏩ Заполните 20-мин опросник После заполнения опросника у вас будет возможность получить не только результаты исследования (они планируются в начале 2025 года пока соберут все данные и проанализируют), вы также получите полезные ссылки и материалы от аналитиков в отрасли 😎🔥

Увидел сегодня вакансию с пометкой о количестве активных пользователей и количестве дашбордов 1200+ Аж мурашки от таких цифр побежали 😨 В таких кейсах всегда интересно как компания реализовывает интеграцию такого количества отчетов в удобное пользование, есть ли data-каталоги, либо системы data governance/management. Иначе потеряется качество данных, одни и те же метрики будут считать на разных отчетах по разному, да и пользователям вообще может быть сложно найти нужный им отчет в таком количестве. 📍Кстати, в публикации вакансий я реализовал пересказ полного описания вакансии с помощью LLM, чтобы посты были более лаконичными. Получилось очень неплохо если сравнивать пересказ с полным описанием) Data вакансии - https://t.me/data_vacancy

Data Mesh - вид организации аналитических хранилищ В современном мире данных, где объемы информации растут экспоненциально, традиционные подходы к организации аналитических хранилищ могут оказаться недостаточно гибкими и масштабируемыми. Одним из инновационных решений этой проблемы является концепция Data Mesh. 🔎 Data Mesh — это архитектурный подход к управлению данными, который децентрализует ответственность за данные и их качество. Вместо централизованного хранилища данных, Data Mesh предполагает создание сети децентрализованных доменов данных, каждый из которых управляется отдельной командой. Эти домены данных предоставляют данные как продукты, которые могут быть использованы другими командами и системами. В чем его особенность от других типов хранилищ? 📍Децентрализация: В отличие от традиционных централизованных хранилищ данных, Data Mesh распределяет ответственность за данные между различными командами, что позволяет более гибко и оперативно управлять данными. 📍 Данные как продукты: В Data Mesh данные рассматриваются как продукты, которые имеют своих владельцев, потребителей и стандарты качества. Это способствует более высокому качеству данных и их лучшей доступности. 📍 Автономность команд: Каждая команда, ответственная за свой домен данных, имеет полную автономию в управлении этими данными, что позволяет быстрее реагировать на изменения и потребности бизнеса. Какие плюсы есть в такой организации хранилища? ➕ Масштабируемость: Data Mesh позволяет легко масштабировать управление данными, так как каждая команда управляет своим доменом данных независимо от других. ➕ Гибкость: Децентрализованная архитектура Data Mesh обеспечивает высокую гибкость в управлении данными, что позволяет быстрее адаптироваться к изменениям и новым требованиям. ➕ Повышение качества данных: Рассмотрение данных как продуктов и назначение ответственных за их качество способствует повышению общего качества данных в организации. ➕ Ускорение инноваций: Автономность команд и децентрализованное управление данными позволяют быстрее внедрять инновации и новые решения. Потенциальные минусы подхода Data Mesh ➖Сложность управления: Децентрализация ответственности может привести к сложностям в координации между командами, особенно в крупных организациях. ➖ Риск дублирования данных: В условиях децентрализованного управления данными возрастает риск дублирования данных и возникновения несогласованностей. ➖ Необходимость в стандартах и соглашениях: Для успешного функционирования Data Mesh необходимо разработать и поддерживать общие стандарты и соглашения по управлению данными, что может потребовать значительных усилий. ➖ Зависимость от культуры организации: Успешное внедрение Data Mesh требует определенной культуры и менталитета в организации, что может быть сложно достичь в организациях с незрелой Data-культурой. 🔗 Полезные ссылки про Data Mesh 🔗 Data Mesh Architecture 🔗 Статья про Data Mesh на Habr 🔗 Сравнение подходов Data Fabric и Data Mesh

Временные таблицы в базах данных В ETL процессах часто возникает необходимость в промежуточном хранении данных. Одним из эффективных решений для этой задачи являются временные таблицы. 🔎 Временная таблица — это специальный тип таблицы в базе данных, которая существует только в течение сессии пользователя или до конца транзакции. Она создается для временного хранения данных и автоматически удаляется после завершения работы. Чем они отличаются от обычных таблиц? 1️⃣ Временность: Временные таблицы существуют только в течение сессии или транзакции, тогда как обычные таблицы сохраняются в базе данных до тех пор, пока их не удалят вручную. 2️⃣ Изоляция: Временные таблицы видны только в пределах текущей сессии или транзакции, что обеспечивает изоляцию данных между разными пользователями или процессами. 3️⃣ Производительность: Временные таблицы часто хранятся в оперативной памяти, что позволяет значительно ускорить операции с данными. Эти особенности и дают плюсы использования временных таблиц для оптимизации ETL Пример создания временной таблицы в SQL из результата SELECT запроса:

CREATE TEMPORARY TABLE temp_table (
    id INT,
    name VARCHAR(50),
    value DECIMAL(10, 2)
);

--либо создание из результата SELECT запроса
CREATE TEMPORARY TABLE temp_table AS 
SELECT 
id
, name
, value
FROM table
;

Также хочу отметить, что временные таблицы позволяют оптимизировать выполнение запросов, если вам нужно преобразовывать и извлекать данные из множества разных таблиц в базе. Например, если из таблицы с продажами за все время вам нужны продажи только за последний месяц для разных видов расчетом, сохраните продажи за последний месяц во временную таблицу и обращайтесь к ней для ваших расчетов, чтобы не делать несколько тяжелых запросов к таблице всех продаж.

Это кажется ужасным поступком со стороны компании поступить так со своими сотрудниками, несмотря на все санкционное давление 😔 Надеюсь найдутся правильные правовые рычаги компенсации для сотрудников после таких поспешных действий компании 💪

Оконные функции простым языком - Фреймы (часть 2) Спустя 2 года после написания первой части статьи наконец дошли руки до второй части. 🚨 Материал исключительно для новичков в SQL и применении оконок, опытные SQLисты проходите мимо. А то там в комментариях уже начали накидывать сложные кейсы, что я их в статье не указал, и вообще не расписал учебник вместо статьи со всей теорией и практикой в одном месте 😅 Читать статью

Фреймворки Python с параллельной обработкой данных Часто на практике возникает потребность обрабатывать большие объемы данных, либо работать с большим набором запросов к сервису. Делать это в один поток выполнения кода не всегда эффективно и быстро, а сделать эту работу параллельной помогают различные фреймворки или ETL инструменты. Читать статью про фреймворки Python для параллельной обработки данных

Сбер ищет в команду Аналитика-исследователя, который будет выстраивать анализ продуктов и оценивать эффекты и взаимосвязи Центра индустрии с экосистемой Сбера 🔗 В ваши задачи будет входить взаимодействие с блоками и функциональными подразделениями, сбор данных и проведение аналитических исследований. ✅Мы предлагаем: премии и ежегодный пересмотр зарплаты, расширенный ДМС с первого дня, ипотеку выгоднее до 4% для каждого сотрудника, а еще корпоративное обучение в Виртуальной школе Сбера и бесплатную подписку СберПрайм+. Подробнее о вакансии по ссылке

Где искать вакансии с анализом данных Привет! Это статья будет полезна начинающим специалистам по анализу и работы с данными в формате сборника ресурсов для поиска вакансий. Статья

Оффер в дата-аналитику за выходные? Легко — для опытных специалистов на Data Weekend Offer от Авито! Пройдите ускоренный отбор, изучайте поведение пользователей и ищите точки роста бизнеса. Вас ждет: — конкурентная зарплата, удаленка и дополнительные дни отпуска; — возможность прокачать свой стек – проверять бизнес-модели, тестить гипотезы, запускать фичи и улучшать пользовательский опыт; — участие в разработке новых продуктов крупнейшего в мире сервиса объявлений; — сильное IT-комьюнити, которое любит опенсорс. Авито – это про карьерное развитие и комфортные условия. Регистрируйтесь до 15 октября: https://u.to/9OXjIA

Хочется пожелать всем замечательной рабочей недели и чтобы вы не испытывали стресс как и эти котики 😉

Вчера после работы гуляли и зашли в книжный магазин. Нашел много интересных книг, но покупать их там конечно же не стал, ведь на озоне они в 2 раза дешевле) Заказал пока только «Мама, я тимлид», после прочтения поделюсь своими впечатлениями

Продуктовые аналитики, вас тут ищут В Т-Банке пройдет Week Offer для уровня middle и senior. Можете пройти все этапы собеседования за неделю и попасть в ИТ-команду. Если справитесь, будете развивать продукты для 43 млн клиентов. Выдвигать гипотезы, обосновывать данными и концентрироваться на аналитике — рутинные задачи тут можно автоматизировать. Вот чем еще хороша эта работа: — Актуальный стек технологий. Тут следят за трендами и быстро внедряют новое. — Прозрачная система роста. Всегда будете знать, какие навыки развивать. — Сильное комьюнити. Можно делиться опытом на конференциях и митапах, а еще — участвовать в подкастах. — Офисы в 23 городах России и гибридный формат работы. Успейте подать заявку до 25 сентября. Больше рассказали тут

Мысли вслух В последнее время очень много рефлексирую и анализирую свое поведение, настроение, взгляд на мир и меняющиеся планы 🧠 Немного поделюсь накопившимся. Прошлый год оказывается выдался очень активных на события в профессиональной и личной жизни, даже дух захватывает когда все вспоминаю 🎓закончил магистратуру 🤵‍♂️ женился ✍️ поменял место работы и много других ярких моментов и достижений) Даже несмотря на это казалось, что я делаю меньше чем могу, что-то не успеваю. В общем понял что словил FOMO (fear of missed opportunity - страх упущенной возможности). Но анализируя текущий год с намного меньшим количеством выдающихся событий и более простым и приземленным отношением ко всему происходящему, понимаю, что все зависит от приоритетов. Тот год и этот отличает меня набором приоритетов. Если еще год назад было нормой после работы ехать на пары, а после пар садиться за свои проекты и курсы. То в этом году после работы я хожу в зал, гуляю с женой, и только в отдельные периоды времени активно занимаюсь проектной работой. Конечно есть и свои внешние факторы, повлияющие на такой изменение приоритетов, но об этом расскажу как-нибудь отдельно, как и возвращающееся часто чувство FOMO формата "лучше бы новый курс записал, чем потратил время на прогулку". Увы, но мне дается слишком тяжело ценить момент, а не думать постоянно планами активностями на будущее 🤷‍♂️ Немного сумбурно получилось, но я думаю часть людей узнают себя в этом посте 👍

🏆 Хакатон «Код Согласия» – масштабное соревнование для опытных и начинающих ИТ-специалистов. Реши реальную бизнес-задачу и поборись за призовой фонд в 1 000 000 рублей! Регистрируйся до 27 сентября: https://cnrlink.com/soglasiecodedatastudy Приглашаем frontend и backend разработчиков, аналитиков, product менеджеров, дизайнеров, тестировщиков, студентов и выпускников технических вузов.  Организатор хакатона – страховая компания «Согласие». Компания существует на рынке более 30 лет и входит в топ-10 страховщиков России. 🚀 На выбор участников хакатона — одна из задач, основанных на реальных бизнес-кейсах СК «Согласие»: 1️⃣ Web-сервис для проверки гипотез: разработайте инструмент для быстрого создания и тестирования новых страховых продуктов. Стек технологий — не ограничен. 2️⃣ Сервис для ведения проектов: разработайте систему для централизованного хранения, удобного отображения и мониторинга крупных проектов внутри компании. Допустимые стеки в данной задаче: Vue JS, PHP, C# Ключевые этапы хакатона «Код Согласия»: 🔹до 27 сентября — окончание регистрации 🔹 28 сентября — старт хакатона 🔹30 сентября, 3 октября, 5 октября — чек-поинты с экспертами 🔹 6 октября — оглашение победителей Не пропусти масштабное соревнование — присоединяйся к хакатону «Код Согласия»: https://cnrlink.com/soglasiecodedatastudy Реклама. ООО "СК"Согласие". ИНН: 7706196090. erid: LjN8KNWnN