Data Mesh in Action (Data Mesh в действии) (Рубрика #Data)
Прочитал за последний месяц эту книгу трех авторов Майхжака, Балнояна и Сивяка. Сама книга может служить простым руководством для понимания и внедрения концепции data mesh (или сетки данных, как указано в переводе), которая децентрализует управление данными для улучшения масштабируемости, доступности и извлечения ценности из данных. Книга состоит их трех частей и девяти глав
Part 1: Foundations
Эта часть посвящена основам и позволяет легко и быстро понять, а в чем собственно весь цимес.
1. The What and Why of the Data Mesh
В этой главе авторы рассказывают как поменялась парадигма работы с данными от централизованного DWH к децентрализованному владения и operations, который должен быть за командами, отвечающими за сами домены. Суть в том, чтобы рассматривать всю социотехническую систему и фокусироваться на людях и процессах, а не просто на технологиях. Цель в том, чтобы убрать узкие места централизованной системы. По-факту, это похоже на историю с микросервисами в общем, а также тем, что эффект от сетки виден только на большом масштабе. Про это есть глава в книге Влада Хононова "Learning DDD", которуя я разбирал в статье "
DDD и data mesh"
2. Is a Data Mesh Right for You?
Вторая глава как раз позволяет понять насколько data mesh подходит для ваших потребностей. Здесь рассматриваются преимущества и недостатки централизованного и децентрализованного подхода. Про это мы много говорили с Колей Головым в
шестом эпизоде подкаста "Research Insights Made Simple"
3. Kickstart Your Data Mesh MVP in a Month
В этой главе авторы куют железо пока горячо, а точнее рассказывают как запилить MVP для сетки данных за месяц. Они круто объясняют как разобраться со стейкхолдерами, выбрать правильный домен, а дальше из говна и палок собрать прототип, который позволит показать эффект.
Part 2: The Four Principles in Practice
Здесь авторы в деталях разбирают все четыре основных принципа data mesh, как завещала Zhamak Dehghani, автор самой концепции
4. Domain Ownership
Здесь идет речь за ответственность за домен, когда за данные начинает отвечать команда, что находится ближе всего к их генерации. Важно правильно определить границы доменов данных, чтобы они были выровнены относительно бизнес функциональности и помогали взаимодействию технических и бизнесовых стейкхолдеров.
5. Data as a Product
В этой главе описывается принцип о том, что данные становятся first-class citizen среди продуктов, а не побочным эффектом. Это изменение приводит к тому, что у дата продукта появляются свойства: легкого обнаружения, надежность, возможности использования потребителями. Для этого нужно следовать ряду практик: наличию понятных API, метаданных, стандартов качества и так далее.
6. Federated Computational Governance
Этот принцип про децентрализованную федеративную систему для вычислений. Суть в том, что требуется уметь балансировать между центральными политиками партии и локальной автономностью. Это можно достигнуть за счет автоматизации процесса compliance и обеспечения консистентности между границами доменов одновременно с автономной работой самих команд.
7. The Self-Serve Data Platform
И все это счастье должно предоставляться на платформе самообслуживания для того, чтобы позволить командам самим создавать и управлять дата продуктами. Здесь рассказывает про platform engineering и я рекомендую почитать whitepaper про платформы от CNCF (
1,
2 и
3)
Part 3: Infrastructure and Technical Architecture
В этой части автор приводит примеры построения self-service платформы, а также дизайна решения.
8. Comparing Self-Serve Data Platforms
Здесь сравниваются платформы поверх Google Cloud Platform, AWS, Databrics, self made over Kafka stack. Авторы приводят примеры и сравнивают применимость каждого.
9. Solution Architecture Design
В этой главе авторы рассказывают как работать с функциональными и нефункциональными требованиями, как проводить дизайн сессии и как использовать C4 Model для моделирования системы.
В общем, книга мне показалась полезной и с нормальным переводом:)
#Data #Management #Processes #Architecture