Data Engineering / Инженерия данных / Data Engineer / DWH

The 2023 MAD (Machine Learning, Artificial Intelligence & Data) Landscape – Matt Turck Source: https://mattturck.com/mad2023/

APACHE AIRFLOW И КОНВЕЙЕРЫ ОБРАБОТКИ ДАННЫХ Конвейеры обработки данных управляют потоком данных с момента их первоначального сбора до консолидации, очистки, анализа, визуализации и многого другого. Apache Airflow предоставляет единую платформу, которую можно использовать для проектирования, реализации, мониторинга и обслуживания конвейеров. Простота пользовательского интерфейса, возможности plug-and-play и гибкие сценарии Python оптимизируют решение любых задач, касающихся управления данными. Эта книга научит вас создавать и сопровождать эффективные конвейеры обработки данных. Вы изучите наиболее распространен-ные модели их использования, особенности ориентированных ациклических графов (ОАГ), которые обеспечивают работу Airflow, а также способы их настройки в соответствии с потребностями вашего конвейера. Издание предназначено для специалистов по DevOps, обработке и хранению данных, машинному обучению, а также системных администраторов с навыками программирования на Python.

Data Engineering with Python Packt Publishing Key Features ▫️Become well-versed in data architectures, data preparation, and data optimization skills with the help of practical examples ▫️Design data models and learn how to extract, transform, and load (ETL) data using Python ▫️Schedule, automate, and monitor complex data pipelines in production 👉 @devops_dataops

OpenMetadata vs DataHub Один из пунктов "Против" решения Datahub - это их раздражающий функционал открытия Data Lineage. Почему нельзя сделать кнопку открытия всего дерева - для меня загадка. Пока при сравнении OpenMetadata vs DataHub лидирует OpenMetadata продукт.