Data Engineering / Инженерия данных / Data Engineer / DWH

Конференция DevOops 2022 - доклады/видео ▫️ https://devoops.ru/schedule/days/ ▫️ https://www.youtube.com/c/DevOops_conf/videos https://github.com/evgeniy-kharchenko/DevOps-Roadmap - репозиторий одного из докладчика DevOps Roadmap

Apache Airflow 2.4 — Everything You Need to Know Data-driven scheduling 👉 @devops_dataops https://medium.com/@astronomer.io/apache-airflow-2-4-everything-you-need-to-know-4eaccde15936

IPTables: NAT и Port forwarding Продолжение про iptables https://www.youtube.com/watch?v=u_a3ouarrVU

Настраиваем iptables с нуля Хорошее видео, чтобы вникнуть в концепцию firewall на Linux https://www.youtube.com/watch?v=Q0EC8kJlB64

GitHub - kestra-io/kestra Kestra is an infinitely scalable orchestration and scheduling platform, creating, running, scheduling, and monitoring millions of complex pipelines. 👉 @devops_dataops https://github.com/kestra-io/kestra

Подборочка статей 1. HOW TO OPERATE APACHE AIRFLOW WITH GITLAB CI/CD 2. Running Airflow with Docker on EC2 + CI/CD with GitLab 3. Building CI/CD with Airflow, GitLab and Terraform in GCP 👉 @devops_dataops

Deep Dive on ClickHouse Sharding and Replication Webinar Join the Altinity experts as we dig into ClickHouse sharding and replication, showing how they enable clusters that deliver fast queries over petabytes of data. We’ll start with basic definitions of each, then move to practical issues. This includes the setup of shards and replicas, defining schema, choosing sharding keys, loading data, and writing distributed queries. We’ll finish up with tips on performance optimization. #ClickHouse 👉 @devops_dataops https://www.youtube.com/watch?v=Vuh6NOluIxo

Еще один open-source проект, который в первую очередь предназначен для команд, которые работают с dbt ██████╗░██████╗░████████╗ ██╔══██╗██╔══██╗╚══██╔══╝ ██║░░██║██████╦╝░░░██║░░░ ██║░░██║██╔══██╗░░░██║░░░ ██████╔╝██████╦╝░░░██║░░░ ╚═════╝░╚═════╝░░░░╚═╝░░░ Open-source data observability for analytics engineers 💬 Data anomalies monitoring as dbt tests - Collect metrics and metadata over time, detect anomalies, as native dbt tests in your project! 💬 Data observability report - Generate a report for all dbt tests and share with your team. 💬 dbt artifacts uploader 💬 Slack alerts 💬 Data lineage made simple, reliable, and automated 👉 @devops_dataops https://github.com/elementary-data/elementary

Basic ETL using Pyspark https://blog.devgenius.io/basic-etl-using-pyspark-ed08b7e53cf4

Data Engineering Wiki It contains a constantly evolving collection of topics related to data engineering. Since we're at a very early stage, there's a lot of space to grow! https://dataengineering.wiki/

Интересный кейс монетизации парсинга данных 20 млн рублей в год на парсинге сайтов — Разработка на vc.ru https://vc.ru/dev/496144-20-mln-rubley-v-god-na-parsinge-saytov

Data Lake Architecture: How To Level Up Your Business To The Data-Driven World https://towardsdatascience.com/data-lake-architecture-for-a-heavy-machinery-dealer-how-to-level-up-your-business-to-the-b41145e86b15

Lessons learned after 1 year with dbt https://medium.com/@imweijian/lessons-learned-after-1-year-with-dbt-a7f0ccf85b12

Data Product Canvas — A practical framework for building high-performance data products https://medium.com/@leandroscarvalho/data-product-canvas-a-practical-framework-for-building-high-performance-data-products-7a1717f79f0

Modern Data Orchestration Stack with Prefect 2.0, Airbyte and dbt Узнать больше информации про Airbyte можно в группе 👉 @airbyte https://blog.devgenius.io/modern-data-orchestration-stack-with-prefect-2-0-airbyte-and-dbt-e7c0e9b27add

- https://seattledataguy.substack.com/p/cataloging-data-catalogs - https://github.com/opendatadiscovery/awesome-data-catalogs - И целый топик в GitHub - https://github.com/topics/data-catalog Каталог Каталогов Данных Относительно недавно мы начали готовить почву для того, чтобы внедрять каталог данных и автоматическую документацию. Поэтому я сидел и исследовал, а что же доступно на рынке каталогов данных. В общем и целом, много чего, и платного и опен-сорс. Поэтому, если вам предстоит похожая задача, вот несколько подборок (по большей части, пересекающиеся между собой). @ohmydataengineer

Серия статей про Apache Airflow c хабра: Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG

Хорошее обзорное видео про data engineering https://youtu.be/qWru-b6m030

GitHub - DataTalksClub/data-engineering-zoomcamp: Free Data Engineering course! https://github.com/DataTalksClub/data-engineering-zoomcamp

DevOps Roadmap Step by step guide for DevOps, SRE or any other Operations Role in 2022 👉 @devops_dataops https://roadmap.sh/devops