Data Engineering / Инженерия данных / Data Engineer / DWH

Перевод 1 Главы - Введение в хранилища данных Начало перевода книги "Building a Scalable Data Warehouse with Data Vault 2.0" https://datatalks.ru/data-vault-2-0-chapter-1-introduction-to-data-warehousing/

Greenplum | Что это такое и как оно работает? https://youtu.be/rLG9Z_HcKPY?si=nW2elUKoCrRUIm3q #greenplum

The Agile Data (AD) Method Описываются принципы, процессы и инструменты, позволяющие быстро и эффективно разрабатывать, изменять и управлять аналитическими решениями. Основное внимание уделяется снижению сложности работы с данными, автоматизации и адаптивности к изменениям. https://agiledata.org/

Как работает Apache Iceberg на примере Trino - SmartData 2024 https://youtu.be/hsCtWz8JDRc?si=cX8CmxXB3yGh1rDW #trino #iceberg

Сегодня, 11 февраля 2025, 17:00 Поднимаем Data Lakehouse на основе Trino в облаке Программа ▫️Почему топовые мировые и российские IT-компании переходят на архитектуру DLH. ▫️Какие существуют архитектуры DLH и под какие задачи используются. ▫️В каких ситуациях выгоднее разворачивать DLH на собственной инфраструктуре, а когда выгоднее использовать платформу или облако. ▫️Как использование облачного решения от VK Cloud даст гибкость и позволит оперативно расширять инфраструктуру по мере роста потребностей бизнеса. ▫️Как объектное хранилище Cloud Storage (S3) поможет создать экономически выгодную модель хранения данных. ▫️На примере в лайф-режиме покажем различия в стоимости и скорости работы DLH и DWH. https://cloud.vk.com/events/data-lakehouse-ot-vk-cloud/

Требования ACID. BASE модель. CAP теорема https://datatalks.ru/acid-base-cap-theorem-for-databases/

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория https://youtu.be/XaTwnKLQi4A?si=p1cG48FQfz2CREAD

Data Pipeline Design Patterns - Шаблоны проектирования потоков данных https://datatalks.ru/data-pipeline-design-patterns/

System Design - Теория шардирования. Как масштабировать базы данных https://youtu.be/d6BtxBKhQoc?si=DPhblrYssQX87MRT

Как приготовить DataVault и не убить GreenPlum https://youtu.be/x9U0mKxp41w?si=s6-4PW2JtrDodLMt #GreenPlum #DataVault

🔶Запись готова🔶 Выложила запись на ютуб Но у меня ни таймкоды не подтянулись, ни ссылки не работают 😁 Так что придется ручками потыкаться в описании или смотреть все 🥰 Спасибо всем, кто пришел! Меня ваши сердечки и огонечки очень подбадривали❤️ Немного статистики: 400 человек в пике, 600 в тотале! Ссылка на материалы: https://github.com/Aigul9/spark-webinar

System Design. База. Разбор книги "Высоконагруженные приложения". Глава 1 Давно приметил эту книжечку, а теперь можно посмотреть обзор🔥 https://youtu.be/owjrIB_5go8?si=DecnwBn9YycV3Jxc

Системный дизайн — это основа для создания надежных, масштабируемых и производительных систем обработки данных. Он помогает выбирать подходящие инструменты для ETL/ELT, проектировать хранилища, оптимизировать запросы и ресурсы. Без него сложно обеспечить отказоустойчивость, безопасность и интеграцию потоков данных. Подборка с YouTube по Системному дизайну ▫️PlayList System Design (Interview Pen) - English ▫️Data Engineer тренирует System Design секцию. Собеседует @halltape | rzv_de | Aug 2024 ▫️System Design - теория шардирования | Как масштабировать базы данных ▫️Как кэшировать данные | Теория кэширования - System Design ▫️Проектирование баз данных за 40 минут. Практика ▫️PlayList Системный дизайн (Eugene Suleimanov) ▫️PlayList System Design Fundamentals (ByteByteGo) ▫️Как подготовиться и пройти System Design Interview. Александр Поломодов ▫️Владимир Маслов — System Design. Как построить распределенную систему и пройти собеседование

How AI Agents & Data Products Work Together to Support Cross-Domain Queries & Decisions for Businesses Статья предлагает анализ того, как интеграция AI-агентов и продуктов данных может трансформировать профессиональную деятельность data engineer. https://moderndata101.substack.com/p/how-ai-agents-and-data-products-work

How we orchestrate 2000+ DBT models in Apache Airflow | by Alexandre Magno Lima Martins | Apache Airflow | Medium Статья описывает опыт интеграции dbt с Apache Airflow для оркестрации более 2000 моделей данных. Авторы делятся подходом к разделению проекта dbt на несколько DAG в Airflow, что позволяет устанавливать различные расписания, уровни доступа и уведомления для разных групп моделей. Они также обсуждают создание собственного оператора DBTOperator для эффективного запуска задач dbt в Airflow. В результате такой интеграции аналитики и владельцы продуктов могут самостоятельно создавать и поддерживать модели данных, используя только SQL и базовые знания Git, без необходимости глубокого понимания Airflow. https://medium.com/apache-airflow/how-we-orchestrate-2000-dbt-models-in-apache-airflow-90901504032d

How I Built This Data Platform in One Week | by Dorian Teffo | DataDrivenInvestor Airflow + Cosmos + DBT https://medium.datadriveninvestor.com/how-i-built-this-data-platform-in-one-week-13b457d7c323

Я тут подумал, что нужно сделать, если вдруг начнётся нашествие LLM на прогеров. План такой: те, кто пострадал, генерируют кучу нерабочего и ошибочного кода. LLM постепенно переобучивается и начинает сама себя уничтожать. Компании массово отказываются от LLM в ключевых процессах и нанимают втридорога разрабов обратно 😇 ------‐------------------- А если серьёзно - вот курс по LLM (бесплатно, но на инглише) https://github.com/mlabonne/llm-course

Эволюция архитектур платформы данных- Евгений Ермаков https://youtu.be/EvefrwYmOn0?si=0IkudCSOSRtMMHyy

Инкрементальное обновление данных - Incremental Data Refresh Шаблоны обновления данных https://datatalks.ru/incremental-data-refresh-sql-patterns/

Глава 2 "Типы архитектур данных" Перевод второй главы из книги Deciphering Data Architectures https://datatalks.ru/types-of-data-architectures/ #data_architecture