DataEng

Для Redshift выпущен коннектор под Python: https://github.com/aws/amazon-redshift-python-driver

Внезапно! От издательства Packt Publishing вышла книга Data Engineering with Python: https://www.packtpub.com/product/data-engineering-with-python/9781839214189 В книге акцент уделён построению дата пайплайнов на Apache Airflow и Apache NiFi. Также есть главы, посвященные Kafka и Spark.

В Dagster появилась интеграция с dbt: https://dagster.io/blog/dagster-dbt

Serverless Data Lake Framework Workshop :: Serverless Data Lake Framework (SDLF) Workshop https://sdlf.workshop.aws/

Про Apache Beam за 12 минут: https://www.youtube.com/watch?v=yZUe4th9gwY

Кейс нашей компании по использованию облачного сервиса AWS: https://aws.amazon.com/ru/solutions/case-studies/playrix/

Хорошая вводная статья про Amazon DynamoDB: https://medium.com/@thomas.storm/amazon-dynamodb-deep-dive-chapter-1-essentials-cb4df19356a0

Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0

Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу? Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/

Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo

Доклады с последнего DE or DIE митапа: - Своя песочница – как сделать кластер для инженера данных - Data governance – что это, зачем, и с чего начать

Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube https://youtu.be/n5-xEEQFqPY

Митап о Clickhouse: https://www.youtube.com/watch?v=1LVJ_WcLgF8

Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk Напомню, что план мероприятия следующий: 18:00-19:00. Своя песочница – как сделать кластер для инженера данных Артем Селезнев, Senior Data Engineer, Сбербанк 19:00-19:15. Перерыв 19:15-20:15. Data governance – что это, зачем, и с чего начать Андрей Вихров, Главный системный аналитик, Связной Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!

В AWS появилась в общем доступе Time series база данных Amazon Timestream: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/amazon-timestream-now-generally-available/

Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/