DataEng

Ссылка с купоном на бесплатный курс: https://www.udemy.com/course/google-certified-associate-cloud-engineer-2019-prep-course/?couponCode=23FFEC011AB4ED7E351B

На платформе Udemy можно бесплатно зарегистрироваться на курс Google Associate Cloud Engineer 2020: https://www.udemy.com/course/google-certified-associate-cloud-engineer-2019-prep-course/

Отличный материал про сравнение самых популярных облачных хранили: BigQuery, Amazon Redshift и Snowflake — https://poplindata.com/data-warehouses/2020-database-showdown-bigquery-vs-redshift-vs-snowflake/

Для Redshift выпущен коннектор под Python: https://github.com/aws/amazon-redshift-python-driver

Внезапно! От издательства Packt Publishing вышла книга Data Engineering with Python: https://www.packtpub.com/product/data-engineering-with-python/9781839214189 В книге акцент уделён построению дата пайплайнов на Apache Airflow и Apache NiFi. Также есть главы, посвященные Kafka и Spark.

В Dagster появилась интеграция с dbt: https://dagster.io/blog/dagster-dbt

Serverless Data Lake Framework Workshop :: Serverless Data Lake Framework (SDLF) Workshop https://sdlf.workshop.aws/

Про Apache Beam за 12 минут: https://www.youtube.com/watch?v=yZUe4th9gwY

Кейс нашей компании по использованию облачного сервиса AWS: https://aws.amazon.com/ru/solutions/case-studies/playrix/

Хорошая вводная статья про Amazon DynamoDB: https://medium.com/@thomas.storm/amazon-dynamodb-deep-dive-chapter-1-essentials-cb4df19356a0

Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0

Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу? Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/

Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo

Доклады с последнего DE or DIE митапа: - Своя песочница – как сделать кластер для инженера данных - Data governance – что это, зачем, и с чего начать

Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube https://youtu.be/n5-xEEQFqPY

Митап о Clickhouse: https://www.youtube.com/watch?v=1LVJ_WcLgF8