DataEng

Серия видео про новшества в Airflow 2.0: https://bit.ly/395ib2C

Netflix создал еще одно решение - Бульдозер, для экспорта данных из хранилища данных в NoSQL. https://netflixtechblog.com/bulldozer-batch-data-moving-from-data-warehouse-to-online-key-value-stores-41bac13863f8

Я чуть выше публиковал серию лекций про распределённые системы от Мартина Клепмана, а вот недавно появился пост у него в блоге: https://martin.kleppmann.com/2020/11/18/distributed-systems-and-elliptic-curves.html

Нашел интересный проект от Apache (пока на стадии инкубатора) — Apache Liminal: http://liminal.incubator.apache.org/ Платформа для оркестрации машинного обучения. Насколько понял, под капотом используется Apache Airflow.

Some important updates from #AWS : ✅ Amazon Kinesis Data Streams enables data stream retention up to one year. ✅ Now you can export your Amazon DynamoDB table data to your data lake in Amazon S3 to perform analytics at any scale. ✅ Amazon Redshift now supports modifying column compression encodings to optimize storage utilization and query performance ✅ Amazon Athena announces availability of engine version 2

Про разницу между OLTP и OLAP: https://www.analyticsvidhya.com/blog/2020/11/oltp-vs-olap/

Набор AWS воркшопов: https://www.workshops.aws/

A comparison of data version control tools. https://dagshub.com/blog/data-version-control-tools/

Лекции про распределенные системы: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

​​Собираетесь освоить специальность Data Engineer? Начните свой профессиональный путь уже 24 ноября на демо-занятии «Знакомство с Greenplum». Вместе с преподавателем Василием Сушко вы рассмотрите класс MPP-баз на примере базы Greenplum и построите небольшое хранилище данных на основе этой базы. Вы узнаете, что такое аналитические базы и для чего они нужны, чем DWH отличается от просто большой базы, что такое Greenplum. Демо-урок — возможность попробовать онлайн-курс «Data Engineer» и познакомиться с преподавателем. Для регистрации на занятие пройдите вступительный тест https://otus.pw/uRdz/

Доброе утро! Четвертый день главной аналитической конференции начнется через 30 минут. Сегодня говорим про Data-инжиниринг и отчетность. Спикерам разрешили материться, будет интересно 😁 FREE: matemarketing.ru FULL: https://lms.matemarketing.ru @internetanalytics

​​Два экспресс-курса для начинающих админов! Хочется поскорее в DevOps? Вам нужен «IaC Ansible» от Express42 и OTUS. 5 дней онлайн-занятий, и вы сможете одной командой выкатывать код, автоматизировать запуск сервера, использовать Ansible для работы с данными и многое другое. Практика пройдет в облаке GCP. Старт 23 ноября. Оставьте заявку, чтобы занять место по спец.цене https://otus.pw/FSqp/ Хотите оптимизировать процессы логирования? Тогда для вас быстрый онлайн-курс«ELK». За 2 дня онлайн-практики вы: — Разберетесь в устройстве Elastic stack и его отличиях от Graylog и других решений, — Овладеете базовым практическим опытом по использованию системы логирования в типовом проекте. Старт 26 ноября. Оставьте заявку, чтобы успеть занять место спец.цене https://otus.pw/kUOE/

Гайд по Prefect: https://lejimmy.com/how-to-automate-python-workflows-in-prefect-step-by-step-guide/

Ссылка с купоном на бесплатный курс: https://www.udemy.com/course/google-certified-associate-cloud-engineer-2019-prep-course/?couponCode=23FFEC011AB4ED7E351B

На платформе Udemy можно бесплатно зарегистрироваться на курс Google Associate Cloud Engineer 2020: https://www.udemy.com/course/google-certified-associate-cloud-engineer-2019-prep-course/

Отличный материал про сравнение самых популярных облачных хранили: BigQuery, Amazon Redshift и Snowflake — https://poplindata.com/data-warehouses/2020-database-showdown-bigquery-vs-redshift-vs-snowflake/

Для Redshift выпущен коннектор под Python: https://github.com/aws/amazon-redshift-python-driver

Внезапно! От издательства Packt Publishing вышла книга Data Engineering with Python: https://www.packtpub.com/product/data-engineering-with-python/9781839214189 В книге акцент уделён построению дата пайплайнов на Apache Airflow и Apache NiFi. Также есть главы, посвященные Kafka и Spark.