DataEng

Очередной крутой пост от ребят из Astronomer, на этот раз про Airflow и Change Data Capture https://www.astronomer.io/blog/change-data-capture-with-apache-airflow Жаль правда разбирают только Google CloudSQL 🙄

Нашел ещё один блог про data engineering: https://www.alisa-in.tech/post/

Airflow на AWS Fargate: https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

Вышел Apache Superset 1.0: https://preset.io/blog/2021-01-18-superset-1-0/

Смотрите какой апдейт у Dagster подкатил: https://dagster.io/blog/dagster-0-10-0-the-edge-of-glory - Exactly-once, Fault-Tolerant Scheduling (прям в Airflow 2.0) - Sensors (event-based schedules) - Mature Kubernetes Execution Engine Здоровая конкуренция среди workflow менеджеров прям радует 💪

Нашел в сети как два человека обсуждают мою статью про дата инженера на английском: https://youtu.be/UvmDBXNDeVE Полезно послушать с точки зрения фидбека и дополнений к озвученному мною списку навыков, которыми должен обладать современный дата инженер.

Большая просьба 🆘 Поделитесь, пожалуйста, ресурсами (сайты, блоги, каналы), которые читаете, чтобы быть в курсе последних новшеств в Data Science, Analytics, Engineering.

Вчера на главной странице HackerNews появился пост: We Don't Need Data Scientists, We Need Data Engineers Ссылка на статью: https://www.mihaileric.com/posts/we-need-data-engineers-not-data-scientists/ Автор провёл небольшой анализ открытых позиций в компаниях из пула Y Combinator, и сделал выводы, что спрос на дата инженеров на 70% выше чем на data science специалистов. Занятное чтиво 💪

Интересный кейс построения lake house на базе Redshift, AWS Lambda и Athena: https://aurochssolutions.com/blog/build-a-real-time-data-lake-with-aws-lambda-redshift-athena/

А вы использовали AWS Lambda для стриминговой аналитики? https://aws.amazon.com/ru/blogs/compute/using-aws-lambda-for-streaming-analytics/

Нашел библиотеку для построения ETL на базе Celery: https://ovh.github.io/celery-director/

Серия вебинаро про TimescaleDB: https://www.youtube.com/playlist?list=PLsceB9ac9MHT3D_2voE2DUUlHgG3yEUEw

Минутка саморекламы 😎 А вы знали, что в телеграм-боте @RemoteListBot можно подписаться на вакансии категории DataOps и получать в том числе предложения из сферы Data Engineering 👨‍🔧

Вышел мажорный релиз Apache Airflow 2.0: https://airflow.apache.org/blog/airflow-two-point-oh-is-here/

В конце ноября Datafold проводили второй митап, посвященный теме качества данных. Ознакомиться с докладами и панельной дискуссией можно тут: https://www.datafold.com/blog/data-quality-meetup-2/