DataEng

Apache Flink SQL Cookbook: https://github.com/ververica/flink-sql-cookbook

​​Какие инструменты необходимы Data Engineer для работы с данными? Об этом расскажет 2 февраля в 20:00 Артемий Козырь, Senior Data Engineer в Wheely. Эксперт поделится карьерными инсайтами, представит программу онлайн-курса «Data Engineer» и ответит на ваши вопросы. Вы узнаете, чем отличается курс, как организована практика и получите возможность сэкономить на обучении. Чтобы лучше подготовиться к встрече, пройдите вступительный тест, который позволит вам оценить сложность курса. Регистрируйтесь на вебинар и подключайтесь! Ссылка на регистрацию - https://otus.pw/hhdp/

Всем привет! 👋 Сейчас я занялся разработкой курса про Apache Airflow 2.0. В связи с этим подготовил небольшой пост в блоге: https://khashtamov.com/ru/apache-airflow-course/ ⏲ Планирую закончить его ближе к концу февраля, сейчас работа идёт полным ходом 🔧 Если вам был бы интересен такой курс, то оставьте, пожалуйста, свой электронный адрес на форме. Как только курс будет готов для раннего доступа я вышлю вам приглашение, также вы получите 20% скидку. Цена скорее всего не будет превышать 3000 рублей. Более подробно о формате и приблизительном плане курса читайте в посте в блоге.

Интересный сборник data engineering материала: https://github.com/abhishek-ch/around-dataengineering

Кейс Dropbox по использованию Apache Superset: https://dropbox.tech/application/why-we-chose-apache-superset-as-our-data-exploration-platform

Очередной крутой пост от ребят из Astronomer, на этот раз про Airflow и Change Data Capture https://www.astronomer.io/blog/change-data-capture-with-apache-airflow Жаль правда разбирают только Google CloudSQL 🙄

Нашел ещё один блог про data engineering: https://www.alisa-in.tech/post/

Airflow на AWS Fargate: https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

Вышел Apache Superset 1.0: https://preset.io/blog/2021-01-18-superset-1-0/

Смотрите какой апдейт у Dagster подкатил: https://dagster.io/blog/dagster-0-10-0-the-edge-of-glory - Exactly-once, Fault-Tolerant Scheduling (прям в Airflow 2.0) - Sensors (event-based schedules) - Mature Kubernetes Execution Engine Здоровая конкуренция среди workflow менеджеров прям радует 💪

Нашел в сети как два человека обсуждают мою статью про дата инженера на английском: https://youtu.be/UvmDBXNDeVE Полезно послушать с точки зрения фидбека и дополнений к озвученному мною списку навыков, которыми должен обладать современный дата инженер.

Большая просьба 🆘 Поделитесь, пожалуйста, ресурсами (сайты, блоги, каналы), которые читаете, чтобы быть в курсе последних новшеств в Data Science, Analytics, Engineering.

Вчера на главной странице HackerNews появился пост: We Don't Need Data Scientists, We Need Data Engineers Ссылка на статью: https://www.mihaileric.com/posts/we-need-data-engineers-not-data-scientists/ Автор провёл небольшой анализ открытых позиций в компаниях из пула Y Combinator, и сделал выводы, что спрос на дата инженеров на 70% выше чем на data science специалистов. Занятное чтиво 💪

Интересный кейс построения lake house на базе Redshift, AWS Lambda и Athena: https://aurochssolutions.com/blog/build-a-real-time-data-lake-with-aws-lambda-redshift-athena/

А вы использовали AWS Lambda для стриминговой аналитики? https://aws.amazon.com/ru/blogs/compute/using-aws-lambda-for-streaming-analytics/