DataEng

В Dagster появилась интеграция с dbt: https://dagster.io/blog/dagster-dbt

Serverless Data Lake Framework Workshop :: Serverless Data Lake Framework (SDLF) Workshop https://sdlf.workshop.aws/

Про Apache Beam за 12 минут: https://www.youtube.com/watch?v=yZUe4th9gwY

Кейс нашей компании по использованию облачного сервиса AWS: https://aws.amazon.com/ru/solutions/case-studies/playrix/

Хорошая вводная статья про Amazon DynamoDB: https://medium.com/@thomas.storm/amazon-dynamodb-deep-dive-chapter-1-essentials-cb4df19356a0

Гайд про XComs в Apache Airflow: https://www.youtube.com/watch?v=zw9Vy42IwG0

Ищите проект в области data engineering на котором можно потренироваться и чтобы не было стыдно показать при устройстве на работу? Тогда эта статья для вас: https://www.startdataengineering.com/post/data-engineering-project-for-beginners-stream-edition/

Хороший доклад про базы данных от сотрудницы Яндекса: https://www.youtube.com/watch?v=YjSIdz8DnAo

Доклады с последнего DE or DIE митапа: - Своя песочница – как сделать кластер для инженера данных - Data governance – что это, зачем, и с чего начать

Смотрите "B-tree indexes - learn more about the heart of PostgreSQL" на YouTube https://youtu.be/n5-xEEQFqPY

Митап о Clickhouse: https://www.youtube.com/watch?v=1LVJ_WcLgF8

Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk Напомню, что план мероприятия следующий: 18:00-19:00. Своя песочница – как сделать кластер для инженера данных Артем Селезнев, Senior Data Engineer, Сбербанк 19:00-19:15. Перерыв 19:15-20:15. Data governance – что это, зачем, и с чего начать Андрей Вихров, Главный системный аналитик, Связной Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!

В AWS появилась в общем доступе Time series база данных Amazon Timestream: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/amazon-timestream-now-generally-available/

Анимация stream processing для более наглядного понимания: https://www.confluent.io/blog/how-real-time-stream-processing-works-with-ksqldb/

Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020 Кратко: - Junior Data Engineer: ~€45k - Mid-level Data Engineer: ~€65k — €70k - Senior Data Engineer: ~€90k

Нашел прикольную базу TinyDB на Python, она документоориентированная (типа MongoDB). Написана без внешних зависимостей и интересна мне в первую очередь как предмет изучения основ проектирования БД: https://github.com/msiemens/tinydb А вот дока к ней: https://tinydb.readthedocs.io/en/latest/