DataEng

В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o

​​Какие навыки ждут от Data Engineer работодатели? Об этом в формате интервью расскажет 5 мая Артемий Козырь, Senior Data Engineer в Wheely. Эксперт поделится карьерными инсайтами, представит программу онлайн-курса «Data Engineer» и ответит на ваши вопросы. Вы узнаете, чем отличается курс, как организована практика и получите возможность сэкономить на обучении. Чтобы лучше подготовиться к встрече, пройдите вступительный тест, который позволит вам оценить сложность курса. Регистрируйтесь на вебинар и подключайтесь! https://otus.pw/PpbA/

Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO

Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7

New data engineering podcast episode about Superset with author of Superset and Airflow.

Воу, в Amazon Redshift появилась поддержка JSON: https://aws.amazon.com/ru/about-aws/whats-new/2021/04/announcing-general-availability-of-amazon-redshift-native-json-and-semi-structured-data-support/

Планировал написать про кастомный бэкенд для XCom в Airflow, а ребята из Astronomer уже это сделали: https://www.astronomer.io/guides/custom-xcom-backends

Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям. На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения. По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара. Мероприятие пройдет в четверг, 29 апреля, онлайн. Начало в 17:00 по Москве. Регистрация обязательна: https://vk.cc/c1ejXC

Data Engineering Digest Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а. Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста. Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером. Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи. Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.

Вышел релиз Apache Airflow 2.0.2: https://github.com/apache/airflow/releases/tag/2.0.2 Пофикшено немало багов, тем кто задумывается об апгрейде на 2-ю версию инструмента уже можно начинать пробовать это делать.

Про Query Plan в PostgreSQL: https://arctype.com/blog/postgresql-query-plan-anatomy/

Про структуру B-tree в PostgreSQL: https://www.youtube.com/watch?v=n5-xEEQFqPY

Apache Software Foundation закрывает 13 Hadoop-related проектов: https://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/ Среди них: - Apex - Chukwa - Crunch - Eagle - Falcon - Hama - Lens - Marmotta - Metron - PredictionIO - Sentry - Tajo - Twill Я правда ни одним из этих проектов никогда не пользовался, но может ли это быть сигналом о том, что эпоха Hadoop близится к концу?

Лучшие практики использования SQL по версии Metabase. Некоторые советы действительно ценные. Из того, что реально встречалось на практике особенно выделил бы один, так как в свое время удалось существенно оптимизировать время выполнения запроса: Prefer EXISTS to IN If you just need to verify the existence of a value in a table, prefer EXISTS to IN, as the EXISTS process exits as soon as it finds the search value, whereas IN will scan the entire table. IN should be used for finding values in lists. Metabase довольно интересный инструмент, на одном из проектов используем его, надо бы записать видео в продолжение Гайда по BI. Если у кого-то есть время и интерес поисследовать Metabase, а также записать видео, пишите мне в DM: @valiotti.

Про хранимые процедуры в Amazon Redshift: https://www.missioncloud.com/blog/get-started-with-amazon-redshift-stored-procedures

Про Streams в Redis за 10 минут: https://www.youtube.com/watch?v=7cvyluza00Q

Видосы с прошедшего митапа DE or DIE #6: — Delta Lake — table format for large scale storage and analytics: https://www.youtube.com/watch?v=znVE6fpQqAU — Love to Frankenstein’s monster: Kotlin for Apache Spark: https://www.youtube.com/watch?v=sYTE-gICPuA

В Казахстане компания Beeline организует бесплатную конференцию — BeeTech CONF: https://beetech.kz/conf Она пройдёт завтра, начало в 8 утра по Москве. В программе есть несколько интересных докладов для вас: Поток Big Data: — Как нам живется с Apache Airflow, доклад от местной команды разработки Beeline Kazakhstan — Строим собственную платформу данных: от отчётов и триггеров до сложных пайплайнов, от Samokat.ru Регистрация по ссылке: https://beetech.kz/conf