DataEng

У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал: https://digest.deordie.org/04_A_spark_of_the_summer_sun/ _____ Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues

Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021 Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями. Среди докладов: ✔️ Маркус Куппе, «Workshop: TLA+» Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox. ✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases» Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем. ✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB» Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой. Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP 👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc

Забавное видео "Welcome to the world of Data Engineers at Netflix" https://youtu.be/N8SJPb5JpOA

Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI. Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL. 🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных. У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL. Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL: 🔹 Что такое SQL и РСУБД? 🔹 Почему знание SQL нужно аналитикам, финансистам и др.? 🔹 Какой карьерный путь открывается перед SQL-разработчиком? 🔹 Какие скрытые плюсы в том, чтобы знать SQL? 🔹 Для каких задач компании применяют SQL? 🔹 Как быстро и эффективно обучиться языку SQL Регистрация: https://vk.cc/c2ppFx

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora. https://github.com/alibaba/PolarDB-for-PostgreSQL ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233 по наводке @oleg_log

Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/

А что у нас тут в пятницу произошло? Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич Пакет уже доступен для установки через PyPI: apache airflow 2.1.0

Ох йоп... https://github.com/scottrogowski/mongita

SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/

В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o

​​Какие навыки ждут от Data Engineer работодатели? Об этом в формате интервью расскажет 5 мая Артемий Козырь, Senior Data Engineer в Wheely. Эксперт поделится карьерными инсайтами, представит программу онлайн-курса «Data Engineer» и ответит на ваши вопросы. Вы узнаете, чем отличается курс, как организована практика и получите возможность сэкономить на обучении. Чтобы лучше подготовиться к встрече, пройдите вступительный тест, который позволит вам оценить сложность курса. Регистрируйтесь на вебинар и подключайтесь! https://otus.pw/PpbA/

Сегодня Настя вещает про Airflow & MLFlow у себя на канале: https://bit.ly/33faORO

Если вдруг вы решили апгрейднуться до Airflow 2.0, то возможно вам будет полезен гайд от бывалых https://eatcodeplay.com/upgrading-to-airflow-2-0-massive-performance-wins-and-lessons-learned-8c6a15cec8e7

New data engineering podcast episode about Superset with author of Superset and Airflow.