DataEng

DE or DIE #7 Ребята, мы рады анонсировать митап #7 нашего сообщества DE or DIE! Дата и время: 16 июня (среда) 18:00 Формат: Онлайн (трансляция на YouTube) Регистрация по ссылке: https://deordie.timepad.ru/event/1669693/ Темы: 18:00-19:00. Handling late data. How to make the right choice? - Дарья Буланова 19:15-20:15. Ingestion and historization in the Data Lake? - Илья Тодор 20:15-20:45. After Show - организаторы DE or DIE и спикеры (*): Несмотря на англоязычные названия доклады будут на русском языке. Ждем вас в следующую среду. Ссылку на трансляцию опубликуем за час до мероприятия.

8 июня Иван Трусов - Solution Architect Databricks в Берлине расскажет нам про платформу Databricks и Lakehouse. У нас запланирована целая серия вебинаров с русскоговорящими архитекторами Databricks, stay tuned! Хочу рассказать как со всеми ними познакомился. Так как я внедряю Azure Databricks в Microsoft Gaming/Xbox, то спустя какое-то время я устал париться с поддержкой Azure и ждать неделями их бесполезные ответы, я написал директору Azure Databricks в Microsoft и попросил помочь с CI/CD, в итоге наc соединили с командой архитекторов в Берлине и Амстердаме и я рассказал им про datalearn и попросил выступить. Мир тесен! PS CI/CD pipeline уже работает!

Интересные, на мой взгляд, доклады PyCON US 2021: — Hacking Dask: Diving Into Dask Internals — Dask-SQL: Empowering Pythonistas for Scalable End-to-End Data Engineering — Event-driven applications: Apache Kafka and Python — Python Performance at Scale - Making Python Faster at Instagram — Data Processing on Ray — Large Scale Data Validation with Spark and Dask

У нас готов новый выпуск того самого дайджеста, о котором мало кто слышал: https://digest.deordie.org/04_A_spark_of_the_summer_sun/ _____ Напомню, что у нас есть issue tracker: https://github.com/deordie/deordie-digest/issues

Онлайн конференция по разработке параллельных и распределенных систем — Hydra 2021 Несколько десятков докладов о распределенных базах данных, распределенной обработке потоков, блокчейне, отказоустойчивости распределенных систем, моделях памяти и многом другом, что относится к работе с подобными технологиями. Среди докладов: ✔️ Маркус Куппе, «Workshop: TLA+» Огромный воркшоп по работе с языком для дизайна распределенных систем под руководством основного разработчика среды TLA+ toolbox. ✔️ Энди Павло, «The Official Ten-Year Retrospective of NewSQL Databases» Обзор десятилетней истории NewSQL от зарождения до современного состояния и попробует предсказать, как NewSQL изменится в будущем. ✔️ Нейтан ВанБеншотен, «Fearless Global Transactions with CockroachDB» Доклад о том, как CockroachDB помогает работать приложениям с распределенной архитектурой. Смотрите всю программу и покупайте билеты на https://bit.ly/2T9rVCP 👉 Если решили сходить, то используйте промокод на Personal-Standard билет: DataEng2021JRGpc

Забавное видео "Welcome to the world of Data Engineers at Netflix" https://youtu.be/N8SJPb5JpOA

Приглашаем на бесплатный закрытый мастер-класс "Быстрый старт в SQL" 3 июня в 19:00 от Онлайн Школы IQBI. Мастер-класс будет полезен тем, кто создает отчетность или работает с анализом данных и статистикой, но все еще не изучил SQL. 🎓 SQL - это мощный инструмент для анализа и преобразования данных, который позволяет аналитикам, финансистам, биайщикам и даже маркетологам обращаться к различным базам данных. У всех крупных компаний есть собственные базы данных, и чтобы создавать отчеты, дашборды и графики вам нужно правильно формулировать запросы к этим БД на языке SQL. Сертифицированный тренер Microsoft Дмитрий Пилюгин ответит на популярные вопросы, которые возникают в начале изучения SQL: 🔹 Что такое SQL и РСУБД? 🔹 Почему знание SQL нужно аналитикам, финансистам и др.? 🔹 Какой карьерный путь открывается перед SQL-разработчиком? 🔹 Какие скрытые плюсы в том, чтобы знать SQL? 🔹 Для каких задач компании применяют SQL? 🔹 Как быстро и эффективно обучиться языку SQL Регистрация: https://vk.cc/c2ppFx

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora. https://github.com/alibaba/PolarDB-for-PostgreSQL ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233 по наводке @oleg_log

Ещё не читал, но решил всё таки поделиться с вами интересной статьёй: https://a16z.com/2021/05/27/cost-of-cloud-paradox-market-cap-cloud-lifecycle-scale-growth-repatriation-optimization/

А что у нас тут в пятницу произошло? Релиз Apache Airflow 2.1. Ребята подвезли вагон интересных фич Пакет уже доступен для установки через PyPI: apache airflow 2.1.0

Ох йоп... https://github.com/scottrogowski/mongita

SQL Dashboard на Django: https://simonwillison.net/2021/May/10/django-sql-dashboard/

В этот субботний выходной можно и подраслабиться от кодинга https://youtu.be/UJZSk-5ZE4o

​​Какие навыки ждут от Data Engineer работодатели? Об этом в формате интервью расскажет 5 мая Артемий Козырь, Senior Data Engineer в Wheely. Эксперт поделится карьерными инсайтами, представит программу онлайн-курса «Data Engineer» и ответит на ваши вопросы. Вы узнаете, чем отличается курс, как организована практика и получите возможность сэкономить на обучении. Чтобы лучше подготовиться к встрече, пройдите вступительный тест, который позволит вам оценить сложность курса. Регистрируйтесь на вебинар и подключайтесь! https://otus.pw/PpbA/