DataEng

Прошла небольшая конференция по data engineering — DataEngBytes 2021. Я собрал список наиболее интересных докладов: - What is a Data Mesh - And How Not To Mesh it Up - Data Quality with Great Expectations and Airflow in a Reverse-ETL World - Shift-left testing : Building reliable Data Pipelines - Data quality: the key to long term happiness - Reliable data engineering made easy - Gone Streaming: dbt+Materialize - Streaming data analytics with Apache Flink Сам ещё не всё посмотрел, список формировал по привлекательности названия докладов 😁 Учтите, что среди докладчиков есть представители data-компаний (Databricks, Materialize, Monte Carlo Data и т.д.), так что слушайте с небольшой толикой скептицизма к их словам 🤔

Интересный keynote от создателя Apache Airflow про тренды в области data engineering: https://www.youtube.com/watch?v=se6O5wFXEXw Также Макс вскользь упоминает 2 своих статьи: — The Rise of the Data Engineer https://www.freecodecamp.org/news/the-rise-of-the-data-engineer-91be18f1e603/ — The Downfall of the Data Engineer https://maximebeauchemin.medium.com/the-downfall-of-the-data-engineer-5bfb701e5d6b Смотреть удобно на скорости ×1.25, ×1.5

Программа конференции для дата-инженеров SmartData 2021 готова! Начинаем уже 11 октября 💣 Вас будут ждать 4 дня, 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях. Темы конференции: ✔️ Tooling: все об инструментах, которые используют в дата-инжиниринге; ✔️ Spark: штука настолько востребованная, что о ней будет сразу три доклада; ✔️ Processes: как организовать работу и процессы в команде; ✔️ Storage: базы данных, SQL-движки и многое другое; ✔️ Architecture: доклады об архитектуре и опыте работы с ней разных команд; ✔️ Industry usecases: реальный опыт, боль, успехи и провалы коллег. Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек. Специально для нашего канала организаторы сделали промокод на скидку dataeng2021JRGpc, который дает скидку на Personal Standard билет🔥 Заходите на сайт конференции за подробностями и билета

Вышел Python 3.10: https://www.python.org/downloads/release/python-3100/ В языке появился паттерн-матчинг, которого мне не хватало и который я подсмотрел в своё время в языке Scala. Помимо этой фичи есть и куча других с которыми можно ознакомиться по ссылке выше. Ребята из JetBrains подсуетились и выпустили небольшое видео про новшества языка: https://www.youtube.com/watch?v=JteTO3EE7y0

Бесплатный вебинар «Vertica 11: Новая версия - новые возможности» ⏰ 6 октября 2021 года   Познакомьтесь с богатым функционалом новой версии аналитической платформы Vertica: 📌 работа с ORC-форматом (включая экспорт данных в ORC и поддержку сложных типов данных); 📌 поддержка сложных типов данных в JDBC-клиенте; 📌 партиционированные проекции; 📌 резервное копирование и восстановление в Azure; 📌 поддержка резервного копирования кластеров Eon с коммунальным хранилищем на Hadoop; 📌 множество улучшений в части шифрования подключений и соединений; 📌 поддержка развертывания Vertica Eon в инфраструктуре Kubernetes.   🤵 Ведущий — Александр Скоробогатов, архитектор решений Vertica в России и СНГ. 🤝 Присоединяйтесь!  💡 Это будет полезно для расширения профессионального кругозора или углубления знаний в области #BigData #аналитика #хранилищеданных.   ▶️ Зарегистрироваться 🔎 Другой полезный контент на канале Micro Focus Russia & CIS

Друзья, мы опубликовали видео с прошедшего митапа DE or DIE #8. Все доступно по ссылке: https://deordie.org/meetups/08/ Также, на https://deordie.org/ вы можете найти материалы с наших прошлых митапов, и ссылки на другие проекты: дайджест статей и подкаст.

​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас. Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и как одним SQL-запросом обработать данные, расположенные в разных системах, без предварительной загрузки этих данных в какое-либо единое хранилище. Ждём Data-инженеров, аналитиков, DevOps-инженеров и администраторов. Регистрация на вебинар по ссылке.

SQLpedia - канал про SQL и базы данных, в котором вы найдете: — Возможность предложить нам статью для перевода; — Полезные видео; — Интересные опросы; — Профессиональный юмор; Присоединяйтесь, давайте расти как профессионалы вместе 😉 Подписаться: @sql_wiki

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java. На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты. В программе: — Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»; — Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»; — Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data. А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁 Участие бесплатное, нужно только зарегистрироваться.

юмор дата инженеров 😁

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pg Написана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖 Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней! Реализуйте ваши проекты на готовой облачной IT инфраструктуре: ✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое. ✔️ Используйте любое количество сервисов одновременно. ✔️ Никаких ограничений по функционалу и скрытых платежей. Выведите свой продукт на рынок в рекордные сроки с #CloudMTS! Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем: - The new modern data stack Airbyte Airflow DBT - The Newcomer's Guide to Airflow's Architecture - Writing Dry Code in Airflow - Looking ahead: What comes after Airflow 2 0 - Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow - Deep dive in to the Airflow scheduler - Dataclasses as Pipeline Definitions in Airflow И многие другие. Бегом изучать на канале Apache Airflow.

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-database К слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.