DataEng

Вышел Python 3.10: https://www.python.org/downloads/release/python-3100/ В языке появился паттерн-матчинг, которого мне не хватало и который я подсмотрел в своё время в языке Scala. Помимо этой фичи есть и куча других с которыми можно ознакомиться по ссылке выше. Ребята из JetBrains подсуетились и выпустили небольшое видео про новшества языка: https://www.youtube.com/watch?v=JteTO3EE7y0

Бесплатный вебинар «Vertica 11: Новая версия - новые возможности» ⏰ 6 октября 2021 года   Познакомьтесь с богатым функционалом новой версии аналитической платформы Vertica: 📌 работа с ORC-форматом (включая экспорт данных в ORC и поддержку сложных типов данных); 📌 поддержка сложных типов данных в JDBC-клиенте; 📌 партиционированные проекции; 📌 резервное копирование и восстановление в Azure; 📌 поддержка резервного копирования кластеров Eon с коммунальным хранилищем на Hadoop; 📌 множество улучшений в части шифрования подключений и соединений; 📌 поддержка развертывания Vertica Eon в инфраструктуре Kubernetes.   🤵 Ведущий — Александр Скоробогатов, архитектор решений Vertica в России и СНГ. 🤝 Присоединяйтесь!  💡 Это будет полезно для расширения профессионального кругозора или углубления знаний в области #BigData #аналитика #хранилищеданных.   ▶️ Зарегистрироваться 🔎 Другой полезный контент на канале Micro Focus Russia & CIS

Друзья, мы опубликовали видео с прошедшего митапа DE or DIE #8. Все доступно по ссылке: https://deordie.org/meetups/08/ Также, на https://deordie.org/ вы можете найти материалы с наших прошлых митапов, и ссылки на другие проекты: дайджест статей и подкаст.

​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас. Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и как одним SQL-запросом обработать данные, расположенные в разных системах, без предварительной загрузки этих данных в какое-либо единое хранилище. Ждём Data-инженеров, аналитиков, DevOps-инженеров и администраторов. Регистрация на вебинар по ссылке.

SQLpedia - канал про SQL и базы данных, в котором вы найдете: — Возможность предложить нам статью для перевода; — Полезные видео; — Интересные опросы; — Профессиональный юмор; Присоединяйтесь, давайте расти как профессионалы вместе 😉 Подписаться: @sql_wiki

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java. На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты. В программе: — Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»; — Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»; — Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data. А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁 Участие бесплатное, нужно только зарегистрироваться.

юмор дата инженеров 😁

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pg Написана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖 Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней! Реализуйте ваши проекты на готовой облачной IT инфраструктуре: ✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое. ✔️ Используйте любое количество сервисов одновременно. ✔️ Никаких ограничений по функционалу и скрытых платежей. Выведите свой продукт на рынок в рекордные сроки с #CloudMTS! Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/

Стали доступны доклады с Airflow Summit 2021 🔥. Из наиболее интересных тем: - The new modern data stack Airbyte Airflow DBT - The Newcomer's Guide to Airflow's Architecture - Writing Dry Code in Airflow - Looking ahead: What comes after Airflow 2 0 - Lessons Learned while Migrating Data Pipelines from Enterprise Schedulers to Airflow - Deep dive in to the Airflow scheduler - Dataclasses as Pipeline Definitions in Airflow И многие другие. Бегом изучать на канале Apache Airflow.

Про полнотекстовый поиск в PostgreSQL, если вы о нём не знали: https://blog.crunchydata.com/blog/postgres-full-text-search-a-search-engine-in-a-database К слову, у меня в блоге khashtamov.com как раз используется Full-Text Search от Postgres средствами Django.

Всем привет! 🤝 Наверняка среди моих подписчиков есть люди, увлеченные темой Data Science. Мой товарищ Ренат Алимбеков (@alimbekovkz) недавно выпустил мануал по подготовке к интервью на роль data scientist. Ренат неоднократный призёр соревнований на Kaggle, а ныне data scientist в Beeline, где занимается задачами в области компьютерного зрения. Наверняка многие из вас помнят, что Ренат выпускал бесплатный курс на моей образовательной платформе: Анализ медицинских изображений в Python, также он ведёт свой блог и канал. Приобрести его руководство Data Science Interview Guide можно по ссылке на платформе Gumroad. Используйте промокод DATAENG, чтобы получить скидку 2$.

Я сейчас изучаю как можно больше информации по теме качества данных (Data quality), и наткнулся на парочку статей от Airbnb: - Data Quality at Airbnb: Part 1 — Rebuilding at Scale - Data Quality at Airbnb: Part 2 — A New Gold Standard Если вам также есть чем поделиться по теме, то накидайте, пожалуйста, ссылок в комментариях.

Свет увидела новая распределенная SQL база данных на Rust (учебная): https://github.com/erikgrinaker/toydb Автор также подробно описал её архитектуру: https://github.com/erikgrinaker/toydb/blob/master/docs/architecture.md