DataEng

Обзор разных подходов для построения распределенного хранилища на базе PostgreSQL: https://www.crunchydata.com/blog/an-overview-of-distributed-postgresql-architectures Лично у меня был опыт скейлинга PostgreSQL через Read-реплику и шардирование. Но как это обычно бывает, у каждого подхода есть свои плюсы и минусы, а универсального решения не существует.

У Haki Benita вышла полезная статья про эффективное чтение Excel файлов в Python 😉 Как ни крути, а дата инженерам часто приходится копаться в csv/excel файлах, поэтому наверняка его заметка может вам пригодиться, если вы оперируете действительно огромными excel файлами. FYI: Pandas оказался худшим решением.

Если вы активно пользуетесь (или пользовались) Kinesis Data Firehose, то Amazon объявил, что теперь этот сервис поддерживает zero buffering. Что означает, что им можно пользоваться для загрузки данных почти в режиме real-time streaming (с незначительной задержкой до нескольких секунд на обработку). Мой опыт работы с Firehose строился с учётом буферизации данных (минимальная задержка 1 минута), что порой было неудобно. С другой же стороны, возможно Firehose не самый подходящий инструмент для построения real-time stream ingestion. Но всё равно полезно, что такая опция появилась. А как вы строите доставку данных внутри AWS?

Apache Kafka For Python Developers Бесплатный курс по работе с Apache Kafka через Python: https://developer.confluent.io/courses/kafka-python/intro/

Неплохой обзор работы структуры данных B-Tree: https://blog.allegro.tech/2023/11/how-does-btree-make-your-queries-fast.html

Apache Airflow в Adyen Люблю статьи про реальные кейсы использования технологий. Давеча встретил статью Apache Airflow at Adyen: Our journey and challenges to achieve reliability at scale. Adyen это известная в узких кругах платёжная система (кажется даже публичная компания). Статья про использование Airflow в высоконагруженной системе, где жизненно необходимо чтобы система была отказоустойчивой, масштабируемой и при это не сильно сложной. Рекомендую для ознакомления.

Отличная статья про уровни изоляций транзакций на примере популярной базы данных PostgreSQL: https://www.thenile.dev/blog/transaction-isolation-postgres

Airflow 2.8 Вышла новая версия Apache Airflow — 2.8. В ней, как ни странно, очень много новых плюшек, включая ObjectStore API, улучшенный UI и многое другое. Более подробно можно почитать здесь: https://bit.ly/41uLBQP

Netflix опубликовал доклады с очередного митапа про дата инжиниринг: — Media Data for ML Studio Creative Production — Start Stop Continue for optimizing complex ETL jobs — Psyberg, An Incremental ETL Framework Using Iceberg — Knowledge Management - Leveraging Institutional Data — Building Reliable Data Pipelines — Streaming SQL on Data Mesh — Data Processing Patterns — The Netflix Data Engineering Stack

Аналитик инструментов сборки и репозитория Yandex Cloud Москва, Санкт-Петербург, Новосибирск Наша команда занимается развитием экосистемы инструментов монорепозитория Яндекса. Каждую неделю 8 тысяч разработчиков делают более 100 тысяч коммитов в наш монорепозиторий, пользуются нашей системой сборки более 5 млн раз, используют плагины для среды разработки и многое другое. Наша служба постоянно работает над тем, чтобы делать системы удобнее, надёжнее, быстрее и понятнее. Мы ищем опытного аналитика, который поможет разработать систему метрик для наших продуктов для разработчиков и внедрить A/B-эксперименты, найдёт пути улучшения систем. Какие задачи вас ждут - Разрабатывать систему метрик качества и скорости для инструментов сборки, тестирования и репозитория - Проводить сквозную аналитику наших инструментов - Анализировать и улучшать продуктовые метрики наших систем - Разрабатывать метрики разладки — уметь отслеживать, что именно с релизом пошло не так - Внедрять A/B-тестирование в наши продукты - Помогать строить хранилища данных репозитория и смежных систем для разработки метрик личной и командной активности и производительности Мы ждём, что вы - Работали продуктовым аналитиком не менее трёх лет - Хорошо знаете Python и SQL - Работали с BI-системами (DataLens, Tableau или PowerBI), умеете визуализировать данные - Знаете математическую статистику и теорию вероятностей - Готовы погружаться в специфику инструментов разработки и тесно общаться с разработчиками - Умеете извлекать инсайты из данных и предлагать гипотезы по улучшению продукта - Проводили A/B-эксперименты и анализировали их результаты - Самостоятельны и не боитесь нестандартных задач Откликнуться Контакт в тг @oksidgi

Случайно наткнулся на предстоящий вебинар от Яндекс.Облака про их сервис Managed Apache Airflow: https://www.youtube.com/watch?v=gf-c4WkRJ7Q Возможно вам будет интересно.

Как работать с данными в 2024 году? Узнайте на VK Data Meetup! VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных. ⏰ 14.12.2023, 14:30 МСК ⚡️ Регистрация: https://bit.ly/46XUfIR В программе 🔹 Тренды хранения данных, актуальные в 2024 году. 🔹 Миграция хранилища на Greenplum с сохранением уровня SLA. 🔹 Разделение слоев Compute & Storage в Hadoop. 🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud. Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков. Регистрация: https://bit.ly/46XUfIR

Tech predictions for 2024 and beyond | All Things Distributed https://www.allthingsdistributed.com/2023/11/tech-predictions-for-2024-and-beyond.html

«Иннотех» запускает самый амбициозный проект российского финтеха и собирает под него ИТ-команду Что будем создавать? Проект государственного масштаба — автоматизированную банковскую систему (АБС) для России. Это будет уникальная для российского рынка core banking платформа на современном технологическом стеке и микросервисной архитектуре. Кто нам нужен? • Java-разработчики; • аналитики; • специалисты DevOps; • тестировщики; • и не только. Что мы предлагаем? Сложнейшие задачи для роста hard-скилов, возможность работать удаленно, ДМС и прочие бонусы. Не упусти шанс войти в финтех-историю — жми «Присоединяйся к команде» и получи быстрый оффер. Реклама. Информация о рекламодателе

Вторая часть статьи про развёртку Apache Airflow в Kubernetes: https://habr.com/ru/articles/774924/

На AWS появилась новая сертификация AWS Certified Data Engineer – Associate: https://aws.amazon.com/ru/certification/certified-data-engineer-associate/

Туда же, но только про Generative AI: https://microsoft.github.io/generative-ai-for-beginners/#/

Машинное обучение для начинающих Классный бесплатный курс о машинном обучении от Microsoft: https://bit.ly/3MQmyl1

Привет от онлайн-конференции для техлидов и архитекторов Podlodka Techlead Crew! ⚙️ Масштабировать сложную архитектуру по всем правилам — задачка нетривиальная. Разбираем тренды и новшества, учимся справляться с проблемами. Готовы раскрыть свежие подробности сезона, который стартует 13 ноября: 💎 Улучшим архитектуру приложения с помощью CQRS. Объясним, как сделать взаимодействие между сервисами надёжным и консистентным, повысить масштабируемость и поддерживаемость системы. 💎 Узнаем, как решить проблемы хранения и масштабирования данных в транзакционно-аналитических системах, например, YDB. Эти системы способны одновременно работать с OLTP и OLAP-нагрузками.  💎 Рассмотрим, как развивать уже существующую архитектуру. Это будет доклад Владимира Иванова из Bolt про возможности, ограничения и способы избежать «бутылочных горлышек». 💎 Обсудим эволюцию технических метрик в контексте роста команд, компании, продукта и кода. 🤑 Промокод на скидку 500 руб: DataEng Билеты и описание этих и других сессий на сайте: https://podlodka.io/techcrew

На Хабре вышла статья про Airflow в Kubernetes. Статья мне понравилась, целевая аудитория это новички в кубах, которые хотят развернуть Airflow. Сам я такой деплой не использую, но мне было полезно знать как оно там работает. Напомню, что у Airflow есть официальный helm chart: https://airflow.apache.org/docs/helm-chart/stable/index.html, если вдруг вы решите копнуть эту тему чуть глубже.