DataEng

Apache Kafka For Python Developers Бесплатный курс по работе с Apache Kafka через Python: https://developer.confluent.io/courses/kafka-python/intro/

Неплохой обзор работы структуры данных B-Tree: https://blog.allegro.tech/2023/11/how-does-btree-make-your-queries-fast.html

Apache Airflow в Adyen Люблю статьи про реальные кейсы использования технологий. Давеча встретил статью Apache Airflow at Adyen: Our journey and challenges to achieve reliability at scale. Adyen это известная в узких кругах платёжная система (кажется даже публичная компания). Статья про использование Airflow в высоконагруженной системе, где жизненно необходимо чтобы система была отказоустойчивой, масштабируемой и при это не сильно сложной. Рекомендую для ознакомления.

Отличная статья про уровни изоляций транзакций на примере популярной базы данных PostgreSQL: https://www.thenile.dev/blog/transaction-isolation-postgres

Airflow 2.8 Вышла новая версия Apache Airflow — 2.8. В ней, как ни странно, очень много новых плюшек, включая ObjectStore API, улучшенный UI и многое другое. Более подробно можно почитать здесь: https://bit.ly/41uLBQP

Netflix опубликовал доклады с очередного митапа про дата инжиниринг: — Media Data for ML Studio Creative Production — Start Stop Continue for optimizing complex ETL jobs — Psyberg, An Incremental ETL Framework Using Iceberg — Knowledge Management - Leveraging Institutional Data — Building Reliable Data Pipelines — Streaming SQL on Data Mesh — Data Processing Patterns — The Netflix Data Engineering Stack

Аналитик инструментов сборки и репозитория Yandex Cloud Москва, Санкт-Петербург, Новосибирск Наша команда занимается развитием экосистемы инструментов монорепозитория Яндекса. Каждую неделю 8 тысяч разработчиков делают более 100 тысяч коммитов в наш монорепозиторий, пользуются нашей системой сборки более 5 млн раз, используют плагины для среды разработки и многое другое. Наша служба постоянно работает над тем, чтобы делать системы удобнее, надёжнее, быстрее и понятнее. Мы ищем опытного аналитика, который поможет разработать систему метрик для наших продуктов для разработчиков и внедрить A/B-эксперименты, найдёт пути улучшения систем. Какие задачи вас ждут - Разрабатывать систему метрик качества и скорости для инструментов сборки, тестирования и репозитория - Проводить сквозную аналитику наших инструментов - Анализировать и улучшать продуктовые метрики наших систем - Разрабатывать метрики разладки — уметь отслеживать, что именно с релизом пошло не так - Внедрять A/B-тестирование в наши продукты - Помогать строить хранилища данных репозитория и смежных систем для разработки метрик личной и командной активности и производительности Мы ждём, что вы - Работали продуктовым аналитиком не менее трёх лет - Хорошо знаете Python и SQL - Работали с BI-системами (DataLens, Tableau или PowerBI), умеете визуализировать данные - Знаете математическую статистику и теорию вероятностей - Готовы погружаться в специфику инструментов разработки и тесно общаться с разработчиками - Умеете извлекать инсайты из данных и предлагать гипотезы по улучшению продукта - Проводили A/B-эксперименты и анализировали их результаты - Самостоятельны и не боитесь нестандартных задач Откликнуться Контакт в тг @oksidgi

Случайно наткнулся на предстоящий вебинар от Яндекс.Облака про их сервис Managed Apache Airflow: https://www.youtube.com/watch?v=gf-c4WkRJ7Q Возможно вам будет интересно.

Как работать с данными в 2024 году? Узнайте на VK Data Meetup! VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Митап 14 декабря посвящен Databases & Storage. Обсудим тренды наступающего 2024 года, разберем особенности реализации масштабных проектов миграции и трансформации хранилищ и баз данных. ⏰ 14.12.2023, 14:30 МСК ⚡️ Регистрация: https://bit.ly/46XUfIR В программе 🔹 Тренды хранения данных, актуальные в 2024 году. 🔹 Миграция хранилища на Greenplum с сохранением уровня SLA. 🔹 Разделение слоев Compute & Storage в Hadoop. 🔹 Перенос большого Hadoop-кластера с bare metal на самописную оркестрацию One-cloud. Приглашаем дата-инженеров, специалистов по DWH, администраторов, архитекторов и разработчиков. Регистрация: https://bit.ly/46XUfIR

Tech predictions for 2024 and beyond | All Things Distributed https://www.allthingsdistributed.com/2023/11/tech-predictions-for-2024-and-beyond.html

«Иннотех» запускает самый амбициозный проект российского финтеха и собирает под него ИТ-команду Что будем создавать? Проект государственного масштаба — автоматизированную банковскую систему (АБС) для России. Это будет уникальная для российского рынка core banking платформа на современном технологическом стеке и микросервисной архитектуре. Кто нам нужен? • Java-разработчики; • аналитики; • специалисты DevOps; • тестировщики; • и не только. Что мы предлагаем? Сложнейшие задачи для роста hard-скилов, возможность работать удаленно, ДМС и прочие бонусы. Не упусти шанс войти в финтех-историю — жми «Присоединяйся к команде» и получи быстрый оффер. Реклама. Информация о рекламодателе

Вторая часть статьи про развёртку Apache Airflow в Kubernetes: https://habr.com/ru/articles/774924/

На AWS появилась новая сертификация AWS Certified Data Engineer – Associate: https://aws.amazon.com/ru/certification/certified-data-engineer-associate/

Туда же, но только про Generative AI: https://microsoft.github.io/generative-ai-for-beginners/#/

Машинное обучение для начинающих Классный бесплатный курс о машинном обучении от Microsoft: https://bit.ly/3MQmyl1

Привет от онлайн-конференции для техлидов и архитекторов Podlodka Techlead Crew! ⚙️ Масштабировать сложную архитектуру по всем правилам — задачка нетривиальная. Разбираем тренды и новшества, учимся справляться с проблемами. Готовы раскрыть свежие подробности сезона, который стартует 13 ноября: 💎 Улучшим архитектуру приложения с помощью CQRS. Объясним, как сделать взаимодействие между сервисами надёжным и консистентным, повысить масштабируемость и поддерживаемость системы. 💎 Узнаем, как решить проблемы хранения и масштабирования данных в транзакционно-аналитических системах, например, YDB. Эти системы способны одновременно работать с OLTP и OLAP-нагрузками.  💎 Рассмотрим, как развивать уже существующую архитектуру. Это будет доклад Владимира Иванова из Bolt про возможности, ограничения и способы избежать «бутылочных горлышек». 💎 Обсудим эволюцию технических метрик в контексте роста команд, компании, продукта и кода. 🤑 Промокод на скидку 500 руб: DataEng Билеты и описание этих и других сессий на сайте: https://podlodka.io/techcrew

На Хабре вышла статья про Airflow в Kubernetes. Статья мне понравилась, целевая аудитория это новички в кубах, которые хотят развернуть Airflow. Сам я такой деплой не использую, но мне было полезно знать как оно там работает. Напомню, что у Airflow есть официальный helm chart: https://airflow.apache.org/docs/helm-chart/stable/index.html, если вдруг вы решите копнуть эту тему чуть глубже.

Run periodic jobs in PostgreSQL Недавно открыл для себя интересное расширение для БД PostgreSQL: pg_cron. Балалайка позволяет запускать периодические задачи внутри базы данных: SQL запросы, процедуры и т.д. Удобно, вдруг кому пригодится 💡

Ты системный аналитик? Прокачайся до уровня Middle с «Иннотех»! Группа компаний «Иннотех» запускает новый поток технического обучения для системных аналитиков с опытом работы с возможностью дальнейшего трудоустройства в «Иннотех» Во время бесплатного обучения в течение 6 недель участников ждет: 🔹 теория и практика от специалистов ведущей ИТ-компании, 🔹 обучение на реальных кейсах «Иннотеха» 🔹 индивидуальная обратная связь по каждому заданию, 🔹 обмен опытом и живое общение с преподавателями Занятия будут проходить по вечерам с 18:00 до 19:30 в понедельник и четверг. Всего 12 заданий, на каждое из которых понадобится около 2 часов. 🌟 Как попасть на программу? До 27 октября заполняйте анкету по ссылке и проходите входное тестирование. Количество мест ограничено! Старт обучения — 30 октября. Лучших участников программы пригласят на работу в команду ГК «Иннотех»! Реклама. Рекламодатель ООО «ГК «Иннотех» ». erid: Kra23xtUN

Человек на 60% состоит из воды, а Тинькофф на 100% из масштабных ИТ-задач и ежедневных вызовов Если ты опытный ИТ-спец, этот вызов для тебя. А решение бытовых забот берем на себя: от ультра расширенной медстраховки и юридической поддержки до компенсации питания, спорта и дополнительного обучения. Выбрать вакансию и стать частью ИТ-команды можно тут: https://u.tinkoff.ru/itcareer АО «Тинькофф Банк», ИНН 7710140679