Data инженер middle|senior|lead
#удаленка #офис #middle #senior #lead
Компания: KazanExpress
ЗП: 250 000 — 450 000 ₽
Наш стек:
Airflow, Clickhouse, Spark, PostgreSQL, Kafka Connect, Debezium, Kubernetes и многое другое. Этот стек помогает обрабатывать миллиарды событий, происходящих с нашими пользователями каждый день. Сейчас мы развиваем Data Lake House используя Hudi. Из языков программирования используем Python / Java / Scala.
У нас запущено несколько больших инициатив, которыми нужно будет заниматься:
хранилище для классической аналитики и BI, а также ML продуктов;
ETL-процессы и подготовка данных для аналитиков в сложных случаях;
Data Governance — качество данных, их доступность и понятность.
В ближайшее время нам предстоит:
улучшить CDC-процессы;
ускорить продуктивизации пользовательских витрин;
обеспечить высокое качество данных;
внедрить DataMesh практики;
построить Lake House с единой точкой входа для ad-hoc запросов.
Задачи:
работа над хранилищем данных для аналитики;
потоковая обработка данных;
поддержка разных типов хранилищ: транзакционных, аналитических, горячих, холодных;
предоставление данных пользователя сервисам персонализации;
создать идеальные условия для проведения неограниченного числа экспериментов в продукте;
мониторинг, работоспособность и масштабируемость продакшена.
Что мы от вас ожидаем:
-опыт работы с холодным хранилищем: Spark / DeltaLake / Presto / Trino;
-опыт работы с Airflow / Oozie или другими планировщиками и оркестраторами;
-опыт разработки на Python / Java / Scala;
-опыт работы с Kafka / ksqlDB / Apache Pulsar или другими распределенными платформами обработки потоков событий;
-понимание того, как можно структурировать хранилище данных: Kappa / Lambda / DWH / Data Vault / Data Anchor / hNhM.
Условия:
сильная и энергичная команда, нацеленная на быстрый рост на конкурентном рынке;
современные и интересные технологии, возможность тестировать новые фреймворки и паттерны;
возможность брать много ответственности: наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта;
удаленная работа или комфортные офисы в Москва-Сити или Иннополисе;
ДМС со стоматологией, частичная компенсация спортзала и полная обучений и конференций;
ЗП: всегда отталкиваемся от ваших ожиданий ;).
Контакты:
https://job.kazanexpress.ru/job_listing/data-inzhener-2/