Python разработчик (Lead/tech PM) (senior)
#офис #гибрид
З/П от 350 000 до 450 000
Локация: Москва
MTS Big Data стратегически развивает направление собственной платформы хранения и обработки больших данных - DataOps platform. Мы делаем все, чтобы наши клиенты могли получать технологии для организации непрерывного потока данных от загрузки до потребления. У нас амбициозные планы по потреблению платформы. Cейчас платформа предоставляется внутренним заказчикам из МТС, мы же хотим повысить потребление и сделать платформу публичной с помощью облака как это делают AWS, GCP, Yandex и другие.
Создавать инструменты для обработки и хранения больших данных, которые способны работать в облачной среде и предоставлять удобный self-service это большая и амбициозная задача. Сегодня в компании запущена и успешно работает первая версия платформы, которой пользуются потребители. Мы приглашаем тебя бросить вызов разработке промышленной версии платформы, как аналог AWS, в части Big Data.
Вместе с тобой нам предстоит:
- создание self-service инструментария для работы с технологиями BigData по хранению, обработке и визуализации данных
- стать экспертом в технологиях spark поверх k8s/openstack, Yarn
- сделать так, чтобы все предоставляемые технологии отлично работали друг с другом с минимальными затратами клиента
- отправить все инструменты и системы хранения в облако
- подключить весь МТС как потребителей нашей платформы
Работая у нас вы будете на стыке самых трендовых технологий - Big Data и AWS-like Cloud.
Задачи:
- нужно сделать так, чтобы весь МТС и компании за пределами МТС были потребителями нашей DataOps платформы
- проработка требуемого функционала с потенциальными потребителями вместе с PO
- проработка интеграций с системами, которые нам требуется для создания своего функционала
- постановка задач другим членам команды и смежным подразделениям, код-ревью, контроль выполнения задач
- азработка backend маркетплейса в части BigData
- разработка self-service инструментария для работы с технологиями BigData по хранению, обработке и визуализации данных
- реализовать набор микросервисов для интеграции с cloudmts
- познакомиться с технологией spark поверх k8s/openstack, Yarn и разработать вспомогательные решения для удобного совместного функционирования
- проводить RND новых инструментов/решений на рынке, c целью замены существующих или закрытия потребностей в новых
- взаимодействие с конечными потребителями платформы и их командами разработки в рамках развития DataOps platform
- разработчик (lead/tech pm) менторство и помощь мидл/джун разработчикам
Требования:
- опыт разработки на Python от 3 лет
- опыт применения Flask, Django, Celery
- опыт проектирования схем баз данных, хорошие знания SQL
- знание и понимание принципов реализации систем мониторинга (Prometheus, Grafana)
- знание процессов непрерывной интеграции и развертывания (GitlabCI, Jenkins, Artifactory)
- опыт работы в продуктовой команде
Будет плюсом:
- практический опыт работы с технологиями Big Data (Spark, Airflow, Hadoop, Hive, MPP (YDB, Greenplum, Teradata, Vertica), S3, Kafka, Flink, etc.)
- понимание архитектуры маркетплейсов Yandex Cloud, AWS, GCP и их основных компонент, связанности компонент между собой
- понимание процессов взаимодействия с пользователями provisioning/billing/autorization и внешними сервисами marketplace
- знание Golang
откликнуться:
@golyboglazayaaa_99
#job #Москва #вакансия #middle #senior #Pythonразработчик #BigData #Pythondeveloper #офис #гибрид #fulltime