Data Engineer | Вакансии

📑 Вакансия Data Engineer Удалённо · Полная занятость 💎 Петрович‑Тех ищет Data Engineer для разработки хранилища данных на базе ClickHouse и построения ETL‑процессов: предстоит писать и оптимизировать SQL/NoSQL‑запросы, рассчитывать аналитические показатели в витринах данных, настраивать ClickHouse (шардинг, репликация) и его взаимодействие с Kafka, участвовать в тестировании потоков данных, разрабатывать backend‑сервисы на Java, принимать участие в формировании архитектуры и инструментов работы с данными, обеспечивать контроль качества данных, вести мониторинг и устранять выявленные проблемы. 🧩 Требования: глубокие знания SQL и умение работать с планами запросов, опыт эксплуатации ClickHouse, Kafka и Kubernetes, владение Java, практический опыт создания DWH и Data Lake, опыт построения и развития высоконагруженных систем; в работе используются ClickHouse, Python, AirFlow, Spark, Yandex Cloud, Big Data, FastAPI/Flask API. 📩 Резюме отправлять: hr@petrovich.tech 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Senior Data Engineer Удалённо, необходимо право на работу в стране проживания · Полная занятость 💎 Trust Wallet ищет Senior Data Engineer для построения и масштабирования платформы данных, обеспечивающей аналитику в компании: предстоит проектировать и поддерживать масштабируемую и безопасную инфраструктуру данных на Databricks (включая потоковые и пакетные нагрузки), разрабатывать и поддерживать пайплайны данных на Python и Spark для автоматизации сбора и трансформации данных из внутренних систем, внешних провайдеров и он‑чейн источников, проектировать и вести размерностные модели данных и слои трансформаций в dbt с тестированием и документированными контрактами, управлять слоями data lake и lakehouse (эффективное хранение, партиционирование, контроль качества, мониторинг и алерты), интегрировать Databricks с различными источниками данных (CDC из операционных БД, сторонние API, блокчейн‑данные), адаптировать потоки данных под бизнес‑задачи, оптимизировать производительность, надёжность и стоимость хранения и обработки на масштабе, применять практики управления данными, безопасности и соответствия требованиям (контроль доступа, шифрование, мониторинг), взаимодействовать с инженерами и аналитиками, документировать инфраструктуру, модели и лучшие практики. 🧩 Требования: от 3 лет опыта в роли Data Engineer с практическим сопровождением продакшн‑пайплайнов и архитектурой lakehouse или хранилища данных; уверенный практический опыт с Databricks, Delta Lake и Spark (потоковая и пакетная обработка, понимание, когда что применять); понимание размерностного моделирования, медленно меняющихся измерений и проектирования хранилищ данных, умение обосновывать гранулярность моделей; опыт работы с dbt или аналогичным фреймворком для трансформаций, тестирования и отслеживания происхождения данных; сильные знания облачных основ (управление идентификацией и доступом, объектное хранилище, сети, инфраструктура как код); работа на AWS (опыт с Azure или GCP также подходит); уверенное владение Python и SQL для написания продакшн‑трансформаций, сервисов и коннекторов; опыт внедрения практик контроля качества, мониторинга и управления данными в облачных средах. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Инженер данных (Middle+) Удалённо в РФ · Полная занятость 💎 Дринкит ищет Middle+ инженера данных для построения и развития ETL/ELT‑пайплайнов (batch и стриминг), проектирования моделей данных (факты, измерения, агрегатные витрины, историзация), создания витрин под задачи по скорости обслуживания, выручке, поведению гостей и эффективности кофеен и бариста, синхронизации схем и слоёв данных совместно с командой дата‑инженеров Додо Инжиниринга, поддержки MLOps (подготовка фичей, пайплайны обучения/обновления моделей, мониторинг и алертинг), а в перспективе — разработки аналитических мини‑аппов на Python (FastAPI). 🧩 Требования: глубокая экспертиза в одном из направлений — MLOps, Streaming или проектирование архитектуры хранилищ данных с нуля; от 4 лет коммерческого опыта в роли Data Engineer/ETL‑разработчика; сильный SQL (сложные джоины, оконные функции, CTE, базовая оптимизация); уверенный Python для обработки данных и простых сервисов (pandas/PySpark); опыт работы со Spark или аналогом; базовое понимание Kafka и умение строить и отлаживать стриминговые пайплайны (консьюмеры, топики, партиции, отставания); проактивность, техническое любопытство, готовность брать ответственность за витрины/сервисы/пайплайны, умение взаимодействовать с аналитиками и менеджерами. Плюсом будет опыт разработки Python‑сервисов и API (FastAPI, Streamlit), знакомство с BI‑системами (Superset и аналоги), опыт работы в продуктовых, B2C‑командах, e‑commerce, ритейле или foodtech. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer (HR‑отчётность) Удалённо · Полная занятость 💎 Альфа-Банк ищет Data Engineer для развития DWH HR‑отчётности: в задачи входит проектирование и масштабирование корпоративного хранилища данных, интеграция источников и консолидация данных из учётных систем (в том числе SAP HCM/SAP BW), проектирование витрин данных на основе требований бизнеса и топ‑менеджмента, внедрение процессов Data Quality и Data Governance для обеспечения качества данных. 🧩 Требования: опыт в области DWH, ETL или Data Engineering от 3 лет, практический опыт проектирования и развития хранилищ данных, уверенное владение PostgreSQL, MS SQL, Python (для обработки данных, интеграций и автоматизации), Apache Airflow, Kafka, Git, приверженность подходу Data Governance, умение самостоятельно принимать, документировать и внедрять решения в промышленную эксплуатацию; преимуществом будет понимание принципов хранения данных в SAP HCM/SAP BW, требований BI‑систем к структуре и качеству данных, а также основных метрик HR‑отчётности. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Lead Data Engineer Удалённо · Полная занятость 💎 RWB (Wildberries & Russ) ищет Lead Data Engineer для руководства командой дата‑инженеров (распределение задач, декомпозиция), выстраивания рабочих процессов и технологических стандартов, проектирования и развития архитектуры обработки и хранения данных, организации сбора и обработки данных для продуктовых команд и аналитиков, обеспечения качества и своевременной доставки данных, поддержки BI‑команды в задачах, связанных с данными. 🧩 Требования: опыт в Data Engineering от 5 лет, опыт руководства командой либо замещения руководителя, навыки проектирования хранилищ данных и пайплайнов обработки, широкий технический кругозор в инструментах работы с данными, умение выстраивать процессы и взаимодействовать со смежными командами, продуктовый подход к работе с данными. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer (Middle) Удаленно · Полная занятость 💎 Ozon ищет Data Engineer в команду операционных прогнозов для работы над задачами операционного прогнозирования в ритейле: предстоит писать алгоритмы обработки больших данных (сотни миллионов строк), исследовать и подготавливать данные, оптимизировать вычисления, продуктивизировать и сопровождать алгоритмы, выполнять ревью кода и анализ инцидентов; проекты команды влияют на прогноз спроса, управление запасами, логистику, планирование смен и другие операционные процессы. 🧩 Требования: опыт работы в роли Data Engineer от 2 лет, высшее математическое или техническое образование, уверенное владение Python, PySpark и SQL, знание устройства Hadoop, HDFS и Hive, опыт работы с системами контроля версий (Git). 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Дата‑инженер Удаленно · Полная занятость 💎 ОК ищет дата‑инженера для построения и оптимизации ETL‑процессов на базе стека YTsaurus, рефакторинга существующих процессов, выполнения ad hoc‑задач по выгрузкам и подготовке данных с их автоматизацией при необходимости, участия в доработках платформы и фреймворка расчётов, разработки отчётов в Superset, автоматизации процессов с использованием LLM; команда работает с 30 PiB данных и более чем 1000 ежедневных расчётов, строит витрины и отчёты, готовит данные для A/B‑тестов, передаёт данные бизнес‑юнитам и переводит расчёты на новые технологии. 🧩 Требования: опыт работы с SQL и большими объёмами данных, опыт построения сложных ETL‑процессов, знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем; желательно — опыт работы с ClickHouse, Spark, Hadoop‑стеком, Java, Airflow; плюсом будет опыт работы с YTsaurus, YQL, LLM. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer Удалённо · Полная занятость 💎 2ГИС ищет Data Engineer для разработки с нуля MVP корпоративной дата-платформы и инфраструктуры загрузки и трансформации данных. Предстоит переносить пайплайны с Hadoop/HDFS на архитектуру на базе S3, Kafka, Spark и ClickHouse, работать с большими объёмами данных и высоконагруженными Kafka-топиками, строить отказоустойчивые процессы обработки и доставки данных, участвовать в проектировании архитектуры и внедрении практик хранения, мониторинга и контроля качества данных. Также нужно создавать OLAP-витрины для продуктовой и управленческой аналитики и сопровождать миграцию BI-отчётов в DataLens и Power BI. 💬 Резюме отправлять @kivaiko

⚠️ Если работодатель просит войти в их систему через iCloud/Google, прислать код, запустить код/ПО - это мошенники. Обязательно пишите в поддержку.

🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Senior Data Engineer Удаленно в РФ · Полная занятость 💎 В Русал и Эн+ предстоит участвовать в формировании и развитии архитектуры хранения и обработки данных в корпоративном хранилище на платформах Greenplum и ClickHouse, руководить командой из 4 дата‑инженеров (распределять задачи, контролировать сроки, проводить код‑ревью, заниматься менторством), выстраивать коммуникации со смежными командами, проектировать, разрабатывать и аудировать ETL‑потоки данных (включая SQL‑ и Python‑скрипты, Airflow DAG’s), автоматизировать процессы построения структуры КХД и разработки ETL‑потоков за счёт развития ETL Framework на Python. Стек: Greenplum, Airflow, 1C:Предприятие, OpenMetaData, GitLab, Zabbix. 🧩 Требования: высшее IT, инженерное или математическое образование, опыт от 3 лет в роли архитектора, Team Lead Data Engineer или Senior Data Engineer в сфере Data Architecture/DWH/ETL, высокий уровень владения SQL (в том числе оптимизация сложных запросов), знание теории корпоративных хранилищ данных и моделей КХД (Inmon, Kimball, DV2, Star, Snowflake), практические навыки организации загрузки данных в КХД, понимание различий ETL/ELT, уверенные навыки разработки на Python под Airflow, работы с Git и написания документации. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer Удаленно · Полная занятость 💎 Авиасейлс ищет Data Engineer для подключения новых источников данных и разработки/модернизации data pipelines, настройки и поддержки аналитического окружения, обмена данными с внешними и внутренними сервисами, совместной модернизации дата‑платформы с core‑командой, работы в паре с продуктовым дата‑инженером; платформа построена по принципам LakeHouse‑архитектуры, используется стек Spark, Trino, AWS S3, DeltaLake, DBT, Kafka, Airbyte, Apache Airflow, DataHub, деплой — в Kubernetes (EKS в AWS). 🧩 Требования: опыт работы инженером данных от 2 лет, уверенное владение Python и SQL, опыт разработки процессов тестирования данных, умение строить высоконагруженные streaming‑ и batch‑пайплайны; плюсом — опыт с Apache Spark, Apache Airflow, Trino, Kubernetes, Terraform и AWS; важны самостоятельность, ответственность, навыки коммуникации с разными командами, готовность выстраивать рабочие процессы, а также опыт работы с ИИ‑агентами (Claude Code, Codex и др.). 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

🔴Собес на Дата Инженера с нанимающим из Сбера в субботу в 15:00 17 октября (в эту субботу!) в 15:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle Дата Инженера. Как это будет: 📂 Максим Костин, ведущий инженер данных в Сбере, ex-VK проведет собес на дата инженера; 📂 Максим будет задавать реальные вопросы с секций, которые проводил сам и комментировать ответы; 📂 В конце можно будет задать любой вопрос Максиму. Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для разработчиков, которые хотят сменить работу, повысить свой грейд, ЗП и прокачать скиллы. Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_de_bot Реклама. О рекламодателе.

📑 Вакансия Data Engineer Удалённо · Полная занятость 💎 Nitka Technologies ищет Data Engineer для долгосрочного проекта клиента из Калифорнии — лидера рынка продажи билетов на мероприятия в Европе и США: предстоит вести сбор требований с бизнес‑стейкхолдерами, проектировать модели данных по паттернам medallion‑архитектуры (bronze/silver/gold), строить и оптимизировать ETL/ELT‑пайплайны с dbt, настраивать проверки качества данных (Great Expectations), оптимизировать Spark‑джобы под SLA, диагностировать проблемы в многосистемных пайплайнах, поддерживать документацию и runbook’и. 🧩 Требования: от 5 лет опыта в Data Engineering, продвинутое владение Python, Spark и SQL, опыт работы с AWS и Databricks, знание Kafka и инструментов современного Data‑стека (dbt, Airflow или аналогов), понимание dimensional‑моделирования (star/snowflake‑схемы), принципов проектирования хранилищ данных и архитектур (lambda, kappa, lakehouse), умение структурировать задачи для работы с ИИ‑ассистентами, знание топологий систем; уровень английского — Intermediate и выше. 📩 Резюме отправлять: sales@nitka.com 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer Удалённо (Грузия, Казахстан, Литва, Польша, Узбекистан) · Полная занятость 💎 Itransition ищет Data Engineer для решения сложных технических задач и разработки качественных программных систем с применением современных технологий: работа с данными в production‑среде, поиск первопричин сбоев, преобразование и валидация больших объёмов данных, взаимодействие с REST‑API, загрузка и выгрузка данных, работа с сериализованными и сжатыми форматами. 🧩 Требования: от 2 лет опыта с Python и библиотеками для работы с данными (pandas, multiprocess, Google Cloud SDK); от 2 лет в ETL/ELT‑технологиях (REST API, GraphQL, DBT) и оркестрации пайплайнов (Airflow, Astronomer, DBT Cloud); практический опыт со Snowflake; уверенное владение SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake); работа с форматами JSON, AVRO, XML, CSV, а также со сжатыми и закодированными файлами; навыки загрузки данных через REST‑API и выполнения трансформаций; достаточный уровень английского для работы в международной среде; плюсом — опыт проектирования пайплайнов в облачной архитектуре, работы с CI/CD и GIT. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Data Engineer Удалённо · Полная занятость 💎 HelioCore ищет Data Engineer для поддержки и развития решения по обогащению данных на основе event sourcing, построения витрин данных с использованием Airflow, dbt и Materialized Views в ClickHouse, внедрения проверок качества данных, автоматизации рутинных задач, внедрения стандартов Data Engineering и ведения технической документации. 🧩 Требования: от 3 лет опыта в data engineering, уверенное владение SQL (сложные аналитические запросы, оптимизация), сильный Python (фундаментальные знания и опыт с библиотеками для DE — pandas, SQLAlchemy, PySpark), опыт разработки production‑кода (ООП, архитектура приложений, тестирование, Git, CI/CD), практический опыт работы с Airflow (создание и поддержка DAG), dbt (модели, тесты, макросы), ClickHouse (движки таблиц, Materialized Views, тюнинг производительности), Kafka (продюсеры/консьюмеры, топики и партиционирование, гарантии доставки), опыт с инструментами контроля качества данных (dbt tests, Great Expectations, Soda), ориентация на результат и ответственность за итоги работы. 🌐 Откликнуться 🔮 POSTER — бесплатно постим IT-вакансии

📑 Вакансия Разработчик витрин / Data‑инженер Удалённо в РФ · Полная занятость 💎 Компания Selecty ищет Data‑инженера / разработчика витрин для разработки витрин (70–80 % задач), сопровождения на уровне 3‑й линии (20–30 %), поднятия витрин в MVP с нуля, реализации витринной разработки и интеграции с командой веба. 🧩 Требования: опыт работы дата‑инженером от 3 лет, продвинутый уровень работы с GreenPlum либо аналогичными БД на MPP, навыки работы с Airflow и Python, обязательный опыт работы с S3, понимание интеграций со стеком BigData/Spark. 🌐 Откликнуться

📢 Обновили формат вакансий Теперь вакансии выходят короче. Только самое важное: тип занятости, вилка, стек, сжатое описание и требования. Как и всегда, публикуем только вакансии с удалённой работой. HR и рекрутерам: разместить вакансию в наших каналах можно бесплатно, и теперь это ещё проще. 🤖 Отправьте вакансию в бота POSTER IT-вакансий, и мы сами оформим её и опубликуем в подходящем канале в удобное время. Без переписки в личке. 👉 Разместить вакансию бесплатно: @vakansii_it_bot

Вакансия Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Gismart 🟦Описание вакансии FitMe — это фитнес-приложение, созданное для людей, которые хотят оставаться активными без длительных и монотонных тренировок. Оно предлагает короткие, простые в выполнении упражнения, которые можно делать дома без какого-либо оборудования. 🟦Задачи – Поддержка заинтересованных сторон: проверка данных по мере необходимости, расследование расхождений между панелями мониторинга, обеспечение доступности платформы бизнес-аналитики. – Разработка и поддержка ETL/ELT-конвейеров для аналитических отчетов (когортичный доход, LTV, удержание, KPI по креативам, аналитика после покупки). – Поддержка моделей атрибуции (сопоставление веб- и мобильных приложений, определение многолокальных групп затрат, события последнего клика и необработанные события). – Интеграция с внешними источниками: Meta Marketing API, AppsFlyer, AppMetrica, Stripe, Tableau Server (TSC), Birch. – Обеспечение качества данных: проверка схемы/актуальности/объема, обнаружение неработающих снимков, фильтрация для защиты от бот-трафика. Оптимизация производительности запросов и процедур в Redshift. – Взаимодействие с командой бизнес-аналитики, аналитиками по продуктам, привлечению пользователей и выставлению счетов. 🟦Требования – Опыт работы в коммерческой сфере в области проектирования данных / аналитического проектирования / разработки бизнес-аналитики от 1 до 2 лет. – Опыт работы с концепциями хранилищ данных, озер данных и домов данных на берегу озера. – Подтвержденный опыт проектирования, внедрения и поддержки ETL/ELT-конвейеров. – Опыт работы с WS, Amazon Redshift, Apache Airflow. – Продвинутый SQL, практический опыт проектирования кода на Python для использования в производственной среде. – Готовность работать с бизнес-логикой (подписка, монетизация, атрибуция) — при поддержке команды. 🌐 Откликнуться

Вакансия Senior Data Engineer 🟢Удаленно (Польша, Португалия, испания, Украина)🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Intellias 🟦Описание вакансии Мы ищем старшего инженера по обработке данных для работы в команде Intellias над масштабной программой миграции корпоративной платформы данных для клиента из финансового сектора. Это практическая руководящая должность. Вы будете еженедельно писать код для продакшена, принимать архитектурные решения в рамках своей работы и наставлять коллегу — инженера среднего уровня. 🟦Задачи – Обеспечьте сквозную доставку одного или нескольких приоритетных доменов данных в Azure Databricks. – Разработка и создание конвейеров обработки данных уровня Medallion (Bronze/Silver/Gold) с использованием декларативных конвейеров Lakeflow, Auto Loader, Structured Streaming и Delta Lake с кластеризацией Liquid. – Зарегистрируйте отобранные данные в каталоге Unity с указанием правильных тегов, масок, фильтров строк, происхождения и политик доступа. – Внедрить контрольные точки качества данных на границе между «серебряным» и «золотым» уровнями и уточнить правила совместно с экспертами в данной области. – Упаковка и развертывание проектов с использованием Databricks Asset Bundles через Azure DevOps CI/CD. – Разрабатывайте автоматизированные тесты и документацию. – Начните работать на уровне ИИ как соавтора уже сегодня, а затем перейдите к ИИ как оркестратору, используя Claude Code, Databricks Assistant, GitHub Copilot и инструменты агента, подключенные к MCP, для ускорения повторяющихся этапов сборки, тестирования и развертывания конвейера. 🟦Требования – Более 6 лет опыта работы в области проектирования данных, из которых как минимум последние три года — с использованием Databricks в производственной среде. – Обширный практический опыт работы с архитектурой Medallion/Lakehouse, Delta Lake, Unity Catalog, декларативными конвейерами Lakeflow и пакетами ресурсов Databricks. – Уверенное владение Python, PySpark и SQL, умение диагностировать проблемы производительности в больших рабочих нагрузках с помощью Spark UI и Photon. – Реальный опыт работы в производственной среде с потоковой обработкой данных (Kafka Structured Streaming, Auto Loader) и использованием алгоритмов CDC. – Опыт внедрения систем обеспечения качества данных в масштабах предприятия (Great Expectations или аналогичные), а также опыт в области отслеживания происхождения данных, каталогизации и контроля доступа. – CI/CD на платформах данных с использованием Azure DevOps или GitHub Actions, с инфраструктурой как кодом (Terraform или аналогичные решения). – Свободное владение рабочим английским языком. 🌐 Откликнуться

Вакансия Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Wildberries 🟦Задачи – Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ; – Обеспечивать полноту и качество потоков: контролировать lag, пропуски, дубли, объёмы, freshness, расхождения между источником и целевым хранилищем; участвовать в восстановлении и дозагрузке данных; – Развивать batch-пайплайны в Apache Airflow: регуляторные выгрузки день в день, bulk-загрузки в Cassandra, проверки полноты, свежести и результатов загрузки; – Подключать новые источники: разбираться в семантике событий, идентификаторах, ключах партиционирования, формате данных, ретенции, владельцах и ограничениях источника; – Cassandra, документация потоков, runbook и постмортемы; – Участвовать в on-call по понятному регламенту: локализовать инциденты, корректно эскалировать, объяснять простои и фиксировать пробелы в сборе данных. 🟦Требования – 2–4 года опыта в Data Engineering либо backend-разработке с практическим переходом в data-направление; – Уверенный SQL и понимание работы с большими объёмами: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест; – Построение корпоративных DWH , понимание слоев данных; – Практический Kafka-опыт: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок, DLQ; – Python для data-задач и Airflow: умение разрабатывать и сопровождать DAG-и, писать идемпотентные задачи, организовывать retries и backfill; – Опыт работы с Java-кодом Flink (Python Flink может быть релевантным как опыт): читать, дорабатывать, отлаживать, разбираться в причинах рестартов, checkpointing и backpressure; – Опыт самостоятельной разработки stateful Flink-пайплайнов будет преимуществом; – Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse; – Для Cassandra: понимание моделирования от паттернов доступа, partition key, TTL, консистентности и особенностей записи; – Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и особенности upsert/merge-семантики; – Опыт сопровождения Airflow-пайплайнов в production; – Привычка к инженерному циклу: тесты, CI/CD, кволитигейт, мониторинг, алерты, анализ причин инцидента и профилактические действия; – Внимательность к SLA и регуляторным ограничениям: если данные нельзя терять, система должна уметь это обнаружить, объяснить и восстановить. 🌐 Откликнуться

Вакансия Senior Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Symfa 🟦Задачи – Разработка, создание и оптимизация масштабируемых ETL-процессов и конвейеров обработки данных. – Разработка и поддержка решений в области бизнес-аналитики, хранилищ данных и аналитических наборов данных. – Разработка и оптимизация сложных SQL-скриптов, процедур и рабочих процессов обработки данных. – Управляйте рисками и зависимостями, выявляя технические и эксплуатационные угрозы, такие как качество данных, согласование с устаревшими системами и пропускная способность, информируйте о них заинтересованные стороны и предлагайте прагматичные меры по их смягчению на ранних этапах. – Согласуйте действия всех заинтересованных сторон, определив и согласовав подходы и компромиссы, представив варианты и рекомендации, а также проведя демонстрации для подтверждения прогресса и демонстрации ценности. – Обеспечивайте техническое руководство с непосредственным участием в реализации проектов, проверяя и контролируя архитектуру, проекты, код и SQL-заметки, а также внедряя критически важные компоненты для обеспечения стабильного качества. 🟦Требования – Минимальный опыт работы в области проектирования данных — 5 лет, из которых не менее 2-3 лет — в облачной экосистеме Azure. – Эксперт в SQL с подтвержденной способностью писать и оптимизировать сложные аналитические запросы, хранимые процедуры и функции. – Глубокие знания PySpark и Python для обработки больших объемов данных и построения ETL/ELT-конвейеров. – Понимание принципов организации данных в рамках озера данных (уровни Raw, Silver, Gold) – Опыт администрирования и разработки в средах с управляемыми экземплярами. – Знание методологий моделирования данных (Кимбалла/Инмона), понимание концепции медленно изменяющихся измерений (SCD) и управления историей изменений. – Глубокое понимание архитектуры корпоративного хранилища данных, включая проектирование таблиц измерений и фактов, а также создание агрегированных слоев данных. – Опыт работы с финансовыми/страховыми данными, понимание процессов закрытия месяца, сверки данных и логики финансовых расчетов. – Опыт проведения анализа кода, проектирования архитектуры конвейера и контроля технического качества результатов работы команды. – Опыт работы в командах Scrum, умение декомпозировать высокоуровневые бизнес-цели на конкретные технические задачи (пользовательские истории/задачи) и управлять планом выполнения. – Уровень владения английским языком: B2 или выше. 🌐 Откликнуться