Data Engineer | Вакансии

Вакансия Data Engineer в команду SMT 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию 2ГИС 🟦Описание вакансии Мы строим корпоративную дата‑платформу следующего уровня — новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark) и постепенно переносим существующие пайплайны на новую платформу. 🟦Задачи – Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform. – Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse). – Работать с большими объёмами данных и высоконагруженными Kafka‑топиками. – Строить отказоустойчивые пайплайны обработки и доставки данных. – Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных. – Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP). – Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI). 🌐 Откликнуться

Вакансия Data / ML Platform Engineer (Middle+ / Senior) 🟢Удаленно в РФ🟢Полная занятость 🟢от 280 000 до 400 000 р. гросс 🟢В компанию AstraTech 🟦Описание вакансии HealthTech стартап создает продукт поддержки врачебных решений, который делает процессы в здравоохранении эффективнее и помогает врачам принимать более точные решения 🕊 Сейчас команда строит Data Platform и ML / LLM Platform. Это единый путь данных: от загрузки из разных источников до измеренного результата модели. Команда ищет инженера, который возьмет на себя подготовку данных и инструменты для ML-команды и сможет сам проводить эксперименты с моделями. 🟦Задачи – Разрабатывать Python / SQL-пайплайны загрузки и обработки данных из файлов, API и информационных систем. – Проектировать таблицы хранилища: сущности, связи, правила преобразования. – Встраивать псевдоанонимизацию и проверки качества в потоки данных. – Готовить признаки и версионируемые train/validation/test-выборки. – Обеспечивать прослеживаемость и воспроизводимость ML / LLM-экспериментов. – Вместе с ML-командой развивать оценку моделей, подготовку данных для RAG и дообучения. 🟦Требования – Уверенные Python и SQL, поддерживаемый код за пределами ноутбуков. – Практический опыт ETL / ELT: оркестрация, инкрементальная обработка, повторные запуски. – Опыт с S3, Parquet, pandas / Polars / PyArrow. – Понимание жизненного цикла ML: выборки, baseline, метрики, проверка утечек. – Опыт с MLflow, ClearML или аналогами; Linux, Git, Docker, CI/CD. – Умение работать с чувствительными данными. 🟦Будет плюсом – Опыт с медицинскими данными, МИС и клиническими справочниками. – Практический NLP / LLM: извлечение данных из текста, embeddings, RAG. – PyTorch / Hugging Face, дообучение и inference на GPU. – Опыт превращения исследовательского прототипа в регулярный пайплайн. Почему интересно: – Проект, который действительно приносит пользу людям. – Возможность строить платформу с нуля и влиять на архитектуру. – Работа на стыке Data Engineering, MLOps и LLM с современным стеком. 💬 Резюме отправлять: @Inga_IT

Вакансия Data Engineer в Кошелек 🟢 Удаленно 🟢 Полная занятость 🟢 ЗП обсуждается на собеседовании 🟢 В компанию Wildberries и Russ 🟦 Задачи – Развивать платформу данных; – Разрабатывать и оптимизировать ETL/ELT-процессы; – Работать с batch- и streaming-пайплайнами; – Развивать модели данных и хранилище; – Повышать производительность и надежность платформы; – Настраивать мониторинг, алертинг и контроль качества данных; – Автоматизировать эксплуатационные процессы; – Участвовать в технических ревью и развитии инженерных практик команды. 🟦 Требования – Уверенное владение Python и SQL; – Опыт работы с Spark, Clickhouse, Hadoop, Kafka, Greenplum, S3 (Ceph, Minio); – Опыт написания DAG-ов для Airflow; – Опыт работы с Docker и K8S; – Навыки работы с Linux; – Навыки работы с Git. 🌐 Откликнуться

Вакансия Data Engineer Middle+/Senior 🟢Удаленно🟢Полная занятость 🟢от 200 000 до 290 000 р. + премии 🟢В компанию ggsel Проект - маркетплейс цифровых товаров 🟦Задачи Разработка и поддержка пайплайнов – Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse. – Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных. – Построение слоёв данных с использованием dbt. – Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий. Оптимизация хранилища и производительности – Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест. – Оптимизация SQL-запросов для снижения нагрузки на БД. – Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O. – Контроль стоимости хранения. Администрирование и надёжность – Обеспечение отказоустойчивости: настройка репликации и бэкапов. – Мониторинг состояния пайплайнов и баз данных. – Оперативное реагирование на инциденты. 🟦Требования Глубокое знание ClickHouse – Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения . – Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции. – Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний. Инструменты ETL/ELT и Оркестрация – Оркестрация: Управление сбором данных через Apache Airflow. – Трансформация: Опыт работы с dbt для построения слоев данных. Языки и Инфраструктура – Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API. – SQL: Владение на уровне эксперта (аналитические запросы, оптимизация). – Инфраструктура: Docker (для развертывания ClickHouse), Git.   🟦Мы предлагаем – Удаленная работа из любой точки мира. – Конкурентная зарплата + performance премия 2 раза в год. – Гибкий график и фокус на результат. – Оплата обучения, курсов и конференций. – Возможность реально влиять на продукт и команду. 🌐 Откликнуться

Вакансия Middle Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Aristek Systems 🟦Задачи – Разработка, создание и поддержка надежных конвейеров обработки данных и процессов ETL/ELT для поддержки различных источников данных, включая структурированные и неструктурированные данные, с обеспечением высокого качества и целостности данных. – Создание и управление масштабируемыми архитектурами данных, обеспечивающими частые преобразования и манипуляции данными в сложных средах с множеством источников. – Тесное сотрудничество с аналитиками данных, специалистами по обработке данных и другими заинтересованными сторонами для обеспечения соответствия конвейеров обработки данных потребностям бизнеса. – Мониторинг, устранение неполадок и оптимизация конвейеров обработки данных для обработки крупномасштабных и разнообразных наборов данных, включая системы обработки в реальном времени и пакетной обработки. – Обеспечение соответствия стандартам управления данными, безопасности и конфиденциальности, внедрение передовых методов отслеживания происхождения данных, контроля доступа и аудита. – Постоянное отслеживание новых технологий обработки данных, фреймворков ИИ и передовых методов для непрерывного улучшения инфраструктуры и рабочих процессов. 🟦Требования – Разработка конвейеров обработки данных: Опыт создания масштабируемых автоматизированных конвейеров обработки данных с использованием методологий ETL/ELT, опыт работы со сложными преобразованиями данных и частыми манипуляциями с данными. Хороший опыт работы с Databricks. – Источники и форматы данных: Опыт работы с широким спектром источников данных, включая реляционные базы данных, NoSQL, API, потоковые данные (например, Apache Kafka) и неструктурированные форматы данных. – Программирование и скриптинг: Уверенные навыки программирования на Python (pySpark, SparkSQL), SQL. – Большие данные и облачные платформы: Практический опыт работы с фреймворками для обработки больших данных (Apache Spark) и облачными платформами (IBM Cloud, AWS, Azure, Google Cloud) для масштабируемой обработки и хранения данных. – Автоматизация и оркестровка: Знание инструментов оркестровки рабочих процессов, таких как Apache Airflow или Dagster, для планирования, управления зависимостями и восстановления после сбоев. – Качество и управление данными: Особое внимание уделяется качеству данных, происхождению данных, соответствию нормативным требованиям (GDPR, CCPA) и передовым методам обеспечения безопасности, включая шифрование и управление доступом на основе ролей. – Решение проблем в сложных средах: Способность ориентироваться и решать проблемы, связанные с крупномасштабными, гетерогенными экосистемами данных, обеспечивая надежность и производительность конвейера обработки данных в сложных условиях. 🌐 Откликнуться

Вакансия Senior Data Engineer (AI / LLM focus) 🟢Удаленно в РФ🟢Проектная занятость 🟢от 350 000 до 400 000 р. gross (ИП) 🟢В компанию TopSelection 🟦Описание вакансии Ищем сильного Data-инженера для прототипирования корпоративных AI-ассистентов. Это роль на стыке классического DE и AI: нужно не просто строить пайплайны, но и готовить контекст для LLM, оценивать качество RAG и бороться с галлюцинациями. 🟦Задачи – Готовить данные (API, SQL, файлы) и собирать прототипы для AI-ассистента до передачи в продакшен. – Подготавливать контекст для RAG, тестировать поиск и сопоставление сущностей. – Формировать golden dataset и автоматизировать тестирование ассистента (массовый прогон сценариев). – Считать метрики качества (retrieval, hallucinations) и локализовывать причины ошибок. 🟦Требования – 5+ лет опыта в Data Engineering / разработке аналитических решений. – Уверенный Python и SQL, опыт с API, ETL/ELT, DWH. – Понимание принципов LLM, RAG, retrieval, embeddings (опыт работы — жирный плюс, но если глубоко погружен в тему — welcome). – Умение быстро собирать PoC, исследовать источники и находить нестандартные решения. 💬 Резюме отправлять: @AllaDemHR

Вакансия Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Aston 🟦Задачи – выполнять задачи полного жизненного цикла: от сбора требований до выкатки на установку в прод; – разрабатывать и дорабатывать витрины и решения, автоматизировать их через оркестраторы; – изменять алгоритм расчета показателей, оптимизировать код; – проводить анализ качества данных; – разрабатывать дата-продукты и визуальные формы; – тестировать функционал и передавать его заказчику; – подготавливать Adhoc-выгрузки по требованиям заказчиков. 🟦Требования – опыт работы в роли Data Engineer от 3-х лет; – знание SQL (Oracle, Postgres, GreenPlum), Hadoop (HDFS, Hive, Impala); – отличные знания PySpark - уровень выше среднего, умение оптимизировать код; – знание инструментов обработки и трансформации данных: PySpark, Apache Airflow; знания теории баз данных; – умение структурировать и анализировать информацию; – знание основ банковской деятельности; – знание принципов работы моделей (DS). 🌐 Откликнуться

Вакансия Data Engineer 🟢Удаленно в РФ🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию ВсеИнструментыру 🟦Описание вакансии Мы ищем инженера, который будет развивать корпоративную платформу данных и DWH компании: модернизировать ETL-ландшафт, переводить процессы с SSIS на Apache Airflow 3 и внутренний Python-фреймворк, а также делать работу с данными надежнее и удобнее для аналитических команд. 🟦Задачи – Развивать корпоративную платформу данных и DWH; – Переводить существующие ETL-процессы с SSIS на Apache Airflow 3 и внутренний YAML-driven Python-фреймворк; – Разрабатывать и поддерживать надежные data-пайплайны; – Обеспечивать стабильную промышленную эксплуатацию: retry, backfill, идемпотентность, дедупликацию и корректную обработку сбоев; – Развивать проверки качества данных; – Оптимизировать SQL и работу с Microsoft SQL Server; – Развивать CI/CD-процессы для работы с данными; – Создавать переиспользуемые инструменты и self-service решения для аналитических команд; – Участвовать в развитии архитектуры DWH и подходов к моделированию данных. 🟦Требования – Опыт работы Data Engineer от 3 лет; – Уверенный SQL и практический опыт работы с Microsoft SQL Server; – Python: ООП, модульная архитектура, type hints, тестирование, логирование, работа с REST API и БД; – Опыт работы с Apache Airflow или другим промышленным оркестратором; – Опыт работы с dbt или аналогичным SQL transformation framework; – Понимание ETL/ELT, batch- и near-real-time-обработки; – Умение строить надежные и отказоустойчивые data-пайплайны; – Опыт Git и CI/CD; – Опыт реализации Data Quality-проверок; – Понимание архитектуры DWH и организации слоев данных; – Знание подходов к моделированию данных: Kimball, Inmon, Data Vault, Anchor Modeling. 🌐 Откликнуться

Вакансия Дата-инженер 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Action tech 🟦Задачи – Разрабатывать и дорабатывать ETL-процессы в Airflow – Подключать новые источники данных – Создавать и дорабатывать витрины – Оптимизировать SQL-запросы в GreenPlum и PostgreSQL – Работать с большими объемами данных – Развивать процессы контроля качества данных 🟦Требования – От 1 года опыта работы с данными – Отличное знание SQL: JOIN, оконные функции, процедуры – Умение профилировать и оптимизировать запросы, понимать план выполнения – Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM – Практический опыт работы с Airflow и ETL-процессами – Python на базовом уровне – Знание Linux и умение работать с командной строкой – Опыт работы с Git – Понимание принципов работы Docker 📩 Резюме отправлять:  hr@action.tech

Вакансия Дата- инженер 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Лоция 🟦Задачи – проектированием и разработкой слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин); – разработкой и внедрением кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python; – формализацией бизнес-правил качества данных в код, настройкой уровней доверия к источникам и правил выживания (survivorship rules); – внедрением Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора; – настройкой автоматизированного тестирования данных (Data Quality checks) в пайплайнах. 🟦Требования – SQL и трансформации: Продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных; – Python для данных: Уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга; – Fuzzy Matching: Практический опыт применения библиотек нечёткого поиска и связывания записей (например, Splink, recordlinkage, dedupe, theFuzz); – алгоритмы: Понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах); – моделирование данных: Глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных; – Data Quality: Опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги); – оркестрация и DevOps: Опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов. 🌐 Откликнуться

Вакансия Senior Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Velvetech 🟦Описание вакансии Мы ищем старшего инженера по обработке данных с глубокими знаниями Python и SQL. Вы будете проектировать, внедрять и оптимизировать конвейеры обработки данных и процессы ETL, обеспечивая высокую производительность, масштабируемость и надежность. Это полностью удаленная позиция с гибкими условиями работы. 🟦Задачи – Разработка и оптимизация ETL-процессов с использованием Python и SQL. – Разработка и внедрение масштабируемых конвейеров обработки данных для обработки различных источников данных. – Работа с реляционными базами данных (например, PostgreSQL, Oracle) для обеспечения эффективного хранения и извлечения данных. – Оптимизируйте SQL-запросы и скрипты Python для повышения производительности и удобства сопровождения. – Внедрите надежную обработку ошибок, ведение журналов и мониторинг для конвейеров обработки данных. – Взаимодействовать с межфункциональными командами для интеграции и управления источниками данных. 🟦Требования – Более 5 лет опыта в области проектирования данных. – Навыки работы с Python и SQL на экспертном уровне – умение писать эффективный, масштабируемый и поддерживаемый код. – Обширный опыт в проектировании ETL-процессов и работе с большими массивами данных. – Глубокое понимание оптимизации производительности баз данных и оптимизации запросов. – Опыт работы с моделированием данных и проектированием схем. – Знание решений для облачного хранения данных (Azure, AWS или GCP). – Высокие навыки решения проблем и способность работать самостоятельно. – Желательно: опыт работы с PySpark, оркестраторами и знание CI/CD для автоматизации процесса развертывания. 🌐 Откликнуться

Вакансия Senior Data Engineer 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Tabby 🟦Описание вакансии Мы ищем инженера данных в команду Data Services, который поможет нам создавать наши внутренние решения, такие как Feature Store, и будет готов выполнять операционные задачи. 🟦Задачи – Функции разработки: хранилище и другие будущие сервисы обработки данных; – Разработка конвейеров EL/ELT/ETL; – Интеграция новых инструментов для обработки и хранения данных. 🟦Требования – Опыт работы от 3 до 5 лет в качестве инженера по данным, инженера по машинному обучению, бэкенд-инженера; – Опыт разработки высокопроизводительных и масштабируемых систем обработки и хранения данных; – Хорошие знания и опыт работы с системами управления событиями и потоковыми конвейерами обработки данных; – Python + лучшие практики для Python; – SQL + лучшие практики работы с SQL; – Передовые методы проектирования систем; – Знание технологического стека, включающего Airflow, Debezium, BigQuery / Clickhouse, PostgreSQL / CockroachDB, Docker, GitLab (CI/CD), GCP; – REST API / GRPC API / Брокеры сообщений и очереди. 🌐 Откликнуться

Вакансия Data Engineer (ON Медиа, КИОН) 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию МТС 🟦Задачи – Разработка и рефакторинг ETL/ELT пайплайнов на pyspark; – Разработка и поддержка OLAP движков Starrocks/Clickhouse; – Поддержка текущих пайплайнов на Greenplum и Hadoop; – Миграция с HDFS на S3; – Оптимизация spark-приложений. 🟦Требования – Опыт работы с Python от 3 лет; – Глубокое знание SQL и опыт работы с большими данными; – Опыт работы с Apache Airflow; – Опыт проектирования и разработки ETL/ELT процессов; – Опыт работы с колоночными БД (ClickHouse); – Знание принципов построения Data Warehouse и Data Lake; – Понимание разницы между OLTP/OLAP системами; – Уверенная работа c linux и git; – Понимание процессов ci/cd. 🌐 Откликнуться

Вакансия Data-инженер (Medior/Senior) 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Smartcat 🟦Описание вакансии Мы ищем талантливого инженера по обработке данных среднего/старшего уровня для работы в нашей команде. В этой роли вы будете создавать и оптимизировать нашу инфраструктуру хранилища данных с использованием Spark и Databricks, проектировать и внедрять надежные, масштабируемые конвейеры обработки данных, а также обеспечивать эффективную обработку и хранение больших наборов данных. 🟦Задачи – Разработка, создание и поддержка масштабируемых конвейеров обработки данных с использованием Apache Spark и современных платформ обработки данных. – Разработка и оптимизация архитектур хранилищ данных для поддержки рабочих процессов анализа данных и машинного обучения. – Внедрите модели и структуры данных, обеспечивающие качество, согласованность и доступность данных. – Сотрудничайте со специалистами по анализу данных и аналитиками, чтобы понять потребности в данных и предложить решения. – Помогите обеспечить безопасность данных и соответствие действующим нормативным требованиям. – Мониторинг и устранение неполадок, связанных с производительностью и надежностью конвейера обработки данных. – Постоянно совершенствуйте процессы и передовые методы обработки данных. – Взаимодействовать с межфункциональными командами и участвовать в технических дискуссиях. – На руководящей должности вы также будете оказывать техническую поддержку и наставлять младших инженеров. 🟦Требования – Опыт работы с Python или Scala/Java. – Углубленные знания SQL. – Практический опыт работы с Apache Spark, Databricks, Snowflake или Microsoft Fabric. – Понимание концепции и архитектуры хранилища данных (data lakehouse). – Понимание основ распределенных систем. – Навыки моделирования данных и создания хранилищ данных. – Опыт работы с облачными архитектурами данных на платформах AWS, Azure или GCP. – Вам нравится узнавать новое и пробовать разные решения. – Вы цените здоровый баланс между работой и личной жизнью; мы не любим сверхурочную работу. – Вы знаете, когда и как просить о помощи; мы работаем вместе как команда. 🌐 Откликнуться

Вакансия Data-инженер 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию SimbirSoft 🟦Задачи – Проектирование и развитие корпоративного хранилища данных (КХД) – Разработка и оптимизация архитектуры DWH – Проектирование, разработка и сопровождение ETL-процессов – Построение витрин данных под бизнес-задачи – Настройка, оптимизация и мониторинг загрузок данных – Контроль и обеспечение качества данных – Разработка SQL-скриптов, процедур и серверного кода – Участие в проектах миграции и интеграции данных – Интеграция источников через брокеры сообщений и REST API – Подготовка технической документации – Взаимодействие с командами аналитики и BI. 🟦Требования – Высшее / неполное высшее образование – Опыт работы Data Engineer / Архитектором DWH от 4 лет – Опыт проектирования КХД от 1 года (Oracle, PostgreSQL) – Понимание архитектуры и принципов построения DWH – Опыт разработки ETL-процессов – Опыт построения витрин данных – Понимание принципов Data Quality – Экспертное знание SQL (Oracle, PostgreSQL) – Опыт миграции данных с использованием серверного кода – Опыт настройки и оптимизации загрузок – Опыт работы с Apache Kafka, RabbitMQ – Python — обязательно – Русский — свободно, английский — чтение/написание тех. документации. 🌐 Откликнуться

Вакансия Data Engineer (Middle) 🟢Удаленно в РФ (гражданство РФ)🟢Полная занятость 🟢от 150 000 до 170 000 р. 🟢В компанию Кодекс-ИТ Часовой пояс: не более ±2 часов от МСК 🟦Описание вакансии Разработка единой системы оценки эффективности. 🟦Задачи – Разработка решений вокруг DWH – Создание ETL / настройка сбора данных, BI-аналитика – Проработка архитектуры данных и системы для их сбора – Внедрение нового функционала, сокращение техдолга 🟦Требования – Опыт проектирования и построения пайплайнов: Python / Apache Airflow – Интеграция источников с GraphQL, RESTful – Хранение данных в Apache Iceberg / проектирование архитектуры хранения данных – Проектирование архитектуры сбора данных и витрин – Тестирование данных на всех уровнях требований к качеству данных – Настройка метрик и алертов Prometheus / интеграция с внутренними системами оповещений – Знание предметной области 🟦Мы предлагаем – Удаленный формат работы – Интересный проект с архитектурными задачами – Профессиональный рост 💬 Резюме отправлять: @ira_recr

Вакансия Инженер данных 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию IT_One 🟦Описание вакансии Мы ищем инженера данных для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности. 🟦Стек технологий – Хранилище данных и ETL: Greenplum, UI DWH (настройка ETL-загрузки), Airflow – BI-платформа: Power BI (DAX, ролевые модели доступа) – Управление данными и моделирование: Data Vault 2.0, OpenMetadata (каталог данных) – Инструменты и инфраструктура: SQL-клиент (DBeaver или аналог), Git, GitLab, Wiki (Eva или аналог) 🟦Задачи Разработка и сопровождение ETL/ELT-пайплайнов – Самостоятельно реализовывать и сопровождать пайплайны для критичных бизнес-процессов. – Работать с задачами повышенной сложности без постоянного контроля руководителя. – Понимать полный цикл поставки данных: источник → загрузка → трансформация → контроль качества → публикация витрины → эксплуатация → исправление дефектов. – Участвовать в постановке загрузок на регулярное расписание и согласовывать технические решения с аналитиками и владельцами витрин. – Разрабатывать и поддерживать ETL/ELT-процессы в Airflow или аналогичном оркестраторе. – Вносить улучшения в существующие ETL-цепочки: повышать стабильность, снижать время загрузки, устранять избыточные шаги и повторяющиеся ручные операции. Работа с данными и SQL – Уверенно работать с Greenplum или другими MPP-СУБД: сложный SQL, оптимизация запросов, индексы, партиционирование, анализ причин деградации производительности. – Понимать нормализацию, денормализацию, схемы звезда/снежинка и принципы Data Vault 2.0. – Участвовать в проектировании слоев КХД, витрин и интеграций. – Реализовывать пайплайны с учетом требований к надежности, идемпотентности, повторному запуску и полноте загрузки данных. Обработка больших данных (Spark) – Иметь практический опыт работы с Apache Spark: Spark SQL, DataFrame API, пакетная обработка. – Применять базовые приемы оптимизации: партиционирование, кэширование, broadcast join. – Диагностировать типовые проблемы производительности в Spark-задачах. Качество данных и эксплуатация – Выполнять сверки между источниками, слоями КХД и витринами. – Внедрять SQL-проверки полноты, согласованности и корректности данных. – Отслеживать стабильность загрузок, анализировать логи, участвовать в расследовании инцидентов и устранении причин дефектов. – Настраивать базовый мониторинг загрузок, логи и оповещения по критичным сбоям. – Участвовать в автоматизации отладки пайплайнов. – Собирать статистику сроков построения витрин и помогать оценивать возможность SLA по загрузкам и отчетности. – Писать тесты и сверки для ETL-процессов, контролировать полноту, корректность и своевременность загрузок. Документирование и взаимодействие – Документировать потоки данных, правила трансформации, зависимости и эксплуатационные особенности. – Работать в связке с аналитиками данных, тестировщиками, архитектором и владельцами витрин. – Следовать архитектурным стандартам и документировать технические решения. – Понимать подходы к миграции данных между DWH-платформами (например, Oracle → Greenplum или сопоставимые переходы). 🟦Требования – Опыт работы в инженерии данных или ETL-разработке не менее 3 лет, включая промышленную разработку банковских КХД, витрин и интеграционных потоков. – Опыт работы в промышленном ETL-ландшафте: регулярные загрузки, расписания, зависимости, инциденты и сопровождение витрин после внедрения. – Понимание полного цикла поставки данных. – Уверенное владение SQL: сложные запросы, оптимизация, индексы, партиционирование. – Глубокое понимание Greenplum (или других MPP-СУБД): распределение, партиционирование, планы выполнения, анализ деградации производительности. – Понимание схем звезда/снежинка и принципов Data Vault 2.0. – Практический опыт Apache Spark: Spark SQL, DataFrame API, пакетная обработка. – Базовые приемы оптимизации в Spark: партиционирование, кэширование, broadcast join, диагностика проблем производительности. – Python и/или Java для доработки пайплайнов, утилит, проверок качества и автоматизации регламентных операций. – Airflow (или аналогичный оркестратор) — разработка и поддержка ETL/ELT-процессов. – Git и участие в CI/CD-процессах. – Liquibase (или аналоги) для управления схемами и миграциями данных. – Понимание подходов к миграции между DWH-платформами (Oracle → Greenplum и др.). – Аналитическое мышление. – Умение объяснять сложные вещи простым языком. – Умение структурировать информацию и фиксировать договоренности по итогам встреч. – Навыки письменной коммуникации: понятные комментарии, статусы, описания решений, инструкции и документация. – Ответственность за корректность результатов. 🌐 Откликнуться

Вакансия Data Engineer (senior) домена Ecom 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию Золотое Яблоко 🟦Описание вакансии Ты будешь работать в департаменте по управлению данными: команда делает данные основой бизнес-решений: развивает единую платформу данных, аналитику и отчётность, внедряет AI-инструменты. 🟦Задачи – Проектировать и разрабатывать модели данных домена по единому стандарту компании – Разрабатывать и поддерживать витрины данных в dbt, участвовать в ревью моделей – Строить и поддерживать пайплайны загрузки: событийные данные, рекламные источники, выгрузки из внутренних систем – Настраивать контроли качества данных и участвовать в разборе инцидентов – Описывать данные домена в каталоге: таблицы, поля, метрики – Поддерживать аналитиков домена: помогать с самостоятельной сборкой витрин данных, разбирать сложные запросы 🟦Требования – От 3 лет в разработке данных: пайплайны, витрины, аналитические хранилища – Уверенный SQL и Python, опыт промышленной разработки – Практика dbt: модели, тесты, документация – Промышленный опыт Spark (PySpark): разработка и оптимизация трансформаций – Опыт с оркестрацией (Airflow или аналог) – Понимание слоистой архитектуры хранилища и подходов к моделированию данных 🌐 Откликнуться

Вакансия Middle / Senior Data Engineer DWH 🟢Удаленно🟢Полная занятость 🟢ЗП обсуждается на собеседовании 🟢В компанию CHOICEIT 🟦Описание вакансии Digital подразделение крупной производственной компания в поисках Data Engineer (Middle / Senior) в команду, которая строит Корпоративное Хранилище Данных и data-платформы для всего бизнеса. 🟦Стек технологий – Язык программирования Python – Базы данных Greenplum и PostgreSQL; – Фреймворк Data Build Tool (DBT); – Фреймворк Spark; – Брокер сообщений Kafka; – Оркестратор Airflow; – Инфраструктура: Kubernetes; – Управление инфраструктурой: Terraform, Ansible; – Управление кодом: GitLab, SonarQube; – Мониторинг: Prometheus, Grafana, AlertManager. 🟦Задачи – Разработка и поддержка ETL/ELT-процессов в Корпоративное Хранилище Данных – Организация и оптимизация пайплайнов данных – Разработка витрин данных и обеспечение качества данных – Настройка и поддержка инфраструктуры данных (Airflow, Spark, Kafka, DBT) – Взаимодействие с заказчиками: от сбора требований до внедрения и сопровождения решений – Документирование и презентация результатов 🟦Требования – Опыт работы Data Engineer от 5 лет – Высшее образование (IT/математика/математическая статистика/физика) – Отличное знание Python и SQL – Опыт работы с реляционными БД (Greenplum / PostgreSQL) – Знание современных технологий обработки больших данных – Опыт с Airflow, Spark, Kafka, DBT — будет преимуществом – Умение работать в команде, сильные аналитические навыки и ответственность 🌐 Откликнуться

Вакансия Data Engineer (Middle) 🟢Удаленно в РФ🟢Полная занятость 🟢от 210 000 до 250 000 р. на руки (ИП) 🟢В компанию Хайвкод 🟦Описание вакансии Ищем дата-инженера в команду крупной телеком-компании. Проект — платформа автоматизации казначейства, закупок, бюджетирования и договорных отношений на базе решений 1С (Управление холдингом, Документооборот, Управление торговлей). Ссылка на сайт: https://hivecode.ru/ Опыт работы: 3–6 лет 🟦Стек технологий – Python – Apache Airflow – ETL – DWH – SQL – Apache Iceberg – REST API – GraphQL – Prometheus – BI-аналитика 🟦Задачи – Разработка решений вокруг DWH – Создание ETL, настройка сбора данных и BI-аналитики – Проработка архитектуры данных и системы их сбора – Внедрение нового функционала, сокращение техдолга 🟦Требования – Проектирование и построение пайплайнов: Python / Apache Airflow – Интеграция источников через GraphQL, RESTful – Хранение данных в Apache Iceberg, проектирование архитектуры хранения – Проектирование архитектуры сбора данных и витрин – Тестирование данных на всех уровнях требований к качеству – Настройка метрик и алертов Prometheus, интеграция с системами оповещений – Знание предметной области: HR, цифровой профиль сотрудника 🟦Мы предлагаем – Формат: удалённо из РФ – Локация: не более ±1 часа от московского времени (UTC+3) – Оформление: ИП – Ставка: от 223 000 до 266 000 ₽/мес по договору — обсуждается по итогам собеседования – Занятость: полная, долгосрочный проект 💬 Резюме отправлять: @fatal1ty203