ar
Feedback
Data Engineer Работа Вакансии

Data Engineer Работа Вакансии

الذهاب إلى القناة على Telegram

Вакансии Data Engineer Размещение вакансий и рекламы - @hr_rus Стоимость размещения - t.me/it_rab/11 Каналы вакансий других IT профессий - @it_rab

إظهار المزيد
4 514
المشتركون
+624 ساعات
+217 أيام
+10230 أيام
جذب المشتركين
يونيو '26
يونيو '26
+175
في 0 قنوات
مايو '26
+180
في 1 قنوات
Get PRO
أبريل '26
+263
في 1 قنوات
Get PRO
مارس '26
+183
في 1 قنوات
Get PRO
فبراير '26
+185
في 1 قنوات
Get PRO
يناير '26
+246
في 1 قنوات
Get PRO
ديسمبر '25
+222
في 1 قنوات
Get PRO
نوفمبر '25
+224
في 2 قنوات
Get PRO
أكتوبر '25
+133
في 1 قنوات
Get PRO
سبتمبر '25
+201
في 1 قنوات
Get PRO
أغسطس '25
+141
في 3 قنوات
Get PRO
يوليو '25
+234
في 1 قنوات
Get PRO
يونيو '25
+199
في 1 قنوات
Get PRO
مايو '25
+214
في 1 قنوات
Get PRO
أبريل '25
+279
في 2 قنوات
Get PRO
مارس '25
+260
في 1 قنوات
Get PRO
فبراير '25
+168
في 3 قنوات
Get PRO
يناير '25
+257
في 28 قنوات
Get PRO
ديسمبر '24
+241
في 22 قنوات
Get PRO
نوفمبر '24
+300
في 3 قنوات
Get PRO
أكتوبر '24
+581
في 19 قنوات
Get PRO
سبتمبر '24
+492
في 25 قنوات
Get PRO
أغسطس '24
+396
في 24 قنوات
Get PRO
يوليو '24
+117
في 29 قنوات
Get PRO
يونيو '24
+87
في 26 قنوات
Get PRO
مايو '24
+769
في 31 قنوات
Get PRO
أبريل '24
+268
في 30 قنوات
Get PRO
مارس '24
+73
في 4 قنوات
Get PRO
فبراير '24
+137
في 17 قنوات
Get PRO
يناير '24
+109
في 0 قنوات
Get PRO
ديسمبر '23
+226
في 27 قنوات
Get PRO
نوفمبر '23
+1 169
في 0 قنوات
Get PRO
أكتوبر '23
+1 260
في 15 قنوات
Get PRO
سبتمبر '23
+190
في 0 قنوات
Get PRO
أغسطس '23
+234
في 0 قنوات
Get PRO
يوليو '23
+3 542
في 0 قنوات
التاريخ
نمو المشتركين
الإشارات
القنوات
30 يونيو+3
29 يونيو+8
28 يونيو+5
27 يونيو+5
26 يونيو+4
25 يونيو+10
24 يونيو+7
23 يونيو+6
22 يونيو+7
21 يونيو+6
20 يونيو+5
19 يونيو+2
18 يونيو+6
17 يونيو+10
16 يونيو+10
15 يونيو+7
14 يونيو+3
13 يونيو+4
12 يونيو+5
11 يونيو+7
10 يونيو+1
09 يونيو+6
08 يونيو+5
07 يونيو+9
06 يونيو0
05 يونيو+5
04 يونيو+8
03 يونيو+3
02 يونيو+12
01 يونيو+6
منشورات القناة
🚀 Вакансия: Data Engineer (удаленно/гибрид) Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания) Локация Москва Зарплата от 150 до 170 т.р. Оформление по ТК РФ Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников. Что предстоит: • разработка и поддержание парсеров • автоматизация обработки и преобразования данных • отладка и мониторинг конвейеров данных Технологический стек: Python, PostgreSQL, Dagster, Selenium Что мы ждем от тебя: - знание основных библиотек Python для работы с данными - опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx - опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов - представление об управлении качеством данных - представление о возможностях отладки мониторинга - понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.) - понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC) - знание английского языка на уровне, достаточном для чтения технической документации - знание Git - готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи. Плюсами будут: - опыт работы с данными из открытых источников и понимание их специфики - опыт долгосрочного поддержания работы парсеров - опыт работы с библиотеками Python для computer vision Преимущества проекта ✅ Проект только стартовал — мало легаси, много свободы для экспериментов ✅ Можно влиять на выбор технологий и архитектурных решений Для быстрой связи @LvovaOV

2
Senior Data Engineer в Маркет #гибрид #офис #senior Компания: Яндекс 🔹Какие задачи вас ждут -Принятие конечных сетевых решений по реализации поставок данных Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных. -Развитие фреймворков обработки данных Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач. -Руководство реализацией сложных технических поставок Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи. 🔹Мы ждем, что вы -Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов -Умеете проектировать DWH: слои, модели хранения данных, процессы ETL -Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse -Умеете выбирать технологии для решения конкретных задач -Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными -Имеете опыт работы от трёх лет -Умеете работать в командной строке Unix-подобных систем (Linux, macOS) 🔹Будет плюсом, если вы -Имеете опыт промышленной разработки на C++ -Работали в ecom-отрасли -Решали задачи в роли аналитика, управляли командой или проектами Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 234
3
Data-инженер #удаленка Компания: Золотое Яблоко 🔹ЧТО НУЖНО ДЕЛАТЬ: -Разработка и поддержка текущих ETL-процессов сбора данных -Разработка проверок качества данных, интеграция новых источников -Участие в тестирование разработанного функционала -Определение возможностей для автоматизации и оптимизации процессов загрузки и обработки данных -Участие в митапах с бизнесом с целью отладки технических вопросов в поступающих задачах 🔹ЧТО ЖДЕМ ОТ КАНДИДАТА: -Опыт работы на позиции Data-инженера от 2 лет -Навыки работы с технологиями: SQL, Python, Spark, Airflow, Clickhouse, Trino, Gitlab, dbt, k8s, Mongo DB, Docker + прочие современные инструменты для работы с большими массивами данных. -Практические знания в области big-data Контакты: https://job.goldapple.ru/vacancy/6964a414bf490ee4caf2b38d-data-inzhener 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 431
4
Data Engineer / Рекомендации #удаленка Компания: Wildberries 🔹Что нужно делать -Поддерживать пайплайны на Greenplum; сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом; -заниматься интеграциями новых источников; -подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts. Взаимодействие с владельцами источников на уровне технических требований; -участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage. 🔹Какой опыт и знания нужны -Владеете опытом с Airflow как оркестратором; -имеете работы с Hadoop (Spark/Yarn/Hdfs); -имеете работы c Greenplum или другими MPP-системами; -работали с Trino как query engine. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 534
5
Дата-инженер в Дата-сервисы VK Tech, Москва #удаленка #офис #middle #senior Компания: VK ☑️Задачи -разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow; -оптимизировать запросы и распределённые вычисления под ClickHouse и YT; -мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость; -помогать аналитикам с оптимизацией их SQL-запросов и структур данных; -проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD); -участвовать в миграции вычислительной платформы с YT на Hadoop/Spark. ☑️Требования -опыт разработки и поддержки ETL-процессов на Python + Airflow; -уверенное знание SQL (JOIN, оконные функции, CTE, агрегации); -понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds; -опыт оптимизации запросов в распределённых системах (ClickHouse или Spark); -знание Git (ветки, коммиты, pull requests, code review); -умение читать и анализировать чужой код. Откликнуться Python Job в Telegram | в VK | в Max
1 425
6
🎥 Вебинар: Архитектурные паттерны AI-агентов: как проектировать автономные решения для бизнес-задач На уроке рассмотрим: - К
🎥 Вебинар: Архитектурные паттерны AI-агентов: как проектировать автономные решения для бизнес-задач На уроке рассмотрим: - Как создавать архитектуру автономных AI-агентов, способных принимать решения и выполнять задачи; - Какие архитектурные паттерны применяются при проектировании агентных решений; - Как использовать агентные циклы, такие как ReAct и Plan-and-Execute, в прикладных сценариях; - Как спроектировать AI-архитектуру для автоматизации бизнес-процесса на практическом примере. После занятия вы будете знать: - Как проектировать архитектуру AI-агентов под реальные бизнес-задачи; - Как документировать и проверять архитектурные решения на разных уровнях детализации; - Как применять профессиональные подходы и инструменты для разработки AI-решений; - Как использовать архитектурные паттерны AI-агентов для автоматизации процессов в компании. ⚠️ Открытый урок проходит в преддверии старта курса «ИИ-архитектор». 👉 Для участия зарегистрируйтесь: https://clck.ru/3ULiob Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
1 366
7
Data Engineer (Python + Spark) #гибрид Москва Компания: X5 Tech 🔹Обязанности В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки. 🔹 Задача Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике • Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) • Настраивать хранение и доступность данных в DWH • Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари • Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей • Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной ☑️Требования Наш стек • PySpark{2,3} / Spark SQL • Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum • Airflow • Python3 • Docker, YARN / k8s • pytest Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 154
8
Data Engineer #удаленка Компания: Облако.ру 🔹Обязанности -Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности; -Нормализация и обогащение событий безопасности; -Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги); -Подготовка витрин данных под быстрые запросы и аналитику; -Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование; -Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill); -Участие в разборе инцидентов и оптимизации производительности data платформы. 🔹Требования -Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде; -Уверенный SQL, включая оптимизацию запросов и анализ производительности; -Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги); -Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок); -Опыт проектирования и оптимизации витрин и схем хранения данных; -Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде; -Понимание принципов надежности, масштабирования и наблюдаемости data систем. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 354
9
Senior Data Engineer в Маркет #гибрид #офис #senior Компания: Яндекс 🔹Какие задачи вас ждут -Принятие конечных сетевых решений по реализации поставок данных Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных. -Развитие фреймворков обработки данных Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач. -Руководство реализацией сложных технических поставок Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи. 🔹Мы ждем, что вы -Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов -Умеете проектировать DWH: слои, модели хранения данных, процессы ETL -Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse -Умеете выбирать технологии для решения конкретных задач -Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными -Имеете опыт работы от трёх лет -Умеете работать в командной строке Unix-подобных систем (Linux, macOS) 🔹Будет плюсом, если вы -Имеете опыт промышленной разработки на C++ -Работали в ecom-отрасли -Решали задачи в роли аналитика, управляли командой или проектами Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 734
10
Яндекс приглашает опытных аналитиков на мероприятия Мы собрали календарь событий для продуктовых и data-аналитиков, data scie
Яндекс приглашает опытных аналитиков на мероприятия Мы собрали календарь событий для продуктовых и data-аналитиков, data scientists, маркетинговых и бизнес-аналитиков: ✅ Welcome time — уютные офлайн-встречи. Обсуждаем внутреннюю кухню команд Поисковых сервисов и ИИ, делимся кейсами и неформально общаемся. ✅ Data Driven — главная конференция года про анализ данных для бизнес-решений. ✅ Подкаст и ТГ-канал для тех, кто любит погружаться в детали. Также периодически проводим мероприятия с быстрым офером. Заглядывайте на страничку, чтобы узнать больше, и приходите знакомиться с коллегами по цеху и делиться экспертизой. Перейти на сайт #реклама yandex.ru О рекламодателе
998
11
Senior Data Engineer Формат работы: удаленно/гибрид - на выбор; с 9/10 до 18/19 по мск Занятость: full-time ЗП: обсуждается индивидуально Компания: Мы — международная компания Coral Club! Более 25 лет занимаемся разработкой, изготовлением и продвижением продукции для здорового образа жизни. За это время мы стали экспертами в формировании wellness-культуры. Ключевые требования: - Опыт работы в роли Data Engineer или Analytics Engineer от 3-6 лет. - Экспертный уровень владения SQL. Нужно уметь работать со сложными структурами (JSONB, массивы), анализировать планы выполнения запросов (EXPLAIN) и проводить рефакторинг кода. - Уверенный Python. Навыки написания ETL-скриптов, работа с библиотеками для взаимодействия с БД и понимание того, как писать поддерживаемый код. - Опыт с Apache Airflow. Умение проектировать пайплайны, настраивать ретраи и мониторить выполнение задач. - Понимание специфики PostgreSQL и ClickHouse. Нужно знать, как эффективно перекладывать данные между строчной и колоночной базами, учитывая их особенности. Зона ответственности: - Разработка логической и физической структуры хранилища (DWH/Lakehouse), выбор стратегий хранения и форматов данных для обеспечения масштабируемости (включая изолированные «песочницы» для аналитиков, подготовку данных для обучения ML-моделей и т.д.). - Разработка надежных пайплайнов для сбора данных из любых источников (API, БД, брокеры сообщений, логи) и обеспечение их бесперебойной доставки. - Реализация процессов ELT с использованием инструментов трансформации (например, dbt), обеспечение чистоты и консистентности данных на всех этапах. - Разработка высокопроизводительных витрин, оптимизированных под задачи бизнес-аналитики и BI-инструментов. - Установление стандартов разработки, описание архитектуры и принятие решений по развитию стека инструментов для обработки данных. Условия: - График: 5/2, гибрид/ удаленно - на выбор. (офис в Москве - Барклая 6с25, м.Фили) - Семинары, тренинги, конференции внутри компании. - Компенсация внешнего обучения. - Скидки на приобретение продукции компании до 50% и дополнительные программы лояльности для сотрудников. Контакты: Писать в личные сообщения 👉 @elisaveta_hr Пожалуйста, прикладывайте резюме к отклику.
1 936
12
Инженер данных в Доставку #гибрид Компания: Яндекс 🔹Какие задачи вас ждут -Разработка и поддержка ETL-процессов Вы будете проектировать и поддерживать ETL-пайплайны для обработки данных — от источников до дашбордов, работая в составе V-team своего домена данных. -Повышение качества и стабильности данных Вам предстоит обеспечивать стабильность и производительность витрин и дашбордов, разрабатывать механизмы контроля качества данных и оптимизировать существующие процессы обработки. -Поддержка инфраструктуры данных Вы будете поддерживать работу ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы), взаимодействуя с инфраструктурными командами. -Техническая поддержка аналитиков Вы станете основным контактным лицом для аналитиков по техническим вопросам работы с данными и инструментами платформы. 🔹Мы ждём, что вы -Отлично знаете Python -Работаете с Greenplum, Vertica, ClickHouse или любыми другими MPP-СУБД -Работаете с большими объёмами данных в Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных экосистемах -Понимаете принципы проектирования хранилищ данных, ETL-фреймворков, а также систем мониторинга состояния хранилища -Умеете оптимизировать запросы и оценивать вычислительную нагрузку Откликнуться IT Jobs в Telegram | в VK | в Max
1 783
13
Data Engineer #удаленка #middle Компания: deeplay 🔹Предстоит поддерживать и развивать: -Десктопное кроссплатформенное ПО (Java 17+, Swing); -Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC); -Отсутствие фрэймворка, используются собственные наработки; -Организация взаимодействия с БД (PostgreSQL, ClickHouse) посредством jdbc, без подключения дополнительных библиотек; -Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture; -Покрытие кода тестами (Mockito, JUnit); -Аналитические запросы и большие объёмы данных (~60 TB). 🔹Основное:  PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables,  EXPLAIN ANALYZE,  cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения 🔹Для реализации задач тебе потребуется: -Опыт работы в аналогичной роли от 3 лет знание теории реляционных БД, понимание логической, физической моделей БД; -опыт оптимизации сложных запросов; -опыт поиска проблем в работающих под высокой нагрузкой системах. -Опыт создания и поддержки ETL-процессов; -Глубокий практический опыт разработки на Python (pandas, numpy); -Опыт работы с Apache Airflow, самостоятельное создание DAG; -Опыт работы с СУБД PostgreSQL, написание средних/сложных и нетривиальных SQL-запросов; -Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата; -Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения. Будет плюсом: Bash: скрипты для автоматизации рутинных операций Linux: command line (уверенный уровень), systemd, cron, bash scripting Понимание алертинг стратегии Опыт работы с ClickHouse Docker (базовое понимание) Ansible/Terraform: базовое понимание для автоматизации Python/Pandas для сложной аналитики Jupyter notebooks для исследовательского анализа pgBadger для детального анализа Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events 🔹Мы предлагаем: -Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге; -Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор. -Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта. -Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии. -Доступность руководства компании и открытую внутреннюю политику. Контакты: talent@deeplay.io 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 688
14
Начни преподавать разработку Поможем освоиться в новой роли уже этой осенью в ЦУ. Получи новый опыт без отрыва от работы. Уча
Начни преподавать разработку Поможем освоиться в новой роли уже этой осенью в ЦУ. Получи новый опыт без отрыва от работы. Участвуй в фаст-треке для будущих преподавателей 27 и 28 июня Узнать больше #реклама 16+ cu.ru О рекламодателе
1 296
15
Data Engineer, Ozon fresh #удаленка #офис Компания: OZON 🔹Вам предстоит: -Писать алгоритмы обработки больших данных (несколько сотен миллионов строк в таблице). -Исследовать и подготавливать данные. -Оптимизировать текущие вычисления. -Заниматься продуктивизацией алгоритмов и их сопровождением. -Делать ревью кода и анализ инцидентов. 🔹Мы ожидаем: -Наличие опыта в роли Data engineer от 2 лет. -Высшее математическое или техническое образование. -Уверенное владение Python, PySpark, SQL. -Знание устройства Hadoop, HDFS, Hive. -Опыт работы с системами контроля версий (Git). Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 772
16
🚀 Приезжайте на самый необычный нетворкинг в вашей жизни 📍 17–19 июля, Ульяновск, «Русский берег» ULCAMP'26 — пляжный IT-фе
🚀 Приезжайте на самый необычный нетворкинг в вашей жизни 📍 17–19 июля, Ульяновск, «Русский берег» ULCAMP'26 — пляжный IT-фестиваль на Волге. Здесь тысячи разработчиков, аналитиков, менеджеров, дизайнеров и предпринимателей со всей страны собираются вместе. Днём — лекции, дискуссии и квизы. Вечером — концерты, вечеринки и разговоры у костра до рассвета. На ULCAMP приезжают не только специалисты, но и команды ведущих IT-компаний страны. Здесь нет стендов, очередей и формального нетворкинга. Зато есть живое общение, в котором проще всего находить единомышленников, партнёров и будущих коллег. Никто не приезжает на ULCAMP устраиваться на работу. Но каждый год кто-то уезжает отсюда с новым проектом, новой командой или новым этапом в карьере. Ваш билет уже ждёт вас 👉 здесь Реклама. АНО «Ульск.ИТ». ИНН: 7325996041
1 042
17
Data Engineer (Премиальные решения) #гибрид Компания: Сбер 🔹Обязанности -Разработка, оптимизация и сопровождение масштабных ETL/ELT pipeline-процессов на Hadoop и Greenplum для обработки больших данных; -Интеграция и объединение данных из множества внутренних и внешних источников, включая потоки данных (Kafka), в единое хранилище (Hadoop); -Проектирование и развитие корпоративного хранилища данных на базе Greenplum и Hadoop: создание витрин данных для аналитики и отчётности, оптимизация существующих таблиц и запросов; -Автоматизация и оркестрация процессов обработки данных; -Обеспечение надежности, отказоустойчивости и качества данных в рабочих контурах: мониторинг производительности, выявление узких мест и их устранение; -Взаимодействие с бизнес- и ИТ-командами для уточнения требований к данным и совместной реализации проектов. 🔹Требования -Опыт работы в роли Data Engineer (или аналогичной) от 2 лет; -Уверенное владение SQL: написание сложных запросов, оптимизация производительности, понимание принципов проектирования баз данных и организации хранилищ данных; -Практическое применение технологий Big Data: Hadoop (HDFS, YARN), Apache Spark (написание и запуск jobs), а также с системами хранения/обработки данных вроде Hive, Impala или Greenplum; -Опыт использования систем оркестрации и планировщиков задач (Apache Airflow, Oozie или аналогичные) для построения ETL/ELT процессов; -Знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes) и опыт работы с потоковыми данными (Kafka или аналогичные платформы); -Понимание принципов распределенных вычислений, высоконагруженных систем и обработки больших объемов данных; -Английский язык на уровне, достаточном для чтения технической литературы и документации. Откликнуться IT Jobs 💬 в Telegram | 💙 в VK | 💬 в Max
1 325
18
Почему бизнес выбирает классический алгоритм машинного обучения? Вы обучили модель, получили высокую точность, но на вопрос:
Почему бизнес выбирает классический алгоритм машинного обучения? Вы обучили модель, получили высокую точность, но на вопрос: «Почему алгоритм принял именно такое решение?» — ответить не можете. В банках, медицине и промышленности нужны обоснованные решения, а не «черные ящики». Алгоритм решающего дерева — золотой стандарт прозрачности, входит в базовый набор инженера машинного обучения наравне с линейной и логистической регрессией, k-NN. 17 июня в 18:00 МСК приглашаем на открытый урок курса «Машинное обучение. Продвинутый уровень». На занятии вы: - увидите, как работает востребованный алгоритм; - разберёте его преимущества: интерпретируемость, визуализацию, устойчивость к выбросам; - построите модель для классификации на практике. Вы сможете оценить формат обучения в Otus и задать вопросы. ➡️ Регистрация: https://clck.ru/3UAFM3 Закрепите важный навык, чтобы перейти к сложным методам. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
1 250
19
Senior Data Engineer в Маркет #гибрид #офис #senior Компания: Яндекс 🔹Какие задачи вас ждут -Принятие конечных сетевых решений по реализации поставок данных Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных. -Развитие фреймворков обработки данных Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач. -Руководство реализацией сложных технических поставок Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи. 🔹Мы ждем, что вы -Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов -Умеете проектировать DWH: слои, модели хранения данных, процессы ETL -Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse -Умеете выбирать технологии для решения конкретных задач -Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными -Имеете опыт работы от трёх лет -Умеете работать в командной строке Unix-подобных систем (Linux, macOS) 🔹Будет плюсом, если вы -Имеете опыт промышленной разработки на C++ -Работали в ecom-отрасли -Решали задачи в роли аналитика, управляли командой или проектами Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 810
20
Главный дата-инженер #удаленка Компания: Альфа-Банк 🔹Чем предстоит заниматься -Проектирование и развитие масштабируемой data-инфраструктуры (batch и streaming пайплайны); ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT); -Архитектура и реализация витрин данных для аналитики, ML и AI-агентов; -Поддержка и написание пайплайнов ETL/ELT (dbt / Airflow / Spark / Kafka / etc.); -Оптимизация производительности, стоимость хранения и потребления данных; -Внедрение и поддержка стандартов CI/CD и мониторинга пайплайнов; -Работа в связке с аналитиками, ML-инженерами, разработчиками и продуктами; -Участие в построении feature store, ML-инфраструктуры и поддержке GenAI систем. 🔹Наши пожелания к кандидатам -3+ лет опыта работы с данными в роли Data Engineer; -Опыт проектирования data-платформ в продакшене (от ingestion до витрин); -Отличное знание SQL, Python (или Scala), опыт работы с Apache Airflow, Spark, Kafka; -Опыт построения CI/CD процессов и мониторинга data pipeline’ов; -Понимание принципов data governance, data quality и data contracts. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab
1 807