Data Engineer Работа Вакансии
Ir al canal en Telegram
Вакансии Data Engineer Размещение вакансий и рекламы - @hr_rus Стоимость размещения - t.me/it_rab/11 Каналы вакансий других IT профессий - @it_rab
Mostrar más
Red:4 638
Suscriptores
+424 horas
+1137 días
+18630 días
Carga de datos en curso...
Canales Similares
Nube de Etiquetas
Menciones Entrantes y Salientes
---
---
---
---
---
---
Atraer Suscriptores
julio '26
julio '26
+149
en 0 canales
junio '26
+175
en 0 canales
Get PRO
mayo '26
+180
en 1 canales
Get PRO
abril '26
+263
en 1 canales
Get PRO
marzo '26
+183
en 1 canales
Get PRO
febrero '26
+185
en 1 canales
Get PRO
enero '26
+246
en 1 canales
Get PRO
diciembre '25
+222
en 1 canales
Get PRO
noviembre '25
+224
en 2 canales
Get PRO
octubre '25
+133
en 1 canales
Get PRO
septiembre '25
+201
en 1 canales
Get PRO
agosto '25
+141
en 3 canales
Get PRO
julio '25
+234
en 1 canales
Get PRO
junio '25
+199
en 1 canales
Get PRO
mayo '25
+214
en 1 canales
Get PRO
abril '25
+279
en 2 canales
Get PRO
marzo '25
+260
en 1 canales
Get PRO
febrero '25
+168
en 3 canales
Get PRO
enero '25
+257
en 28 canales
Get PRO
diciembre '24
+241
en 22 canales
Get PRO
noviembre '24
+300
en 3 canales
Get PRO
octubre '24
+581
en 19 canales
Get PRO
septiembre '24
+492
en 25 canales
Get PRO
agosto '24
+396
en 24 canales
Get PRO
julio '24
+117
en 29 canales
Get PRO
junio '24
+87
en 26 canales
Get PRO
mayo '24
+769
en 31 canales
Get PRO
abril '24
+268
en 30 canales
Get PRO
marzo '24
+73
en 4 canales
Get PRO
febrero '24
+137
en 17 canales
Get PRO
enero '24
+109
en 0 canales
Get PRO
diciembre '23
+226
en 27 canales
Get PRO
noviembre '23
+1 169
en 0 canales
Get PRO
octubre '23
+1 260
en 15 canales
Get PRO
septiembre '23
+190
en 0 canales
Get PRO
agosto '23
+234
en 0 canales
Get PRO
julio '23
+3 542
en 0 canales
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 10 julio | +9 | |||
| 09 julio | +6 | |||
| 08 julio | +8 | |||
| 07 julio | +21 | |||
| 06 julio | +82 | |||
| 05 julio | +2 | |||
| 04 julio | +5 | |||
| 03 julio | +8 | |||
| 02 julio | +2 | |||
| 01 julio | +6 |
Publicaciones del Canal
🚀 Вакансия: Data Engineer (удаленно/гибрид)
Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания)
Локация Москва
Зрплата от 150 до 170 т.р.
Оформление по ТК РФ
Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.
Что предстоит:
• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных
Технологический стек: Python, PostgreSQL, Dagster, Selenium
Что мы ждем от тебя:
- знание основных библиотек Python для работы с данными
- опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
- опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
- представление об управлении качеством данных
- представление о возможностях отладки мониторинга
- понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
- знание английского языка на уровне, достаточном для чтения технической документации
- знание Git
- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.
Плюсами будут:
- опыт работы с данными из открытых источников и понимание их специфики
- опыт долгосрочного поддержания работы парсеров
- опыт работы с библиотеками Python для computer vision
Преимущества проекта
✅ Проект только стартовал — мало легаси, много свободы для экспериментов
✅ Можно влиять на выбор технологий и архитектурных решений
Для быстрой связи @LvovaOV
| 2 | #работа #удаленка #ИИ #LLM #голосовойИИ
Специалист по голосовому ИИ 🤖
❗️ Это не вакансия разработчика. Код продукта вы писать не будете
Компания: АИ МОП
📍 Удалёнка
💰 Ваш доход привязан к бизнес-показателям клиента, на которые вы влияете напрямую
«Так люди не разговаривают».
Ловили себя на этой мысли, читая ответ ИИ? И могли сразу сказать — почему именно? Тогда читайте дальше.
Мы создаём голосовых ИИ-агентов на собственных моделях.
Нам нужен человек, который на рефлексе различает написанный текст и произнесённую речь
Это два разных языка - не один контент в разной обёртке
Что это значит:
-Вы знаете, что такое просодия — интонация, ритм, паузы и почему без неё агент звучит «роботом» даже с идеально грамотным текстом
-Вы отличаете междометия («ну», «хм», «слушай») как живую речь от слов-паразитов как шума
Вы слышите, когда текст «читается», а не «говорится», и можете объяснить это словами, а не интуицией
Что будете делать:
-Проектировать поведение голосового ИИ через промпты
переводить письменную логику в естественную устную
-Исследовать небольшие LLM в голосовых сценариях
-Настраивать диалог так, чтобы он двигал экономику клиента- конверсию, удержание, длину сессии, долю доведённых до цели разговоров
Будет плюсом:
-Опыт с голосовыми или диалоговыми системами
-Лингвистический фон или осознанный интерес к устной речи
-Понимание продуктовых метрик
📩 Откликается? Пишите: @MissAngelinochka | 1 145 |
| 3 |  🇷🇺 Разбираешься в радиочипах, оптике и связи?
Забери до 1 000 000 рублей за свои инженерные навыки на турнире «Дронкон» 🇷🇺
«Сталинские Соколы» открывают регистрацию на 4-й Всероссийский турнир «Дронкон», который пройдет с 22 по 26 августа.
Турнир пройдет по направлению:
- Инженерное дело: навыки программирования, сборка электронного оборудования, беспроводная связь, оптические системы + стратегия «Битва Дронов»;
Призовой фонд для победителей:
🥇место – 1 000 000 рублей
🥈место – 700 000 рублей
🥉место – 500 000 рублей
Награда за 4-8 места - 100 000 рублей
Пройди заочный онлайн-этап и получи путевку на очный этап турнира в Республику Татарстан!
Перелет, питание, проживание - за счет организаторов.
🇷🇺 Подать заявку и узнать подробности 🇷🇺 | 1 237 |
| 4 | Ведущий инженер данных в VK Видео, Москва
#удаленка #senior
Компания:VK
🔹Задачи
-Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML команд
-Собирать витрины, оптимизировать
-Писать адхоки и выгрузки, раздебаги
-Собирать требования
🔹Требования
-Понимание работы параллельных вычислений на кластере
-Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
-Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
-Знание Git и работа с кодом в команде (ревью)
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 052 |
| 5 |  +1Скидка 50% на сертификацию Yandex Cloud — до 25 сентября!
Коллеги, отличная возможность официально подтвердить свою экспертизу на платформе Yandex Cloud.
Доступны два уровня:
1️⃣ Yandex Cloud Certified Data Engineer
Базовый экзамен для инженеров данных. Проверит знания по загрузке, хранению и обработке данных, а также оркестрации ETL/ELT-процессов. Темы: приём данных, качество, оркестрация, метаданные, мониторинг, безопасность.
2️⃣ Yandex Cloud Certified Lakehouse Data Engineer
Продвинутый уровень для тех, кто работает с архитектурой Lakehouse. Подтвердит навыки проектирования и развёртывания таких решений. Темы: архитектура Lakehouse, трансформация, хранение, пайплайны, метаданные, безопасность.
Формат экзамена: онлайн-тестирование с прокторингом — запись на камеру, контроль нарушений, честный подход.
📌 Регистрация со скидкой 50% — только до 25 сентября 2026:
🔗 Ссылка
🔗 Ссылка | 1 174 |
| 6 | Senior Data Engineer в Маркет
#гибрид #офис #senior
Компания: Яндекс
🔹Какие задачи вас ждут
-Принятие конечных сетевых решений по реализации поставок данных
Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных.
-Развитие фреймворков обработки данных
Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.
-Руководство реализацией сложных технических поставок
Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи.
🔹Мы ждем, что вы
-Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
-Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
-Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
-Умеете выбирать технологии для решения конкретных задач
-Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
-Имеете опыт работы от трёх лет
-Умеете работать в командной строке Unix-подобных систем (Linux, macOS)
🔹Будет плюсом, если вы
-Имеете опыт промышленной разработки на C++
-Работали в ecom-отрасли
-Решали задачи в роли аналитика, управляли командой или проектами
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 098 |
| 7 |  Слёт аниматоров 2026 — 18-19 июля, Москва
Главное событие индустрии анимации в России.
Два дня, семь зон, мировые студии. Хедлайнеры Disney, Toei Animation, Spin Master, ГК «Рики».
Питчинги, конкурсы, мастер-классы и нетворкинг вживую в Кластере анимации в Сколково. Спикеры из США, Канады, Японии и России. Тема года — «Анимация без границ».
Скидка 20% по промокоду SLET20.
Узнать больше
#реклама 16+
sletanimatorov.ru
О рекламодателе | 1 042 |
| 8 | Data Engineer в команду CDP
#удаленка
Компания: 2Гис
🔹Тебе предстоит
-Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
-Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
-Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
-Решать сложные инженерные задачи: расчеты метрик, построение витрин.
-Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
-Влиять на архитектурные решения и качество кода.
-Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.
🔹Ждем от тебя
-Опыт работы с highload-системами.
-Опыт проектирования архитектуры данных или платформенного кода.
-Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить. Хорошо владеешь одним из языков программирования (например, Python или Scala).
-Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
-Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.
Откликнуться
IT Jobs в Telegram | в VK | в Max | 1 196 |
| 9 |  Онлайн-магистратура для IT: ИТМО, МИФИ + Яндекс
Программы онлайн-магистратуры ИТМО и МИФИ в партнёрстве с Яндексом. Актуальные знания, практическое обучение и гибкий график. Учитесь, совмещая с работой. Доступна господдержка оплаты, отсрочка от армии
Перейти на сайт
#реклама 16+
practicum.yandex.ru
О рекламодателе | 766 |
| 10 | Стажер Data Engineer в Аналитика Datagovernance [Big Data, МТС Веб Сервисы]
#гибрид #intern
Москва
Компания: МТС
🔹Чем предстоит заниматься
-Разрабатывать ETL-процедуры для сервисов datagov с использованием python, pyspark, hadoop, airflow;
-Собирать данные из разных реляционных и нереляционных источников;
-Создавать наполнять витрины в hive/postgres/clickhouse/greenplum
🔹Что мы ожидаем
-Студенты 3 - 6 курсов бакалавриата, специалитета или магистратуры;
-Хорошее знание Python;
-Уверенное знание SQL и умение работать с реляционной СУБД
-Будет плюсом: опыт использования с фреймворками обработки данных типа pandas/polars/spark и подобными
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 866 |
| 11 | Data Engineer/ MLOpsE
#офис #гибрид #middle
Москва
Компания: Bell Integrator
☑️ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:
-Понимание основ облачных технологий и технологий виртуализации и контейнеризации;
-Опыт с экосистемой Hadoop (HDFS, Hive, Spark и п-р.);
-Опыт промышленной разработки Python;
-Опыт работы с ETL (Airflow и пр.);
-Опыт работы с CI/CD решениями на базе Jenkins и Bitbucket / Git.
БУДЕТ ПЛЮСОМ:
Опыт работы с платформами оркестрации контейнеров K8s, OpenShift;
Опыт внедрения DS-моделей в промышленный контур;
Опыт работы с Kafka;
Опыт работы с популярными РСУБД (Greenplum, Teradata, Oracle, PostgreSQL);
Понимание принципов построения хранилищ данных DWH;
Знания в RL и Графовых нейросетях;
Отличные знания в области классического ML и DL.
☑️ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
-Разработка, поддержка и оптимизация ETL-процессов команды на платформах банка;
-Внедрение разработанных DS-моделей в промышленную среду (MLOps);
-Поддержка промышленной эксплуатации разработанных решений.
☑️МЫ ПРЕДЛАГАЕМ:
-Возможность участия в интересных проектах.
-Возможность профессионального и карьерного роста в компании.
-Опыт работы в команде профессионалов.
-Специальные тарифы для сотрудников в спортивные клубы и языковые курсы и пр.
-Офисный\гибридный формат работы в Москве.
Контакты: hr@bellintegrator.ru
IT Jobs в Telegram | в VK | в Max | 1 804 |
| 12 | Data Engineer (Python + Spark)
#офис
Москва
Компания: X5 Tech
☑️ Задача
Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
☑️Наш стек
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Airflow
• Python3
• Docker, YARN / k8s
• pytest
Откликнуться
Python Job в Telegram | в VK | в Max | 1 398 |
| 13 | Data Engineer for VLM Training Data (GigaChat Vision)
#офис
Москва
Компания: Сбер
🔹Обязанности
-Собирать и структурировать потребности ML-команды в данных: какие данные нужны для обучения, дообучения, оценки и улучшения VLM.
-Предлагать и реализовывать идеи пайплайнов очистки, фильтрации, дедупликации, категоризации и генерации данных.
-Ориентироваться в современных практиках построения датасетов для Vision-Language Models: image-text pairs, synthetic data, filtering, quality scoring, data mixture design, dataset versioning.
-Отвечать за инфраструктуру хранения и подготовки данных, включая:
импорт данных из различных источников: production, Common Crawl, open-source datasets, generated data;
валидацию и контроль качества данных;
хранение и версионирование датасетов;
экспорт данных в форматы, пригодные для обучения моделей.
-Проектировать и реализовывать пайплайны обработки данных на большом масштабе, включая десятки миллиардов изображений.
-Разрабатывать пайплайны генерации синтетических данных для обучения и улучшения VLM.
-Собирать статистику по данным, строить отчёты и визуализации для анализа состава, качества и покрытия датасетов.
-Обеспечивать воспроизводимость, наблюдаемость и надёжность data-процессов.
-Работать в тесной связке с ML-инженерами, исследователями и инфраструктурной командой.
🔹Требования
-Сильный опыт в data engineering и построении production-grade data pipelines.
-Уверенное владение Python, включая multiprocessing, multithreading и async-подходы.
-Опыт работы с большими объёмами данных и распределённой обработкой.
-Практический опыт с объектными хранилищами, в частности S3 или аналогами.
-Опыт работы с YTsaurus или похожими системами для распределённого хранения и обработки данных.
-Понимание принципов валидации, очистки, дедупликации и версионирования датасетов.
-Опыт работы с DVC, Git, Docker.
-Опыт работы с PostgreSQL или другими реляционными базами данных.
-Умение проектировать устойчивые пайплайны: от импорта данных до финального экспорта в training-ready формат.
-Способность самостоятельно разбираться в нечетко сформулированных задачах и доводить их до работающего решения.
-Готовность работать на стыке engineering и ML research.
Откликнуться
IT Jobs в Telegram | в VK | в Max | 1 522 |
| 14 | 🚀 Вакансия: Data Engineer (удаленно/гибрид)
Компания: ООО "ОДСС" https://odsscompany.ru (аккредитованная IT-компания)
Локация Москва
Зарплата от 150 до 170 т.р.
Оформление по ТК РФ
Мы ищем в свою команду инициативного Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных, включающего себя сложные сценарии приема и обработки данных из разных источников.
Что предстоит:
• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных
Технологический стек: Python, PostgreSQL, Dagster, Selenium
Что мы ждем от тебя:
- знание основных библиотек Python для работы с данными
- опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
- опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
- представление об управлении качеством данных
- представление о возможностях отладки мониторинга
- понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
- понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
- знание английского языка на уровне, достаточном для чтения технической документации
- знание Git
- готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи.
Плюсами будут:
- опыт работы с данными из открытых источников и понимание их специфики
- опыт долгосрочного поддержания работы парсеров
- опыт работы с библиотеками Python для computer vision
Преимущества проекта
✅ Проект только стартовал — мало легаси, много свободы для экспериментов
✅ Можно влиять на выбор технологий и архитектурных решений
Для быстрой связи @LvovaOV | 1 613 |
| 15 | Senior Data Engineer в Маркет
#гибрид #офис #senior
Компания: Яндекс
🔹Какие задачи вас ждут
-Принятие конечных сетевых решений по реализации поставок данных
Вам предстоит проектировать схемы поставок данных, выбирать подход к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. И ещё нужен будет критический взгляд на результат в интересах потребителей данных.
-Развитие фреймворков обработки данных
Вы будете применять существующие инструменты работы с данными и выделять их недостатки, продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.
-Руководство реализацией сложных технических поставок
Нужно будет разбираться в алгоритмической составляющей инструментов и находить эффективные решения, в том числе упрощая постановку задачи.
🔹Мы ждем, что вы
-Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
-Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
-Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
-Умеете выбирать технологии для решения конкретных задач
-Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
-Имеете опыт работы от трёх лет
-Умеете работать в командной строке Unix-подобных систем (Linux, macOS)
🔹Будет плюсом, если вы
-Имеете опыт промышленной разработки на C++
-Работали в ecom-отрасли
-Решали задачи в роли аналитика, управляли командой или проектами
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 769 |
| 16 | Data-инженер
#удаленка
Компания: Золотое Яблоко
🔹ЧТО НУЖНО ДЕЛАТЬ:
-Разработка и поддержка текущих ETL-процессов сбора данных
-Разработка проверок качества данных, интеграция новых источников
-Участие в тестирование разработанного функционала
-Определение возможностей для автоматизации и оптимизации процессов загрузки и обработки данных
-Участие в митапах с бизнесом с целью отладки технических вопросов в поступающих задачах
🔹ЧТО ЖДЕМ ОТ КАНДИДАТА:
-Опыт работы на позиции Data-инженера от 2 лет
-Навыки работы с технологиями: SQL, Python, Spark, Airflow, Clickhouse, Trino, Gitlab, dbt, k8s, Mongo DB, Docker + прочие современные инструменты для работы с большими массивами данных.
-Практические знания в области big-data
Контакты: https://job.goldapple.ru/vacancy/6964a414bf490ee4caf2b38d-data-inzhener
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 2 017 |
| 17 | Data Engineer / Рекомендации
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Поддерживать пайплайны на Greenplum;
сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом;
-заниматься интеграциями новых источников;
-подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts.
Взаимодействие с владельцами источников на уровне технических требований;
-участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage.
🔹Какой опыт и знания нужны
-Владеете опытом с Airflow как оркестратором;
-имеете работы с Hadoop (Spark/Yarn/Hdfs);
-имеете работы c Greenplum или другими MPP-системами;
-работали с Trino как query engine.
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 938 |
| 18 | Дата-инженер в Дата-сервисы VK Tech, Москва
#удаленка #офис #middle #senior
Компания: VK
☑️Задачи
-разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
-оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
-мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
-помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
-проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
-участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.
☑️Требования
-опыт разработки и поддержки ETL-процессов на Python + Airflow;
-уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
-понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
-опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
-знание Git (ветки, коммиты, pull requests, code review);
-умение читать и анализировать чужой код.
Откликнуться
Python Job в Telegram | в VK | в Max | 1 826 |
| 19 |  🎥 Вебинар: Архитектурные паттерны AI-агентов: как проектировать автономные решения для бизнес-задач
На уроке рассмотрим:
- Как создавать архитектуру автономных AI-агентов, способных принимать решения и выполнять задачи;
- Какие архитектурные паттерны применяются при проектировании агентных решений;
- Как использовать агентные циклы, такие как ReAct и Plan-and-Execute, в прикладных сценариях;
- Как спроектировать AI-архитектуру для автоматизации бизнес-процесса на практическом примере.
После занятия вы будете знать:
- Как проектировать архитектуру AI-агентов под реальные бизнес-задачи;
- Как документировать и проверять архитектурные решения на разных уровнях детализации;
- Как применять профессиональные подходы и инструменты для разработки AI-решений;
- Как использовать архитектурные паттерны AI-агентов для автоматизации процессов в компании.
⚠️ Открытый урок проходит в преддверии старта курса «ИИ-архитектор».
👉 Для участия зарегистрируйтесь: https://clck.ru/3ULiob
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru | 1 718 |
| 20 | Data Engineer (Python + Spark)
#гибрид
Москва
Компания: X5 Tech
🔹Обязанности
В команде разработывается ML-система, детекирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов для оперативной проверки и выкладки.
🔹 Задача
Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
• Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
• Настраивать хранение и доступность данных в DWH
• Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
• Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
• Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
☑️Требования
Наш стек
• PySpark{2,3} / Spark SQL
• Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
• Airflow
• Python3
• Docker, YARN / k8s
• pytest
Откликнуться
🔥 Подписаться на наши каналы / @best_itjob / @it_rab | 1 520 |
