DataEng

На Ютубе появились доклады с прошедшей конференции Airflow Summit 2023 в Канаде: https://bit.ly/3LGdPkQ

Яндекс выложил в опенсорс свой BI тул DataLens: https://github.com/datalens-tech

Планы на среду: прокачать SQL и расчет продуктовых метрик! 📣 20 сентября в 19:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”. Мы проводили такой интенсив в прошлом месяце, но многие не успели на него записаться, а очень хотели — поэтому мы решили, почему бы не провести его еще раз 😍 А еще он очень понравился участникам, и мы собрали много положительного фидбека 💫 👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса: * Activation rate * MAU * ARPU и ARPPU * другие метрики На интенсиве вы узнаете: ◾️ Как используют SQL в реальной работе — вы сможете сохранить это в портфолио и показать на собеседовании: работодатель точно оценит 🤘🏻 ◾️ Профессиональные фишки и лайфхаки SQL: мы копили их годами и хотим рассказать вам 😏 ◾️ Как писать код на SQL, а также мы расскажем про продуктовые метрики — подробно объясним всё с нуля 😍 🔗 Регистрируйтесь по ссылке Реклама. ООО АЙТИ РЕЗЮМЕ. Erid:LjN8KZHzo

Обзор новых фич в новой версии PostgreSQL 16: https://www.youtube.com/watch?v=M7m3A68CTJg

А вы хотите успешно пройти собеседование на аналитика? 🚀 📣 Всем привет! Хотим пригласить вас на бесплатный 5-дневный марафон-подготовку к собеседованиям на позицию аналитика данных! 🗓 Марафон начнется 14 сентября! Для кого наш марафон? 👉 Для всех, кто хочет повысить свои шансы на успешное прохождение собеседований на аналитика данных. 👉 Для тех, кто уже сталкивался с провальными собеседованиями и тестированиями и хочет избежать таких ошибок в будущем. Почему стоит присоединиться к нашему марафону? 💡 ◾️ Получите ценную информацию об оценке своих навыков. ◾️ Разберетесь с техническими вопросами, которые могут вас ожидать на собеседованиях. ◾️ Узнаете секреты успешного прохождения собеседований в ТОП-компании. ◾️ Овладеете навыками создания идеального резюме. ◾️ Прорешаете реальные тестовые задания. Присоединяйтесь к нашему марафону и покажите всем, что вы готовы стать настоящим профессионалом в аналитике данных! 💪💼 🔗 Записаться на марафон здесь Реклама. ООО АЙТИ РЕЗЮМЕ. Erid: LjN8K77aN

Аналитик-разработчик в области автоматизации процессов ИБ Яндекс Москва, СПБ #гибрид junior, middle Команда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ. Что нужно делать: - искать оптимальные пути для автоматизации процессов и метрик ИБ; - создавать автоматизированные реестры данных; - разрабатывать и имплементировать подходы к взаимодействию разных подсистем; - внедрять архитектурные решения по улучшению процессов обеспечения ИБ и мер защиты; - взаимодействовать с разработчиками и менеджерами продуктов и сервисов в рамках автоматизации процессов. Мы ждем, что вы: - знаете ключевые концепции и технологии обеспечения ИБ; - понимаете устройство *nix-систем, систем контейнеризации; - умеете автоматизировать работу с помощью Golang или Python; - умеете говорить на языке разработчиков; - представляете устройство облачных платформ. Будет плюсом, если вы: - активно участвуете в профессиональных сообществах; - занимались профессиональной разработкой; - проводили исследования или публиковали статьи в области ИБ; - понимаете специфику и проблемы публичных облачных платформ. Подробнее об условиях и вакансии: https://clck.ru/35WzRp Контакт в тг: @Oksidgi

Всем привет! Требуется Developer Advocate Data Platform в Yandex Cloud Позиция: Developer Advocate Data Platform Локация: Москва (гибридный формат работы) Занятость: Fulltime Компания: Yandex Cloud ⛅️ #вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункциональная облачная платформа Yandex Cloud помогает компаниям и частным разработчикам создавать и совершенствовать цифровые сервисы и приложения. С момента запуска в сентябре 2018 года выручка и аудитория Yandex Cloud выросли в десятки раз, а сегодня платформой ежедневно пользуются десятки тысяч клиентов. Продуктовая группа Data Platform включает ClickHouse, PostgreSQL, Greenplum®, OpenSearch, Apache Kafka®, Apache Spark™, Data Transfer и другие сервисы. Мы ищем специалиста, который будет адвокатом платформы данных Yandex Cloud в сообществах разработчиков. ⛅️Что нужно делать: - представлять платформу данных в сообществах разработчиков, формировать её восприятие в соответствии с выбранным позиционированием и помогать приросту лояльной аудитории; - готовить разноформатный контент для Хабра и других площадок c целевой аудиторией; - выстраивать сторителлинг вокруг платформы данных для разных ролей: как бизнес-заказчиков, так и технических специалистов; - готовить презентации и выступать с ними на внутренних и внешних мероприятиях; - проводить вебинары, практикумы и другие мероприятия по обучению работе с платформой данных; - развивать и поддерживать офлайн- и онлайн-коммуникации: формировать восприятие сервисов платформы как выбор по умолчанию в профильных чатах Greenplum, PostgreSQL, Data engineers и др. ⛅️ Мы ждем, что вы - работали разработчиком или инженером в сфере IT; - отлично разбираетесь в способах работы с данными; - разбираетесь в базах данных, средствах загрузки и других инструментах и сами можете писать код для развития опенсорсных технологий; - умеете рассказывать истории и оформлять их в статьи и презентации; - любите общаться с сообществом на тему технологий, собирать обратную связь и выстраивать конструктивный диалог. ☎️Контакты: @oksidgi Подробнее о вакансии и условиях: https://clck.ru/35WAPt

Как работают с бигдатой в «тяжёлом диджитале» и что спрятано в хранилище данных СИБУРа? Приходите разбираться вместе на DDS Night! 30 августа в 18:00 инженеры и архитекторы данных СИБУР Диджитал расскажут, как в компании разработали методологию Детального Слоя Хранилища на базе методологий Data Vault 2.0 и Anchor Modeling, и построили детальный слой данных с ее применением. Рекомендуем митап архитекторам и разработчикам систем автоматизации процессов разработки DDS. Это отличная возможность узнать, как оптимизировать процесс разработки DDS, да и в целом расспросить обо всём экспертов по данным в лидере российской нефтегазохимии. Митап пройдет онлайн в следующую среду: успейте зарегистрироваться, чтобы получить ссылку на ивент.

Airflow 2.7.0 Вчера состоялся большой релиз новой версии самого популярного Workflow менеджера в Python: Apache Airflow 2.7.0 Из новых фишечек: — Setup and Teardown tasks — Cluster Activity UI — OpenLineage built-in integration Улучшения: — Убрали поддержку Python 3.7 — В рамках улучшения безопасности Airflow запретили функцию проверки Connections в UI — Новый Graph View теперь используется по умолчанию, старую версию удалили — При обновлении версии рекомендуется накатывать миграции через команду airflow db migrate Полный список можно посмотреть тут.

SmartData 2023 — 6-7 сентября в онлайне, 13-14 сентября офлайн в Москве (с возможностью подключиться к трансляции). За 4 дня конференции спикеры расскажут про устройство платформ данных, сравнят подходы к их обработке, а также подробно разберут плюсы и минусы различных решений и фреймворков. А еще вас ждут живые дискуссии, круглые столы, новые знакомства и возможность перезагрузиться от рабочей рутины как в онлайне, так и в офлайне. В офлайне будет еще больше нетворкинга и афтерпати для всех участников. Посетить конференцию можно за счет компании. Но если покупаете билет самостоятельно, то ищите его на вкладке «Для частных лиц». По промокоду нашего канала он будет дешевле — dataeng Узнать подробности, посмотреть список спикеров и описание докладов можно на сайте.

В блоге у Werner Vogels (тех. дир Amazon), я наткнулся на гостевой пост (автор Andrew Warfield) про историю популярного распределенного хранилища Amazon S3: Building and operating a pretty big storage system called S3

В AWS Big Data блоге вышла статья про Dimension Modeling по Кимбалу в Amazon Redshift: https://aws.amazon.com/ru/blogs/big-data/dimensional-modeling-in-amazon-redshift/. Мне б эту статью в 2019 году, когда я мучился со снежинкой на Redshift, а в итоге забил и денормализовал всё.

Podlodka #329 – Data-engineering Чтобы принимать разумные решения, нужны данные. А чтобы данные были качественные и своевременные – нужны дата-инженеры! Кто они, чем занимаются и при чем тут биг дата – выясняем с Глебом Кантеровым. 🎧 Слушать выпуск

Beeline Data Engineering Meetup: Решение бизнес-задач с помощью данных 🗓18 июля, 17:00 (МСК, GMT +3) 🌐Онлайн В программе: ✔️ Максим Петров — «ETL Pipelines как микросервисы» Внедрение микросервисов на ETL-потоках для создания системы со встроенными аналитическими возможностями.  ✔️ Андрей Чучалов — «Как оптимизировать параметры запуска приложения Spark — ищем проблемы и повышаем производительность» Доклад о том, как выявить ошибочную конфигурацию приложения, рассчитать параметры работы и эффективно использовать ресурсы кластера.  ✔️ Владислав Шевченко, Оксана Солдатова — «Как мы управляем данными с помощью каталога данных» Как в Альфа-Банке и билайне выбирался и внедрялся каталог данных: что от него ожидали и что фактически получилось. Вы сможете задать вопросы спикерам и подискутировать с другими участниками. Авторы лучших вопросов получат подарки🎁 А еще будет разыгран онлайн-билет на конференцию SmartData 🔥 Участие бесплатное. Нужно только зарегистрироваться.

Видите ли вы целостно все составные части системы, которую разрабатываете? Если нет — научиться этому поможет курс System Design от Валерия Бабушкина, Vice President, Data Science в Blockchainꓸcom. За 4 недели вы поймёте, как дизайнить сервис такси, приложение для знакомств и разные другие виды высоконагруженных систем. Научитесь собирать требования, оценивать нагрузку, выбирать подходящие СУБД, масштабировать системы и повышать их надёжность и отзывчивость, а также выделять и последовательно проектировать подсистемы для хранения данных, поиска и аналитики как своими силами, так и с помощью готовых продуктов. А также поймёте, как устроены собеседования в Big Tech, и получите детальный план ответа на собеседовании. Новый поток стартует уже 17 июля! Ждем вас! [Зарегистрироваться]

IT_One Data Meetup: обработка и хранение данных — бесплатный онлайн-митап при поддержке JUG Ru Group. 🗓 Митап пройдет на сайте IT_One — 29 июня в 18:00 В программе: ✔️ Анна Зверькова — «Как обойти грабли при очистке данных от дубликатов с помощью Apache Hive». Анна расскажет о способах и проблемах дедупликации большого объема данных невысокого уровня качества, а также о методах решения проблем с помощью Apache Hive и других инструментов. ✔️ Сергей Мелекшаян — «Кэширование ответов с помощью JSONB для высоконагруженных сервисов». Сергей покажет, как уменьшить количество промежуточных операций и отдавать данные быстрее — с помощью готовых данных в виде JSON. Так же в программе дискуссии и розыгрыши призов 🎁 Участие бесплатное. Регистрация по ссылке на сайте мероприятия.

Курс «Английский для аналитиков» Яндекс Практикума Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков: 🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе. 🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании. 👨‍💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков. 📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли. 📝 Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах. 🚀 Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы. Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.

Ищешь удобный инструмент ML-разработки для своей компании? MLOps-платформа Dognauts станет твоим верным другом на всем пути разработки и эксплуатации моделей машинного обучения. 💻 Закрой тысячи вкладок и работай с ML-моделями из единого окна 🔐 Разграничивай доступ членов команды по проектам и ролям 🚀 Выводи модели на рынок быстрее C Dognauts весь MLOps у тебя под рукой. Подписывайся на канал, чтобы узнать, как сделать процесс разработки ML-моделей быстрым и управляемым!

Ребята из PostHog (сервис продуктовой аналитики) выложили в Open Source интересную балалайку HouseWatch. Это веб-сервис, разработанный на Django и React для управления и мониторинга ClickHouse-кластером. PostHog активный пользователь ClickHouse, у них в блоге есть даже занятный пост про сравнение Apache Druid и ClickHouse. Если вы активно используете ClickHouse в продакшене, то рекомендую присмотреться и попробовать в деле.

Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных: — Simon Willison: Data analysis with SQLite and Python — Matt Harrison: Getting Started with Polars — Bert Wagner: Cross-Server Data Joins on Slow Networks with Python — Brandt Bucher: Inside CPython 3.11's new specializing, adaptive interpreter — A. Jesse Jiryu Davis: Consistency and isolation for Python programmers — Eric Snow: A Per-Interpreter GIL: Concurrency and Parallelism with Subinterpreters — Mark Shannon: How we are making CPython faster. Past, present and future — Paolo Melchiorre: A pythonic full-text search — Samuel Colvin: How Pydantic V2 leverages Rust's Superpowers Полный список докладов тут.