DataEng

​​Компания Wunder Fund ищет дата инженера/питониста в свою команду. Мы занимаемся высокочастотной алгоритмической торговлей на биржах по всему миру последние 7 лет. Для того, чтобы у наших квантов была возможность тестировать свои торговые идеи, им необходимы исторические данные торгов. Эти данные мы собираем в несколько этапов. Сначала онлайн, прямо во время торгов, сохраняем данные максимально надежным и простым способом. Данные с разных бирж приходят в разных форматах, они могут быть очень разными. Поэтому после сохранения мы ежедневно преобразовываем данные в наш внутренний единый формат. После этого качество полученных данных проверяется по множеству параметров специальной программой-чекером. Мы постоянно выходим на новые биржи, и у каждой биржи есть свои особенности в данных. А старые биржи систематически делают изменения в своих форматах, и они должны быть отражены в нашем софте. Нам нужен человек, который возьмет на себя работу по поддержке уже существующих пайплайнов обработки и разработке новых. ✦ Пишите за подробностями @georgy или сразу открывайте нашего бота — в нем будут подробности и короткий тест знаю/не знаю, для того, чтобы оценить, насколько мы друг другу подойдем.

Вебинар Бесплатный ML Space на базе инструментов Intel oneAPI для всех желающих. У нас отличные новости, инструменты Intel® oneAPI на облачной платформе ML Space стали доступны для физических лиц. Это значит, что любой желающий может бесплатно использовать набор программных инструментов для ускорения машинного обучения, анализа данных, разработки ПО. На вебинаре вы узнаете: — подробности об инструментах Intel® oneAPI; — сценарии применения этих инструментов для построения ML-моделей; — как получить бесплатный доступ к инструментам на платформе ML Space. Вебинар будет полезен всем, кто интересуется data science. Регистрируйтесь по ссылке. Вебинар пройдёт — 14 октября 2021, четверг, 12:00 *SberCloud — облачный провайдер услуг и сервисов для физлиц, бизнеса и государственных организаций.

Ребята из Notion поделились личным опытом шардинга PostgreSQL: https://www.notion.so/blog/sharding-postgres-at-notion Шардинг это всегда про компромисс. PostgreSQL из коробки не умеет в шардинг, поэтому зачастую реализация подразумевает участие самого приложения в распределении данных между шардами. Шардинг это всегда индивидуальный подход для конкретного приложения. Не существует универсального способа реализации шардинга для всех. Индивидуальный подход подразумевает понимание предметной области приложения, моделирования данных и нагрузки. Я не так давно шардировал PostgreSQL с 1 жирной ноды на 32 физических сервера. Безусловно получили колоссальный буст в производительности запросов, клиенты довольны, но ценой усложнения архитектуры (мониторинг, репликация данных, избыточность и т.д.). Не говоря уже про решардинг данных в случае добавления новых узлов в кластер баз. Если вам интересно как в Notion моделируют данные, то читайте https://www.notion.so/blog/data-model-behind-notion. Центральной сущностью является Block за которым следует всё остальное.

Прошла небольшая конференция по data engineering — DataEngBytes 2021. Я собрал список наиболее интересных докладов: - What is a Data Mesh - And How Not To Mesh it Up - Data Quality with Great Expectations and Airflow in a Reverse-ETL World - Shift-left testing : Building reliable Data Pipelines - Data quality: the key to long term happiness - Reliable data engineering made easy - Gone Streaming: dbt+Materialize - Streaming data analytics with Apache Flink Сам ещё не всё посмотрел, список формировал по привлекательности названия докладов 😁 Учтите, что среди докладчиков есть представители data-компаний (Databricks, Materialize, Monte Carlo Data и т.д.), так что слушайте с небольшой толикой скептицизма к их словам 🤔

Интересный keynote от создателя Apache Airflow про тренды в области data engineering: https://www.youtube.com/watch?v=se6O5wFXEXw Также Макс вскользь упоминает 2 своих статьи: — The Rise of the Data Engineer https://www.freecodecamp.org/news/the-rise-of-the-data-engineer-91be18f1e603/ — The Downfall of the Data Engineer https://maximebeauchemin.medium.com/the-downfall-of-the-data-engineer-5bfb701e5d6b Смотреть удобно на скорости ×1.25, ×1.5

Программа конференции для дата-инженеров SmartData 2021 готова! Начинаем уже 11 октября 💣 Вас будут ждать 4 дня, 33 доклада и 2 воркшопа, которые помогут пополнить арсенал инструментов, узнать о лучших практиках и сориентироваться в трендовых технологиях. Темы конференции: ✔️ Tooling: все об инструментах, которые используют в дата-инжиниринге; ✔️ Spark: штука настолько востребованная, что о ней будет сразу три доклада; ✔️ Processes: как организовать работу и процессы в команде; ✔️ Storage: базы данных, SQL-движки и многое другое; ✔️ Architecture: доклады об архитектуре и опыте работы с ней разных команд; ✔️ Industry usecases: реальный опыт, боль, успехи и провалы коллег. Кроме докладов и воркшопов, вас будут ждать дискуссионные зоны, возможность вернуться к записям докладов, розыгрыши и много других приятных плюшек. Специально для нашего канала организаторы сделали промокод на скидку dataeng2021JRGpc, который дает скидку на Personal Standard билет🔥 Заходите на сайт конференции за подробностями и билета

Вышел Python 3.10: https://www.python.org/downloads/release/python-3100/ В языке появился паттерн-матчинг, которого мне не хватало и который я подсмотрел в своё время в языке Scala. Помимо этой фичи есть и куча других с которыми можно ознакомиться по ссылке выше. Ребята из JetBrains подсуетились и выпустили небольшое видео про новшества языка: https://www.youtube.com/watch?v=JteTO3EE7y0

Бесплатный вебинар «Vertica 11: Новая версия - новые возможности» ⏰ 6 октября 2021 года   Познакомьтесь с богатым функционалом новой версии аналитической платформы Vertica: 📌 работа с ORC-форматом (включая экспорт данных в ORC и поддержку сложных типов данных); 📌 поддержка сложных типов данных в JDBC-клиенте; 📌 партиционированные проекции; 📌 резервное копирование и восстановление в Azure; 📌 поддержка резервного копирования кластеров Eon с коммунальным хранилищем на Hadoop; 📌 множество улучшений в части шифрования подключений и соединений; 📌 поддержка развертывания Vertica Eon в инфраструктуре Kubernetes.   🤵 Ведущий — Александр Скоробогатов, архитектор решений Vertica в России и СНГ. 🤝 Присоединяйтесь!  💡 Это будет полезно для расширения профессионального кругозора или углубления знаний в области #BigData #аналитика #хранилищеданных.   ▶️ Зарегистрироваться 🔎 Другой полезный контент на канале Micro Focus Russia & CIS

Друзья, мы опубликовали видео с прошедшего митапа DE or DIE #8. Все доступно по ссылке: https://deordie.org/meetups/08/ Также, на https://deordie.org/ вы можете найти материалы с наших прошлых митапов, и ссылки на другие проекты: дайджест статей и подкаст.

​​Если вы работаете с разнородными данными, поступающими из разных источников, и хотите ускорить свою работу, то этот вебинар для вас. Подключайтесь 21 сентября в 11:00 к эфиру, где эксперт SberCloud расскажет, как пользоваться сервисом Data Lake Insight и как одним SQL-запросом обработать данные, расположенные в разных системах, без предварительной загрузки этих данных в какое-либо единое хранилище. Ждём Data-инженеров, аналитиков, DevOps-инженеров и администраторов. Регистрация на вебинар по ссылке.

SQLpedia - канал про SQL и базы данных, в котором вы найдете: — Возможность предложить нам статью для перевода; — Полезные видео; — Интересные опросы; — Профессиональный юмор; Присоединяйтесь, давайте расти как профессионалы вместе 😉 Подписаться: @sql_wiki

Выпустил августовский выпуск https://blog.jetbrains.com/big-data-tools/2021/09/06/data-engineering-annotated-monthly-august-2021/

Ещё раз про data mesh: https://www.montecarlodata.com/decoding-the-data-mesh/

Хотите пилить расширения для PostgreSQL на Rust? Оно у нас есть: https://tech.marksblogg.com/postgresql-extension-rust.html

Не рекламы ради, а помощи сообществу для. 26 августа в 18:00 компания ITOne вместе с JUG Ru Group проведет бесплатный онлайн митап по Big Data и Java. На «ITOne Meet Up: Java and Big Data» эксперты будут говорить о технологиях, инструментах, методах и многом другом, чем живут дата-специалисты. В программе: — Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»; — Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»; — Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data. А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁 Участие бесплатное, нужно только зарегистрироваться.

юмор дата инженеров 😁

Обзор Open Source решений из мира данных: https://www.datafold.com/blog/the-modern-data-stack-open-source-edition

Маленькая балалайка для анализа метаданных в базе данных PostgreSQL: https://github.com/marklit/datafluent_pg Написана на питоне, удобно запускать из консоли. В результате формирует отчёт в Excel 🤖 Пост в блоге автора: https://tech.marksblogg.com/data-fluent-for-postgresql.html

Ребята из #CloudMTS предлагают облачные сервисы для быстрого запуска новых ИТ-продуктов. Актуально для разработчиков, кто хочет выйти на рынок раньше остальных. Сервисами можно пользоваться бесплатно 30 дней! Реализуйте ваши проекты на готовой облачной IT инфраструктуре: ✔️ Получите всё, что нужно для разработки цифрового продукта: IaaS, облачный суперкомпьютер на GPU, резервное копирование, хранилище S3, CDN, WAF, сервисы Azure и многое другое. ✔️ Используйте любое количество сервисов одновременно. ✔️ Никаких ограничений по функционалу и скрытых платежей. Выведите свой продукт на рынок в рекордные сроки с #CloudMTS! Узнать подробности можно по ссылке: https://bit.ly/2VhG1U2

У ребят из dbt есть гайд про Analytics Engineer: https://www.getdbt.com/analytics-engineering/