DataEng

На YouTube канале Confluent появился плейлист с видео от легендарного Tim Berglund про введение в Apache Kafka: https://www.youtube.com/watch?v=qu96DFXtbG4&list=PLa7VYi0yPIH0KbnJQcMv5N9iW8HkZHztH

Роман подготовил следующий вебинар для вас: Друзья, новая пушка для вас заряжена! Во вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире! Вы просили практики или реальных кейсов, да не вопрос:) Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud" План вебинара: - Архитектура решения и её ключевые элементы; - На что обратить внимание перед построением решения; - Преимущества Google BigQuery при построении маркетинговой аналитики; - Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt; - Google Data Studio как средство визуализации данных; - Пути масштабирования системы. Спикер: Денис Соловьев. Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике. Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это. Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂 Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face: Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями https://youtu.be/mqE6Q3WmoCU

Интересное начинание, автор Олег Агапов решил написать учебник по data engineering: https://github.com/oleg-agapov/data-engineering-book

Всем привет! 👋 Сегодня собрал всю свою волю в кулак и написал небольшой туториал по библиотеке logging в Python 💪. Материал был подготовлен в рамках моего вебинара для студентов Яндекс.Практикума 📺 Прочитать статью как всегда можно у меня в блоге — Введение в logging на Python 🐍

А вот и Uber поделился своим инструментом Data Catalog — Databook: https://eng.uber.com/metadata-insights-databook/ Инструмент пока не доступен для всех, но в статье есть информация про архитектуру этого приложения, возможно будет полезно узнать кому-то.

Серия видео про новшества в Airflow 2.0: https://bit.ly/395ib2C

Netflix создал еще одно решение - Бульдозер, для экспорта данных из хранилища данных в NoSQL. https://netflixtechblog.com/bulldozer-batch-data-moving-from-data-warehouse-to-online-key-value-stores-41bac13863f8

Я чуть выше публиковал серию лекций про распределённые системы от Мартина Клепмана, а вот недавно появился пост у него в блоге: https://martin.kleppmann.com/2020/11/18/distributed-systems-and-elliptic-curves.html

Нашел интересный проект от Apache (пока на стадии инкубатора) — Apache Liminal: http://liminal.incubator.apache.org/ Платформа для оркестрации машинного обучения. Насколько понял, под капотом используется Apache Airflow.

Some important updates from #AWS : ✅ Amazon Kinesis Data Streams enables data stream retention up to one year. ✅ Now you can export your Amazon DynamoDB table data to your data lake in Amazon S3 to perform analytics at any scale. ✅ Amazon Redshift now supports modifying column compression encodings to optimize storage utilization and query performance ✅ Amazon Athena announces availability of engine version 2

Про разницу между OLTP и OLAP: https://www.analyticsvidhya.com/blog/2020/11/oltp-vs-olap/

Набор AWS воркшопов: https://www.workshops.aws/

A comparison of data version control tools. https://dagshub.com/blog/data-version-control-tools/

Лекции про распределенные системы: https://www.youtube.com/playlist?list=PLeKd45zvjcDFUEv_ohr_HdUFe97RItdiB

​​Собираетесь освоить специальность Data Engineer? Начните свой профессиональный путь уже 24 ноября на демо-занятии «Знакомство с Greenplum». Вместе с преподавателем Василием Сушко вы рассмотрите класс MPP-баз на примере базы Greenplum и построите небольшое хранилище данных на основе этой базы. Вы узнаете, что такое аналитические базы и для чего они нужны, чем DWH отличается от просто большой базы, что такое Greenplum. Демо-урок — возможность попробовать онлайн-курс «Data Engineer» и познакомиться с преподавателем. Для регистрации на занятие пройдите вступительный тест https://otus.pw/uRdz/

Доброе утро! Четвертый день главной аналитической конференции начнется через 30 минут. Сегодня говорим про Data-инжиниринг и отчетность. Спикерам разрешили материться, будет интересно 😁 FREE: matemarketing.ru FULL: https://lms.matemarketing.ru @internetanalytics

​​Два экспресс-курса для начинающих админов! Хочется поскорее в DevOps? Вам нужен «IaC Ansible» от Express42 и OTUS. 5 дней онлайн-занятий, и вы сможете одной командой выкатывать код, автоматизировать запуск сервера, использовать Ansible для работы с данными и многое другое. Практика пройдет в облаке GCP. Старт 23 ноября. Оставьте заявку, чтобы занять место по спец.цене https://otus.pw/FSqp/ Хотите оптимизировать процессы логирования? Тогда для вас быстрый онлайн-курс«ELK». За 2 дня онлайн-практики вы: — Разберетесь в устройстве Elastic stack и его отличиях от Graylog и других решений, — Овладеете базовым практическим опытом по использованию системы логирования в типовом проекте. Старт 26 ноября. Оставьте заявку, чтобы успеть занять место спец.цене https://otus.pw/kUOE/

Гайд по Prefect: https://lejimmy.com/how-to-automate-python-workflows-in-prefect-step-by-step-guide/