DataEng

В блоге Confluent вышла интересная статья про построение Telegram бота на Python и ksqlDB: https://www.confluent.io/blog/building-a-telegram-bot-powered-by-kafka-and-ksqldb/

Появились доклады с прошедших двух митапов по Data Engineering, последний, к слову, проходил онлайн 🦠: — Николай Марков – Какие дата инженеры бывают и чего от них все хотят? — Евгений Ермаков – Что под капотом у Яндекс.Такси? — Егор Матешук – Обзор Lambda- и Kappa-архитектур — Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет? Приятного просмотра!

На хабре вышла полезная статья про построение кластера на Dask: https://habr.com/ru/post/499086/

Очень крутой вебинар от архитекторов AWS на русском языке про устройство базы данных AWS Aurora: https://emea-resources.awscloud.com/rus-ua-cis-webinars-in-russian-2020/webinar-aws-aurora

К вопросу про целесообразность построение проекта на основе микросервисной архитектуры. Почитайте полезный пост от Twitter о том как они у себя удаляют данные в своём распределённом улье: https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/deleting-data-distributed-throughout-your-microservices-architecture.html Весьма актуально в эпоху GDPR

Кейс Zalando о построении своего Data Lake на AWS: https://aws.amazon.com/de/blogs/storage/how-zalando-built-its-data-lake-on-amazon-s3/

Ссылка на трансляцию митапа по data engineering, который начнётся через 1 час: https://youtu.be/3GaiDIHUvro

Путь Data Platform Engineer в AWS: https://aws.amazon.com/ru/training/learning-paths/machine-learning/data-platform-engineer/

Монументальный труд про построение бэкэнда на Python от Яндекса: https://habr.com/ru/company/yandex/blog/499534/

А вот ещё в догонку подкаст про Dask. Кто не в курсе, Dask это big data framework на Python, аналог Apache Spark. Если вам необходимо обрабатывать большие данные, то не торопитесь изучать Spark, возможно Dask будет лучшим выбором, если вы хорошо знакомы с Python.

В подкасте Software Daily вышел эпизод про workflow менеджер Prefect.

4 мая ребята из сообщества Data Engineering проведут бесплатный митап: «Data Engineer or Die». Соберутся хорошие эксперты по теме: Егор Матешук (CDO Qvant), Денис Хуртин (DMP Яндекс.Маркет), Михаил Кумачёв, Ксения Томак, Дарья Буланова (команда Data Engineering в Dodo Pizza). Встреча будет актуальна для тех, кто работает с доставкой данных, backend-developers, ну и конечно для тех, кто в теме Data Engineering (или только начинает в ней вариться). Ссылка на ивент: https://deordie.timepad.ru/event/1303716/

Кейс перехода с Apache Kafka на Apache Pulsar: https://streamnative.io/blog/tech/2020-04-21-from-apache-kafka-to-apache-pulsar/

Нашел в сети курс от MIT про распределённые системы: MIT 6.824: Distributed Systems, ведёт курс легендарный Роберт Морис: https://www.youtube.com/channel/UC_7WrbZTCODu1o_kfUMq88g/videos

пост про serverless data streaming с помощью lambda, kinesis и dynamodb: https://www.teamdatascience.com/post/how-to-write-kinesis-data-stream-to-dynamodb

Присоединяйтесь к Online AWSome Week! 27 апреля – 4 мая, 13.00 – 14.00. Архитекторы AWS расскажут, как сделать первые шаги в облачных технологиях. За 5 бесплатных вебинаров вы разберетесь в основных сервисах AWS и подготовитесь к экзамену на сертификат практика облачных сервисов. Участие бесплатно, нужно просто зарегистрироваться: https://go.aws/3cFwo4D

Воркшоп по стриминговой аналитике от AWS: https://streaming-analytics.labgui.de/introduction/ коды: https://github.com/aws-samples/streaming-analytics-workshop

Тут у Segment намечается вебинар по теме построения Data Lake в компании Taxfix, кому интересно велком: https://learn.segment.com/building-a-data-lake-taxfix/

Амазон запустил новый сервис Amazon AppFlow, облачный ETL по забору данных из SaaS продуктов в хранилища AWS: https://aws.amazon.com/ru/appflow/