DataEng

Видео с митапа: https://youtu.be/dIDqSl7QwuM

Намечается очередной онлайн-митап про data engineering на русском: https://deordie.timepad.ru/event/1350632/

Всем привет! Нужна ваша помощь. Я решил в виде Twitter треда собрать список полезных материалов для изучения data engineering: https://twitter.com/adilkhash/status/1274757239488774144 Если вы пользуетесь Twitter, то просьба поставить лайк/сделать ретвит, это поможет распространить этот тред на большее количество людей. Спасибо!

Вышла новая версия Apache Spark 3: https://spark.apache.org/releases/spark-release-3-0-0.html

Если вы сейчас рассматриваете предложения о работе и в частности в сфере data engineering, то на сайте remotelist.ru есть отдельная категория DataOps: https://remotelist.ru/category/dataops-jobs/ Если лень постоянно заходить на сайт, то можно подписаться на RSS этой категории: https://remotelist.ru/feed/category/dataops/ Также есть телеграм канал: @remotelist и бот @RemoteListBot P.S. проект мой, пожелания и предложения можно оставлять в комментариях 😊

A Brief History of Dask: https://coiled.io/blog/history-dask.html Dask может быть лучшей альтернативой Apache Spark

Интересный обзор новых БД от автора книги Seven databases in seven weeks. Автор планирует написать 3 поста с небольшими обзорами главных фич. Первая часть посвящена: TileDB, Materialize и Prisma. Во второй части будут разобраны EdgeDB, Tremor и Debezium (CDC). И в финальной части автор обещает сделать выводы. Ссылка на статью: https://lucperkins.dev/blog/new-db-tech-1/

как распараллелить ваш python код на лямбды? очень просто — используйте http://pywren.io/

Kafka в недрах Dropbox: https://dropbox.tech/infrastructure/finding-kafkas-throughput-limit-in-dropbox-infrastructure

Вполне валидный пост про сравнение Apache Pulsar с Apache Kafka: https://www.kai-waehner.de/blog/2020/06/09/apache-kafka-versus-apache-pulsar-event-streaming-comparison-features-myths-explored/

В @dataeng_chat не так давно затрагивали тему про OLAP базы, упомянул Apache Pinot, тёмную лошадку среди распределенных аналитических БД. И вот на просторах сети вышла интересная статья про анализ текста средствами Apache Pinot: https://medium.com/apache-pinot-developer-blog/text-analytics-on-apache-pinot-cbf5c45d282c

https://www.youtube.com/watch?v=MxiKfMocXxM & Python 🐍

Скрещивание OLAP БД ClickHouse и стриминговых инструментов Apache Kafka и ksqlDB: https://medium.com/streamthoughts/how-to-build-a-real-time-analytical-platform-using-kafka-ksqldb-and-clickhouse-bfabd65d05e4