DataEng

Карта навыков современного дата инженера: https://github.com/datastacktv/data-engineer-roadmap Неплохо дополняет мою статью: https://khashtamov.com/ru/data-engineer/

DataCamp в очередной раз устраивают бесплатную неделю: https://www.datacamp.com/freeweek

Mastering a data pipeline with Python / Robson Luis Monteiro Junior (Microsoft) https://youtu.be/25fUlUsmg38

CAP теорема для дата инженеров: https://www.analyticsvidhya.com/blog/2020/08/a-beginners-guide-to-cap-theorem-for-data-engineering/

Пример работы с aws-data-wrangler: https://aws.amazon.com/ru/blogs/big-data/optimize-python-etl-by-extending-pandas-with-aws-data-wrangler/

Компания Amazon открыла доступ к курсам по машинному обучению для всех желающих: https://www.amazon.science/latest-news/machine-learning-course-free-online-from-amazon-machine-learning-university

Сравнение Kafka и AWS Kinesis: https://medium.com/flo-engineering/kinesis-vs-kafka-6709c968813

В 2016 году во время PyCon US 2016 в Портленде я встретил Гвидо ван Россума во время networking-сессии в холле. Первый вопрос, который я ему тогда задал относился к реализации интерфейсов в Python (just like in Java). Есть ли шанс, что в будущих версиях Python мы увидим реализацию интерфейсов? На что был получен однозначный ответ, что этого не стоит ждать, для таких целей можно использовать абстрактные классы (модуль abc). После я поинтересовался его мнением про zope.interfaces, на что также была получена рекомендация их не использовать 😢 Но не так давно, шерстя просторы официальной документации, я наткнулся на интересную штуку, а именно на typing.Protocol. По своей сущности это самый настоящий интерфейс. А не так давно нашел и обзор этой штуки, статья must read: I Want A New Duck. Если кратко, то Protocol в первую очередь нужен, если вы активно используете mypy для статического анализа кода. Наверняка вы могли сталкиваться с аннотациями на кастомные классы, когда в функцию или метод могут передаваться разные объекты, протокол/интерфейс (читай, общие методы) которых одинаковый.

​​Какие продвинутые навыки стоит освоить Дата инженеру? 4 августа в 20:00 мск приглашаем познакомиться с онлайн-курсом «Data Engineer»: https://otus.pw/r1p6/ Преподаватель Егор Матешук представит программу, расскажет, как организована практика и ответит на ваши вопросы о карьере Data Engineer. Вебинар предназначен для разработчиков, администраторов СУБД и всех, кто стремится повысить профессиональный уровень в сфере работы с данными. Регистрируйтесь, чтобы не пропустить!

В блоге Confluent появился пост-кейс с компанией Tencent по использованию Apache Kafka: https://www.confluent.io/blog/tencent-kafka-process-10-trillion-messages-per-day/ Tencent, к слову, причастна к PUBG, Call of Duty, WeChat и многим другим творениям. Нагрузка на кафку составляет 4 миллиона сообщений в секунду 😲

Интересный пост от подписчика @bryzgaloff про построение своего веб-трекера на ClickHouse: https://tproger.ru/articles/tproger-tracker-yandex-cloud/

В сети стали доступны доклады с прошедшего Airflow Summit 2020. Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда) Из докладов, которые хотелось бы отметить: - Advanced Apache Superset for Data Engineers - Data engineering hierarchy of needs - Airflow the perfect match in our analytics pipeline - Data flow with Airflow @ PayPal Смотреть весь плейлист

Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31

Подкаст с автором книги Database Internals Алексом Петровым: https://www.se-radio.net/2020/07/episode-417-alex-petrov-on-database-storage-engines/