DataEng

Пример работы с aws-data-wrangler: https://aws.amazon.com/ru/blogs/big-data/optimize-python-etl-by-extending-pandas-with-aws-data-wrangler/

Компания Amazon открыла доступ к курсам по машинному обучению для всех желающих: https://www.amazon.science/latest-news/machine-learning-course-free-online-from-amazon-machine-learning-university

Сравнение Kafka и AWS Kinesis: https://medium.com/flo-engineering/kinesis-vs-kafka-6709c968813

В 2016 году во время PyCon US 2016 в Портленде я встретил Гвидо ван Россума во время networking-сессии в холле. Первый вопрос, который я ему тогда задал относился к реализации интерфейсов в Python (just like in Java). Есть ли шанс, что в будущих версиях Python мы увидим реализацию интерфейсов? На что был получен однозначный ответ, что этого не стоит ждать, для таких целей можно использовать абстрактные классы (модуль abc). После я поинтересовался его мнением про zope.interfaces, на что также была получена рекомендация их не использовать 😢 Но не так давно, шерстя просторы официальной документации, я наткнулся на интересную штуку, а именно на typing.Protocol. По своей сущности это самый настоящий интерфейс. А не так давно нашел и обзор этой штуки, статья must read: I Want A New Duck. Если кратко, то Protocol в первую очередь нужен, если вы активно используете mypy для статического анализа кода. Наверняка вы могли сталкиваться с аннотациями на кастомные классы, когда в функцию или метод могут передаваться разные объекты, протокол/интерфейс (читай, общие методы) которых одинаковый.

​​Какие продвинутые навыки стоит освоить Дата инженеру? 4 августа в 20:00 мск приглашаем познакомиться с онлайн-курсом «Data Engineer»: https://otus.pw/r1p6/ Преподаватель Егор Матешук представит программу, расскажет, как организована практика и ответит на ваши вопросы о карьере Data Engineer. Вебинар предназначен для разработчиков, администраторов СУБД и всех, кто стремится повысить профессиональный уровень в сфере работы с данными. Регистрируйтесь, чтобы не пропустить!

В блоге Confluent появился пост-кейс с компанией Tencent по использованию Apache Kafka: https://www.confluent.io/blog/tencent-kafka-process-10-trillion-messages-per-day/ Tencent, к слову, причастна к PUBG, Call of Duty, WeChat и многим другим творениям. Нагрузка на кафку составляет 4 миллиона сообщений в секунду 😲

Интересный пост от подписчика @bryzgaloff про построение своего веб-трекера на ClickHouse: https://tproger.ru/articles/tproger-tracker-yandex-cloud/

В сети стали доступны доклады с прошедшего Airflow Summit 2020. Безусловно все докладчики выступали удалённо (мы этот год запомним навсегда) Из докладов, которые хотелось бы отметить: - Advanced Apache Superset for Data Engineers - Data engineering hierarchy of needs - Airflow the perfect match in our analytics pipeline - Data flow with Airflow @ PayPal Смотреть весь плейлист

Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31

Подкаст с автором книги Database Internals Алексом Петровым: https://www.se-radio.net/2020/07/episode-417-alex-petrov-on-database-storage-engines/

Годный доклад от Гриши Петрова про навыки написания читаемого кода: https://www.youtube.com/watch?v=Sge_hycXb6E

Видео с митапа: https://youtu.be/dIDqSl7QwuM

Намечается очередной онлайн-митап про data engineering на русском: https://deordie.timepad.ru/event/1350632/