Data Engineering / Инженерия данных / Data Engineer / DWH

😁

Еще немного бубнежа про Modern Data Stack https://www.rudderstack.com/assets/the-data-maturity-guide.pdf Продолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш MDS сложная концептуальная штука, ничего не понятно и очень много всяких иконок, в том числе их самих. Ключевая цитата там звучит вот так: Let’s be honest. The modern data stack is an ambiguous concept. It’s confusing and impractical. What we need is a real-world roadmap to help us progressively build more mature data functions. So we developed a practical four-stage framework to guide you along your journey to data maturity. Поэтому за емейл они предлагают свой гайд по тому, как оценивать свои хотелки и что вам действительно нужно в текущей ситуации из DE инструментов. Сам гайд на 80 страниц, если вам предстоит самим строить какое-то хранилище или вы на пороге того, что надо все нафиг переписать - довольно неплохо описаны всякие подходы и концепции. Ссылок на конкретные инструменты не заметил, а вот примеры типичных проблем и pain points описания - мне понравилось. Вообще, Data Maturity - головная боль последних моих недель, ибо нужно решить вопросики по всяким стратегиям, подходам и инструментам, а это непросто дается. @ohmydataengineer

Примеры скриптов для парсинга сайтов https://github.com/nefelsay/stepik_parsing/tree/main

Clickhouse — база данных для гибкого анализа огромных потоков информации. Microsoft, Uber и Deutsche Bank — лишь некоторые известные пользователи. Как экспериментальный проект одного разработчика вырос в отдельную компанию с оценкой в миллионы долларов — говорим с создателем Clickhouse Лешей Миловидовым. Слушайте на всех платформах: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Такой ChatGPT упертый 🫣 (пример скрипта Web Scraping TikTok) https://telegra.ph/Moya-popytka-obojti-Chat-GPT-po-TikTok-05-17

StarRocks StarRocks is the next-generation data platform designed to make data-intensive real-time analytics fast and easy. It delivers query speeds 5 to 10 times faster than other popular solutions. StarRocks can perform real-time analytics well while updating historical records. It can also enhance real-time analytics with historical data from data lakes easily. With StarRocks, you can get rid of the de-normalized tables and get the best performance and flexibility. https://github.com/StarRocks/starrocks

awesome-bigdata A curated list of awesome big data frameworks, resources and other awesomeness. Inspired by awesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data. https://github.com/newTendermint/awesome-bigdata

Linux by Rebrain: Базовые знания Что обсуждается в видео: 🔹Что нужно знать и уметь, чтобы чувствовать себя комфортно в Linux 🔹Где мои диски?! (VFS, монтирование) 🔹Что пришло из мира UNIX в большинство операционных систем? https://www.youtube.com/watch?v=hltUg3T1MJU

Apache Airflow - OpenApi Client for Python https://github.com/apache/airflow-client-python

Архитектура ПО. Введение https://youtu.be/JXI2CsT2ZZQ

Архитектура современных frontend приложений https://youtu.be/c3JGBdxfYcU

OpenMetadata 1.0 Release. Improved Schemas & APIs, Ingestion… | by Sriharsha Chintalapani | May, 2023 | OpenMetadata https://blog.open-metadata.org/openmetadata-1-0-release-beb34762d916

Бесплатный курс «Инженер облачных сервисов»: онлайн-обучение — Яндекс Практикум Инструменты, которые вы освоите: ▫️Управление облачной инфраструктурой ▫️Хранение и анализ данных ▫️Работа с контейнерами ▫️Разработка приложений в облаке ▫️Защита облачных ресурсов https://practicum.yandex.ru/ycloud/

what's new in Apache Airflow 2.6.0 | Apache Airflow https://airflow.apache.org/blog/airflow-2.6.0/

Будущее после оркестраторов / Хабр https://habr.com/ru/companies/otus/articles/732998/

Key Steps in the Database Selection Process - by Alex Xu https://blog.bytebytego.com/p/key-steps-in-the-database-selection

Три бесплатных курса на Stepik: ▫️Hadoop. Система для обработки больших объемов данных ▫️PySpark - просто! ▫️Инди-курс программирования на Python

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения https://youtu.be/ZgojwJEcLn8

Задача для собеседования 😂