Data Engineering / Инженерия данных / Data Engineer / DWH

Data Engineer: учебное пособие для прохождения собеседования https://tproger.ru/curriculum/data-engineer-interview-guide 📖 In Russian: cписок русскоязычных публикаций matyushkin и блокноты Jupyter для различных образовательных ресурсов. https://github.com/matyushkin/lessons A complete computer science study plan to become a software engineer. https://github.com/matyushkin/lessons Как проходит интервью по SRE T-Bank (aka Tinkoff) https://www.tbank.ru/career/it/interview/sre/

DevToys (Developer Tools App) is Now Available for Linux - OMG! Ubuntu DevToys — это бесплатное и открытое приложение, которое объединяет в себе множество полезных инструментов для разработчиков. Основные возможности DevToys Конвертация данных: Перевод текста в разные форматы (JSON, XML, CSV и другие) станет намного проще. Шифрование и дешифрование: Удобные инструменты для работы с различными методами шифрования. Генерация данных: Быстрое создание тестовых данных, UUID, хешей и т.д. Форматирование и минификация кода: Легко привести код в читаемый вид или минимизировать его для оптимизации. Расчёт контрольных сумм: Вычисление MD5, SHA-1 и других хешей. Инструменты для работы с датами и временем: Конвертация временных меток, работа с таймзонами и многое другое. https://www.omgubuntu.co.uk/2024/07/devtoys-developer-tool-now-available-on-linux Ссылка на сам проект: https://github.com/DevToys-app/DevToys

Всем привет! Ровно через 3 недели будет открыт наш курс. Расскажем, что ждет Вас на курсе: 📚 25 разделов (начиная с 1 июля будет открываться 2 раздела каждую неделю) ✅ Более 300 тестов 📝 7 заданий с индивидуальной проверкой преподавателей 💻 Более 40 заданий на написание кода 🎥 Более 500 минут видео лекций 🏆 И, наконец, 12 финальных заданий на выбор Подпишись на наши новости - Data Engineer Поступи на наш курс - курс на Stepik Напоминаем, что регистрация бесплатная! 🙏🤝

Apache NiFi как доступный ETL инструмент: кейс применения + тестовый стенд Docker / Хабр https://habr.com/ru/articles/813813/

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора / Хабр https://habr.com/ru/companies/lamoda/articles/810705/

Опыт эксплуатации Airflow в Kubernetes https://youtu.be/aR_OalNRopI?si=4llSsiRDxOMhHa_H

GitHub - QuantumFluxx/karpov_courses: 🐳 Проектная деятельность. Здесь хранятся лекции, практические задания и проекты с karpov_courses. https://github.com/QuantumFluxx/karpov_courses

Рейтинг Open-Source проектов All Projects - OSSRank https://ossrank.com/

Курс по dbt с нуля. Занятие 2 Особенности установки на Windows. Запуск ClickHouse в wsl 2. https://youtu.be/wSUbJ5lUahw?si=_Q60ad9AQYk3lpQD

Курс по dbt с нуля. Занятие 1. Преимущества dbt. Запускаем dbt из docker в связке с ClickHouse https://www.youtube.com/watch?v=fXt-VmqsVPA

Неплохой гайд по DBT "The GitLab Handbook" https://handbook.gitlab.com/handbook/business-technology/data-team/platform/dbt-guide/

The ultimate guide to dbt – Count https://count.co/blog/the-ultimate-guide-to-dbt/

Курс про Apache Airflow бесплатно Решил выложить свой курс про Apache Airflow абсолютно бесплатно для всех: Apache Airflow 2.2: практический курс За то время что существует курс, Apache Airflow успел обрасти множеством новых фич, которые только предстоит покрыть в будущем, возможно в виде отдельных роликов на Ютуб или в виде статей у себя в блоге. В любом случае курс не потерял своей актуальности и может послужить неплохим введением для новичков и более опытных пользователей. Например, в курсе я подробно разбираю как развернуть у себя на сервере production-ready Airflow, а также настроить автодеплой дагов через GitHub Actions. Велком!

Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов / Хабр https://habr.com/ru/companies/cedrusdata/articles/744934/

ClickHouse: как устроен MergeTree / Хабр https://habr.com/ru/articles/539538/

GitHub - ripienaar/free-for-dev: A list of SaaS, PaaS and IaaS offerings that have free tiers of interest to devops and infradev https://github.com/ripienaar/free-for-dev Free for Developers https://free-for.dev/

Развертывание Apache Airflow. CI/CD для DAG https://youtu.be/cuQBbw2-7fM?si=Sk_L--wPiypgGN98