Data Engineering / Инженерия данных / Data Engineer / DWH

Хочу поделиться ссылкой на Шаблон документа для дизайна ML-систем от телеграм-канала Reliable ML Насколько я понял, Ира железной рукой насаживает этот шаблон как стандарт в учебной системе для молодых МЛщиков, хотя мы с Игорем знаем, что никаких молодых МЛщиков не будет

Prescriber-ETL-data-pipeline: Airflow, PySpark, Apache Superset, etc. https://github.com/judeleonard/Prescriber-ETL-data-pipeline

Делай нейминг как сеньор / Хабр https://habr.com/ru/companies/dododev/articles/714512/

Data Pipeline with Airflow and AWS Tools (S3, Lambda & Glue) | by João Pedro | Apr, 2023 | Towards Data Science https://towardsdatascience.com/data-pipeline-with-airflow-and-aws-tools-s3-lambda-glue-18585d269761

Try Redis — тренажёр для освоения Redis БД Redis — это удобное и быстрое хранилище данных класса NoSQL, которое хранит и работает с данными типа «ключ — значение». Redis известен своей высокой производительностью, простотой и универсальностью. А потренироваться в использовании вам поможет тренажёр Try Redis, который может генерировать запросы: https://try.redis.io/ #redis @sqlhub

😂

Clickhouse datasource for grafana Altinity ClickHouse datasource plugin provides a support for ClickHouse as a backend database. Initially plugin developed by Vertamedia, maintaned by Altinity since 2020. https://github.com/Altinity/clickhouse-grafana

Best practices for caching in Spark SQL | by David Vrba | Towards Data Science https://towardsdatascience.com/best-practices-for-caching-in-spark-sql-b22fb0f02d34

Spark Connect Available in Apache Spark 3.4 - The Databricks Blog https://www.databricks.com/blog/2023/04/18/spark-connect-available-apache-spark.html

Microservices Explained in 5 Minutes https://youtu.be/lL_j7ilk7rc

AvitoTech Team PlayBook Открытый справочник по ценностям, бизнес-процессам, стандартам, процедурам и правилам, которые мы используем в команде разработки в Авито. https://github.com/avito-tech/playbook Подсмотрел в канале @rtdlinks

Youtube PlayList: Apache NiFi с нуля за 3 часа. Конструктор вместо кода 1. Apache NiFi Install v1.14.0 2. Apache NiFi. Введение и первый опыт на практике. Это же конструктор! 3. Процессоры в Apache NiFi и не только. Разбираемся с деталями конструктора 4. Apache NiFi особенности. Без чего не выйти в прод 5. Проблемы с Apache NiFi и как с ними бороться. Наш опыт 6. Как ускорить процессоры в Apache NiFi. Оптимизация 7. История изменений данных в Apache NiFi. Data Provenance 8. Apache NiFi Registry Install v1.14.0 9. Экспорт и импорт потоков с помощью рук, Rest Api и Apache NiFi Registry 10. Git, Apache NiFi Registry и CI/CD 11. Обзор Keycloak и настройка SSO в NiFi 12. Выкачиваем код Apache NiFi. Меняем под себя и делаем UI для процессора https://www.youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_

https://www.phind.com/ - Phind: The AI search engine for developers. Get instant answers, explanations, and examples for all of your technical questions.

GitHub - tabixio/tabix: Tabix.io UI Open source simple business intelligence application and sql editor tool for Clickhouse. https://github.com/tabixio/tabix

Airflow DAG Dependencies https://youtu.be/MvjTQNMRhhY

https://docs.google.com/spreadsheets/d/e/2PACX-1vRYQ0A9C7AkRK-YPSFhqaRMmuPR97QPfl2PjI8n11l5jntc6YMHIJXVVS0GQNqAYIGwzyevyManDB08/pubhtml?gid=0&single=true Есть где поковыряться)

Hi everyone! Great work on the projects! Now it's time to evaluate your peers. We've updated the page with the projects (https://github.com/DataTalksClub/data-engineering-zoomcamp/blob/main/cohorts/2023/project.md), now it contains two more links: - Peer review assignments: https://docs.google.com/spreadsheets/d/e/2PACX-1vRYQ0A9C7AkRK-YPSFhqaRMmuPR97QPfl2PjI8n11l5jntc6YMHIJXVVS0GQNqAYIGwzyevyManDB08/pubhtml?gid=0&single=true - Evaluation form: https://forms.gle/1bxmgR8yPwV359zb7 To find the projects assigned to you, use the first link (peer review assignments) and find your hash in the first column. You will see three rows: you need to evaluate each of these projects. For each project, you need to submit the form once, so in total, you will make three submissions. Use this as an opportunity to learn from your peers - and you will learn a lot. But also remember - if you don't do peer review, you will fail your projects. Have fun! Also - the form for submitting project attempt #2 is open, so if you didn't have time to work on your project yet, now you can do it.