Data Engineering / Инженерия данных / Data Engineer / DWH

Обработка данных на Apache Airflow в Yandex Cloud https://www.youtube.com/live/jF3YemOVofQ?si=zLFx_416vByV3za9

An Overview of the End-to-End Machine Learning Workflow In this section, we provide a high-level overview of a typical workflow for machine learning-based software development. Generally, the goal of a machine learning project is to build a statistical model by using collected data and applying machine learning algorithms to them. Therefore, every ML-based software includes three main artifacts: Data, ML Model, and Code. Corresponding to these artifacts, the typical machine learning workflow consists of three main phases: 🔹Data Engineering: data acquisition & data preparation, 🔹ML Model Engineering: ML model training & serving, and 🔹Code Engineering: integrating ML model into the final product.

Собеседование в Яндекс. Алгоритмы https://www.youtube.com/live/tfvm2k5c9JI?si=1V9uX0Bq9kwfeHvQ

Проекты по анализу данных и продуктовой аналитики https://github.com/belladzhu?tab=repositories

Подборка статей по Apache Airflow: 🔸 Airflow DAGs, ч.1 — Основы и расписания 🔸 Airflow DAGs, ч.2 — Операторы и Датчики 🔸 Airflow DAGs, ч.3 — Проектирование DAG 🔸 Внедрение Airflow для управления Spark-джобами в ivi: надежды и костыли 🔸 Airflow vs NiFi: исследуем оркестратор для формирования витрин данных

⚡️ Github Copilot Chat in Open Beta: Now Available for All Individuals in Visual Studio and VS Code https://www.infoq.com/news/2023/10/github-copilot-chat-open-beta/

Managed Service for ClickHouse® 🔸 Бесплатный практический курс 🔸 Семь модулей для изучения в произвольном порядке 🔸 Лучшие практики работы с ClickHouse https://cloud.yandex.ru/training/clickhouse

Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap https://github.com/bzick/oh-my-backend

Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap https://github.com/bzick/oh-my-backend

An ETL example for Yandex.Tracker. Export issue metadata & agile metrics to OLAP data storage https://github.com/akimrx/yandex-tracker-exporter

Приветствую тебя в рядах OpenSource, о великий Datalens https://datalens.tech/ Кажется, что сегодня у Russian BI разработчиков пригорит 😏 🔹 Хабр: BI-инструмент от Яндекса DataLens — теперь в опенсорсе ~~~ Исходный код DataLens состоит из трех основных частей: 🔹 Пользовательский интерфейс — это SPA-приложение с соответствующей частью Node.js. Он предоставляет пользовательский интерфейс, передает запросы пользователей к серверным службам, а также применяет некоторую легкую постобработку данных для диаграмм. 🔹 Бэкэнд — это набор приложений и библиотек Python. Он отвечает за подключение к источникам данных, формирование запросов к ним и постобработку данных (включая вычисления по формулам). Результатом этой работы является абстрактный набор данных, который можно использовать в пользовательском интерфейсе для запроса данных диаграмм. 🔹 UnitedStorage (US) — это служба Node.js, которая использует PostgreSQL для хранения метаданных и конфигурации всех объектов DataLens.

ClickHouse Fundamentals - IST/SGT/AEDT https://clickhouse.com/company/events/apac-clickhouse-fundamentals

Проектирование архитектуры сервиса доставки еды https://www.youtube.com/watch?v=mr3pywHOz7I

А вообще это больше похоже на крик: мы построили часть своего бизнеса на вашем опенсорсе, а теперь вы рушите нам все🫣 Справедливости ради, громадная часть коммитов продукта от ClickHouse команды. Поэтому все справедливо. Делают продукт, делают монетизацию.

Is ClickHouse Moving Away from Open Source? – Altinity | The Real Time Data Company https://altinity.com/blog/is-clickhouse-moving-away-from-open-source

Is ClickHouse Moving Away from Open Source? – Altinity | The Real Time Data Company https://altinity.com/blog/is-clickhouse-moving-away-from-open-source

В Airflow 2.7.1 DAG стал выглядеть более юзер френдли 👍

Платформа для анализа данных за вечер https://habr.com/ru/companies/selectel/articles/761948/

Swagger для данных в AirFlow: спецификация OpenLineage https://bigdataschool.ru/blog/what-is-openlineage-for-airflow.html