Data Engineering: DevOps & DataOps. Инженерия данных

A list of SaaS, PaaS and IaaS offerings that have free tiers of interest to devops and infradev - GitHub - ripienaar/free-for-dev: A list of SaaS, PaaS and IaaS offerings that have free tiers of in...

Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow. Эксперты Yandex Cloud обсудили: - как спроектировать инфраструктуру для Apache Airflow; - как собирать данные в облако для анализа и визуализации на основе Python и Spark; - как автоматизировать обогащение данных и подготовку витрин в аналитическом хранилище на основе PostgreSQL, Greenplum и Clickhouse; - как обеспечивать отказоустойчивость и непрерывность конвейеров данных. Вебинар был интересен и тем, кто только собирается попробовать аналитику данных в облаке, и тем, кто строит такую платформу или хочет масштабировать уже работающую среду. CDO и CTO смогли разобраться, чем инструмент будет полезен бизнесу, а дата-инженеры — получили практические рекомендации для его использования. Полезные ссылки: Репозиторий с примерами из вебинара

Образ Apache Airflowв Marketplace

Провайдеры Yandex Cloud для Apache Airflow

Запись митапаDataOps Community Meetup

Запись митапа Greenplum Community Meetup

Другие вебинары Yandex Cloud Data Platform

Спросить в комьюнити - чат Yandex Cloud Data Platform

Следить за новостями - чат Yandex Cloud Data Platform

Таймкоды: 00:00 Интро 00:10 Apache Airflow: обзор 09:25 Сценарии использования 13:55 Загрузка и обогащение данныхв Yandex Data Proc 36:05 Обработка данныхв хранилище Greenplum® 45:44 Полезные ресурсы и материалы 46:49 Сессия Q&A

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов: - Где развернуть сервис? - В контейнере или на виртуалке? - Одним узлом или несколькими? - Какой планировщик выбрать? - Как настроить CI/CD для DAG? Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow. Сдавайте вступительное тестирование, и мы запишем вам на занятие. «DataOps Engineer» -

Преподаватель: Егор Матешук - CDO AdTech - компании Квант Подключайтесь к обсуждению в чате -

Пройдите опрос по итогам мероприятия -

Следите за новостями проекта: - Facebook:

- Telegram:

- ВКонтакте:

- LinkedIn:

- Хабр:

Собеседование прошло в два этапа: вступительное слово Антона Рычагова и решение алгоритмических задач. Интервьюер: Антон Рычагов, руководитель службы разработки в Яндексе 🔗 Каналы "Android Broadcast"

🔗 Поддержать проект

🔗 Алгоритмы: построение и анализ

📺 Алгоритмы - теория и практика

Видео сделано в сотрудничестве с Яндекс #собеседование #яндекс #алгоритмы #androiddev #android #программирование #kotlin #КириллРозов #андроид #androidbroadcast 0:00 Вступление 1:30 Знакомство с экспертом 3:20 Зачем нужна алгоритмическая секция 15:23 Знакомство с кандидатом 17:40 Постановка задачи 22:03 Алгоритмическое собеседование 1:07:20 Разбор решения 1:19:20 Подведение итогов 1:34:50 Ответы на вопросы зрителей 2:02:18 Заключение

Github Copilot Chat is a chat interface that allows developers to ask and receive answers to coding-related questions directly within a supported IDE. It is currently in open beta and available for all GitHub Copilot individual users across Visual Studio and VS Code.

Бесплатный практический курс. Семь модулей для изучения в произвольном порядке. Лучшие практики работы с ClickHouse.

Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (from Junior to Senior). - GitHub - bzick/oh-my-backend: Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (fro...