Data Engineering: DevOps & DataOps. Инженерия данных
Data Engineering: DevOps & DataOps based on Open-Source software. Инженерия данных. ✔ Docker Dockerfile Docker-Compose ✔ Python ETL ELT ✔ Open Source for Modern Data Stack ✔ Apache Airflow
إظهار المزيد- المشتركون
- التغطية البريدية
- ER - نسبة المشاركة
جاري تحميل البيانات...
جاري تحميل البيانات...
A list of SaaS, PaaS and IaaS offerings that have free tiers of interest to devops and infradev - GitHub - ripienaar/free-for-dev: A list of SaaS, PaaS and IaaS offerings that have free tiers of in...
Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов: - Где развернуть сервис? - В контейнере или на виртуалке? - Одним узлом или несколькими? - Какой планировщик выбрать? - Как настроить CI/CD для DAG? Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow. Сдавайте вступительное тестирование, и мы запишем вам на занятие. «DataOps Engineer» -
https://otus.pw/voVG/Преподаватель: Егор Матешук - CDO AdTech - компании Квант Подключайтесь к обсуждению в чате -
https://otus.pw/S0Oj/Пройдите опрос по итогам мероприятия -
https://forms.gle/sYgYobGgujyFhm566Следите за новостями проекта: - Facebook:
https://otus.pw/3hO2- Telegram:
https://t.me/Otusjava- ВКонтакте:
https://otus.pw/850t- LinkedIn:
https://otus.pw/yQwQ/- Хабр:
https://otus.pw/S0nM/Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow. Эксперты Yandex Cloud обсудили: - как спроектировать инфраструктуру для Apache Airflow; - как собирать данные в облако для анализа и визуализации на основе Python и Spark; - как автоматизировать обогащение данных и подготовку витрин в аналитическом хранилище на основе PostgreSQL, Greenplum и Clickhouse; - как обеспечивать отказоустойчивость и непрерывность конвейеров данных. Вебинар был интересен и тем, кто только собирается попробовать аналитику данных в облаке, и тем, кто строит такую платформу или хочет масштабировать уже работающую среду. CDO и CTO смогли разобраться, чем инструмент будет полезен бизнесу, а дата-инженеры — получили практические рекомендации для его использования. Полезные ссылки: Репозиторий с примерами из вебинара
https://www.clck.ru/sKSn4Образ Apache Airflowв Marketplace
https://www.clck.ru/sKSmCПровайдеры Yandex Cloud для Apache Airflow
https://www.clck.ru/sKSmoЗапись митапаDataOps Community Meetup
https://www.clck.ru/sGtpEЗапись митапа Greenplum Community Meetup
https://www.clck.ru/sGtpdДругие вебинары Yandex Cloud Data Platform
https://www.clck.ru/sKSYAСпросить в комьюнити - чат Yandex Cloud Data Platform
https://www.clck.ru/arTSmСледить за новостями - чат Yandex Cloud Data Platform
https://www.clck.ru/sKS2QТаймкоды: 00:00 Интро 00:10 Apache Airflow: обзор 09:25 Сценарии использования 13:55 Загрузка и обогащение данныхв Yandex Data Proc 36:05 Обработка данныхв хранилище Greenplum® 45:44 Полезные ресурсы и материалы 46:49 Сессия Q&A
Собеседование прошло в два этапа: вступительное слово Антона Рычагова и решение алгоритмических задач. Интервьюер: Антон Рычагов, руководитель службы разработки в Яндексе 🔗 Каналы "Android Broadcast"
https://taplink.cc/android_broadcast🔗 Поддержать проект
https://taplink.cc/android_broadcast/p/video-early-access/🔗 Алгоритмы: построение и анализ
https://ru.wikipedia.org/wiki/Алгоритмы:_построение_и_анализ📺 Алгоритмы - теория и практика
https://www.youtube.com/watch?v=7pbG923ubQEВидео сделано в сотрудничестве с Яндекс #собеседование #яндекс #алгоритмы #androiddev #android #программирование #kotlin #КириллРозов #андроид #androidbroadcast 0:00 Вступление 1:30 Знакомство с экспертом 3:20 Зачем нужна алгоритмическая секция 15:23 Знакомство с кандидатом 17:40 Постановка задачи 22:03 Алгоритмическое собеседование 1:07:20 Разбор решения 1:19:20 Подведение итогов 1:34:50 Ответы на вопросы зрителей 2:02:18 Заключение
Github Copilot Chat is a chat interface that allows developers to ask and receive answers to coding-related questions directly within a supported IDE. It is currently in open beta and available for all GitHub Copilot individual users across Visual Studio and VS Code.
Бесплатный практический курс. Семь модулей для изучения в произвольном порядке. Лучшие практики работы с ClickHouse.
Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (from Junior to Senior). - GitHub - bzick/oh-my-backend: Что нужно знать бэкенд-разработчику web-приложений. Backend Roadmap (fro...
تسمح خطتك الحالية بتحليلات لما لا يزيد عن 5 قنوات. للحصول على المزيد، يُرجى اختيار خطة مختلفة.