SQLClub

Запись вебинара по Airflow доступна на канале SQLClub в Дион.Видео https://video.dion.vc/video/channel/b1d0c479-b92f-4b27-bf92-048873c9ddfe Подпишитесь на канал, нам будет очень приятно!

Через 10 минут начало - https://dion.vc/event/sqlclub

Сегодня в 17ч(мск) дата-инженер Василий Трещев расскажет об инструменте Apache Airflow, его внутреннем устройстве и задачах, которые он может выполнять, а также продемонстрирует на практических примерах работу операторов и DAGов. Так как AirFlow часто используется при проектировании DWH и DataLake, митап будет полезен всем, кто работает с данными или собирается делать это в будущем. Подключайтесь в 17ч в комнату Дион - https://dion.vc/event/sqlclub

Запись вчерашней встречи доступна на канале в Дион.Видео. https://video.dion.vc/video/d125e5eb-5a3b-4029-b3c6-7ad0837a4494 Подпишитесь пожалуйста на канал, нам будет очень приятно 😌

BigData-практикум: кластер ArenaDataDB на виртуальных машинах Дата-инженер Василий Трещев покажет, как развернуть СУБД ArenaDataDB локально на нескольких виртуальных машинах. Подключайтесь в 18ч (мск) в комнату Дион - https://dion.vc/event/sqlclub

Видео вчерашнего вебинара доступно на канале в Дион.Видео https://video.dion.vc/video/46605c27-d6e3-46ca-b275-5adf35b47392 Подпишитесь пожалуйста на канал, нам будет очень приятно ☺️

BigData-практикум: построение витрины данных Через 30 минут начинается собрание. Разбор классической витрины данных. Подключайтесь - https://dion.vc/event/sqlclub

Запись вчерашней встречи доступна на канале SQLClub https://video.dion.vc/video/bbb9f60c-8427-4050-bbda-36698516f2b9 Там уже много других записей, подпишитесь на канал - нам будет очень приятно 😏 В комментариях - буд ссылки на скачивание метериалов, которые были продемострированы в видео.

Через 10 минут начало, присоединяйтесь - https://dion.vc/event/sqlclub

BigData-практикум: деревья решений в Machine Learning Эксперт-разработчик ML-инженер Михаил Дмитриев покажет практическое использование деревьев решений. Вас ждёт: • демонстрация виртуальной машины — специальной сборки docker-контейнеров; • запуск примеров обработки данных с помощью деревьев решений; • обработка массивов данных с помощью деревьев решений. Сегодня в 18ч (мск), присоединяйтесь https://dion.vc/event/sqlclub

Сейчас идет конференция по большим данным от Аренадата, можно посмотреть в онлайн https://arenaday.io/broadcast/ Канал https://www.youtube.com/channel/UCxEzcAvtm20a2Z9n1BUggxg Программа https://arenaday.io/#confProgram

Запись митапа по PXF уже доступна на канале в Дион.Видео https://video.dion.vc/video/7607c865-4844-488e-a188-0c2b727c50b1 Подписывайтесь на канал, там есть и будут еще и другие записи!

Всем привет! Продолжаем серию наших встреч по будням Дата-инженера. Сегодня по просьбам, разберём PXF. Практические примеры работы фреймворка. Подключайтесь в 18ч (мск) в комнату Дион https://dion.vc/event/sqlclub

Доброе утро! Запись вчерашней встречи уже доступна на канале: https://video.dion.vc/video/6ab7f334-055f-45ac-a148-4b60e27a5419 Там есть и другие видео, подписывайтесь!

Через 15 минут начало, подключайтесь - https://dion.vc/event/sqlclub

Всем привет! Сегодня мы продолжим серию практических митапов/вокршопов по "будням" инженера данных (DataEngineer). Еще раз сделаем обзор учебного стенда Васи Трещева, но уже со стороны обычного пользователя. В роли "подопытного" выступит обычный разработчик баз данных, ваш покорный слуга - Сергей Вачиков. Попробую запуститься у себя на обычной рабочей машине. 02.04.2024 18ч (мск), подключайтесь в комнату Дион SQLClub https://dion.vc/event/sqlclub

Видео вчерашнего вебинара на канале Дион.Видео SQLClub https://video.dion.vc/video/2cc2fd55-3870-4dd6-b463-b84736044ed6 На самом канале такж есть и другие видео, подписывайтесь! https://video.dion.vc/video/channel/b1d0c479-b92f-4b27-bf92-048873c9ddfe

Через 15 минут начало, подключайтесь - https://dion.vc/event/sqlclub

#vmbox_sanbox_bigdata Как подключиться через REST API к airflow 1) нужно изменить настройку в файле /app/airflow/airflow.cfg

[api]
auth_backend = airflow.api.auth.backend.deny_all

на

[api]
auth_backend = airflow.api.auth.backend.basic_auth

Еще я установил библиотеку в виртуальное окружение airflow

pip install flask-bcrypt

эту команду можно запустить в jupyter, либо через ssh из под пользователя airflow с активированным окружением source /app/airflow-venv/bin/activa Далее запустить сервис airflow webserver

systemctl enable airflow_webserver
systemctl start airflow_webserver

или Далее перезапустить сервис airflow webserver

systemctl restart airflow_webserver

Проверить его состояние через некоторое время

systemctl status airflow_webserver -l

скрин внутри, ему нужно каке-то время что бы стартануть Далее можно зайти через браузер http://192.168.88.88:8180/api/v1/dags указать пароль и логин admin / admin и получить в ответ json

Всем привет! Сегодня вечером мы продолжаем BigData-Практикум. Параллельно зайдем с "другого" конца, а именно со стороны ML и DataScience. Эксперт по разработке и ML-инженер Михаил Дмитриев расскажет про области применения деревьев решений в анализе больших данных. Надеемся, что подобные темы также будут интересны, и мы продолжим серию встреч и в этом направлении тоже. 25.03.2024 в 18-00 (мск) присоединяйтесь в комнату SQLClub - https://dion.vc/event/sqlclub