SQLClub
Kanalga Telegram’da o‘tish
Клуб по изучению и обмену опытом работы с данными и большими данными. Проведение стажерских программ, подготовка методической документации, учетных материалов, вопросы и предложения - пишите @SQL4Life tg
Ko'proq ko'rsatish1 539
Obunachilar
Ma'lumot yo'q24 soatlar
-37 kun
-530 kun
Ma'lumot yuklanmoqda...
O'xshash kanallar
Taglar buluti
Ma'lumot yo'q
Muammo bormi? Iltimos, sahifani yangilang yoki bizning qo'llab-quvvatlash boshqaruvchimizga murojaat qiling>.
Kirish va chiqish esdaliklari
---
---
---
---
---
---
Obunachilarni jalb qilish
Sentabr '24Sen '24
Sentabr '24
+3
0 kanalda
Avgust '24
+8
0 kanalda
Get PRO
Iyul '24
+8
0 kanalda
Get PRO
Iyun '24
+47
0 kanalda
Get PRO
May '24
+75
1 kanalda
Get PRO
Aprel '24
+112
0 kanalda
Get PRO
Mart '240
0 kanalda
Get PRO
Fevral '24
+4
0 kanalda
Get PRO
Yanvar '24
+15
0 kanalda
Get PRO
Dekabr '23
+1 319
0 kanalda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 24 Sentabr | 0 | |||
| 23 Sentabr | 0 | |||
| 22 Sentabr | 0 | |||
| 21 Sentabr | 0 | |||
| 20 Sentabr | 0 | |||
| 19 Sentabr | 0 | |||
| 18 Sentabr | 0 | |||
| 17 Sentabr | 0 | |||
| 16 Sentabr | 0 | |||
| 15 Sentabr | 0 | |||
| 14 Sentabr | 0 | |||
| 13 Sentabr | 0 | |||
| 12 Sentabr | 0 | |||
| 11 Sentabr | 0 | |||
| 10 Sentabr | +1 | |||
| 09 Sentabr | +1 | |||
| 08 Sentabr | 0 | |||
| 07 Sentabr | 0 | |||
| 06 Sentabr | 0 | |||
| 05 Sentabr | 0 | |||
| 04 Sentabr | 0 | |||
| 03 Sentabr | +1 | |||
| 02 Sentabr | 0 | |||
| 01 Sentabr | 0 |
Kanal postlari
Запись вебинара по Airflow доступна на канале SQLClub в Дион.Видео
https://video.dion.vc/video/channel/b1d0c479-b92f-4b27-bf92-048873c9ddfe
Подпишитесь на канал, нам будет очень приятно!
| 2 | Через 10 минут начало - https://dion.vc/event/sqlclub | 1 332 |
| 3 |  Сегодня в 17ч(мск) дата-инженер Василий Трещев расскажет об инструменте Apache Airflow, его внутреннем устройстве и задачах, которые он может выполнять, а также продемонстрирует на практических примерах работу операторов и DAGов.
Так как AirFlow часто используется при проектировании DWH и DataLake, митап будет полезен всем, кто работает с данными или собирается делать это в будущем.
Подключайтесь в 17ч в комнату Дион - https://dion.vc/event/sqlclub | 1 743 |
| 4 | Запись вчерашней встречи доступна на канале в Дион.Видео. https://video.dion.vc/video/d125e5eb-5a3b-4029-b3c6-7ad0837a4494
Подпишитесь пожалуйста на канал, нам будет очень приятно 😌 | 1 171 |
| 5 |  BigData-практикум: кластер ArenaDataDB на виртуальных машинах
Дата-инженер Василий Трещев покажет, как развернуть СУБД ArenaDataDB локально на нескольких виртуальных машинах.
Подключайтесь в 18ч (мск) в комнату Дион - https://dion.vc/event/sqlclub | 1 247 |
| 6 | Видео вчерашнего вебинара доступно на канале в Дион.Видео
https://video.dion.vc/video/46605c27-d6e3-46ca-b275-5adf35b47392
Подпишитесь пожалуйста на канал, нам будет очень приятно ☺️ | 1 599 |
| 7 | BigData-практикум: построение витрины данных
Через 30 минут начинается собрание.
Разбор классической витрины данных.
Подключайтесь - https://dion.vc/event/sqlclub | 1 483 |
| 8 | Запись вчерашней встречи доступна на канале SQLClub
https://video.dion.vc/video/bbb9f60c-8427-4050-bbda-36698516f2b9
Там уже много других записей, подпишитесь на канал - нам будет очень приятно 😏
В комментариях - буд ссылки на скачивание метериалов, которые были продемострированы в видео. | 822 |
| 9 | Через 10 минут начало, присоединяйтесь - https://dion.vc/event/sqlclub | 647 |
| 10 |  BigData-практикум: деревья решений в Machine Learning
Эксперт-разработчик ML-инженер Михаил Дмитриев покажет практическое использование деревьев решений.
Вас ждёт:
• демонстрация виртуальной машины — специальной сборки docker-контейнеров;
• запуск примеров обработки данных с помощью деревьев решений;
• обработка массивов данных с помощью деревьев решений.
Сегодня в 18ч (мск), присоединяйтесь https://dion.vc/event/sqlclub | 941 |
| 11 | Сейчас идет конференция по большим данным от Аренадата, можно посмотреть в онлайн
https://arenaday.io/broadcast/
Канал
https://www.youtube.com/channel/UCxEzcAvtm20a2Z9n1BUggxg
Программа
https://arenaday.io/#confProgram | 851 |
| 12 | Запись митапа по PXF уже доступна на канале в Дион.Видео https://video.dion.vc/video/7607c865-4844-488e-a188-0c2b727c50b1 Подписывайтесь на канал, там есть и будут еще и другие записи! | 1 293 |
| 13 |  Всем привет!
Продолжаем серию наших встреч по будням Дата-инженера.
Сегодня по просьбам, разберём PXF.
Практические примеры работы фреймворка.
Подключайтесь в 18ч (мск) в комнату Дион https://dion.vc/event/sqlclub | 1 099 |
| 14 | Доброе утро!
Запись вчерашней встречи уже доступна на канале:
https://video.dion.vc/video/6ab7f334-055f-45ac-a148-4b60e27a5419
Там есть и другие видео, подписывайтесь! | 1 431 |
| 15 | Через 15 минут начало, подключайтесь - https://dion.vc/event/sqlclub | 1 233 |
| 16 | Всем привет!
Сегодня мы продолжим серию практических митапов/вокршопов по "будням" инженера данных (DataEngineer).
Еще раз сделаем обзор учебного стенда Васи Трещева, но уже со стороны обычного пользователя. В роли "подопытного" выступит обычный разработчик баз данных, ваш покорный слуга - Сергей Вачиков. Попробую запуститься у себя на обычной рабочей машине.
02.04.2024 18ч (мск), подключайтесь в комнату Дион SQLClub https://dion.vc/event/sqlclub | 1 645 |
| 17 | Видео вчерашнего вебинара на канале Дион.Видео SQLClub
https://video.dion.vc/video/2cc2fd55-3870-4dd6-b463-b84736044ed6
На самом канале такж есть и другие видео, подписывайтесь!
https://video.dion.vc/video/channel/b1d0c479-b92f-4b27-bf92-048873c9ddfe | 1 421 |
| 18 | Через 15 минут начало, подключайтесь - https://dion.vc/event/sqlclub | 1 236 |
| 19 | #vmbox_sanbox_bigdata
Как подключиться через REST API к airflow
1) нужно изменить настройку в файле
/app/airflow/airflow.cfg
[api]
auth_backend = airflow.api.auth.backend.deny_all
на
[api]
auth_backend = airflow.api.auth.backend.basic_auth
Еще я установил библиотеку в виртуальное окружение airflow
pip install flask-bcrypt
эту команду можно запустить в jupyter, либо через ssh из под пользователя airflow с активированным окружением
source /app/airflow-venv/bin/activa
Далее запустить сервис airflow webserver
systemctl enable airflow_webserver
systemctl start airflow_webserver
или
Далее перезапустить сервис airflow webserver
systemctl restart airflow_webserver
Проверить его состояние через некоторое время
systemctl status airflow_webserver -l
скрин внутри, ему нужно каке-то время что бы стартануть
Далее можно зайти через браузер
http://192.168.88.88:8180/api/v1/dags
указать пароль и логин admin / admin
и получить в ответ json | 1 199 |
| 20 | Всем привет!
Сегодня вечером мы продолжаем BigData-Практикум. Параллельно зайдем с "другого" конца, а именно со стороны ML и DataScience.
Эксперт по разработке и ML-инженер Михаил Дмитриев расскажет про области применения деревьев решений в анализе больших данных. Надеемся, что подобные темы также будут интересны, и мы продолжим серию встреч и в этом направлении тоже.
25.03.2024 в 18-00 (мск) присоединяйтесь в комнату SQLClub - https://dion.vc/event/sqlclub | 1 104 |
