Yandex Cloud: Data Platform

> - Планируется ли научить yandex query читать из файлов grafana loki? я про это писал чуть выше. все форматы поддержать сложно, для такой интеграции мы планируем использовать cloud functions. мы думаем, что сформируется commutiny, где появятся адаптеры к различным форматам исходных данных

Курс проходил ещё весной, а сейчас только тест досдавал

С Монго можно подумать, но это +1 компонент в и так здоровый солюшн

Также есть вопрос по DataLens. Судя по документации, DataLens поддерживает материализованные датасеты. Есть возможность установить период материализации по расписанию?

У нас спринт активно идет, на горячую диски не меняются, нужно кластер пересоздавать. Между спринтами попробуем.

fhm5g2ubpvcitb6hpejp

Airflow clickhouse

А кто-нибудь пытался подружить dbt в подобной архитектуре? Поделитесь опытом?

можете помочь ?

Всем привет! Кто за нетворкинг?

«DataLens: доступная аналитика любого масштаба» Сегодня DataLens вышел в Open Source. Павел Дубинин, специалист, который отвечает за развитие DataLens, расскажет о новых возможностях и путях развития сервиса, а также о роли комьюнити в его росте. Подключайтесь к докладу по ссылке.

а начался вебинар? Почему-то трансляция не идет на странице

Но нужно конечно тестировать, потому что это всегда баланс между скоростью выполняния задач и стоимостью самого кластера

Message from Sanek Khitrit deleted. Reason: external link (???)

да, уже проваливалась, спасибо. у меня скорее вопрос про то, нет ли в яндексовском зеппелине каких-либо ограничений, которые не дадут вызывать ноуты по rest api?

Добрый день, прохожу курс от Yandex Cloud по созданию витрины данных для веб-аналитики. Возникли проблемы с подключением к AirFlow на виртуалке. Пытаюсь получить данные для входа в AirFlow в терминале, но получается ошибка. Что может быть не так?

Как его можно использовать без аутентификации с сервера у которого нет доступа до до Яндекс api?

Привет, я в свое время не стал ждать - пошел дальше сдавать тест, получил сертификат. А сообщение о том, что "проверено" пришло через неделю или даже две, хотя я всю инфру уже стер.

🫥 Расширяем возможности платформы данных Yandex Cloud запустила управляемый сервис в облаке на базе open source технологии Apache Airflow. Для чего он нужен? Apache Airflow объединяет все сервисы платформы для извлечения, трансформации и обработки данных – Extract Transform Load, ETL – в единую систему. Теперь различными операциями по обработке данных в облаке можно управлять более гибко. Для компаний это прямая возможность быстрее создавать дата-проекты в облаке — от корпоративных хранилищ в данных до рекомендательных систем. В Yandex Cloud Apache Airflow интегрирован с: • объектным хранилищем; • управляемыми СУБД; • BI-инструментами; • сервисами машинного обучения облачной платформы. ✅ Apache Airflow предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей платформы. Подробнее по ссылке.