Yandex Cloud: Data Platform

> - YQL и Query будет работать с Яндекс Метрикой? А можете подсказать, какие задачи вы хотели бы решать таким образом?

А если создадим сабкластер то ресурсы буду шарится?

Спасибо, начнем с 3

Конференция Yandex Scale 2023 завершилась Спасибо за интерес к облачным технологиям и Yandex Cloud! Мы очень старались сделать конференцию полезной и интересной для вас. Видеозапись уже доступна на сайте конференции, презентации и фото мы скоро пришлём в отдельном письме зарегистрированным участникам. ✔️ А пока, пожалуйста, пройдите небольшой опрос и поделитесь впечатлениями о Yandex Scale 2023.

В среднем лоад будет в районе 10-30 мегабайт в секунду

Все так: знаю несколько клиентов, которые самостоятельно развертывали dbt под свои задачи, но это узкие сценарии, а не тиражируемое решение

@epikhinm Привет! Подскажите, когда сможете выложить материалы по вебинару airflow от 21.07 на гитхаб?

Нет, не отчеты. Данные для каналов - рест апи

А если говорить о структурированных данных. Имеет ли смыл лить сначала в S3, а потом в GP?

Спасибо, уже исправляем.

Это похвально:)

Приглашаем на вебинар «Как готовить данные в Greenplum®» 🗓 Когда: 7 февраля в 12:00 (МСК)  Архитектор Yandex Cloud расскажет о том: 🔹как выбрать оптимальную модель данных для хранилища; 🔹как хранить, загружать и обрабатывать данные в Greenplum: heap и append-optimized таблицы, индексы, сжатие, партицирование и шардирование данных, подключение к внешним источникам с помощью механизма PXF; 🔹как выявлять типовые проблемы производительности: анализ мониторинга и настроек кластера, чтение и анализ планов запросов; 🔹как оптимизировать производительность; 🔹как выполнять обслуживание кластера Greenplum. Также спикер проведёт короткую Q&A-сессию. Присылайте вопросы в чат трансляции — спикер ответит на них в прямом эфире. Участие бесплатное.  ➡️ Регистрируйтесь

Вот скрин ошибки

при выполнении задания по Data Proc наткнулся на ошибку в проверки работы hive

Спасибо! Вы мне помогли, трансфер перешел в статус копируется.

Добрый день! Коллеги, которые специализируются на kubernetes, сидят в соседнем чате https://t.me/kuberconf. Вы можете спросить ваш вопрос там — вам помогут.

Всем привет! Переношу сюда вопросы со скейла по теме Yandex Query: - так понимаю, аналог google big query? какие ключевые отличия? - как считается прайсинг? билится за потребление, как в BQ? - можно ли настроить шедулинг запросов через интерфейс YQ? чтобы выполнялись по расписанию - Планируется ли научить yandex query читать из файлов grafana loki? - На каком объёме данных yandex Query становится неэффиктивным? 1, 10, а может и 100 Tb? - YQL и Query будет работать с Яндекс Метрикой? - Что используется внутри Y.Query для обработки данных? В aws Athena насколько я помню используется движок Presto DB, а у вас? - Окей и еще вопрос такой: Когда запрос отработал, то результирующая таблица с данными собирается на одной ноде или на нескольких (например несколько редьюсеров) Например, ситуация когда выходных данных очень много и они не помещаются на одну машину, но можно с разных нод сложить результат в object storage

Если сразу все с federation работают