Yandex Cloud: Data Platform

𝐬𝐡𝐚𝐫𝐢𝐧𝐠 𝐦𝐲 𝐭𝐞𝐬𝐭𝐢𝐦𝐨𝐧𝐲, 𝐈 𝐣𝐮𝐬𝐭 𝐦𝐚𝐝𝐞 𝐦𝐲 𝐭𝐡𝐢𝐫𝐝 𝐰𝐢𝐭𝐡𝐝𝐫𝐚𝐰𝐚𝐥. 𝐈 𝐬𝐭𝐚𝐫𝐭𝐞𝐝 𝐢𝐧𝐯𝐞𝐬𝐭𝐢𝐧𝐠 𝐰𝐢𝐭𝐡 𝐚 𝐦𝐢𝐧𝐢𝐦𝐮𝐦 𝐨𝐟 $1500 𝐚𝐧𝐝 𝐧𝐨𝐰 𝐢 𝐡𝐚𝐯𝐞 𝐞𝐚𝐫𝐧 𝐮𝐩 𝐭𝐨 $20,000 𝐢𝐧 𝐣𝐮𝐬𝐭 24 hours. 𝐓𝐨 𝐞𝐯𝐞𝐫𝐲𝐨𝐧𝐞 𝐥𝐨𝐨𝐤𝐢𝐧𝐠 𝐟𝐨𝐫 𝐭𝐡𝐞 𝐛𝐞𝐬𝐭 𝐭𝐨 𝐞𝐚𝐫𝐧 𝐩𝐫𝐨𝐟𝐢𝐭 𝐦𝐨𝐫𝐞 𝐢𝐧𝐟𝐨 @Laylabakerss https://t.me/+HBEB_dFkNFIwYTY0

Там надо траффик наружу выпускать из кластера )

Начали! Присоединяйтесь)

Скорее типа Hive Metastore, но с возможностью хранить в одном месте информацию о паркетных файлах, таблицах в ClickHouse и GreenPlum, и возможно об источниках данных.

Спасибо за подробный ответ! Еще вопрос, проводили ли сравнения по производительности однотипных запросов между Y.Query и внешними таблицами ClickHouse и GP или со спарком?

выставьте в параметрах запуска сенсора verify=False

10-30 мб в секунду планируемый лоад

А такой вопрос - можно в MDB Greenplum-е свои UDF-ки на питоне делать без запросов в поддержку?

Спасибо, буду благодарен, если сюда отпишетесь по факту свершения такого события)

Добрый день! На гитхабе код новой версии уже доступен, сборка PyPi пакета сейчас в статусе release candidate, после его релиза обновим образ в маркетплейсе

С таким лучше в чат по скьюрити https://t.me/YandexCloudSecurity или сразу в саппорт https://console.cloud.yandex.ru/support/

2. В работе. 3. Сходу не вспомню.

Вам ее товарищ выше дал

Ну или, как вариант, класть в S3 (раз все равно спарк уже есть в пайплайне), там тем же спарком при необходимости делать микробатчами трансформацию в витрины КХ и уже через КХ давать к ним быстрый доступ

Для всех задач лучшая база - Постгрес.

Уточним у коллег

Если вы про маршруты, то наверное да. Но я тут не эксперт. Лучше спросить либо в саппорте, либо в чате DataLens https://t.me/YandexDataLens. Если про тарификацию, то трафик из Object Storage до Облака не считается внешним и не тарифицируется.

Вам надо по указанном пути серт положить и дать 600 права на него.