Yandex Cloud: Data Platform

Мы для онлайн витрин используем source -> cdc debezium > kafka(compaction) -> k stream VS ksql -> Scylla( aka Cassandra)

Привет! Завтра в 16:00 (GMT+3) команда Yandex DataSphere расскажет про новые возможности сервиса для распределенных ML-команд. Обсудим подробно: - как организовать рабочее пространство для команд; - почему стоит настроить комьюнити и проекты; - какие ресурсы доступны по умолчанию и как получить доступ к более мощным конфигурациям; - как перейти от обучения к инференсу и начать получать прибыль из вашей модели; - возможности DataSphere для дата-инженеров. Регистрируйтесь -->

Ошибка говорит о том, сертификата нет по указанному пути, либо нету прав туда, если сертификат клали в домашний каталог рута, а скрипт запускаете под другим пользователем

Message from Pranav Mittal deleted. Reason: external link (???)

Добрый день! Для docapi используется https, в консоли endpoint отдельно указан (сверху вниз grpcs endpoint для нативного клиента ydb, потом путь к базе, и потом уже endpoint для docapi)

Ага, спасибо. Вот это как раз и было в удалённой ссылке)

ClickHouse в облаке умеет нативно из kafka забирать. Если в spark обогащение или временное окно не используется- можно напрямую в CH и использовать его как слой сырых данных. А Greenplum- это уже dwh. Он может забирать данные из CH, обогащать и готовить витрины.

😂

Спасибо!

Добрый день, будет ли реализована в managed-решениях MySQL и PostgreSQL Шифрование в состоянии покоя (at rest)? Пока, судя по документации, такая возможность пока есть только для Object Storage и Managed Service for Kubernetes https://cloud.yandex.ru/docs/security/standard/encryption#at-rest И пока фича не реализована в MDB, то какие возможности шифрования БД и данных в состоянии покоя можно сейчас использовать в Yandex Cloud?

Всем привет. Вопрос по хадуп кластеру. У меня хадуп кластер 10 дата нод с 16 CPU и 48 RAM. Хочу добавить +10 с 16 CPU и 128 RAM. Такую конфигурацию Хадуп переварит?

Здравствуйте! Чтобы узнать причину, по которой вам не дошёл сертификат, напишите, пожалуйста, мне в личные сообщения вашу почту. Всё проверю 👌

причин может быть много, лучше сразу посмотреть логи hive-metastore, как посоветовали в другом чате

я пропустила самое главное. там ЕСТЬ переключатель между системами) спасибо)

Привет. https://cloud.yandex.ru/docs/managed-greenplum/operations/external-tables#create-pxf-table в доках greenplum можно посмотреть как под pxf переделать

В 13.50 начинается доклад «Мокка: data-трансформация на базе сервисов Yandex Cloud». Подключайтесь к треку Data Platform по ссылке. Олег Назаров, глава Data Дирекции в Мокка, поделится опытом Data-трансформации в компании и расскажет: • как внедряли новую Cloud Data Platform, с какими сложностями столкнулись и какие уроки выучили; • какую архитектуру работы с данными выбрали и почему; • как считали ROI и каких результатов достигли.

Привет. Вот как у меня был сенсор объявлен в демо, выглядит без существенных отличий с вашим. Попробуйте host еще раз в extra указать, кажется это было существенно.

Благодарю

Схемы архитектур не хотят помогать, может где-то в другом месте их можно увидеть?