Yandex Cloud: Data Platform

Всем, привет. Помогите советом. Выбираем БД для near real time данных. Архитектура такая - берем данные спарк стримингом из кафки каждую секунду, записываем в роу слой в БД( вот тут нужно выбрать), после спар стриминга читаем из роу и билдим слой дата-мартов. Выбираем между гринланом и кассандрой. Склоняемся к гринплану ( чтение и запись будет в однопоточном режиме). Что думаете? У кого был опыт организации стриминга?

Возможности Data Transfer Мы постоянно работаем над сервисом Data Transfer, чтобы сделать его еще удобнее для наших пользователей и расширить функциональность. Например, реализованы гетерогенные трансферы и стали доступны новые хранилища данных. Взаимодействовать с сервисом теперь можно не только через консоль управления: сервис доступен в CLI, Terraform и Public API. В этой статье мы расскажем подробно о задачах, которые решает сервис: 🔹 Миграция. 🔹 Анализ данных. 🔹 Шардирование БД или консолидация. 🔹 Смена типа хранилища и разделение нагрузки. 🔹 Экспорт данных в объектное хранилище. Узнайте больше о том, почему Data Transfer стоит попробовать всем, кто работает с данными → #yacloud_news

который имеет доступ в ваш s3 storage

Я вот боюсь не потянет КХ в качестве хранения витрин. Например если на него BI в live режиме натравливать

спасибо, про возможность для postgres нашел в документации https://cloud.yandex.ru/docs/managed-postgresql/operations/extensions/pgcrypto положу тут ссылку, может и другим пригодиться. Вдруг в ваших проектах тоже такие же требования от ИБ.

да, буду благодарен, если вернётесь с ним ко мне в личку

☄️ Не пропустите начало конференции Yandex Scale! Открытие конференции — уже через час. Поговорим о том, какой путь прошли облачная платформа и наши пользователи за эти 5 лет. 🗣 Стартуем ровно в 17:00, подключайтесь по ссылке и подписывайтесь на сообщество Scale.

1. Более менее 2. В приемнике объектного хранилища задается формат. Поддерживаем цсв и жысон 3. Увы нет. 4. Да, по запросу. 5. Сейчас в активной разработке, но сроков дать не могу.

Мы не делали, наверное проще с docker-image поднять.

Понял, спасибо.

подойдет! пришлите, пожалуйста.

Выше примеры настроек группы безопасности - пара правил там лишняя, можно исключить "ydb-out*" и "bubunta"

Вероятно стоит хотя бы собственные домены Yandex добавить в исключения?

Я подключаюсь к ВМ) сертификат при этом не нужен. Он нужен для подключения к managed сервисам. Я нашёл причину, спасибо👍

Еще вопрос по Y.Query Если я верно понимаю, то при ситуации, когда у нас в платформе уже развернуты ClickHouse или GP, с помощью механизмов их внешних таблиц можно точно так же читать данные из объектного хранилища и не переплачивать за Y.Query?

🎓 Научитесь строить отчеты самостоятельно в Yandex DataLens Наш бесплатный курс по работе с DataLens — это: ⏺ 9 модулей с теорией и практикой; ⏺ 6 экспертов приняли участие в разработке курса; ⏺ 15–20 часов на самостоятельное прохождение. Узнайте про все возможности работы с облачной BI-системой. Курс будет полезен всем, кто работает в области аналитики и управления продуктами, а также тем, кто хочет упростить свою работу с данными. Для прохождения курса не требуются специальные знания. Модули построены таким образом, что вы начинаете с основного функционала по работе с графиками и панелями мониторинга, и постепенно погружаетесь в более сложные темы. Начните уже сегодня! Узнать подробнее.

Добрый день. Есть ли в планах добавить новые источники и приемники в методах gRPC Data Streams? В консоли они есть Как минимум очень не хватает data streams в качестве приемника и источника

Как дать права?

Все знают откуда ядб и кликхауз