Yandex Cloud: Data Platform

У вас в облаке в managed mysql service Бд названа magneto-cloud , а в эндопоинте Yandex Data Transfer magento-cloud

Я обратил внимание что вы пытаетесь сохранить данные в нашем бакете. Можете сказать откуда вы взяли пример, который пытаетесь повторить?

Попробуйте таймаут пипу повысить

> - как считается прайсинг? билится за потребление, как в BQ? пока сервис на этапе public preview - то потребление не оплачивается. впоследствие - да, мы планируем привязывать оплату к объему данных, независимо от сложности их обработки. мы считаем это наиболее прогнозируемым вариантом

Поставлять из Кафки в кх с лагом в секунду это стандартная практика, кх к такому хорошо приучен

Технологический доклад Yandex Scale уже начинается! Подключайтесь по ссылке. О трендах рынка и главных анонсах Yandex Cloud сегодня расскажут: • Григорий Атрепьев, Chief Product Officer; • Лейсан Зигангирова, директор по маркетингу опенсорс-технологий Яндекса; • Андрей Фомичев, руководитель YDB, Observability и Serverless; • Владимир Бородин, руководитель платформы данных; • Иван Пузыревский, руководитель направления разработки инфраструктурных сервисов; • Даниил Пивоваров, директор направления бессерверных технологий; • Евгений Сидоров, CISO, руководитель направления разработки сервисов безопасности; • Александр Чеснавский, директор по продажам в Яндекс 360 для Бизнеса.

Так я не про общение в чате. А в личке. Да, ищу именно с точки зрения знакомств- нетворкинга, сейчас напишу, спасибо.

Без запущенных мощностей там никаких дашбоардов не будет, проверять будет нечего :)) а чисто для себя - можно просто сравнить свой дашбоард с тем, скрин которого у них в Курсе в конце представлен и все дела. Там кстати еще вдобавок есть несколько различий между тем, что показали в видео и тем, что было в тексте. По-хорошему авторам пройтись бы по всему Курсу и практики выполнить, там есть что исправить.

этот список взят из https://cloud.yandex.ru/docs/managed-greenplum/operations/external-tables 🙂

Можно переиспользовать конечно

делаете трансфер с режимом копировани + репликация, приемником делаете кластер на ssd дисках, 100GB быстро перельется, потом отключаете запись на пару минут в источник, ждете когда изменения докатятся до приемника, переключаетесь на приемник даунтайм может быть минимальным

«Решения для интеграции и обработки данных» Наши спикеры Максим Зиналь, архитектор продуктов платформы управления данными и Пётр Резников, руководитель разработки сервисов обработки данных в Yandex Cloud расскажут о том, какие решения важны для интеграции и обработки данных на базе платформы данных Yandex Cloud. Еще в докладе: • как сервисы связаны между собой; • какие обновления появились; • как выглядят наши планы на будущее. Трек доступен по ссылке.

На маке команда ssh, насколько понял, запоминает к конкретному ip ключ при первом подключении в отдельный файл, потом в ~/.ssh/known_hosts править пришлось, чтобы заработало.

Кстатм итоговый риал-тайм слой будет все же в кассандре (планируются 1000 коллов в секунду)

Спасибо за ответ ) вопрос скорее заключается в том, что у нам хочется организовать на Datalens так называемые "быстрые витрины", то есть они уже разработаны, код витрин не меняется, но требуется с определённой периодичностью подгружать в них новые данные. Основные данные лежат в GreenPlum и мы смотрели в сторону материализованных датасетов у DataLens. Я так понимаю они подобный функционал не предоставляют?

Там у всей сети нет доступа до интернета

Собрали в одном посте последние изменения в сервисах платформы данных. За последний квартал у нас накопилось много новостей. Особое внимание хочется уделить сервису Data Proc: после анализа использования сервиса и вашей обратной связи мы добавили легковесные кластеры Apache Spark без HDFS и DataNodes, реализовали поддержку скриптов инициализации и ряд других возможностей. Кроме того, наша команда: — В Managed Service for MySQL® ускорила процесс восстановления реплики из резервной копии. — Добавила ряд оптимизаций в Managed Service for Greenplum®. — Запустила новую версию 22.5 Managed Service for ClickHouse. Что нового в Managed Service for ProstgreSQL, DataLens, Managed Service for Apache Kafka® и других сервисах. Подробнее читайте в блоге → #yacloud_news

добавить роли своего приложения в роли cloud organisation