Yandex Cloud: Data Platform

привет. нет, это небезопасно, поэтому нельзя

ну или вариант с putty еще есть - в puttygen создать ключ, далее открытую часть сконвертировать и скормить консоли облака/cli при создании машины

Добрый день! Ребят помогите пожалуйста решить проблему. Несколько раз пересоздавал как указано в курсе, но все ровно одно и тоже.

И по сути это будет выделенный metastore

Кликхауз из Голландии 😅

Коллеги, добрый день! Подскажите, а как часто и что происходит в таких случаях, если, к примеру, у вас вдруг отключилась сеть или возникли какие-то проблемы с физическими серверами?Система продолжает функционировать или вы просто отписываетесь, что подождите пока всё починим? Т.е. я бы описал вопрос как "Поддерживается ли отказоустойчивость системы, в случае наступления подобных событий" P.S.сейчас задумались о смене провайдера после нескольких подобных инцидентов с предыдущим/текущим провайдером, когда у них обрубалась сеть и т.п., а мы вообще ничего сделать не могли, т.к. даже наш сервак с nginx тоже ложился?

Всем привет! По вопросам прохождения курса "Витрина данных для веб-аналитики в ClickHouse" можно писать сюда?)

🫥 Отказаться от гибридного деплоя и полюбить Terraform: опыт RocketData Платформа RocketData помогает компаниям управлять информацией в более чем 80 онлайн-источниках: каталогах, справочниках, картах, ресурсах с отзывами и так далее. С ростом проекта организовывать бесшовный деплой стало сложнее. Чтобы облегчить жизнь DevOps-инженерам, компания начала переходить на managed-решения. Однако опыт с первым провайдером оказался не самым удачным. Одна из причин — он поддерживал Terraform не так хорошо, как требовалось. Тогда RocketData приняли решение мигрировать на Yandex Cloud. Это решение позволило снять ограничения на масштабирование и вырасти в 2 раза. Также удалось улучшить показатели CI/CD: скорость доставки обновления для клиентов выросла с 15 до 5 минут. 🗣 О том, как RocketData использует Terraform, а также какие факторы стоит учесть при масштабировании гибридной инфраструктуры и переезде в облако, читайте в статье.

Настройки подключения максимально просты: по сути, от AWS отличается только endpoint

☄️ Открываем Yandex Scale — подключайтесь по ссылке!

@kolechenkov Роман, привет! У нас в чатах активно интересуются - нет ли планов по self-hosted DL?

у вас ссылки на вашу документацию считаются внешними? )

🎓 Yandex Cloud расширила программу обучения по хранению и обработке данных в облаке 🆕 Теперь для дата-инженеров и дата-аналитиков доступен курс «Managed Service for ClickHouse». Вы научитесь эффективно обрабатывать потоки данных и выполнять SQL‑запросы с помощью базы данных ClickHouse, использовать его для задач Data Science в облаке и многому другому. Курс будет полезен опытным специалистам, которые хотят научиться обеспечивать высокую доступность, производительность и масштабируемость баз данных. Также вы можете пройти и другие курсы: ⏺ «Построение корпоративной платформы данных» Вы выполните практические задания по синхронизации данных, построению гибридного хранилища, созданию аналитических витрин и визуализации данных. ⏺ «Основы работы с DataLens» Вы научитесь строить графики на основе данных и проектировать what-if-калькуляторы с отображением результатов на дашбордах с помощью Yandex DataLens. ⏺ «Витрина данных для веб-аналитики в ClickHouse®» Узнайте, как собрать данные из разных источников и автоматизировать их загрузку в хранилище. Выбрать курсы Yandex Cloud можно по ссылке. #yacloud_news

Добрый день! Получить данные для подключения из LockBox в среде Data Proc можно без дополнительных операций аутентификации, поскольку в метаданных узлов кластера прописан сервисный аккаунт. Конкретный способ доступа зависит от среды, в которой происходит обращение. Для Python можно использовать стандартный облачный Python SDK. Там есть биндинги к GRPC API сервиса Lockbox, и есть поддержка аутентификации через метаданные виртуальной машины. Для Java проще сходить через HTTP-ручки, пример есть вот тут.

Добрый день. Посмотрите dbeaver https://cloud.yandex.ru/docs/managed-mysql/operations/connect

ребята какой максимальный срок существования ссылки на файл в яндекс облако у себя настроил на 7 дней, нельзя ли убрать эти ограничения ?

Коллеги, еще раз добрый день. Появился вопрос. Были ли примеры использования S3 яндекса в закрытом контуре. Сейчас требуется доступ до внешнего endpointa http://storage.yandexcloud.net. Может можно как-то изнутри обратиться или только отрывать доступ наружу?

от ключа? это то что в сервис аккаунтах?

Вообще это штатный для него сценарий использования, @paveldubinin со стороны DataLens как BI-инструмента не даст соврать :) Вот один из недавних кейсов, например https://www.bigdataschool.ru/blog/yandex-datalens-and-kafka-for-bi-in-kazanexpress.html

Добрый день! Спасибо за вашу обратную связь. Мы с командой обучения проанализиваровали ситуацию с проверкой работ и в итоге решили отказаться от неё в пользу возможности получения сертификата по итогам тестирования.