Yandex Cloud: Data Platform

я смотрю на одинокий пример с кликхаусом и недоумеваю, ну как так, почему ничего нет)

Коллеги, привет! У меня вопрос по Container Optimized Image. Я развернул несколько контейнеров через compose с кастомным образом из registry на базе этой виртуалки. Как мне обновить её, если я опубликовал новую версию образа с новым тэгом, прописал его в compose-спецификации, но это не помогло? Просто перезапуск виртуальной машины не помог, команды docker ps -a / docker images показывают предыдущую версию образа. Спасибо.

для win https://stackoverflow.com/questions/64687271/how-to-avoid-permission-denied-publickey-ssh-key-windows

Добрый день! Есть необходимость получить доступ к секретам в lockbox из Data Proc, для подключения к внешним источникам. Если ли возможность получения их без явной передачи credential (например IAM-токена)? Или возможность обращение через переменные окружения к ним? PS. Кластер Data Proc собираеться для определенных заданий через airflow.

☄️ Итоги Yandex Scale 23 ☄️ Вот и подошла к концу главная облачная конференция Yandex Cloud. Были рады видеть всех в онлайне и офлайне. И делимся всеми новостями Yandex Scale: ⏺ Открыли исходный код системы для анализа и визуализации данных Yandex DataLens. ⏺ Запустили сервис Smart Web Security. Он усилит защиту веб-приложений компаний от DDoS-атак хакеров. ⏺ Представили новый сервис речевой аналитики с YandexGPT для бизнеса — SpeechSense. ⏺Расширили возможности платформы данных и запустили управляемый сервис в облаке на базе open source технологии Apache Airflow. ⏺Подвели итоги закрытого тестирования YandexGPT среди 800 компаний и представили обновленный сервис YandexGPT. ⏺Запустили сервис для транзакционных рассылок Yandex Cloud Postbox. Еще больше новостей — в нашем дайджесте. 🤝 Спасибо всем, кто участвовал. Ждем вас через год на конференции Yandex Scale 2024!

⚡️ Собрали для вас новости платформы данных за последнее время Рассказываем про: • новинку в сервисе Data Proc — управляемые кластеры Hive Metastore в режиме Public Preview; • обновление Apache Kafka®; • обновления в сервисе для управления кластерами Greenplum®; • обновления в Data Transfer, нашем сервисе переноса данных; • поддержку последних версий ClickHouse, PostgreSQL и MySQL®; • о новинках в DataLens: подключении к Snowflake, обновлениях в сводных таблицах, RLS и полезных материалах. Подробнее о новостях сервисов, полезные ссылки, чек-листы и видео с лайфхаками — в нашей статье. #yacloud_news

привет! подскажите, в яндекс облаке можно в airflow ставить на расписание ноутбуки zeppelin? как я понимаю отдельного оператора в airflow в принципе пока еще нет, но по идее есть возможность вызывать через rest api zeppelin'а. но в списке API сервисов Yandex Cloud зеппелина не вижу. (ссылку не могу вставить)

Или этот вопрос лучше в какой-то другой чат?

Можете задать вопросы тут, если не успели задать на вебинаре

Это понятно, доступа до api с машины с gui запросили, но может можно было как-то удобнее через ус сделать?

Думаю нет, вот жеж картинка как раз выше, показывающая варианты, S3 тут как один из источников, а не промежуточный этап. Или ?

Бесспорно:). Это как водка - универсальный алкоголь. Однако иногда водка в контекст не лезет :) приходится импровизировать

dbt мы все хотим приземлить у нас, но, кажется, широкого опыта применения пока не было. @vanez1985 поправь плз если не так

Сегодня стал доступен новый сервис — Managed Service for OpenSearch. OpenSearch — поисковая система, лицензированная Apache 2.0. С помощью Managed Service for OpenSearch вы сможете улучшить: 🔹 анализ и поиск данных на сайте — например, настройте удобный поиск по каталогу в интернет-магазине; 🔹 мониторинг безопасности приложений — проводите централизованный анализ журналов и систем и вовремя выявляйте угрозы. Yandex Cloud предоставляет OpenSearch как управляемый облачный сервис — вам не придётся заботиться о резервировании, мониторинге, обеспечении отказоустойчивости инфраструктуры и обновлении ПО. Managed Service for OpenSearch находится в Public Preview и не тарифицируется. Сервис уже доступен для всех пользователей. Подробнее о сервисе читайте на сайте ➡️ #yacloud_news

Главный технологический доклад подошел к концу. Обсудить его можно в канале Yandex Scale. присоединяйтесь и делитесь впечатлениями в комментариях. 🎙 Мы уходим на небольшой перерыв, а пока смотрите прямую трансляцию из студии. Сегодня в гостях у Антона Черноусова, developer advocate Yandex Cloud и Александры Пономаревой, менеджера по работе с ключевыми клиентами — руководители разработки и архитекторы Yandex Cloud, а также наши клиенты. И уже совсем скоро, в 13:00, начнется тематический трек Data Platform. Не пропустите! Трек доступен по ссылке.

Да, задания будут выполняться на всех узлах

Хорошо спасибо. GP сейчас в процессе миграции к вам.

А сколько трафика? Если там единицы мб/с то в целом любая база подойдет