Yandex Cloud: Data Platform

Алексей спасибо что откликнулись. Да заводили обращение в поддержку, но там не помогли. Предложили вручную создать кластер и проверить будут ли в этом случае обрывы сессий при повторных обращениях с метастор. Примера для необходимой нам конфигурации техподдержка не прислала.

доступа к GUI Airflow у меня нет так что только так

Прошу прощения за небольшой оффтоп. В каком чате спрашивать про OAauth в Яндексе? Столкнулась с невозможностью получить токен для конкретного пользователя: выдает unauthorized_client. С другими пользователями проблем нет. Куда смотреть?

Коллеги, я тренирую своего цифрового двойника и ссылаясь на фидбек Peter Fomichev приглашаю вас помочь мне. Напишите, на какие вопросы вы хотели бы, чтобы он мог ответить? Фидбек Петра: “Мне кажется самое крутое в таком боте - это «менторинг для бедных». Когда можно скормить ему проблему и получить ответа вида «как бы к ее решению подошел Байрам». Что-то в таком духе.” Пишите в комментариях и лайкайте вопросы других, чтобы я знал наиболее интересные. Спасибо!

Добрый день! Буду отвечать на вопросы по очереди, по пунктам

Да, но на самом деле этот параметр можно менять:)

Курс проходил ещё весной, а сейчас только тест досдавал

Сама изначальная идея стриминга - получать данные в режиме ниар риал-тайма. Дата-марты должны строиться в таком же режиме. Задержка - пара секунд

Возможно в следующем году

Открытие Yandex Scale подошло к концу. Завтра с 11.00 вас ждет второй день конференции. Мы расскажем о главных новостях Yandex Cloud, в тематических треках обсудим подробнее сервисы платформы, а клиенты и партнеры поделятся самыми свежими кейсами. Чтобы не упустить главное, можно составить удобное расписание на сайте конференции. Сегодня мы говорили о том, какой путь за эти 5 лет прошла облачная платформа и чего нам удалось добиться уже сейчас. Это впечатляющие результаты: 🔊 пользователи хранят у нас десятки петабайт информации; 🔊 на платформе запущено более 250 тысяч виртуальных машин; 🔊 количество запросов к IAM превышает 400 тысяч в секунду – это одна из самых высоконагруженных систем. Ещё 5 лет назад эти цифры казались невероятными. Весь этот рост состоялся благодаря вам, нашим пользователям, потому что вы в нас верили. А мы верили в вас. До завтра! 🚀

Привет! Вижу что много людей пришло из вебинара Airflow:) Расскажите какими операторами вы чаще всего пользуетесь? С чем возникали проблемы?:)

Пришлите пожалуйста cloud-id

добавил)

Справедливое замечание. Собственно логгирование, о котором я рассказывал, должно сильно помочь в отладке. После Скейла будет релиз Public API, который добавит отладочных данных прямо в ответ ноды.

Но это же сейчас:-)

Добрый вечер. У меня вопрос по курсу practicum ycloud-datamart lesson 8de9d95b-8bce-4b76-a5cf-40dea2208a80 Я потерялся после "Введите в терминал команды:" Не понятно куда(где именно) вводить, зачем? Идет речь ниже про IDE, но откуда у нас уже взялась? Далее "Перейдите в интерфейс Airflow и запустите dag." Откуда там возьмется dag тоже не понятно.

Друзья, через полчаса начинаем большую конференцию Yandex Scale 2022 ✨ Смотрите главный доклад в 9:45! Подключайтесь онлайн на трек Data Platform, где мы собрали главные новости сервисов и истории пользователей по работе с платформой данных! А если вы пришли к нам в Октябрь, приходите на стенд Data Platform. Трек Data Platform: 🔹11:45–12:20 Платформа данных как конструктор: изменения и новые компоненты 🔹12:30-13:00 Yandex Query: бессерверный движок запросов для хранилища данных 🔹13:40-14:10 Продуктовая аналитика приложений в Тинькофф 🔹14:20-14:50 Yandex DataSphere: новый UI и возможности командной ML-разработки 🔹15:00–15:30 Миграция в Yandex DataLens: опыт Яндекс Go и Яндекс Маркет 🔹15:40-16:10 Опыт компании Магнит: построение продуктовой аналитической инфраструктуры клиентских приложений Доклад про новый коннектор DataLens на треке Business Tools: 🔹15:40–16:10 Битрикс24 + Yandex DataLens: всем дашборды! Добавляйте доклады в календарь и до встречи онлайн!

Это если у вас батчевая природа детального слоя и дата мартов. Если всё и деталька и дата марты околостриминговое, то тогда KV(касандра и подобное)