Yandex Cloud: Data Platform

Я думал что Bash :)

Все-таки уменьшили max_wal_size и база ожила. Network HDD конечно оч медленные, ср IOPS на 100gb - 30. Мы увеличили диск, но не CPU И RAM, max_wal_size автоматом вырос, конфиг не вытянул. Со временем переедем на SSD на малых объемах (до тб) цена не сильно отличается.

Добрый день, Максим! Спасибо за ваш ответ. Собрали дополнительную информацию со скриншотами и логами в тикете MB454922. Задание airflow падает 1 раз из 2-х, и в логах видим ошибку: pyspark.sql.utils.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient Какие действия можно предпринять не ясно. Установили группу безопасности по вашим скриншотам. Трижды все перепроверили, упростили код до минимум для избежания ошибок. Очень ждем вашей помощи.

исправьте и активируйте дата трансфер заново

Для авторизации через федерацию необходима возможность запустить браузер. На этой машине браузер запустить не получилось

Качаюсь по cloud solution architecture, уверен, вопросов будет вагон и маленькая тележка

Нам тоже он показался очень интересным. Но мы не проведем его через лигалов. Компания не российская

А можете рассказать почему так лучше не делать? Чтобы понять с какими проблемами столкнёмся

Балдеж, спасибо большое

Для избежания подобных случаев, подключают два гарантированных канала, желательно от разных операторов.

Я бы еще порекомендовал попробовать ядб :) Но раз у вас лигал констрейнты то думаю оно тоже не подойдет

попробуйте 1) либо увеличить размер hdd диска 2) либо попробуйте network-ssd или же 3) можно попробовать покрутить max_wal_size в меньшую сторону, но лучше все же первые 2 совета попробовать тк max_wal_size зависит в том числе от размера диска

«Опыт Skyeng по миграции аналитики в облако» В программе доклада: • история развития аналитической структуры в Skyeng: от перехода в Yandex Cloud до настоящего времени; • сложности, которые решались по ходу реализации архитектуры; • найденные решения. Обо всем этом расскажет Андрей Кучеренко, тимлид команды DWH в Skyeng. Присоединиться к докладу можно по ссылке.

Пожскажите, что значит "интегрирован с объектным хранилищем" - появился интерконнект на прямую в s3?

в даталенс, повторюсь, есть планы отказаться о материализации, поэтому лучше не закладывайтесь на нее сразу

Да, будут. Очень хочу это сделать на этих выходных или в начале следующей недели. Надеюсь на этот раз получится

- Окей и еще вопрос такой: Когда запрос отработал, то результирующая таблица с данными собирается на одной ноде или на нескольких (например несколько редьюсеров) Например, ситуация когда выходных данных очень много и они не помещаются на одну машину, но можно с разных нод сложить результат в object storage Зависит от. Если у вас есть финальная агрегация типа count(*), то на одной ноде. Если запрос вида insert into select *, то задача делится между нодами и запись файлов происходит параллельно каждой нодой

Права на закрытую часть поправьте: chmod 600 <имя файла>

а где можно задать вопрос про functions?