DATABASE DESIGN

PSQLBuddy — резервное копирование и восстановление PostgreSQL Все мы так или иначе решаем вопросы резервирования наших данных. Но всегда хочется, чтобы думать об этом приходилось как можно меньше, стоило это дешевле, а восстановление было простой задачей. Это я и попытался сделать в своем проекте PSQLBuddy. Опять-двадцать пять, или резервное копирование баз данных PostgreSQL по новому. Снова. . Опять Читать: https://habr.com/ru/articles/855912/ #ru @database_design | Другие наши каналы

Немного о Durability в Postgres. Часть 2 В прошлой публикации мы обсудили механизм парсинга, оптимизации и исполнения запроса в PostgreSQL. В процессе обсуждения, был также затронут WAL (Write-Ahead Log). Давайте разберемся, что же это такое. WAL, он же Write Ahead Log - бинарный лог, хранящий в бинарном виде непоcредственные результаты исполнения транзакций, модифицирующих текущее состояние данных. Речь идет о запросах INSERT, UPDATE и DELETE. WAL обеспечивает Durability из ACID, т.е. сохранность данных в случае любых возможных сбоев.  Тем не менее, ошибочно представлять себе WAL как бэкап данных. Смысл данного механизма не в хранении копии всех созданных и измененных данных с момента создания бд. WAL используется для нескольких целей. В том числе - это основной механизм получения реплицируемых данных, будь то физическая или логическая репликация. Но об этом мы сейчас не будем говорить. В нашем примере речь идет о единственном инстансе PostgreSQL, запущенном на отдельной машине или в контейнере. Читать: https://habr.com/ru/articles/855910/ #ru @database_design | Другие наши каналы

Фотография на 4,6 терабита: техника фотографии XIX века, использованная в новом методе хранения данных Кларк Джонсон говорит, что хотел стать учёным с трёх лет. В 8 лет ему наскучил полученный в подарок набор для создания телеграфа, и он переделал его в телефон. К 12 годам он решил изучать физику, потому что хотел понять, как работают вещи на самом базовом уровне. «В то время я ошибочно полагал, что физики настроены на левое ухо Бога», — говорит Джонсон. Окончив в 1950 году в возрасте 19 лет Университет Миннесоты Twin Cities со степенью бакалавра по физике, он собирался поступать в аспирантуру, когда ему позвонил руководитель физического отдела научно-исследовательской лаборатории компании 3M и предложил работу. Соблазнившись перспективой делать всякое своими собственными руками, Джонсон согласился на должность физика на предприятии компании в Сент-Поле, штат Миннесота. Так началась его более чем семидесятилетняя карьера инженера-электрика, изобретателя и предпринимателя, которая продолжается и по сей день. Читать: https://habr.com/ru/articles/855806/ #ru @database_design | Другие наши каналы

Марии (db) 15 лет! 15 причин чтобы её полюбить (или хотя бы с ней познакомиться) MariaDB Server исполняется 15 лет! Вот 15 причин, по которым разработчики и администраторы баз данных любят его! Читать: https://habr.com/ru/articles/855802/ #ru @database_design | Другие наши каналы

Топ 10 трюков для оптимизации SQL. Часть 1 В этой серии статей мы рассмотрим 10 трюков для оптимизации ваших SQL запросов. Большинство трюков из этой статьи многие уже знают, но я всё равно решил о них упомянуть) Читать: https://habr.com/ru/articles/855770/ #ru @database_design | Другие наши каналы

Как мы научились эффективно управлять ростом данных с переходом на BW/4HANA Всем привет! Меня зовут Сергей Вяльцев. Я архитектор команды «Финансы» в «Ленте», домен «Данные и Аналитика». Хочу поделиться тем, как благодаря миграции на BW/4HANA нам удалось разгрузить сервер базы данных хранилища SAP BW, не прибегая к покупке дорогостоящего оборудования. Более подробно остановлюсь на описании новой технологии NSE и результатах ее применения в нашей системе. Читать: https://habr.com/ru/companies/lentatech/articles/855412/ #ru @database_design | Другие наши каналы

Сравнение архитектуры отказоустойчивых хранилищ для виртуализации в картинках Показанные схемы в статье отображают задний фон в виде серверов и коммутаторов. Это необходимо для ассоциативного восприятия, приближенного к тому, как программные сервисы архитектуры связаны с оборудованием, а также для понимания разницы в логических компонентах программных архитектур хранилищ на основе одного и того же минимального аппаратного набора. Читать: https://habr.com/ru/articles/808113/ #ru @database_design | Другие наши каналы

Восстановление данных с зашифрованного Linux тома с помощью cryptsetup В этой статье мы разберем восстановление данных с зашифрованного с помощью LUKS тома NAS. Внимание: в самом худшем случае для восстановления данных этим способом потребуется свободное место равное двум объемам зашифрованного раздела. Например, если у вас есть зашифрованный раздел на 1 ТБ, то необходимо иметь 2 ТБ свободного места. В лучшем случае (незначительные повреждения) понадобится один объем свободного дискового пространства. Также обращаем внимание, что вам НУЖНО ЗНАТЬ пароль, который использовался для шифрования тома Для примера мы будем использовать диск от QNAP с зашифрованном разделом. 1.     Подключаем диск от QNAP к компьютеру с помощью USB или SATA. После чего нужно любым доступным способом создать образ зашифрованного раздела. Для примера мы будем использовать программу Vолга. Выбираем раздел QNAP и начинаем создание образа. Мы советуем сохранить образ в формате .img (посекторный RAW образ) на любой внешний диск. Читать: https://habr.com/ru/articles/855290/ #ru @database_design | Другие наши каналы

Файловая система без фокусов: как hard links и XOR сэкономят ваши гигабайты Для начала нужно понять главное - файлов не существует. А потом на примере простых манипуляций разобрать что такое hard links, чем может быть полезен непонятный XOR и как это всё уживается в системах копирования и снимков Читать: https://habr.com/ru/articles/855480/ #ru @database_design | Другие наши каналы

Новые обновления для MariaDB Community Server MariaDB объявила о выходе обновлений для версий 11.4.4, 11.2.6, 10.11.10, 10.6.20 и 10.5.27. Узнайте больше о новых функциях и исправлениях на сайте проекта. Скачайте последние версии уже сегодня! Подробности по ссылке: mariadb.com/downloads. Читать подробнее #en @database_design | Другие наши каналы

Импортозамещение Data Quality стека в нефтегазохимии: опыт СИБУРа В СИБУРе много данных, которые текут в режиме реального времени с многочисленных датчиков на разных производствах, эти данные нужно собирать, хранить, обрабатывать и анализировать, чтобы компания могла принимать правильные бизнес-решения. И от качества инфраструктуры для работы с данными зависит рентабельность производств и прибыль компании в целом, а это жизненно важные показатели. В небольшом цикле из двух статей мы разберём опыт СИБУРа в создании, поддержке и развитии DQ (Data Quality — качество данных) сервиса для DWH (Data Warehouse — хранилище данных) в условиях санкций и исчезающих вендоров проверенных и привычных решений. Рассказывать об этом опыте будет Александр Бергер, Lead DQ Analyst в Цифровом СИБУРе, которому посчастливилось лидить процесс создания DQ-сервиса на решениях вендора, который решил покинуть рынок РФ в разгар рабочего процесса. Читать: https://habr.com/ru/companies/sibur_official/articles/855310/ #ru @database_design | Другие наши каналы

Система сквозного логирования с передачей единого идентификатора между независимыми задачами Airflow Привет! Меня зовут Никита Хилов, я работаю в билайне уже более десяти лет. Начинал я работать с поддержкой систем фиксированного фиксированного биллинга, впоследствии я отвечал за разработку и поддержку различных расчетов по системам управленческой или корпоративной отчетности. А сейчас я работаю в роли тимлида дата-инженеров в блоке по архитектуре и инфраструктуре данных и отвечаю за управление разработкой и сопровождением программных продуктов компании по различным точкам бизнес-приложения. Итак, какие же вопросы мы обсудим в этой серии постов. Сегодня я хочу осветить вопросы касаемо того, как же нам организовывать, компоновать и в принципе заставить работу систему журналирования наших расчетов для таких случаев, когда наш общепринятый ключ периодики, на котором мы обычно строим свои расчеты, перестает быть однозначным идентификатором той итерации процесса подготовки данных, на которую мы сейчас смотрим, и от которых мы ждем результаты. Мы обсудим, например, когда такое происходит и что для этого является катализатором. Рассмотрим механики и механизмы, которые дают возможность связывать независимые процессы и цепочки подготовки данных в единое целое. И в дополнение расскажу, как мы эту проблему решали в своем продукте. Но прежде всего давайте определим для чего нам это, в принципе, нужно. Читать: https://habr.com/ru/companies/beeline_tech/articles/855274/ #ru @database_design | Другие наши каналы

Восстанавливаем данные с кассеты от старого стримера Приветствую всех! Многие давно привыкли, что ленточные накопители — что-то высоконадёжное и предназначенное для долговременного использования. Но есть один стандарт, про который сказать так как-то не получается, и имя ему — QIC. Странная конструкция стримера и кассеты, не слишком уж долгий срок хранения — всё это про него. Так получилось, что как-то раз ко мне попал стример такого типа и кассета к нему, на которой ещё оставались какие-то данные. Что же с ним можно сделать? Давайте разбираться. Итак, в сегодняшней статье поговорим про стримеры стандарта QIC и miniQIC. Попутно разберёмся, как они работают и в чём их фатальный недостаток, попробуем восстановить данные с архива тридцатилетней давности и узнаем, почему нельзя пользоваться проприетарным софтом для резервного копирования. Читать: https://habr.com/ru/companies/timeweb/articles/853608/ #ru @database_design | Другие наши каналы

Инфраструктура для Data-Engineer DBT dbt является мощным фреймворком, который включает в себя два популярных языка: SQL + Python. При помощи dbt можно создавать разные "слои" данных или выделить dbt только под один слой, к примеру dm. При помощи понятного и всем известного SQL интерфейса можно создавать разные модели для вашего DWH или Data Lake. Читать: https://habr.com/ru/articles/854990/ #ru @database_design | Другие наши каналы

Читать подробнее #en @database_design | Другие наши каналы

Обходим ограничение доступа Github к базе уязвимостей Trivy. Быстрый фикс вам в помощь Совсем недавно разработчики, применяющие сканер образов Trivy, столкнулись с ошибкой TOOMANYREQUESTS. Она произошла из-за достижения максимального количества пользователей инструмента и предельной скорости по загрузкам из Container Registry (CR) ghcr.io. Меня зовут Алиса Кириченко, я занимаюсь разработкой контейнерной платформы «Штурвал». Мы вовсю используем Trivy, но совсем не хотим зависеть от доступности сторонних сервисов. Иначе заказчики не поймут. Поэтому базы у нас свои, и обновляются они каждую ночь. Если лень дальше читать, то вот, берите: Trivy DB: public.shturval.tech/trivy-db Trivy Java DB: public.shturval.tech/trivy-java-db Детали — под катом. Читать: https://habr.com/ru/companies/chislitellab/articles/854964/ #ru @database_design | Другие наши каналы

Большой обзор менеджеров паролей для бизнеса Стек технологий безопасности для рабочих мест будет неполным без программ управления паролями для сотрудников. Почему? Потому что одной из самых частых причин взлома учетных записей являются слабые и скомпрометированные пароли. А с учетом того, что все больше сотрудников работают удаленно, адекватные методы парольного менеджмента становятся еще более важными. Ниже собрал список доступных для российских компаний вариантов менеджеров паролей (если что, дополняйте в комментариях) и попробовал сравнить их. Читать: https://habr.com/ru/articles/854998/ #ru @database_design | Другие наши каналы

Ужасный код: если бы злодеи хорроров стали программистами Мы погрузились в мрачный мир фантазий и представили, какие языки программирования и роли могли бы выбрать самые известные злодеи хоррор-фильмов, если бы они ворвались в IT. Читать: «Ужасный код: если бы злодеи хорроров стали программистами» #ru @database_design | Другие наши каналы

Разоблачение привилегий: как PAM помогает выявить скрытые риски В статье расскажем о решении класса PAM (Privilege Access Management), а также рассмотрим, кто такие привилегированные пользователи и какую ключевую роль они играют в управлении доступом к критически важным системам и данным. Понимание особенностей этой роли и рисков, связанных с действиями привилегированных пользователей, является основой для разработки эффективных стратегий управления доступом и защиты информации. Читать: https://habr.com/ru/companies/ussc/articles/854896/ #ru @database_design | Другие наши каналы

Выбираю Open Source БД для себя Задача такая: искал Open Source БД для своего пет-проекта. Решил посмотреть в интернете новые решения в рамках БД. После чтения статей и отбора из 6-7 БД остались три (3), которые понравились лично мне. Больше ничего путного не нашел. Почему именно эти? Во-первых, они Open Source, а во-вторых, у них есть ответы на два главных моих вопроса «Для чего это нужно?» и «Работает ли из коробки?» Давайте покажу на примерах. Читать: https://habr.com/ru/companies/alfa/articles/854400/ #ru @database_design | Другие наши каналы