DATABASE DESIGN

История активных сессий в PostgreSQL — новое расширение pgsentinel Компания pgsentinel выпустила одноимённое расширение pgsentinel (репозиторий github), добавляющее в PostgreSQL представление pg_active_session_history — историю активных сессий (по аналогии с оракловой v$active_session_history). По сути, это просто-напросто ежесекундные снимки из pg_stat_activity, но есть важные моменты: 1. Вся накопленная информация хранится только в оперативной памяти, а потребляемый объём памяти регулируется количеством последних хранимых записей. 2. Добавляется поле queryid — тот самый queryid из расширения pg_stat_statements (требуется предварительная установка). 3. Добавляется поле top_level_query — текст запроса, из которого был вызван текущий запрос (в случае использования pl/pgsql) Читать: https://habr.com/ru/articles/416909/ #ru @database_design | Другие наши каналы

Как мы убили себя в один клик, размещая сайт и биллинг на геокластере или ещё раз поговорим об избыточности Да, я тоже бываю дебилом. Но такого я от себя не ожидал. Вроде бы «не первый год замужем». Вроде бы читал кучу умных статей об отказоустойчивости, избыточности и т.п., что-то разумное когда-то написал даже сам тут. Свыше 10 лет являюсь CEO хостинг-провайдера работающего под брэндом ua-hosting.company и предоставляющего услуги хостинга и аренды серверов в Нидерландах, США, а буквально неделю назад и в Великобритании (не спрашивайте, почему название ua, ответ можете найти в нашей автобиографической статье), предоставляем клиентам решения различной степени сложности, иногда такой, что даже сами затрудняемся разобраться в том, что сотворили. Но блин… Сегодня я превзошёл сам себя. Мы сами себе полностью снесли сайт и биллинг, со всеми транзакциями, данными клиентов об услугах и прочим и в этом виноват был я, я сам сказал «удаляй». Некоторые из Вас уже заметили это. Это случилось сегодня, в пятницу в 11:20 по восточному североамериканскому времени (EST). Причём наш сайт и биллинг размещены были не на одном сервере, и даже не в облаке, мы ушли из облака дата-центра 2 месяца назад в пользу нашего собственного решения. Всё это размещалось на отказоустойчивом гео-кластере из двух виртуальных серверов — нашего нового продукта, VPS (KVM) c выделенными накопителями, НЕЗАВИСИМЫХ VPS, которые располагались на двух континентах — в Европе и в США. Один в Амстердаме, а другой в Манассасе, под Вашингтоном, тем, что D.C. В двух надёжнейших дата-центрах. Контент на которых постоянно и в реальном времени дублировался, а отказоустойчивость основана на обычном кластере DNS, запросы могли приходить на любой из серверов, любой выполнял роль MASTER, и в случае недоступности брал на себя задачи второго. Я думал, что это может убить только метеорит, ну или ещё что-то подобное глобальное, что может вывести из строя два дата-центра одновременно. Но всё оказалось проще. Читать: https://habr.com/ru/companies/ua-hosting/articles/424063/ #ru @database_design | Другие наши каналы

Небольшие трюки с Elasticsearch Небольшая заметка, скорее для себя, о мелких трюках по восстановлению данных в Elasticsearch. Как починить красный индекс если нет бэкапа, что делать если удалил документы, а копии не осталось — к сожалению в официальной документации об этих возможностях умалчивают. Читать: https://habr.com/ru/articles/416955/ #ru @database_design | Другие наши каналы

Электропитание ИТ-оборудования: безопасность или бесперебойность? часть 2 Продолжаем статью, цель которой — поделиться опытом и показать ключевые особенности и частые ошибки возникающие при проектировании и организации подсистем электроснабжения ИТ-инфраструктуры и ЦОД в целом. Но хотелось бы немного расширить аудиторию и посвятить несколько разделов базовым элементам обеспечения электробезопасности и защиты оборудования и людей. Тем, кто пропустил первую часть или хочет вспомнить первую часть можно пройти сюда. Для тех кто понимает, что такое автомат и УЗО, для чего они необходимы, что и от чего защищают – переходите к разделу Нужны ли УЗО для IT-оборудования, серверной, ЦОДа?. Часть вторая Посмотрим какая взаимосвязь между энергетикой и конечным ИТ-оборудованием, будем разбираться в вопросе- в каких случаях перебоев в сети питания операционная система гарантированно должна работать без сбоев. Читать: https://habr.com/ru/articles/423801/ #ru @database_design | Другие наши каналы

Функции для документирования баз данных PostgreSQL. Часть вторая Это вторая часть статьи, которая описывает пользовательские функции для работы с системными каталогами: pg_class, pg_attribute, pg_constraints и т.д. В этой части статьи обсуждаются функции, возвращающие характеристики ограничений и индексов. Читать: https://habr.com/ru/articles/415897/ #ru @database_design | Другие наши каналы

Как устроено S3 хранилище DataLine Привет, Хабр! Не секрет, что в работе современных приложений задействованы огромные объемы данных, и их поток постоянно растет. Эти данные нужно хранить и обрабатывать, зачастую с большого числа машин, и это непростая задача. Для ее решения существуют облачные объектные хранилища. Обычно они представляют из себя реализацию технологии Software Defined Storage. В начале 2018 года мы запускали (и запустили!) собственное 100% S3-совместимое хранилище на основе Cloudian HyperStore. Как оказалось, в сети очень мало русскоязычных публикаций о самом Cloudian, и еще меньше — о реальном применении этого решения. Сегодня я, основываясь на опыте DataLine, расскажу вам об архитектуре и внутреннем устройстве ПО Cloudian, в том числе, и о реализации SDS от Cloudian, базирующейся на ряде архитектурных решений Apache Cassandra. Отдельно рассмотрим самое интересное в любом SDS хранилище — логику обеспечения отказоустойчивости и распределения объектов. Если вы строите свое S3 хранилище или заняты в его обслуживании, эта статья придется вам очень кстати. Читать: https://habr.com/ru/companies/rt-dc/articles/423853/ #ru @database_design | Другие наши каналы

Функции для документирования баз данных PostgreSQL. Часть первая За время работы с PostgreSQL накопилось больше ста функций для работы с системными каталогами: pg_class, pg_attribute, pg_constraints и т.д. Что с ними делать? Используются они относительно редко. Включить в какой-нибудь проект? Красноярский заказчик за такую «ерунду» платить не будет. И все же, а вдруг они полезны еще кому-то кроме автора. И решил выложить их, как прочитанные книги в общедоступный шкаф для желающих. Читать: https://habr.com/ru/articles/415575/ #ru @database_design | Другие наши каналы

Электропитание ИТ-оборудования: безопасность или бесперебойность? Добрый день, друзья! Сегодня у нас будет статья, цель которой — поделиться опытом и показать ключевые особенности и частые ошибки возникающие при проектировании и организации подсистем электроснабжения ИТ-инфраструктуры и ЦОД в целом. Но хотелось бы немного расширить аудиторию и посвятить несколько разделов базовым элементам обеспечения электробезопасности и защиты оборудования и людей. Для тех кто понимает, что такое автомат и УЗО, для чего они необходимы, что и от чего защищают – переходите к разделу Нужны ли УЗО для IT-оборудования, серверной, ЦОДа? кроме того, мы разберемся в вопросе- в каких случаях перебоев в сети питания операционная система гарантированно должна работать без сбоев. Итак… Часть первая Осень, дождь хлещет почти непрерывно. Идет бурное строительство одного подмосковного коттеджного поселка. Комендант поселка обходя подконтрольную ему территорию видит вопиющий факт «надругательства» над временной воздушной линией 380В. Читать: https://habr.com/ru/companies/open_technologies/articles/422459/ #ru @database_design | Другие наши каналы

Миграция данных ElasticSearch без потерь Академическое проектирование хранилища данных рекомендует держать все в нормализованной форме, со связями между. Тогда накат изменений по реляционной математике даст надежное хранилище с поддержкой транзакций. Atomicity, Consistency, Isolation, Durability — вот это все. Иначе говоря, хранилище специально строится для безопасного обновления данных. Но оно вовсе не оптимально для поиска, особенно широким жестом по таблицам и полям. Нужны индексы, много индексов. Объемы разрастаются, запись замедляется. SQL LIKE не индексируется, а JOIN GROUP BY отправляет медитировать в планировщик запросов. Читать: https://habr.com/ru/articles/416069/ #ru @database_design | Другие наши каналы

Что под капотом у Jaxx. Энтропия из коробки 128 бит Немного скомкано, записал чтобы не забыть. Должны быть интересны комментарии хабракриптосообщества. Решил проверить, насколько криптоустойчиа Brainwallet система резервного копирования мультивалютного кошелька Jaxx и что означают секретные слова на уровне кода. Для начала сделал копию свежеустановленного Google extension кошелька себе в рабочую папку. Подправил файлы для получения возможности редактирования. Много кода Читать: https://habr.com/ru/articles/423707/ #ru @database_design | Другие наши каналы

По следам meetup «Новые возможности PostgreSQL 11» (часть 2) В первой части мы рассказали об основных нововведениях и изменениях в PostgreSQL 11. На этот раз чуть подробнее обсудим некоторые моменты в формате вопрос/ответ, которые поднимались на meetup. Читать: https://habr.com/ru/companies/raiffeisenbank/articles/416187/ #ru @database_design | Другие наши каналы

Собираем InnoDB cluster из mysql 5.7 на centos 7 Всем привет! Как-то раз появилась по работе задача — есть вроде бы настроенный тестовый innoDB cluster на нескольких виртуалках с centos 7.5, надо его поизучать и добавить еще пару нод. Можно ломать и издеваться как угодно. Звучит заманчиво. Читать: https://habr.com/ru/articles/423587/ #ru @database_design | Другие наши каналы

Разгоняем бэкап. Лекция Яндекса Несколько ближайших лекций будут по мотивам первого Я.Субботника по базам данных, который состоялся весной. Сначала на Я.Субботнике выступил разработчик Андрей Бородин. Он рассказал о WAL-G — простом и эффективном инструменте для резервного копирования PostgreSQL в облако, а также об алгоритмах и технологиях, которые позволяют WAL-G создавать бэкапы быстрее. Главная особенность WAL-G — дельта-бэкапы. Из лекции вы узнаете об их реализации и о том, как поддержка этой технологии развивается в PostgreSQL. — Привет! Я разработчик в Яндексе из Екатеринбурга. К технологиям быстрого бэкапа. Бэкапом мы занимаемся довольно давно, были доклады Владимира Бородина и Евгения Дюкова о том, как мы исследуем и что разрабатываем, чтобы хранить данные безопасно, надежно, удобно и эффективно. Эта серия посвящена последним наработкам в указанной области. Поговорим про бэкапы в PostgreSQL в принципе. Стандартная утилита для переноса данных — pg_dump — определяется как консольная утилита, создающая файл с логическим представлением ваших данных. Читать: https://habr.com/ru/companies/yandex/articles/415817/ #ru @database_design | Другие наши каналы

Экономим на RAID-контроллере, или как накормить Варю иопсами В наш век облачных сервисов, AWS Lambda и прочих шаред хостингов абсолютно неосязаемых вычислительных ресурсов иногда хочется немножко своего. Кроме желания, иногда бывают и потребности вдумчиво покрутить тот или иной программный продукт с минимальными затратами на платформу. Найти какие-то излишки матчасти можно почти всегда, иногда даже получается собрать всё вместе и включить. Если излишки эти представляют собой CPU хотя бы на 4-6 ядер и памяти от 64ГБ — вообще отлично, можно брать ESXi и работать с чем угодно. Одна проблема: с дисковой ёмкостью на бытовом железе у VMWare — совсем никак. Производительность локальных одиночных HDD невысокая, а уж утратить содержимое отдельно взятого, сферического в вакууме винта в 21м веке — это как здрасьте. Попробуем подключить что-нибудь по сети. TL;DR> объединение, балансировка, rr limit, вот это вот всё. Читать: https://habr.com/ru/articles/423513/ #ru @database_design | Другие наши каналы

Разработка мультитенантных приложений на SAP Cloud Platform в среде Neo, часть 1 Наша платформа SAP Cloud Platform предоставляет возможность разрабатывать и запускать мультитенантные приложения. Мультитенантные приложения позволяют изолированно обслуживать нескольких клиентов из разных организаций в рамках одного решения, предоставляемого провайдером. Каждый клиент называется арендатором. Он обращается к приложению через выделенный URL-адрес конкретного тенанта – таким образом достигается изолированность пользователей друг от друга. В нескольких статьях мы расскажем о следующих темах: Часть 1. Мультитенантность в SAP Cloud Platform, обзор сценария Часть 2. Загрузка решения в формате MTAR в платформу, привязка базы данных и создание подписок для арендаторов, конфигурация субаккаунта провайдера Часть 3. Сервис хранения данных (Persistence Service) – инициализация и изоляция данных Часть 4. Управление идентификацией с помощью «Identity Authentication» – настройка тенанта сервиса Часть 5. SAP Cloud Connector – настройка и конфигурация сервиса для подключения к локальной системе Часть 6. Настройка сервиса «Connectivity» и тестирование мультитенантного приложения Часть 7. Fiori Launchpad – использование сервиса «Portal», конфигурация плитки для мультитенантного приложения Читать: https://habr.com/ru/companies/sap/articles/415351/ #ru @database_design | Другие наши каналы

Обновление базы данных и zero-downtime deployment Про обновление систем «на лету» без их остановки (zero-downtime deployment) написано немало статей и многие аспекты этого подхода является достаточно очевидными. На мой взгляд, наиболее сложная часть деплоймента в этом случае — обновление хранилищ данных, в случае если их контракт (схема) изменился. Именно этот аспект я бы и хотел рассмотреть в этой статье. Читать: https://habr.com/ru/articles/423429/ #ru @database_design | Другие наши каналы

А нам все «вертикально» — СУБД Vertica Привет! Меня зовут Сергей, я работаю главным инженером в Сбертехе. В ИТ-сфере я примерно 10 лет, из которых 6 занимаюсь базами данных, ETL-процессами, DWH и всем, что связано с данными. В этом материале я расскажу о Vertica — аналитической и по-настоящему колоночной СУБД, которая эффективно сжимает, хранит, быстро отдает данные и отлично подходит в качестве big data решения. Читать: https://habr.com/ru/companies/sberbank/articles/414895/ #ru @database_design | Другие наши каналы

Урок по оптимизации серверной части веб-приложений Привет, Хабр! Меня зовут Алексей Приставко, я директор по веб-проектам в компании DataLine. Моя сегодняшняя статья посвящена тому, как исправить или предотвратить проблемы с производительностью бэк-энда веб-приложений. Речь пойдет о том, как оптимизировать веб-приложения, которые страдают от хронических проблем с масштабируемостью, производительностью или надежностью. Всем заинтересовавшимся – добро пожаловать под кат! Читать: https://habr.com/ru/companies/rt-dc/articles/414515/ #ru @database_design | Другие наши каналы

Разворачиваем хранилище LINSTOR для Proxmox Недавно LINBIT выпустили свое новое решение для оркестрации и управления множеством DRBD-массивов. К примеру у вас может быть несколько нод и у каждой будет собственный LVM или ZFS пул в котором LINSTOR будет автоматически создавать новые тома и реплицировать их между нодами используя DRBD-протокол. LINSTOR поддерживает thin-provisioning, снапшоты и много других интересных штук. Это решение хорошо подойдет для виртуальных машин и контейнеров. Читать: https://habr.com/ru/articles/423101/ #ru @database_design | Другие наши каналы

Опыт 1440 миграций баз данных Представьте себе Oracle DBA. Ему уже за тридцать, он слегка полноват, носит жилетку, на шее у него висит секретный токен доступа ко всем базам, а в резюме полстраницы пройденных им сертификаций. Суббота. День большого релиза. Кульминация. Время накатывать изменения на базу данных. Он набирает sqlplus, нажимает ENTER и по черному экрану куда-то вверх, в пустоту, устремляются километры SQL команд. Совсем как в звездных войнах. Спустя пять минут все готово. Через час релиз завершен. Работа сделана, день удался. Теперь можно и по паре пива. На самом деле нет Читать: https://habr.com/ru/companies/wrike/articles/414441/ #ru @database_design | Другие наши каналы