DATABASE DESIGN

Новые версии MariaDB C Connector доступны! MariaDB представила обновления Connector/C 3.4.3, 3.3.13 и 3.1.26 с улучшениями безопасности и поддержки. Среди нововведений: верификация сертификатов, поддержка TLSv1.3 на Windows и плагин parsec. Узнайте больше на сайте MariaDB и скачайте обновления. Читать подробнее #en @database_design | Другие наши каналы

Триггеры в PostgreSQL: основы Приветствую! В этой статье поговорим про триггеры в PostgreSQL. Начнём с базы: триггер в PostgreSQL — это такая функция, которая запускается автоматически при определённом событии в таблице. С триггерами можно автоматизировать массу рутины и освободить приложение от сложных проверок и вычислений, но это палка о двух концах. Читать: https://habr.com/ru/companies/otus/articles/857396/ #ru @database_design | Другие наши каналы

Dask для анализа временных рядов Привет, Хабр! Сегодня расскажем, как с помощью Dask можно анализировать временные ряды. С временными рядами всегда заморочек много: большие данные, сложные расчеты. Но Dask отлично с этим справляется. Читать: https://habr.com/ru/companies/otus/articles/855408/ #ru @database_design | Другие наши каналы

По мотивам одного сбоя в БД Oracle Всем привет! Я Тимур, инженер в команде Databases Т-Банка. Занимаюсь решением проблем и настройкой производительности СУБД Oracle и PostgreSQL Oracle — это СУБД для наших критичных  нагруженных legacy систем, системы построенные на новой архитектуре используют PostgreSQL. Расскажу о случае конкуренции на одной критичной БД. В какой-то момент перестали проходить транзакции из-за конкуренции за ITL-слоты на вставке в таблицу. Проблема, конечно, была решена, но хочу порассуждать о том, как можно расследовать такие инциденты хорошо известными способами. А еще рассмотрим, как можно подсмотреть за некоторыми аспектами внутреннего устройства СУБД. Читать: https://habr.com/ru/companies/tbank/articles/856446/ #ru @database_design | Другие наши каналы

Новые динтаблицы: вторичные индексы, web assembly и ещё много улучшений к версии YTsaurus 24.1.0 Динамические таблицы — это распределённая база данных, key‑value‑пары которой объединяются в привычные пользователям реляционных СУБД таблицы. В YTsaurus в них можно хранить огромные массивы данных, при этом их можно быстро читать — поэтому YTsaurus используют почти все сервисы Яндекса: Реклама, Маркет, Такси, даже Поиск при построении поисковой базы, и другие. Я руковожу службой разработки динамических таблиц в Yandex Infrastructure и раньше уже рассказывал, как мы оптимизировали чтение, улучшали выборку строк в SQL‑запросах и защищались от перегрузок. Сегодня вышла новая версия YTsaurus 24.1.0, в которой динамические таблицы получили ещё несколько долгожданных доработок. В статье расскажу про них подробнее. Читать: https://habr.com/ru/companies/yandex/articles/857708/ #ru @database_design | Другие наши каналы

Как перенести базу данных с выделенного сервера в облако: секреты успешной миграции Обычно, когда речь заходит про миграцию базы данных, задача формулируется так: без простоя и с минимальными усилиями перенести базу в облако. Процесс кажется понятным, однако на практике приходится учитывать множество нюансов. Привет, Хабр! Меня зовут Жан, я системный администратор баз данных в Selectel. Сегодня мы на практическом примере рассмотрим все нюансы миграции PostgreSQL из выделенного сервера в Managed Service. Читать: https://habr.com/ru/companies/selectel/articles/857590/ #ru @database_design | Другие наши каналы

Как мы работу блочного pNFS исправляли: продолжение остросюжетного детектива с Linux в главной роли Привет, это Константин Евтушенко и Артём Хакимов, разработчики R&D-команды в Cloud.ru. В предыдущей серии Санта-Барбары про pNFS наш коллега Сергей Баширов @sbashiro описал, как настроить стенд pNFS. Рассказ про эти «страдания» вам так понравился, что мы с коллегами просто не можем оставить публику без продолжения. Без доработки у нас ничего не завелось, поэтому сегодня расскажем, как мы настроили окружение для отладки: wireshark, gdb, trace-cmd ядра Linux, а также разберем трудности, с которыми столкнулись. В качестве подопытного у нас будет все тот же стенд на Ubuntu 22.04. Поехали! Читать: https://habr.com/ru/companies/cloud_ru/articles/856268/ #ru @database_design | Другие наши каналы

Оптимизируем использование памяти для поиска IP-адресов Около трёх лет у меня возникали проблемы с моим обучающим сайтом Mess With DNS: периодически у него заканчивалась память и он перезагружался по OOM. Это не имело особого приоритета для меня: сервер уходил офлайн лишь на несколько минут при перезапуске, и случалось это максимум раз в день, поэтому я закрывала глаза. Но на прошлой неделе это превратилось в реальную проблему, поэтому я решила изучить вопрос. Путь был сложным, и в процессе я многому научилась. Читать: https://habr.com/ru/articles/857222/ #ru @database_design | Другие наши каналы

Уровни изоляции транзакций в PostgreSQL, MySQL, MSQL, Oracle с примерами на Go В данной статье обсудим проблемы, возникающие при конкурентной работе с данными, а также инструменты для их решения – атомарные инструкции, явные и неявные блокировки и уровни изолированности транзакций, реализованные в OLTP СУБД PostgreSQL, MySQL, SQL Server, Oracle с примерами на Go. Поговорим о деталях их реализации в указанных СУБД. На примере PostgreSQL проведем benchmark-тестирование производительности уровней изоляции с использованием инструмента pgbench Читать: https://habr.com/ru/articles/857486/ #ru @database_design | Другие наши каналы

Уровни изоляции транзакций в PostgreSQL, MySQL, MSQL, Oracle с примерами на Go В данной статье обсудим проблемы, возникающие при конкурентной работе с данными, а также инструменты для их решения – атомарные инструкции, явные и неявные блокировки и уровни изолированности транзакций, реализованные в OLTP СУБД PostgreSQL, MySQL, SQL Server, Oracle с примерами на Go. Поговорим о деталях их реализации в указанных СУБД. На примере PostgreSQL проведем benchmark-тестирование производительности уровней изоляции с использованием инструмента pgbench Читать: https://habr.com/ru/articles/857486/ #ru @database_design | Другие наши каналы

Boson — разработка СУБД «с нуля» (итог) Цель проекта Boson — это разработка встроенного движка базы данных документов JSON, написанный на C++. Основные возможности: стандартное хранилище JSON-документов в формате ключ/значениями с постоянным хранением на диске. Размер документов до 4Gb. Быстрый поиск документов по ID с использованием индекса B+ дерева. Поддержка курсоров для линейного обхода записей. База данных в одном файле, без временных файлов. Простое, чистое и легкое в использовании API. Самодостаточный и не требующий настройки. В предыдущих двух статьях мы прошли шаги от кэширования файлового ввода/вода (часть I) до построенного на его базе хранилища записей произвольной длины (часть II) с проверкой целостности, возможностью получения записей списком и повторным использованием свободного места. Теперь мы переходим к завершающей части и "сердцу" СУБД - индексу. Зачем нужен индекс: предположим, что в базе есть 1 млрд не отсортированных записей документов, тогда поиск конкретного документа по ID потребует O(n) операций, то есть до 1 млрд операций в худшем случае. Однако, если бы документы в базе были бы отсортированы по ID, то поиск в сортированной базе, тем же бинарным поиском занял бы O(log n) занял бы 30 операций. Что, теоретически, на базе в 1 млрд записей будет в 33.3 млн раз быстрее. Читать: https://habr.com/ru/articles/856876/ #ru @database_design | Другие наши каналы

Как MongoDB Меняет Игру для Digital Natives В своём последнем блоге MongoDB анализирует, как цифровые компании могут преодолевать сложности современного ПО, используя правильные платформы для управления данными. Узнайте, как MongoDB помогает ускорить разработку, адаптироваться к рынку и масштабироваться без потерь в производительности. MongoDB Atlas: Оптимизация облаков и автоскейлинг MongoDB Atlas обновляет возможности автоскейлинга и расширения хранилища на Azure. Благодаря новым улучшениям, клиенты могут оптимальнее распределять ресурсы, управляя производительностью и затратами. Ускорение обработки динамических нагрузок теперь до 5 раз быстрее. Читать подробнее #en @database_design | Другие наши каналы

Создание конфигурируемого Webhook-модуля для NestJS-приложении В рамках этой статьи я опишу создание двух NestJS-модулей с различным способом конфигурирования: утилитарный модуль и бизнес-модуль со своей базой данных. Читать: https://habr.com/ru/articles/848634/ #ru @database_design | Другие наши каналы

Ленточные накопители в домашнем ПК Приветствую всех! Однажды перед каждым из нас встаёт вопрос: где хранить сотни гигабайт столь важной информации? Кто-то продлевает подписку в облаке, кто-то покупает ещё один винт, кто-то собирает NAS, а кто-то, как и я, присматривается к чуть более экзотическим решениям. Вдохновившись постом двухгодичной давности про серверное железо в обычном ПК, я решил, что самое время рассказать про ещё один атрибут подобных систем — стримеры. Если в прошлый раз я рассказывал про древний аппарат, то в сегодняшней статье поговорим про более современные экземпляры, а главное — про использование таких девайсов в самых обычных компьютерах. Заодно разберёмся, стоит ли пытаться так делать, как заставить всё это работать, какой экземпляр лучше, а на какие не стоит даже смотреть. Читать: https://habr.com/ru/companies/timeweb/articles/851498/ #ru @database_design | Другие наши каналы

Обучающие видео от Oracle о MicroTx Oracle предлагает серию видеороликов, которые раскрывают ценные аспекты использования MicroTx. В нашем новом блоге вы найдете описания и ссылки на эти материалы. Познакомьтесь с полезными ресурсами! Читать подробнее #en @database_design | Другие наши каналы

Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru Evolution Хабр, приветствую! Я Сергей Лысанов — технический лидер и руководитель разработки систем хранения данных. Наша команда начала создавать собственное хранилище с нуля в 2021 году и через два года мы вышли в продакшн вместе с публичным облаком Cloud.ru Evolution. В этой статье я подробно расскажу, как устроено наше хранилище и поделюсь интересными техническими решениями. Welcome! Читать дальше Читать: https://habr.com/ru/companies/cloud_ru/articles/842744/ #ru @database_design | Другие наши каналы

Когда есть разница регистров, но это не верхний и не нижний регистры? Если вы начнёте изучать стандарт Unicode, то к своему удивлению можете обнаружить, что некоторые символы, имеющие различия в регистре, которые сами по себе ни в верхнем, ни в нижнем регистре. У-у-у-у, загадочно и пугающе. Иными словами, это символ c, обладающий следующими свойствами: toUpper(c) ≠ toLower(c), однако c ≠ toUpper(c) и c ≠ toLower(c). Поздравляю, вы обнаружили таинственный третий регистр: Title case. Читать: https://habr.com/ru/articles/856784/ #ru @database_design | Другие наши каналы

Новый уровень изоляции в MariaDB В новом посте обсуждается тестирование и отладка нарушений уровня изоляции в MariaDB. Изоляция — ключевое свойство транзакций в базах данных. Для улучшения выполнения "Repeatable Read" введён новый уровень изоляции "Snapshot", доступный с MariaDB 11.6.2. Узнайте, как это влияет на тестирование и устранение ошибок. Тестирование изоляции в InnoDB: интересные находки и решения Команда MariaDB и эксперты выяснили, что уровень изоляции Repeatable Read в InnoDB не соответствует общепринятым определениям и более точно описывается как Snapshot isolation. Благодаря новым инструментам, тестирование нарушений изоляции стало проще и удобнее. Читать подробнее #en @database_design | Другие наши каналы

Базы данных: общие понятия. SA для самых маленьких Добро пожаловать в блок статей для начинающих системных/бизнес аналитиков. Здесь мы готовимся к получению заветного оффера вместе Пожалуй, начнем с самого базового и примитивного - определения. База данных (БД) - это набор данных, хранящихся в структурированном виде. Вторым ключевым понятием является СУБД. Система управления базами данных (СУБД) - это системы (или программы), позволяющие создавать базы данных и манипулировать сведениями из них. Схема ниже представляет собой упрощенный процесс взаимодействия с БД Читать: https://habr.com/ru/articles/856576/ #ru @database_design | Другие наши каналы

Обзор российских VPS-серверов в Нидерландах Недавно увидел рекламу от FirstVDS, что у них появились серверы в Нидерландах — стало интересно и захотелось протестировать предложение. Но чтобы было проще ориентироваться на местности, я также решил протестировать серверы нескольких других хостеров, которые также предоставляют свои услуги в Нидерландах. А их оказалось немало: это и привычные RUVDS с Timeweb, и не бывавшие ранее в моих тестах VPS1 и VDSKA. Под катом — несколько тестов на производительность и сравнение предложений между собой. Читать: https://habr.com/ru/articles/856398/ #ru @database_design | Другие наши каналы