DATABASE DESIGN

Повышение эффективности аналитических баз данных: кейс «Комус» и Arenadata Хабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер? Читать: https://habr.com/ru/companies/arenadata/articles/887792/ #ru @database_design | Другие наши каналы

Вертим кеш на GPU Идут значит: Redis, Docker и Postgres. R: Как вы собираетесь надругаться над нами сегодня? D: Я буду вертеть вас на GPU! P: Ого, прямо на GPU? D: Да, ресурсов - не жалею! В данной статье мы: 1. Cравним Redis и Postgres (в качестве системы кеширования). 2. Запустим их на GPU. 3. Оценим их быстродействие. Давайте разбираться... Читать: https://habr.com/ru/articles/891298/ #ru @database_design | Другие наши каналы

Вертим кеш на GPU Идут значит: Redis, Docker и Postgres. R: Как вы собираетесь надругаться над нами сегодня? D: Я буду вертеть вас на GPU! P: Ого, прямо на GPU? D: Да, ресурсов - не жалею! В данной статье мы: 1. Cравним Redis и Postgres (в качестве системы кеширования). 2. Запустим их на GPU. 3. Оценим их быстродействие. Давайте разбираться... Читать: https://habr.com/ru/articles/891298/ #ru @database_design | Другие наши каналы

Создание анонимного чата в Telegram: Бот с MiniApp интерфейсом. Часть 1 — Бэкенд на FastAPI, Aiogram, Redis и Centrifugo Это первая статья из цикла, посвященного разработке телеграм-бота с MiniApp для случайных чатов. В этой части мы сосредоточимся на создании бэкенда, используя современные технологии: FastAPI для разработки API, Redis для хранения данных в реальном времени и Centrifugo для обеспечения мгновенного взаимодействия между пользователями. Сегодня мы подробно разберем архитектуру проекта, настройку серверов и реализацию логики бота. В следующей статье мы переключимся на фронтенд и займемся разработкой MiniApp с использованием фреймворка Vue.js. Это позволит создать интуитивно понятный интерфейс для пользователей, где они смогут настраивать параметры поиска собеседника и общаться в режиме реального времени (Real time). Читать: https://habr.com/ru/companies/amvera/articles/890976/ #ru @database_design | Другие наши каналы

Как DORA повышает безопасность ИКТ Переход на соответствие стандартам DORA может значительно усилить безопасность и устойчивость ИКТ-среды, обеспечивая защиту от сбоев. Автономные базы данных, изначально разработанные с учётом этих критериев, помогут вашей организации адаптироваться к новым требованиям. Читать подробнее #en @database_design | Другие наши каналы

Новинки MariaDB: Connector/C++ 1.1.6 и 1.0.5 MariaDB объявила о выпуске обновлений для своего C++ Connector. Новая версия 1.1.6 стабильно поддерживает работу с подготовленными выражениями и включает улучшения, такие как кэширование бинарных результатов и исправление ошибок. Подробности и ссылки на загрузку — на официальном сайте. Читать подробнее #en @database_design | Другие наши каналы

Маскировка объектов схем в подпрограммах SECURITY DEFINER в PostgreSQL Подпрограммы (функции и процедуры) со свойством SECURITY DEFINER выполняются с правами владельца. Это даёт возможность непривилегированному пользователю выполнить маскировку объектов, к которым относятся не только таблицы, но и подпрограммы и выполнить команду с правами владельца подпрограммы. Если владелец является суперпользователем, то можно выполнить любую команду с правами суперпользователя. В статье рассматривается, как выполнить маскировку функции и как создавать безопасные подпрограммы. Читать: https://habr.com/ru/articles/891032/ #ru @database_design | Другие наши каналы

TATLIN и Basis Dynamix: интеграция нашей платформы виртуализации с отечественной СХД Работать с YADRO мы начали еще несколько лет назад, главной задачей нашего сотрудничества было и остается обеспечение совместимости между СХД TATLIN и нашей платформой управления динамической инфраструктурой Basis Dynamix Enterprise. Наша платформа и раньше умела работать с различными СХД — Hitachi, Huawei и других. Однако где-то были реализованы не все возможности, где-то не хватало веб-интерфейса и приходилось работать через консоль, где-то страдало быстродействие. Тесное сотрудничество с YADRO позволяло подходить к решению этих проблем с обеих сторон, плюс, многие наши заказчики регулярно интересовались развитием поддержки TATLIN.UNIFIED в наших продуктах. И вот на этой неделе мы объявили о более глубокой интеграции между TATLIN.UNIFIED Gen 2 и Basis Dynamix Enterprise, включающей поддержку репликации и мгновенных снимков через интерфейс платформы. О чем и хотим рассказать подробнее. Читать: https://habr.com/ru/companies/basis/articles/890950/ #ru @database_design | Другие наши каналы

Меньше кода, больше результата: применяем sqlc для работы с БД Привет, Хабр! Инструмент, который генерирует производительный и безопасный код для работы с базой данных — миф или реальность? В этой статье обсудим, что такое sqlc, откуда он появился и какие идеи в него заложены. Разберём его возможности и ограничения, а также кейсы, когда он подходит лучше всего. Читать: https://habr.com/ru/companies/oleg-bunin/articles/890654/ #ru @database_design | Другие наши каналы

Меньше кода, больше результата: применяем sqlc для работы с БД Привет, Хабр! Инструмент, который генерирует производительный и безопасный код для работы с базой данных — миф или реальность? В этой статье обсудим, что такое sqlc, откуда он появился и какие идеи в него заложены. Разберём его возможности и ограничения, а также кейсы, когда он подходит лучше всего. Читать: https://habr.com/ru/companies/uzum/articles/890654/ #ru @database_design | Другие наши каналы

Хакеры взломали Минфин США с помощью Unicode. Как это вообще стало возможным? Китайские хакеры взломали Минфин США через уязвимость PostgreSQL, связанную с Unicode. SQL-инъекция оставалась незамеченной 9 лет и позволила атакующим захватить контроль над сервером Читать: «Хакеры взломали Минфин США с помощью Unicode. Как это вообще стало возможным?» #ru @database_design | Другие наши каналы

Уменьшаем базу данных в 2000 раз при помощи Rust (завершение) Сериализация По сути, мы получили косвенную базу данных в памяти. Далее нам нужно сериализовать её, чтобы проверить, как interning влияет на её постоянное хранение. Кроме того, сериализация — это важный шаг для проверки реальности заявленной экономии места. И, наконец, это ещё одна возможность для дальнейшего сжатия данных. В Rust для сериализации стандартно используется крейт serde, который мы уже использовали для импортирования входных данных в JSON. Serde изначально имеет поддержку множества форматов благодаря крейтам расширений, поэтому я решил попробовать несколько из них. Читать: https://habr.com/ru/articles/890250/ #ru @database_design | Другие наши каналы

Уменьшаем базу данных в 2000 раз при помощи Rust (завершение) Сериализация По сути, мы получили косвенную базу данных в памяти. Далее нам нужно сериализовать её, чтобы проверить, как interning влияет на её постоянное хранение. Кроме того, сериализация — это важный шаг для проверки реальности заявленной экономии места. И, наконец, это ещё одна возможность для дальнейшего сжатия данных. В Rust для сериализации стандартно используется крейт serde, который мы уже использовали для импортирования входных данных в JSON. Serde изначально имеет поддержку множества форматов благодаря крейтам расширений, поэтому я решил попробовать несколько из них. Читать: https://habr.com/ru/articles/890250/ #ru @database_design | Другие наши каналы

5 основополагающих советов по управлению базами данных Greenplum Greenplum — это массивно‑параллельная (MPP) база данных с открытым исходным кодом, предназначенная для организации хранилищ данных и высокопроизводительной аналитики. Как и в случае с другими MPP‑СУБД, она требует регулярной оптимизации запросов, корректировки распределения ресурсов и защиты данных. В этой статье мы рассмотрим пять рекомендаций, обязательных для эффективного управления Greenplum. Читать: https://habr.com/ru/companies/otus/articles/890706/ #ru @database_design | Другие наши каналы

Высокодоступная база данных с MariaDB на AWS: Как это работает Хотите надежную и масштабируемую базу данных на AWS? Статья рассматривает развёртывание кластера MariaDB Galera и MaxScale для обеспечения высокой доступности. Узнайте, как избежать медленных переключений и обеспечить автоматическое распределение нагрузки с помощью AWS EC2. Подключение и настройка MariaDB MaxScale В статье рассказывают, как установить и настроить MariaDB MaxScale для управления серверным кластером базы данных. Пошагово показывается создание пользователей и настройка приоритетов серверов. Также объясняется, как реализовать отказоустойчивость с помощью второй копии MaxScale и проверяются подключения через новый маршрутизатор. Преимущества MariaDB на EC2 перед AWS RDS Переход на MariaDB на EC2 вместо AWS RDS может обеспечить лучшую доступность и не увеличивает расходы. Решение с использованием MariaDB Galera Cluster и MaxScale дает масштабируемость и быструю переключаемость в случае сбоев. Это минимальная настройка, которую вы можете оптимизировать для повышения производительности. Читать подробнее #en @database_design | Другие наши каналы

Использование JSONB-полей вместо EAV в PostgreSQL На одной из конференций PGConf мы обнаружили, что комьюнити с большой опаской относится к использованию JSONB-полей в своих системах. Интернет при этом не столь радикален. Наша же команда в это время вовсю использует JSONB у себя в проекте. Мы решили поделиться нашим вполне успешным кейсом в реальной нагруженной системе с сотнями миллионов строк в таблицах, где эти поля используются. Читать: https://habr.com/ru/companies/sigma/articles/890668/ #ru @database_design | Другие наши каналы

Использование JSONB-полей вместо EAV в PostgreSQL На одной из конференций PGConf мы обнаружили, что комьюнити с большой опаской относится к использованию JSONB-полей в своих системах. Интернет при этом не столь радикален. Наша же команда в это время вовсю использует JSONB у себя в проекте. Мы решили поделиться нашим вполне успешным кейсом в реальной нагруженной системе с сотнями миллионов строк в таблицах, где эти поля используются. Читать: https://habr.com/ru/companies/sigma/articles/890668/ #ru @database_design | Другие наши каналы

Как удалось сделать флешку в Linux-е с UEFI и UniversalAMDFormBrowser Наверняка Вы знакомы с загрузочными флэшками usb. Тех самых, с которых устанавливали Windows, или же запускали UniversalAMDFormBrowser. Речь пойдет как раз о usb с типом EFI. Эти флэшки вставляются в выключенный компьютер. При включении, они загружаются через Boot Menu. На ноутбуках это меню может быть доступно по кнопкам "F12" ИЛИ "F10". В Windows же есть программа Rufus для форматирования таких флэшек, а что насчёт Linux-а? Для Linux-а же, как всегда, придётся читать дольше, чтобы найти что-то стоящее. Хотите узнать, что же это? Вам сюда. Мануал Читать: https://habr.com/ru/articles/890632/ #ru @database_design | Другие наши каналы

Obsidian: все что нужно знать о Callout В этой статье я подробно расскажу о возможностях использования Callout в Obsidian, покажу существующие решения, а также объясню, как создавать свои собственные, индивидуальные типы Callout-блоков. Рассмотрим при чем здесь цитаты (Blackquotes). Дополнительно поделюсь полезными надстройками и шаблонами Читать: https://habr.com/ru/articles/890598/ #ru @database_design | Другие наши каналы