DATABASE DESIGN

Выжимаем максимум из Postgres на RTABench Q0 Время от времени приходится слышать мнение, что Postgres никуда не годится для решения задач аналитики. При при этом, в качестве аргументации приводятся в пример результаты тестирования на TPC-H или ClickBench. Что ж, когда стоит простая задача перебрать 100 млн строк на диске и посчитать набор агрегатов над ними - формат хранения и распараллеливания действительно сильно ограничивают нас в возможностях оптимизации СУБД. Однако когда запросы высоко селективны, им по факту требуется не так много строк таблицы и фокус внимания смещается на порядок JOINов, кэширование промежуточных результатов и минимизацию операций сортировки. В этом случае Postgres, имеющий весьма широкий выбор различных стратегий выполнения запроса, может получить преимущество ... Читать: https://habr.com/ru/articles/931410/ #ru @database_design | Другие наши каналы

Shardman и Citus: как масштабировать СУБД Postgres Pro Когда ресурсы сервера уже на пределе, вертикальное масштабирование рано или поздно перестаёт работать – остаётся горизонтальный подход. В этой статье подробно разбираем два способа шардирования в Postgres Pro: встроенный патч Shardman и внешнее расширение Citus. Сравним архитектуры, межузловое взаимодействие, схемы распределения данных и сценарии, в которых каждое решение раскрывается по-максимуму. Читать: https://habr.com/ru/companies/postgrespro/articles/932572/ #ru @database_design | Другие наши каналы

Ускоренная экстракция данных из SAP-систем в DWH и Lakehouse: наш опыт интеграции В современных условиях возрастает актуальность выгрузки данных из SAP ERP в хранилища данных DWH или Data Lakehouse сторонних вендоров. Интеграция с системами, не входящими в экосистему SAP, зачастую сопровождается сложностями: поставщики программного обеспечения, как правило, не поддерживают использование конкурентных продуктов. Нативный механизм выгрузки данных в SAP BW (Business Warehouse) не может быть применен к системам, не принадлежащим к экосистеме SAP. На нашем проекте внедрения хранилища данных на основе Arenadata DB для одного из крупных банков мы столкнулись со сложностями при интеграции с SAP S/4HANA. В статье рассматривается решение, которое позволяет быстро и надежно производить выгрузку больших объемов данных. Читать: https://habr.com/ru/companies/sapiens_solutions/articles/932854/ #ru @database_design | Другие наши каналы

В хабе на Хабр «Разработка публичных облаков» — свежие статьи от инженеров MWS Cloud Platform ⬜️ → Создание S3-хранилище с нуля. Ультимативный лонгрид про современный S3-ландшафт и архитектуру MWS — Object Storage. → Multus в Kubernetes. Как ребята подключили поды к сервисам в overlay-сети с IPv4 и зачем это вообще понадобилось. → DHCP-сервер облака. Как MWS раздают один и тот же IP в изолированных сетевых пространствах (VRF), какие используют опции и как мониторят доступность DHCP-серверов. → Development Platform. Зачем писать общие библиотеки и компоненты, как развивать внутренний open source и с помощью каких инструментов общаются сервисы MWS Cloud Platform и их создатели. Если вам интересны архитектурные решения для настоящего highload'а — эти материалы будут вам полезны. Подпишись на облачный хаб MWS — там регулярно рассказывают, как строят новое облако с нуля. Это #партнёрский пост

Полгода с S3 — полет нормальный: как мы пронесли объектное хранилище на Ceph от запуска до выхода из беты Привет, Хабр! Меня зовут Евгений Мартынов, я директор по информационным технологиям в Рег.ру. В декабре 2024 года мы запустили сервис объектного хранилища S3, построенный на Ceph. Тогда это был MVP с минимально необходимым функционалом — сейчас мы вышли из беты, добавили ключевые возможности, расширили хранилище и накопили первые 130+ ТБ пользовательских данных. В этой статье я решил поделиться опытом облачной команды Рег.ру: почему выбрали Ceph, как проектировали квоты, масштабировали инсталляцию без остановки сервиса, какие вызовы нас ждали на проде и как мы их решили. Читать: https://habr.com/ru/companies/runity/articles/932720/ #ru @database_design | Другие наши каналы

Построение долговечного хранилища данных Привет! Меня зовут Роман Чечёткин, я разработчик в команде «Платформа коммуникаций» в Ozon Tech. Наша платформа предоставляет возможность другим командам отправлять различные сообщения в личные кабинеты пользователей. Сегодня хочу рассказать о задаче, которая встала перед нами — долгосрочное хранение всех сообщений (смс, электронные письма, пуши, уведомления), которые пользователь получил от Ozon. Читать: https://habr.com/ru/companies/ozontech/articles/926178/ #ru @database_design | Другие наши каналы

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных Читать: https://habr.com/ru/articles/932502/ #ru @database_design | Другие наши каналы

Практический CQRS и Event Sourcing на Go Event Sourcing и CQRS — это мощные архитектурные подходы, которые заменяют традиционное CRUD-управление состоянием на журналирование событий и разделение операций записи и чтения для масштабируемости и надежности. Вместо прямого изменения данных система сохраняет каждое изменение как событие, что обеспечивает полный аудит, контроль конкурентности и гибкость в обработке данных. Читать: https://habr.com/ru/articles/932510/ #ru @database_design | Другие наши каналы

Автоматизация MongoDB Atlas с Crossplane упрощает создание и настройку облачной инфраструктуры через Kubernetes, интегрируясь с CI/CD. В статье также рассказывается о применении AI от AppMap для анализа и оптимизации работы приложений на базе MongoDB. Читать подробнее #en @database_design | Другие наши каналы

Оптимизация MongoDB с AI и автоматизация управления через Kubernetes Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой. Читать подробнее #en @database_design | Другие наши каналы

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных Читать: https://habr.com/ru/articles/932502/ #ru @database_design | Другие наши каналы

Оптимизация MongoDB с AI и автоматизация управления через Kubernetes Новые инструменты AppMap и Crossplane упрощают работу с MongoDB Atlas: AI помогает улучшать запросы и ускорять устранение проблем, а автоматизация через Crossplane и Kubernetes облегчает развертывание и управление инфраструктурой. Читать подробнее #en @database_design | Другие наши каналы

Микросервисы захватили мир → а вы готовы управлять их общением? Пока одни разработчики борются с падающими сообщениями и блокировками в очередях, другие элегантно строят отказоустойчивые распределённые системы. Разница — в глубоком понимании RabbitMQ. Большинство программистов знают брокеры сообщений поверхностно: отправил → получил → «работает, не трогай». А когда система начинает расти, начинаются проблемы: потерянные сообщения, узкие места в производительности, сложности с масштабированием. Курс «RabbitMQ для разработчиков и администраторов» — это advanced-погружение для тех, кто хочет стать экспертом. Три месяца практики под руководством профессионалов, и вы научитесь не просто «подключать очереди», а проектировать архитектуру, которая выдержит любые нагрузки. Что получите: → Навыки разработки сложных правил маршрутизации → Умение планировать и масштабировать RabbitMQ-кластеры → Опыт настройки «Infrastructure as a code» → Знания по устранению узких мест и оптимизации производительности Владение RabbitMQ — это билет в мир высокооплачиваемых позиций архитектора и senior-разработчика микросервисов. Старт уже 31 июля, но сначала — вступительное тестирование. Скидка 10% действует только до конца месяца. Проверьте свой уровень и получите доступ к advanced-программе Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

ЦОДы Cloud4Y в МО: что нового на стройплощадках? Часть 6 Привет, Хабр! У нас тут кипит работа, и мы снова делимся свежими новостями со стройплощадок. Да-да, под катом уже шестая часть истории о подмосковных дата-центрах. А если пропустили наши прошлые статьи — вам сюда: раз, два, три, четыре, пять. <cut Cloud4Y развивает свою инфраструктуру в Подмосковье. Работы идут на двух площадках — в Мытищах и Марфино. Что там будет? Современные энергоэффективные ЦОДы — в капитальных зданиях и в формфакторе контейнеров. Планы масштабные: первым заходом — выйдем на 2400 серверных стоек, причём энергонагрузка каждой — от 5 до целых 15 кВт. Это устроит даже самых требовательных клиентов с их высокой плотностью IT-оборудования, AI-проектами и Big Data. И главное — новые дата-центры станут частью единой экосистемы Cloud4Y. Читать: https://habr.com/ru/companies/cloud4y/articles/932482/ #ru @database_design | Другие наши каналы

Если не хватает памяти для процессинга модели SSAS: варианты решения проблемы Всем привет! Меня зовут Николай, я DBA-разработчик SimbirSoft. Если вам приходилось иметь дело с табличной моделью данных SQL Server Analysis Services (SSAS), то вы наверняка знаете, что на сервере она работает только в режиме In-Memory и использует под свои процессы выделенную часть оперативной памяти. А когда памяти недостаточно для нормальной работы, то возникает системное сообщение о ее нехватке. В этой статье я кратко рассмотрел причины и общие стратегии по решению данной проблемы, а также рассказал о своем опыте на примере табличной модели объемом около 100 ГБ на MS SQL Server 2019 Ent. Погрузиться в чертоги Читать: https://habr.com/ru/companies/simbirsoft/articles/932460/ #ru @database_design | Другие наши каналы

Новые возможности MongoDB Atlas: потоковая обработка теперь поддерживает вызов AWS Lambda для умных трансформаций данных в реальном времени. Query Shape Insights помогает быстро выявлять ресурсоёмкие запросы. А с Crossplane автоматизация развёртывания Atlas через Kubernetes становится проще и эффективнее. Читать подробнее #en @database_design | Другие наши каналы

Тестируем новую версию менеджера паролей Пассворк: обзор изменений от интерфейса до доступа по API Привет, Хабр! Меня зовут Кирилл Белов (@KirillBelovTest на Хабре), я инженер по автоматизации тестирования. На работе я администрирую виртуальные машины и часто задумываюсь о том, насколько надежен доступ к той или иной виртуалке или сервису, который на ней запущен. На Хабре у меня уже почти два десятка статей, и сегодня я хочу рассказать о сервисе управления паролями Пассворк. У нас в компании тоже используется корпоративный менеджер паролей, поэтому мне было особенно интересно сравнить функциональность Пассворка и нашего текущего менеджера. Перед тем как попробовать новую версию, я прочитал обзорную статью, где уже был подробный разбор возможностей. Мне не хочется повторяться, поэтому я сосредоточусь только на нововведениях версии 7.0: изменении групп и ролей, улучшении пользовательского интерфейса, повышении безопасности, а также обновленной версии Python connector. Разбирать буду коробочную версию сервиса. За подробностями добро пожаловать под кат! Читать: https://habr.com/ru/specials/928596/ #ru @database_design | Другие наши каналы

Хакерская атака обрушила IT-системы нескольких московских клиник Кибератака парализовала ИТ-системы клиник Москвы: недоступны базы пациентов, сайты и онлайн-запись, пострадали «Семейный доктор» и др Читать: «Хакерская атака обрушила IT-системы нескольких московских клиник» #ru @database_design | Другие наши каналы

Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025 Обзор лучших альтернатив Notion для ведения базы знаний в IT-проектах в 2025 году. Сравнение функционала, интеграций и удобства для разработчиков и команд. Читать: «Где вести базу знаний по проекту: альтернативы Notion для айтишников в 2025» #ru @database_design | Другие наши каналы

Как перестать сомневаться и подать доклад на IT-конференцию Привет, Хабр! За то время, пока существует Онтико, мы подготовили вместе со спикерами тысячи докладов. И точно знаем, что спикер тоже человек и как любой человек он может сомневаться. Мы поговорили с психологами и опытными докладчиками, чтобы разобрать страхи, знакомые каждому начинающему спикеру. В этой статье – пошаговый разбор, как выбрать тему, которую точно примут, как перестать бояться недостатка опыта и подготовить доклад без выгорания. Читать: https://habr.com/ru/companies/oleg-bunin/articles/931950/ #ru @database_design | Другие наши каналы