DATABASE DESIGN

ЦОД как сервис, сисадмин как разработчик: как менялись модели Когда-то каждую машину в корпоративных серверных мы знали по имени, слышали, как она дышит, и гордились аптаймом, измеряемым сотнями дней. Но за этой романтикой стояли ночи без сна, куча ручной работы и горы проводов. Сегодня же целый ЦОД умещается в несколько сотен строк конфигурационного кода. В статье — о том, как к этому пришла индустрия и как вместе с моделями менялся портрет типичного сисадмина. Читать Читать: https://habr.com/ru/companies/ruvds/articles/945378/ #ru @database_design | Другие наши каналы

Что стоит за дистрибуцией Greenplum? Что известно про Greenplum? Это MPP система на базе PostgreSQL, которая нужна, чтобы работать с большими объемами данных и делать OLAP. Отлично, но лично меня не устраивает это поверхностное знание, хочется узнать, что внутри. Какие алгоритмы использует Greenplum в своих процессах. Я хочу начать с дистрибуции, и приглашаю вас с собой в это путешествие. Что внутри? Читать: https://habr.com/ru/companies/beget/articles/940662/ #ru @database_design | Другие наши каналы

Реальное обновление данных в MongoDB без затратных join-запросов становится реальностью с MongoDB Atlas Stream Processing. Новый подход позволяет создавать актуальные, оптимизированные для чтения представления, повышая производительность и снижая нагрузку на базу. Многоагентные системы на базе MongoDB и Confluent меняют подход к сервису поддержки. Разделение задач между специализированными AI-агентами повышает точность и скорость обработки запросов, снижая издержки и улучшая клиентский опыт. Новая эра онлайн-торговли: AI-агенты меняют правила игры Покупатели всё чаще доверяют выбор искусственному интеллекту, что меняет традиционные стратегии продаж. Чтобы бренд оставался заметным, требуется организовать данные так, чтобы AI мог их быстро и точно обработать. MongoDB помогает подготовиться к этому будущему уже сейчас. Читать подробнее #en @database_design | Другие наши каналы

Новые rerank-2.5 и rerank-2.5-lite значительно повышают точность поиска и впервые поддерживают управление релевантностью через инструкции на естественном языке. Модели обрабатывают в 8 раз больше контекста и превосходят конкурентов по большинству задач. Доступны через Voyage AI. Почему цены на акции различаются на сайтах? Причина — сложность и дороговизна сбора и обработки данных. Разные источники используют разные методы и объёмы информации, что приводит к небольшим расхождениям. Крупные компании, как Bloomberg, обеспечивают наиболее точные и полные данные. Новый уровень торговли с AI: почему MongoDB Atlas важен для ритейла. Статья рассказывает, как удалённый MCP-сервер с MongoDB Atlas помогает магазинам безопасно и быстро предоставлять актуальные данные продуктового каталога AI-агентам, обеспечивая скорость, масштабируемость и защиту. Читать подробнее #en @database_design | Другие наши каналы

Как MongoDB помогает брендам выигрывать в эпоху ИИ Мир e-commerce меняется: теперь покупку принимает не человек, а ИИ-агент. Чтобы быть заметным для таких агентов, брендам нужно обеспечивать доступность данных в удобном для машин формате. MongoDB с её гибким хранилищем данных — ключ к успеху в новом агентском коммерсе. Автоматизация клиентской поддержки в банковской сфере выходит на новый уровень. Благодаря интеграции MongoDB и Confluent создаётся система с множеством AI-агентов, которая быстро распознаёт, анализирует и решает типовые жалобы клиентов, снижая нагрузку на операторов и повышая качество сервиса. Автоматизация решений в службе поддержки с помощью AI и событийных систем становится реальностью. Использование MongoDB и Confluent Cloud позволяет быстро обрабатывать запросы, снижать затраты и обеспечивать точный аудит. Современные архитектуры меняют подход к обслуживанию клиентов. Читать подробнее #en @database_design | Другие наши каналы

Как я спустя 15 лет решил проблему распределённых очередей Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк. Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями: Читать: https://habr.com/ru/articles/945390/ #ru @database_design | Другие наши каналы

Как я спустя 15 лет решил проблему распределённых очередей Когда я работал Reddit и отвечал там за инфраструктуру, самой важной поддерживаемой системой для меня была Postgres, а на втором месте стоял брокер сообщений RabbitMQ. Он был необходим для работы Reddit — перед сохранением в базу данных все данные поступали в распределённую очередь. Например, если пользователь лайкал пост, то это записывалось в очередь и кэш, а затем пользователю передавалось сообщение об успешном выполнении. Затем программа обработки очереди брала этот элемент и пыталась записать его в базу данных, а также создать новую рабочую операцию для пересчёта всех списков, на которые влияет этот лайк. Мы использовали эту архитектуру очередей задач, потому что она была простой, масштабируемой и обладала мощными возможностями: Читать: https://habr.com/ru/articles/945390/ #ru @database_design | Другие наши каналы

Как сеньоры документируют проекты: протокол архитектурных решений Как сеньоры документируют архитектуру без боли. Обзор подхода ADR: шаблоны, примеры из практики и комментарии экспертов. Ускорьте онбординг и перестаньте объяснять одно и то же. Читать: «Как сеньоры документируют проекты: протокол архитектурных решений» #ru @database_design | Другие наши каналы

Новые обновления MariaDB Enterprise Server 11.4.8-5 и 10.6.23-19 вышли с улучшенными функциями и повышенной стабильностью. Эти версии предлагают расширенную поддержку и повышенную безопасность для предприятий. Подробнее по ссылке. Читать подробнее #en @database_design | Другие наши каналы

Обновление безопасности AVDF 20.15 уже доступно. Рекомендуется оперативно установить его, чтобы защитить систему Audit Vault and Database Firewall и обеспечить максимальную безопасность данных. Не упустите шанс повысить защиту ваших баз данных. Читать подробнее #en @database_design | Другие наши каналы

«Я не вижу эту кнопку!» — «Потому что ты не избранный, Нео» Привет, Хабр! Писать статьи — дело приятное, но только если нет на плечах релиза. Релиз оказался марафоном на месяцы, где каждый день мы жили задачами и доработками. Мы делились на три фронта: кто-то закрывал критические баги («баг-фиксеры»), кто-то добивал бизнес-логику («бизнес-логеры»), а кто-то всерьез отрабатывал план «Б» — ставил свечи за успешный релиз («молитвенники за прод»). Играли мы на разных уровнях, но финальный босс у всех был один: система, которую мы героически толкали в ПРОД, как кота в переноску: и он не хочет, и нам страшно. Но как бы там ни было, сегодня на ПРОДе живет большая система. Прям такая, что, если бы она была организмом, у нее были бы печень, почки и амбулаторная карта в Сфере Знания. Пользователи — сотни сотрудников. Система — новая, кнопки — непонятные, интерфейс — как квартира после переезда: ты вроде дома, но даже чайник включить страшно. И вот представьте: в этой «квартире» все двери распахнуты настежь. Любой может зайти куда угодно, нажать любую кнопку, открыть любой экран. Кнопки, которые лучше не трогать, экраны, куда и разработчик-то без инструктажа не сунется… Получился цифровой «чулан Моники» — хаос, который мы срочно должны были привести в порядок. Решение было очевидным: нужна ролевая модель. По плану ролевую модель — разграничение видимости интерфейсов и данных на стороне БД — мы должны были выкатить через пару недель после запуска. Но в мире, где перечень техдолгов меняется быстрее, чем погода в Калининграде, пришлось действовать иначе. В итоге, бочком-бочком, мы затолкали ее в боевой релиз буквально на финишной прямой. Читать: https://habr.com/ru/articles/944870/ #ru @database_design | Другие наши каналы

Влияние RDMA на производительность СХД Мы продолжаем исследовать работу протокола RDMA в СХД Qsan, начатую в предыдущей статье. Безусловно, самым интересным эффектом от применения данного протокола в разрезе его использования для доступа к данным является возможный прирост производительности. По крайней мере идейная составляющая самой концепции протокола RDMA на это недвусмысленно намекает. Так ли это на самом деле? Читать: https://habr.com/ru/companies/skilline/articles/943770/ #ru @database_design | Другие наши каналы

Почему в 2025-м мы всё ещё слышим ‎«‌‎бип»‎ HDD Кажется, что эра жёстких дисков уже позади. SSD вроде и не снесли их с рынка полностью, но конкуренция серьёзно качнула позиции HDD — и понятно почему: когда у тебя в руках решение быстрее, тише и прогрессивнее, старичку сложно тягаться. Если говорить просто: жёсткие диски большие, тряску не любят, ноутбуки почти их не используют. И да, скорость у них уступает SSD, поэтому для запуска ОС или тяжёлых задач они не вариант. Но, сюрприз — HDD до сих пор живы, их покупают, особенно там, где важна ёмкость и цена. Так что же удерживает их на плаву и как развивались технологии хранения — узнаете под катом. Читать: https://habr.com/ru/companies/ruvds/articles/943668/ #ru @database_design | Другие наши каналы

Цифровой профиль в ВТБ: как графы и эмбеддинги помогают банку понимать клиентов Статья рассказывает о том, как банк строит единый цифровой профиль клиента, используя графы и эмбеддинги. Вы узнаете, как разрозненные данные о транзакциях, связях и балансах превращаются в мощный инструмент для анализа и прогнозирования. Разберем, почему классических табличных подходов недостаточно и как графы помогают выявлять скрытые связи между клиентами, как клиенты «превращаются в слова» и на чем измеряется успех. Статья будет полезна data scientist’ам, ML-инженерам и всем, кто интересуется практическим применением графовых методов и машинного обучения в крупном бизнесе. Читать: https://habr.com/ru/companies/vtb/articles/944338/ #ru @database_design | Другие наши каналы

Выручка есть, а денег нет Собственники и топ-менеджеры МСБ часто сталкиваются с парадоксом: обороты растут, а прибыль тает. Причина не в рынке и не в ценах, а в хаосе внутри компании. Отчёты собираются вручную, ключевые показатели никто не считает, решения принимаются на интуиции, без опоры на цифры. В статье рассказываем, как таким компаниям наладить управляемость бизнеса и повысить маржинальность. Читать: https://habr.com/ru/articles/944270/ #ru @database_design | Другие наши каналы

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах? Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow. Читать: https://habr.com/ru/articles/944284/ #ru @database_design | Другие наши каналы

Dagster или Airflow: что выбрать для оркестрации в DWH-проектах? Рассказываем, какие задачи решают оркестраторы в проектах внедрения корпоративных хранилищ данных. Выясняем, в чем разница между инструментами, и почему Dagster становится все популярнее в DWH-проектах, чем Airflow. Читать: https://habr.com/ru/articles/944284/ #ru @database_design | Другие наши каналы

«Архитектура бэкенда», или как я написал мою первую техническую книгу Привет, Хабр! За время своего развития, люди научились передавать информацию различными способами. Сначала это могла быть устная речь, далее были письменные источники, а в современном мире многообразие способов обучения действительно поражает: это и множество видеокурсов, интерактивных платформ, блогов и так далее. Однако на фоне всего этого особняком стоят книги. Нередко изучение книги может быть долгим и может казаться не таким эффективным, поскольку похожие знания можно получить быстрее, используя более динамичные и наглядные инструменты. Плюс, сами знания имеют свойство устаревать, и описанные истины могут не поспевать за техническим прогрессом. Однако, на мой взгляд, книга имеет и свои преимущества - при помощи нее можно исчерпывающе описывать те или иные темы, не срезая углы, подробно и конкретно описывая идеи, которые могло быть сложно выразить как то иначе. Читать: https://habr.com/ru/articles/944130/ #ru @database_design | Другие наши каналы

Недооценённые фичи SQL: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные индексы В большинстве материалов по SQL обсуждаются знакомые всем конструкции — SELECT, JOIN, WHERE, группировки, простые индексы. Но когда вы обрабатываете сложные данные, оптимизируете производительность или строите аналитические отчёты, ограничиваться только базовыми операторами — значит добровольно усложнять себе жизнь. В SQL есть мощные, но редко упоминаемые функции, которые помогают решить задачи элегантно и эффективно. В этой статье, основанной на личных экспериментах и наблюдениях, мы рассмотрим три таких инструмента: PIVOT/UNPIVOT, CROSS APPLY/LATERAL и частичные (filtered) индексы. Читать: https://habr.com/ru/companies/otus/articles/942044/ #ru @database_design | Другие наши каналы

Arrow Flight + ADBC: как гонять десятки ГБ/с между сервисами без REST Привет, Хабр! Когда делаешь сервисы на C++ и вокруг летает много данных, в какой-то момент понимаешь простую вещь: REST хорош для управления сущностями, но плохо подходит для потока колонок в десятки гигабайт в секунду. Переносить фреймы по сто миллионов строк через JSON и спотыкаться об сериализацию — не наш путь. В статье рассмотрим как собрать транспорт данных на Apache Arrow Flight и где встраивается ADBC, чтобы между сервисами гонять таблицы почти на скорости сети и не городить зоопарк драйверов. Читать: https://habr.com/ru/companies/otus/articles/941432/ #ru @database_design | Другие наши каналы