DATABASE DESIGN

Опыт ВТБ по миграции SAP BW/4 HANA: что помогло уложиться в сроки и сохранить функциональность Импортозамещение аналитических систем остаётся одной из наиболее трудоемких задач в корпоративной ИТ-среде. Особенно когда речь идёт о платформах уровня SAP BW/4 HANA: больших объемах данных, сложной архитектуре, множестве отчетов и строгих нефункциональных требованиях. В подобных проектах важны не только выбор стека и корректная миграция хранилища, но и организационные решения, планирование и работа с пользователями. Всем привет! Меня зовут Михаил Синельников, я лидер кластера импортозамещения аналитической отчетности в ВТБ. Вместе с моим коллегой Владимиром Ведяковым, ИТ-лидером проекта со стороны компании «Сапиенс Солюшнс», мы описали в этой статье перенос системы аналитической отчетности SAP BW/4 HANA на импортонезависимый стек. В этом материале представлен наш практический опыт: ключевые решения, подходы к планированию, особенности реализации и выводы, которые могут быть полезны командам, работающим с аналогичными задачами. Читать: https://habr.com/ru/companies/vtb/articles/975144/ #ru @database_design | Другие наши каналы

Опыт ВТБ по миграции SAP BW/4 HANA: что помогло уложиться в сроки и сохранить функциональность Импортозамещение аналитических систем остаётся одной из наиболее трудоемких задач в корпоративной ИТ-среде. Особенно когда речь идёт о платформах уровня SAP BW/4 HANA: больших объемах данных, сложной архитектуре, множестве отчетов и строгих нефункциональных требованиях. В подобных проектах важны не только выбор стека и корректная миграция хранилища, но и организационные решения, планирование и работа с пользователями. Всем привет! Меня зовут Михаил Синельников, я лидер кластера импортозамещения аналитической отчетности в ВТБ. Вместе с моим коллегой Владимиром Ведяковым, ИТ-лидером проекта со стороны компании «Сапиенс Солюшнс», мы описали в этой статье перенос системы аналитической отчетности SAP BW/4 HANA на импортонезависимый стек. В этом материале представлен наш практический опыт: ключевые решения, подходы к планированию, особенности реализации и выводы, которые могут быть полезны командам, работающим с аналогичными задачами. Читать: https://habr.com/ru/companies/vtb/articles/975144/ #ru @database_design | Другие наши каналы

Не Кафкой единой: как наладить асинхронный обмен сообщениями между микросервисами Всем привет! Меня зовут Сергей Бунатян, я руководитель службы в Техплатформе Городских сервисов Яндекса. На сегодняшний день существует довольно много брокеров сообщений. Наиболее часто используемыми в индустрии, пожалуй, будут те, которые, реализуют парадигму очереди сообщений. Самых известных представителей вы наверняка знаете, — Apache Kafka и RabbitMQ, а внутри Яндекса широко используется Logbroker. И, тем не менее, как нетрудно догадаться из этого вступления, мы зачем‑то решили написать свой брокер сообщений. Сегодня я расскажу про нашу систему, которая называется STQ — Sharded Tasks Queue. По названию системы можно было бы подумать, что это ещё один сервер очередей, однако это будет не совсем верно. STQ — это скорее message broker. В этой статье я постараюсь рассказать о том, какие задачи перед нами стояли и как это нас привело к решению написать что‑то своё. А заодно поделюсь опытом эксплуатации нашей системы и расскажу про влияние STQ на опыт разработчиков. Читать: https://habr.com/ru/companies/yandex/articles/974946/ #ru @database_design | Другие наши каналы

Проектируем как синьор: универсальная бинаризация Здравствуйте, меня зовут Дмитрий Карловский и я.. да не важно кто я. Важно о чём я говорю, и как аргументирую. Кто меня знает, тому и не надо рассказывать. А кто не знает — у того есть прекрасная возможность подойти к вопросу с чистым разумом. А это крайне важно, если мы хотим спроектировать что-то по настоящему хорошо, а не как обычно. Что ещё за VaryPack? Читать: https://habr.com/ru/articles/975020/ #ru @database_design | Другие наши каналы

Postgresus 2.0: новая версия open source инструмента для резервного копирования PostgreSQL С момента первого релиза Postgresus прошло 6 месяцев. За это время проект получил 246 коммитов, новые функции, а также ~2.7 звёзд на GitHub и ~40к загрузок из Docker Hub. Сообщество проекта тоже подросло, сейчас в проекте числится 11 контрибьюторов, а группа в Telegram — 85 человек. В этой статье я расскажу, что поменялось в проекте за полгода, какие новые возможности появились и какие планы дальше. Читать: https://habr.com/ru/articles/974492/ #ru @database_design | Другие наши каналы

Управляем несколькими СУБД из одного интерфейса: тестируем сервис Проверили инструмент для управления несколькими СУБД через один веб-интерфейс Читать: «Управляем несколькими СУБД из одного интерфейса: тестируем сервис» #ru @database_design | Другие наши каналы

«Работает — не трогай», но с YDB можно: испытания отказоустойчивости в боевых условиях Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности. Читать: https://habr.com/ru/companies/jetinfosystems/articles/974850/ #ru @database_design | Другие наши каналы

Почему заменить ОЗУ в СХД Huawei Dorado проще, чем контроллер Я занимаюсь технической поддержкой и сопровождением в компании «Онланта». Сегодня в блоге ЛАНИТ я расскажу о решении реального кейса по замене ОЗУ (оперативной памяти) в СХД Huawei. Согласно рекомендациям и техническим руководствам вендоров, когда в контроллере возникают неисправности, рекомендуется выполнять его замену, оставляя без изменений установленные внутри компоненты. Такой подход помогает минимизировать время простоя оборудования, а также снизить риски некорректной диагностики. Однако на практике при детальной диагностике зачастую можно выявить конкретный неисправный компонент — например, модуль оперативной памяти (ОЗУ) — и заменить только его. Это позволяет значительно сократить затраты по сравнению с заменой всего контроллера, стоимость которого может быть в разы выше стоимости отдельных комплектующих. Читать: https://habr.com/ru/companies/lanit/articles/964974/ #ru @database_design | Другие наши каналы

Очереди на PostgreSQL: антипаттерн или реальность жизни Привет! Меня зовут Дима Кривопальцев, я тимлид бэкенд‑команды Яндекс Диска (Яндекс 360). Уже больше семи лет я занимаюсь разработкой высоконагруженных распределённых систем — и в статье расскажу об одной из них. В Яндекс 360 есть сервисы с очень большими нагрузками — и по RPS, и по объёму хранимых данных, и по числу обрабатываемых асинхронных задач. Именно последняя часть — асинхронная обработка — будет в центре этого рассказа. Тема может показаться немного провокационной: речь пойдёт об очередях поверх SQL‑баз, а в сообществе такое решение принято считать антипаттерном — и на это есть основания. На конференциях и в статьях обычно можно услышать скепсис: «Очередь на PostgreSQL? Не стоит даже пытаться». Действительно, подобных попыток было много, и почти все сталкивались с типовыми проблемами — от блокировок до деградации производительности. Тем не менее, в реальности у многих крупных компаний всё равно есть свои очереди, построенные поверх SQL‑баз — как PostgreSQL, так и MySQL. Это решение встречается и в российских, и в зарубежных командах. Яндекс Диск здесь не исключение — у нас тоже есть своя реализация, о которой сегодня и пойдёт речь. Читать: https://habr.com/ru/companies/yandex/articles/972164/ #ru @database_design | Другие наши каналы

Выбор российского ETL-инструмента в 2025 и чек-лист Привет! Перед вами новое исследование, посвящённое одной из ключевых технологий управления данными — процессам извлечения, преобразования и загрузки данных (ETL). Оно стало логическим продолжением первого обзора рынка ETL-решений, выпущенного нашей командой три года назад. За это время многое изменилось. Если в 2022-м рынок опирался на зарубежные платформы, то сегодня акценты сместились в сторону отечественных продуктов. Причины очевидны: уход иностранных вендоров, трудности с продлением лицензий, обновлениями и поддержкой. Импортозамещение из формальности превратилось в стратегическую задачу, а потребность в надёжных российских инструментах — в вопрос технологической безопасности. Одновременно усилились и глобальные вызовы: рост объёмов данных, переход бизнеса к моделям прогнозной аналитики и управлению на основе данных. ETL-системы в этой экосистеме занимают фундаментальное место — именно они превращают разрозненные источники в согласованный поток информации, на котором строятся аналитика, модели машинного обучения и управленческие решения. Читать: https://habr.com/ru/articles/974502/ #ru @database_design | Другие наши каналы

Работаем быстро, храним экономно: в деталях о механизме охлаждения для Tarantool DB 3.0 Компании ежедневно генерируют большие объемы данных, но далеко не вся информация одинаково важна: со временем многие данные становятся менее востребованными, продолжая занимать дорогие и высокопроизводительные накопители (SSD, RAM). В результате хранение таких «холодных» данных обходится неоправданно дорого, поскольку потребность в постоянном доступе к ним минимальна. Решение проблемы — технология охлаждения данных, которая предполагает перемещение редко используемой информации на более дешевые и емкие носители, то есть файлы остаются доступными, но перестают нагружать дорогие и быстрые устройства. Именно такой механизм охлаждения данных мы добавили в Tarantool DB 3.0. Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase. В этой статье я расскажу, как именно мы реализовали механизм охлаждения и какие бизнес-выгоды могут получить компании при его использовании. Читать: https://habr.com/ru/companies/vktech/articles/973738/ #ru @database_design | Другие наши каналы

Чтобы не собирать вручную десятки однотипных команд для облачной CLI, в MWS Cloud Platform сделали генератор: он берёт OpenAPI-спеки и сам создаёт готовый инструмент для управления облаком. В статье кратко: — почему выбрали Go + Cobra и кодогенерацию; — как из путей и методов рождаются mws <service> <component> <op>; — профили, автообновление, удобный вывод; — что получилось в итоге и зачем это бизнесу. Читать статью Это #партнёрский пост

Солнечные панели для ЦОДа выгоднее, чем АЭС Сегодня одна из главных проблем мировой экономики — как обеспечить электроэнергией сотни мощнейших дата-центров, которые строят по всему миру для обучения и инференса ИИ. Строительство этих дата-центров обеспечили 92% роста ВВП США в I кв. 2025 года, то есть без ИИ экономика сразу скатится в рецессию. Стройки ЦОДов, как строительство автобанов или небоскрёбов во времена великой депрессии, дают рабочие места и поддерживают экономику. С другой стороны, они потенциально ущемляют остальные сектора экономики, перетягивая рабочие места и инвестиции (это уже другая тема, которую мы здесь обсуждать не будем). Где же взять столько энергии, ведь текущих ТЭС никак не хватит на 280 гигантских ЦОДов, которые построят в ближайшие три года только в США. Один из выходов — установка модульных ядерных реакторов непосредственно возле ЦОДов, в этом направлении сейчас идут перспективные инженерные разработки. Но есть и другие варианты. Читать: https://habr.com/ru/companies/ultravds/articles/972894/ #ru @database_design | Другие наши каналы

Векторный поиск: как выбрать систему и не пожалеть От поиска по архивам документов и медиафайлам до рекомендательных систем и AI приложений — всюду работают эмбеддинги и векторный поиск. Но когда дело доходит до выбора конкретного инструмента, глаза разбегаются: Qdrant, Milvus, Weaviate, Redis, Elasticsearch, Pgvector… Если вы: - планируете внедрять семантический поиск в свой продукт, - выбираете между проверенными временем БД и специализированными системами обработки векторов, - ищете независисые бенчмарки, то этот материал — для вас. Мы разберем основные концепции векторного поиска, сравним популярные open-source решения и протестируем скорость их работы с учетом загрузки процессора и памяти. Читать: https://habr.com/ru/companies/tensor/articles/970480/ #ru @database_design | Другие наши каналы

Как понять, чего хочет заказчик? Всегда, когда речь идет и разработке отчётов, дашбордов,витрин данных, в принципе любой системы, сначала нужно сформулировать требования совместно с бизнес-подразделениями. Я Кристина Проскурина, руковожу управлением бизнес-анализа данных в РСХБ.Цифра. В этой статье расскажу, как выглядят основные этапы процесса сбора и формирования требований. Читать: https://habr.com/ru/companies/rshb/articles/974404/ #ru @database_design | Другие наши каналы

Разговор о том, как сделать интеграцию умнее: опыт, грабли и рабочие подходы Привет, Хабр! Знаете, что объединяет разработчика из стартапа, архитектора банковской системы и техлида платежного сервиса? Все они хотя бы раз материлась над интеграцией, которая должна была занять день, а растянулась на месяц. Легаси не подружилось с новой системой, протоколы оказались несовместимы, а документация — устаревшей на три года. Читать: https://habr.com/ru/articles/974262/ #ru @database_design | Другие наши каналы

Подключение SD карты по SPI В этом тексте я написал про некоторые особенности работ c SD картами при соединении их с микроконтроллером по интерфейсу SPI. Читать: https://habr.com/ru/articles/974076/ #ru @database_design | Другие наши каналы

TypeQL: SQL для аналитиков, который знает о данных всё Сколько я пользуюсь SQL, столько же он меня бесит. Сегодня хочу рассказать про свой прототип языка для создания больших и сложных аналитических запросов, который компилируется в SQL. Он будет опираться на структуру конкретной БД, и даже больше — он будет опираться на логику данных. Читать: https://habr.com/ru/articles/973966/ #ru @database_design | Другие наши каналы

Обследование инфраструктуры: первый шаг к быстрой и безопасной миграции ЦОД Миграция ЦОД — не новая история. Казалось бы, про важность обследования инфраструктуры перед переездом уже знают все. Но на практике ошибки повторяются снова и снова — даже у тех, кто делает это не впервые. Меня зовут Артём, я ведущий инженер департамента информационных технологий в iCore. В этой статье я постарался собрать ключевые моменты, на которые стоит обратить внимание при обследовании инфраструктуры перед миграцией. Надеюсь, это поможет избежать распространенных проблем и упростит процесс миграции. Читать: https://habr.com/ru/companies/icore/articles/973710/ #ru @database_design | Другие наши каналы

Миграция высоконагруженной инфраструктуры без даунтайма: технические детали переезда Дзена на видеоплатформу VK Привет, Хабр! Меня зовут Влад Почернин, я разработчик в команде видеоформатов Дзена. Сегодня я расскажу, как мы мигрировали контент Дзена на видеоплатформу VK — инфраструктуру, обслуживающую видеоконтент соцплатформ ВКонтакте и Одноклассники, а также видеосервисов VK Видео и VK Клипы. Читать: https://habr.com/ru/companies/vk/articles/973184/ #ru @database_design | Другие наши каналы