DATABASE DESIGN

Создание простой поисковой системы, которая действительно работает Зачем вообще делать что-то своё? Я знаю, что вы можете подумать: «Почему бы просто не использовать Elasticsearch?» или «А что насчёт Algolia?» Это вполне рабочие решения, но у них есть нюансы. Нужно разбираться с их API, поддерживать инфраструктуру под них и учитывать все тонкости их работы. Но иногда хочется чего-то более простого... Читать: https://habr.com/ru/articles/969312/ #ru @database_design | Другие наши каналы

Новые версии MariaDB Connector/C: 3.4.8 и 3.3.18 теперь доступны MariaDB объявила о выпуске Connector/C 3.4.8 и 3.3.18 с исправлениями и улучшениями. Подробности в примечаниях к релизу и changelogs; скачать можно на mariadb.com/downloads/connectors. Читать подробнее #en @database_design | Другие наши каналы

PostgreSQL Antipatterns: отказ от агрегатных функций = кратное ускорение Иногда в архиве нашего сервиса анализа планов запросов к PostgreSQL встречаются примеры не очень эффективных, мягко говоря, запросов. Сегодня на примере одного из них, вызванного простой бизнес-задачей, посмотрим, как отказ от использования агрегатных функций может ускорить запрос в разы. Читать: https://habr.com/ru/companies/tensor/articles/968720/ #ru @database_design | Другие наши каналы

Создание простой поисковой системы, которая действительно работает Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску. Читать: «Создание простой поисковой системы, которая действительно работает» #ru @database_design | Другие наши каналы

Создание простой поисковой системы, которая действительно работает Создайте свою собственную поисковую систему на PHP без внешних сервисов. Используйте токенизацию, веса и реляционные базы данных для точного и быстрого поиска по тексту. Полное руководство по реализации, индексированию и поиску. Читать: «Создание простой поисковой системы, которая действительно работает» #ru @database_design | Другие наши каналы

Cloud Native LVM: как автоматизировать поиск и разметку локальных дисков в Kubernetes Всем привет, меня зовут Александр Зимин, я руковожу разработкой подсистемы хранения данных в Deckhouse. Сегодня хочу поговорить о хранении данных на локальных дисках в Kubernetes и поделиться тем, как мы автоматизируем их поиск и разметку для администраторов и пользователей. Читать: https://habr.com/ru/companies/flant/articles/951598/ #ru @database_design | Другие наши каналы

Как мы постепенно идём к «умному» центру администрирования СУБД Что общего у массового применения конфигураций, встроенной поддержки OpenTelemetry и управления HA-кластерами в пару кликов? Всё это — части пазла, который мы собираем, чтобы сделать администрирование PostgreSQL по-настоящему удобным и безопасным. Выход версии Postgres Pro Enterprise Manager (PPEM) 2.3 стал важной вехой в развитии нашего графического интерфейса. Мы добавили поддержку пользовательских пресетов, переработали систему алертинга и усилили RBAC-модель управления доступом. Разбираем ключевые нововведения релиза, которые помогут навести порядок в зоопарке конфигураций и спать спокойно, зная, что система сама предупредит о проблемах. Читать: https://habr.com/ru/companies/postgrespro/articles/968570/ #ru @database_design | Другие наши каналы

БД без боли: моя шпаргалка для собесов в Java. Часть 3 Всем привет! Я Senior Java Developer в банке, и за эти годы мне довелось пройти немало собеседований. Где-то было спокойно, где-то — как в допросной, с каверзными вопросами, странными задачами и вечным «а почему так, а не иначе?». В процессе я собрал целую коллекцию тем, которые всплывают снова и снова, особенно когда дело касается баз данных. Сегодня хочу поделиться этим опытом и разобрать вопросы, которые чаще всего задают именно по SQL-базам. Читать: https://habr.com/ru/articles/968532/ #ru @database_design | Другие наши каналы

Как фильтры Блума в 16 раз ускорили API Этот пост станет глубоким разбором того, как мы снизили задержки P95 конечной точки API с 5 до 0,3 секунды при помощи нишевого трюка computer science под названием «фильтр Блума». Мы расскажем о том, почему конечная точка была медленной, о решениях, которые мы рассматривали для повышения её скорости, и о критериях выбора между ними. Также мы объясним, как всё это устроено внутри. Читать: https://habr.com/ru/articles/968024/ #ru @database_design | Другие наши каналы

Генерируем CRUD для gRPC по схеме БД следуя Google AIP Как с помощью db-exporter автоматизировать процесс генерации CRUD-операций для gRPC, соблюдая стандарт Google AIP Читать: «Генерируем CRUD для gRPC по схеме БД следуя Google AIP» #ru @database_design | Другие наши каналы

Как ускорить массовую вставку данных в PostgreSQL при использовании Spring Меня зовут Дмитрий Фатов, я разработчик в Газпромбанке — вместе с командой создаю платформу G2, на которой мы разрабатываем свои решения. Одно из решений — SaaS, система, в которой есть внешние интеграции через xml. До какого-то момента к нам приходило максимум 30 тыс. документов в одной выгрузке, но после подключения очень крупного клиента в одной выгрузке начали получать до 2 млн документов. Это около 4 млн записей в базе данных. SLA на обмен данными со сторонними системами — меньше пяти минут. И мы в него не укладывались, нужно было срочно оптимизировать бизнес-процессы, среди которых весомой частью была именно вставка данных. В этой статье расскажу именно про последнюю часть — как ускорить вставку данных. Покажу, какие настройки стоит применить для Spring и Hibernate, для чего они нужны и какой буст по производительности дают. Здесь же разберем, как можно создать свою собственную прослойку для вставки данных в PostgreSQL. Эта прослойка позволит нам использовать разные подходы к вставке данных, в том числе кастомные методы PostgreSQL, а также распараллелить процесс вставки. Посмотрим, как ее можно подружить со Spring, а также какой профит нам даст каждый из рассмотренных подходов. Читать: https://habr.com/ru/companies/gazprombank/articles/965634/ #ru @database_design | Другие наши каналы

Twake Drive. Опенсорсный клон GDrive на своём сервере Французская компания Linagora продвигает облачный сервис Twake Workplace как опенсорсную и безопасную альтернативу Google Workspace и прочим корпоративным платным облакам. В комплект с чатом и почтой входит Twake Drive — защищённое файлохранилище. В Twake Workplace код открыт, используются защищённые протоколы JMAP и Matrix, шифрование по умолчанию. В публичном облаке бесплатно дают 5 ГБ на файлы. Но самое главное, что Twake Drive можно установить на собственном сервере, с неограниченным дисковым пространством. Читать: https://habr.com/ru/companies/ruvds/articles/967670/ #ru @database_design | Другие наши каналы

Excel-лайфхаки, о которых не знают «эксперты» Я наблюдал, как мой опытный коллега-финансист целый час колупался в Excel. Он гуру экселя, работает с ним 20 лет. Но увидев, как он печатает формулы, я не выдержал и показал пару простых трюков, от которых он пришёл в восторг. Это была проблема незнания — незнания о функциях, которые лежат в Excel годами, экономят часы работы, но о которых просто никто не рассказывает. Потому пишу статью, чтобы собрать лучшие лайфхаки и спасти драгоценные секунды вашей жизни. Читать: https://habr.com/ru/articles/966594/ #ru @database_design | Другие наши каналы

Круговорот обновлений СХД TATLIN.UNIFIED Вы наверняка сталкивались с системами хранения данных семейства TATLIN или серверами VEGMAN, хотя можете об этом даже не подозревать. Например, делая заказ в интернет-магазине или пользуясь другими популярными онлайн-сервисами — в глубине ИТ-инфраструктуры для них можно обнаружить продукты YADRO. Добрый день, меня зовут Александр Чуриков, я технический эксперт отдела сервисного дизайна YADRO. Мы служим мостиком между сервисом и нашим R&D, который разрабатывает продукты — изучаем все боли сервиса, которые возникают при обслуживании, в том числе при обновлении и замене компонентов, и транслируем их в R&D. Читать: https://habr.com/ru/companies/yadro/articles/857586/ #ru @database_design | Другие наши каналы

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector. Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию. Читать: https://habr.com/ru/companies/vktech/articles/967558/ #ru @database_design | Другие наши каналы

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector. Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию. Читать: https://habr.com/ru/companies/vktech/articles/967558/ #ru @database_design | Другие наши каналы

Пока все вайбкодят, мы продолжаем делать freemium базу данных для разработки ERP/LLM-систем История началась в далеком 2016 году, когда у меня был небольшой свечной заводик. Не свечной, конечно, но все же производство — и нужно мне было на нем сделать автоматизацию. Чтобы компоненты закупались вовремя, списывались со склада в правильном количестве и автоматически планировалось, какие операции делать в рамках рабочего дня. Тогда я впервые подумал, что неплохо бы иметь программируемый конструктор — что-то типа MS Access, но только в web и чтобы логика и запросы программировались одинаково и понятно. То производство закрылось, и я некоторое время занимался тем же самым уже на производстве побольше, а потом — на еще одном, у которого цех был по соседству. Тут и решили не писать всё каждый раз с нуля, а сделать нормальную тиражируемую систему. Как эксель, но по-другому, и уже на ней конструировать такие приложения для цеха. Так появился Тотум Онлайн (который теперь даже в реестр Росийского ПО записан :) Читать: https://habr.com/ru/companies/totum_online/articles/967298/ #ru @database_design | Другие наши каналы

Платы и байты #6: “Аэродиск” об успехах, трудностях и перспективах российских систем хранения данных Представляем вашему вниманию интервью директора КЕДР Solutions Егора Гуторова с представителями компании “Аэродиск” – Александром Калининым, руководителем отдела развития продуктов, и Дмитрием Харьковым, директором по IT. В беседе обсуждаются актуальные проблемы и перспективы систем хранения данных – как российского, так и мирового рынка. Публикация будет интересна как потребителям продукции, так и производителям оборудования. Читать: https://habr.com/ru/articles/967850/ #ru @database_design | Другие наши каналы

MariaDB Community Server 12.1 — доступна версия GA Объявлен релиз MariaDB 12.1 (GA): улучшена производительность, совместимость и инструменты, продолжение ключевых изменений из 12.0. Подходит для современных приложений. Подробнее — в официальном анонсе. Читать подробнее #en @database_design | Другие наши каналы

Подход к построению DWH, основанный на единой инфраструктуре данных Unified Data Infrastructure или модели a16z В статье рассказываем о подходе к построению DWH на базе единой инфраструктуры данных (Unified Data Infrastructure), разработанной Andreessen Horowitz. Разбираемся, почему модель a16z полезна в быстрорастущих компаниях или тех, кто переходит к data-driven управлению. Читать: https://habr.com/ru/articles/967736/ #ru @database_design | Другие наши каналы