DATABASE DESIGN

Оптимизация производительности баз данных с MongoDB Во втором посте о возможностях наблюдаемости баз данных MongoDB авторы делятся реальным кейсом, как инструменты MongoDB Atlas помогают устранить проблемы производительности. Узнайте, как 5-шаговый процесс диагностики помогает разработчикам быстро устранять узкие места и восстанавливать работу приложений. Будущее ритейла с RAG и MongoDB Ритейл-индустрия сталкивается с необходимостью интеграции AI для повышения операционной эффективности. Использование MongoDB Atlas помогает централизовать управление данными, устраняя разрозненность и улучшая целостность данных. Это обеспечивает более эффективные AI и машинное обучение. Узнайте больше! Читать подробнее #en @database_design | Другие наши каналы

Как использовать S3-хранилище в Kubernetes: руководство с примерами S3 — не самое быстрое хранилище и подходит не для всех задач. Но это отличный вариант, если нужно организовать надежное и масштабируемое пространство для данных большого объема. По этой причине S3 часто используют в качестве хранилища для приложений, развернутых в Kubernetes. Привет, Хабр! Меня зовут Филипп, я DevOps-инженер в Selectel. В своей обзорной статье хочу разобрать, какие есть решения для работы с объектным хранилищем из K8s. Соберу тестовый стенд из кластера Managed Kubernetes и покажу, как с установить и настроить нужные компоненты через Terraform. Начинаем! Читать: https://habr.com/ru/companies/selectel/articles/832768/ #ru @database_design | Другие наши каналы

Greenplum: эффективное хранение данных с Hybrid Storage В 2021 году мы запустили Greenplum в нашем облаке. И очень скоро столкнулись с тем, что эластичность систем расчёта и хранения — это must have в облачных аналитических БД. А Greenplum — совсем не такой. Чтобы поменять ситуацию, мы научились отгружать часть данных в S3 и назвали получившееся решение Hybrid Storage. В этой статье расскажу о нём подробнее. Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831780/ #ru @database_design | Другие наши каналы

С заботой о CPU: как найти узкое горлышко и сконфигурировать  Postgres Pro СУБД Postgres Pro – сложный механизм, который можно гибко настраивать под конкретный тип нагрузки. Для этого в нём имеется множество параметров и инструментов. Например, одним из главных потребителей ресурсов CPU является оптимизатор/планировщик запросов, который отвечает за построение оптимального плана выполнения. Существует большое количество параметров, которые прямо или косвенно влияют на работу планировщика, но к их изменению надо подходить очень осторожно, т. к. возможен обратный эффект. Например, параметры _collapse_limit могут и помочь оптимизатору рассмотреть большее количество вариантов планов, и негативно повлиять на время планирования. Сегодня я расскажу, как мы решали реальную проблему производительности и высокой (> 90%) утилизации ресурсов CPU на промышленном «боевом» сервере с СУБД Postgres Pro Enterprise 15, обслуживающем запросы бизнес-приложения, какие для этого использовали инструменты и что мы изменили в настройках СУБД. Читать: https://habr.com/ru/companies/postgrespro/articles/830790/ #ru @database_design | Другие наши каналы

Революция в ритейле с RAG Исследование показало, что генеративный ИИ может увеличить прибыли в сфере моды и роскоши до $275 млрд к 2028 году. Технология Retrieval-Augmented Generation (RAG) позволяет ретейлерам улучшать персонализацию, эффективность и потребительский опыт за счет интеграции разнообразных источников данных и работы с большими объемами информации. Для более детальной информации посетите статью! Революция в визуализации данных: Natural Language Mode в Atlas Charts Испытайте Natural Language Mode в Atlas Charts и увидьте, как ИИ упрощает и ускоряет ваши рабочие процессы с данными. Один из пользователей отмечает, что это позволяет легко получать ценные инсайты и делиться ими. Зарегистрируйтесь в MongoDB Atlas и активируйте Charts бесплатно! Читать подробнее #en @database_design | Другие наши каналы

Пайплайны, разметка и версионирование — открытые решения для работы с неструктурированными данными Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код. Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте. Читать: https://habr.com/ru/companies/mws/articles/832504/ #ru @database_design | Другие наши каналы

Миграция неизбежна: сравниваем российские СУБД и open source, чтобы подготовиться Привет, Хабр! На связи Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Работая с крупными компаниями, я заметил тенденцию: многие до сих пор используют бесплатную PostgreSQL. Однако технологии Postgre стремительно коммерциализируются при участии российских разработчиков. Они берут мировой open source и успешно его дорабатывают. Сейчас рынок находится в подвешенном состоянии. Бизнес понимает преимущества перехода на коммерческие решения, но привычный open source пока вроде бы справляется с задачами не хуже. Зачем менять то, что работает? Дьявол кроется в деталях, и с учетом обстоятельств, в которых мы оказались, открытые решения становятся невыгодными и даже где-то опасными. Почему лучше переходить на коммерческие СУБД вместо использования базовой PostgreSQL? Давайте разберемся в этом вопросе, рассмотрим тренды рынка и планы развития СУБД. Мы обсудим несколько российских систем и определим, каким компаниям они подойдут. А бонусом будет детальная сравнительная таблица. Читать: https://habr.com/ru/companies/k2tech/articles/832458/ #ru @database_design | Другие наши каналы

Новая функция естественного языка в Atlas Charts MongoDB анонсировала доступность режима естественного языка в Atlas Charts. Эта функция позволяет разработчикам создавать визуализации данных, просто задавая вопросы на английском. Теперь разработка станет быстрее и проще, даже без глубоких знаний BI-инструментов. Попробуйте уже сегодня! Присоединяйтесь к новым возможностям с MongoDB Узнайте, как Early Access Programs (EAPs) от MongoDB помогают внедрять инновации и улучшать качество продуктов. Участвуйте в тестировании новых функций, общайтесь напрямую с командами разработчиков и получайте вознаграждения. Присоединяйтесь сегодня и станьте частью сообщества MongoDB! Читать подробнее #en @database_design | Другие наши каналы

Новый контейнер образ для ORDS от Oracle Oracle представила новый контейнерный образ для Oracle REST Data Service (ORDS). Теперь бинарное содержимое ORDS вынесено наружу, что значительно упрощает процесс изменения конфигурации. Узнайте больше о новых возможностях и их преимуществах. Читать подробнее #en @database_design | Другие наши каналы

Ранняя доступность в MongoDB: инновации изнутри Хотите получить ранний доступ к новым функциям MongoDB и влиять на их разработку? Узнайте, что такое ранние доступы и превью функции. Они позволяют пользователям тестировать продукты до официального релиза, помогая улучшить их качество. Присоединяйтесь к программе раннего доступа MongoDB сегодня! Инновационный подход к подбору кредитных карт с помощью ИИ Новейшая AI-платформа помогает банкам выбрать лучшую кредитную карту для клиента на основе данных из MongoDB Atlas и личной информации. Платформа учитывает возраст и историю клиента, поддерживая индивидуальный тон общения. Узнайте, как современные технологии трансформируют финансовые услуги! Читать подробнее #en @database_design | Другие наши каналы

Colud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений. Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки. Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью. В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры. Читать: https://habr.com/ru/articles/829620/ #ru @database_design | Другие наши каналы

Базы данных. Основы разработки и работа с индексами в PostgreSQL Продолжаем делиться полезными инсайтами с наших корпоративных митапов. Сегодняшний спикер, старший бэкенд-разработчик Factory5 Роман Гордиенко рассказывает об основных понятиях реляционных баз данных и о том, как использовать индексы в PostgreSQL. Информация будет полезна всем, кто работает с реляционными базами данных или планирует это делать в будущем. Читать: https://habr.com/ru/companies/factory5/articles/832174/ #ru @database_design | Другие наши каналы

Активоцентричность и хранение данных [Оголяемся технологически. MaxPatrol SIEM] Привет! Меня зовут Иван Прохоров, я руководитель продукта MaxPatrol SIEM. Мы продолжаем наше технологическое погружение в наш SIEM и сегодня расскажем об активоцентричности и хранении данных. А помогать мне в этом будет мой коллега, архитектор продукта MaхPatrol SIEM, Роман Сергеев. В прошлой статье мы рассказали, как устроен MaхPatrol SIEM, взглянули на его пайплайн и поговорили про нормализацию и обогащение данных об инцидентах. Тогда же мы вскользь затронули тему активов и сегодня обсудим ее более детально. Разберемся, что такое цифровые активы, зачем они нужны, как их используют и защищают. И вновь под капот! Читать: https://habr.com/ru/companies/pt/articles/831106/ #ru @database_design | Другие наши каналы

PostgreSQL 16. Страницы и версии строк. Часть 3 Данная статья является продолжением: PostgreSQL 16. Изоляция транзакций. Часть 2. В этой части мы рассмотрим, из каких частей состоит страница в PostgreSQL, как выполняются операции CRUD (создание, чтение, обновление, удаление) для строк с сохранением нескольких версий одной и той же строки в таблице и как на это влияют транзакции. Также рассмотрим вложенные транзакции. Читать: https://habr.com/ru/articles/830924/ #ru @database_design | Другие наши каналы

🥇 Соревнования для разработчиков: Добро пожаловать на Tech Olympics! Представьте, что разработчики соревнуются как атлеты, показывая свои навыки в захватывающих дисциплинах: от эстафетного кодинга до охоты на баги и задач по кибербезопасности. Tech Olympics могли бы объединить лучшие умы в сфере технологий для уникальных состязаний. Узнайте больше в статье на MongoDB Blog! Внедрение генеративного ИИ с MongoDB и Iguazio Искусственный интеллект открывает новые возможности для бизнеса, от улучшения взаимодействия с клиентами до автоматизации процессов. Решение от MongoDB и Iguazio обеспечивает масштабируемое и надежное внедрение ИИ-приложений, устраняя риски и улучшая производительность. Узнайте больше о возможностях на нашем сайте! Читать подробнее #en @database_design | Другие наши каналы

Заставляем работать MinIO и Postgresql вместе Всем привет, в этой статье я хочу рассказать, как у меня получилось интегрировать MinIO и Postgres, а именно, что после каждой загрузки картинки в объектное хранилище у нас появляется запись в БД. Читать: https://habr.com/ru/articles/831668/ #ru @database_design | Другие наши каналы

Эффективность на максимум: как выбрать оптимальное сетевое хранилище (NAS) для корпоративной среды В современном мире, где объемы данных растут экспоненциально, а требования к их доступности и безопасности становятся все жестче, выбор оптимального сетевого хранилища (Network Attached Storage, NAS) становится критически важной задачей для профессионалов и продвинутых пользователей. Правильно подобранное NAS-решение может стать ключевым фактором эффективности IT-инфраструктуры, обеспечивая не только надежное хранение данных, но и повышая производительность всей системы в целом. При покупке NAS необходимо учитывать множество факторов, каждый из которых может существенно повлиять на эффективность работы и общую стоимость владения системой. Рассмотрим подробнее основные аспекты, на которые следует обратить внимание при выборе NAS для корпоративного использования. Читать: https://habr.com/ru/companies/x-com/articles/831714/ #ru @database_design | Другие наши каналы

Важные заметки по Data Consistency и MicroTx В статье автор делится своими наработками и замечаниями по теме консистентности данных и MicroTx. Это может быть полезно для тех, кто работает с распределенными системами и ищет способы улучшения надежности своих приложений. Читать подробнее #en @database_design | Другие наши каналы

В чем сходство и различия технологий DLP и DAG? Почему один класс систем не заменяет другой? Дмитрий Богомолов, архитектор отдела проектирования, подготовил материал о ключевых различиям DLP и DAG-решений. Стремительный рост объемов неструктурированного корпоративного контента стал одной из острейших проблем для ИТ- и ИБ-подразделений. При этом, по оценке международной аналитической компании ITC, суммарный объем данных в ближайшей перспективе достигнет уровня 175 зеттабайт, или 175 миллиардов гигабайт, и существенная доля такой информации будет неструктурированной. Поэтому управление доступом к неструктурированным данным становится проблемой для большинства крупных компаний. Мы часто слышим, что для решения подобных задач достаточно использовать DLP-системы. Да, нередко подобные продукты закрывают ряд задач по управлению доступом к неструктурированным данным, но в большинстве случаев использование специализированных DAG-платформ более эффективно с точки зрения управления рисками в крупных компаниях. Читать: https://habr.com/ru/companies/solarsecurity/articles/831416/ #ru @database_design | Другие наши каналы

Инновации в использовнии ИИ с помощью Iguazio и MongoDB В статье обсуждается совместное решение Iguazio и MongoDB для создания надёжных и масштабируемых приложений на базе генеративного ИИ. Оно упрощает процесс обработки данных и их хранения, что помогает ускорить выход ИИ-приложений в продакшен, снижает риски и улучшает управление. MAAP: Новая Программа для Быстрого Внедрения ИИ от MongoDB MongoDB представил MAAP — программу, которая поможет организациям ускорить внедрение ИИ технологий. Программа включает готовые архитектуры, полный стек технологий и интеграции с ведущими компаниями, такими как Google Cloud и Microsoft Azure. Узнайте больше на сайте программы! Читать подробнее #en @database_design | Другие наши каналы