DATABASE DESIGN

Open source решения для управления и работы с данными в облаке Хабр, привет! Сегодня у нас подборка перспективных open source решений, которые могут упростить хранение данных и работу с ними в облаке. Говорим про Garage, LinDB, LitData и Triplit. Если вам нужно надежное решение для работы со структурированными данными с возможностью практически неограниченного масштабирования, сервисы MWS помогут организовать полный цикл работы с данными. Вы сможете создать собственную DWH-платформу с масштабированием по клику. Читать: https://habr.com/ru/companies/mws/articles/844028/ #ru @database_design | Другие наши каналы

Зачем и как выгружать сырые логи в ваше хранилище Логи в CDN — мощный инструмент для администраторов и разработчиков, который дает доступ к детальной информации о запросах пользователей. Он помогает оптимизировать производительность, улучшить качество обслуживания, обеспечить безопасность онлайн-сервисов и доступность контента для конечных пользователей. Чтобы сделать эту работу эффективнее, мы добавили в панель управления возможность выгружать сырые логи. В этой статье разберемся, что это такое, в каких случаях такая опция может пригодиться и почему обычного просмотра логов иногда недостаточно. Читать: https://habr.com/ru/companies/selectel/articles/843734/ #ru @database_design | Другие наши каналы

Странное поведение планировщика запросов PostgreSQL В одной из предыдущих статей я описывал проблемы, которые возникают при работе с временными таблицами. Тогда я вкратце описывал, почему нам приходится их так часто использовать. В частности, одной из причин была неправильная работа планировщика запросов в PostgreSQL. Многие из проблем планировщика запросов (и не только PostgreSQL) были также описаны в статье Почему не SQL. В этой статье я покажу достаточно простой и часто используемый случай, когда планировщик ошибается, что может приводить к значительному росту потребления ресурсов. Проблема воспроизводится на последней стабильной на данный момент версии PostgreSQL - 16.2. При этом используются стандартные настройки PostgreSQL. Я пробовал менять разные настройки, но мне не удалось добиться правильного плана в общем случае, поскольку в данном случае проблема скорее логическая, а не в определении стоимости вычислений. Однако, каждый может легко воспроизвести эту ситуацию локально и попробовать поиграться с настройками. Рассмотрим простую доменную логику, в которой есть документы и их строки. Для каждой строки вводится сумма. Строки лежат в отдельной таблице и ссылаются на документ : Читать: https://habr.com/ru/articles/814155/ #ru @database_design | Другие наши каналы

Мой 71 ТиБ ZFS NAS проработал 10 лет без единой поломки дисков Моему серверу 4U 71 TiB ZFS, собранному из двадцати четырех 4-терабайтных дисков, уже больше десяти лет и он всё ещё отлично работает. Хотя сейчас у него уже вторая материнская плата и блок питания, система до сих пор не столкнулась ни с одной поломкой дисков (стучу по дереву). Как же мне удалось добиться отсутствия отказов дисков в течение десяти лет? Читать: https://habr.com/ru/companies/hostkey/articles/843954/ #ru @database_design | Другие наши каналы

Революция в Поисковых Технологиях Как найти нужную информацию в мире, где тексты, векторы и гибридные технологии стали стандартом? Узнайте, когда использовать текстовый, векторный или гибридный поиск, чтобы добиться наилучших результатов. От каталогов продуктов до систем рекомендации — оптимизируйте поиск с MongoDB! Читать далее на MongoDB Blog. Выводите максимум из данных в MongoDB с новой интеграцией Metabase, Shakudo и VLM Run анонсировали партнерство с MongoDB для улучшения аналитики и работы с визуальным контентом. Новые решения ускоряют внедрение AI и извлечение ценных бизнес-инсайтов. Узнайте больше о возможностях этих интеграций и ускорьте свой путь к рыночному успеху! Читать подробнее #en @database_design | Другие наши каналы

Транзакции PostgreSQL, Требования ACID, примеры. Подготовка к собеседованию, изучение Приветствую тебя читатель, я решил написать про ACID и Транзакции PostgreSQL своим языком, с понятными примерами, эта статья ориентирована на людей готовящихся к собеседованию, кто захотел узнать нюансы транзакций в PostgreSQL или про ACID, а также для людей которые знают теорию, но сами ещё ни разу не писали транзакции. Я не ставил перед собой цели рассмотреть и объяснить работу транзакций на очень глубоком уровне. Была цель привести понятные примеры, дать макет работы с транзакциями, а также пощупать основные возможные проблемы при работе с транзакциями в PostgreSQL. Читать: https://habr.com/ru/articles/843794/ #ru @database_design | Другие наши каналы

Транзакции PostgreSQL, Требования ACID, примеры. Подготовка к собеседованию, изучение Приветствую тебя читатель, я решил написать про ACID и Транзакции PostgreSQL своим языком, с понятными примерами, эта статья ориентирована на людей готовящихся к собеседованию, кто захотел узнать нюансы транзакций в PostgreSQL или про ACID, а также для людей которые знают теорию, но сами ещё ни разу не писали транзакции. Я не ставил перед собой цели рассмотреть и объяснить работу транзакций на очень глубоком уровне. Была цель привести понятные примеры, дать макет работы с транзакциями, а также пощупать основные возможные проблемы при работе с транзакциями в PostgreSQL. Читать: https://habr.com/ru/articles/843794/ #ru @database_design | Другие наши каналы

10 возможностей современного Tarantool, о которых вы могли не знать В прошлом году Tarantool исполнилось 15 лет. Он прошел долгий путь от обычного кэша до платформы управления данными с десятками разных внутренних продуктов и расширений. Такое обилие инструментов создает множество возможностей — и в этой статье мы расскажем о десяти, о которых многие забывают или попросту не знают. Читать: https://habr.com/ru/companies/vk/articles/843068/ #ru @database_design | Другие наши каналы

Новые возможности AI с LangChain и MongoDB MongoDB объявила о новых возможностях интеграции с LangChain. Теперь разработчики могут создавать агентные AI-приложения, использовать гибридный поиск, объединяя семантический и ключевой поиск, а также эффективно индексировать и синхронизировать документы с помощью LangChain Indexing API. Узнайте больше! ✉ Подробности в статье. 📰 Инновации с MongoDB и новыми партнёрами! Компании по всему миру ищут специализированные AI-решения для повышения конкурентоспособности. MongoDB и LangChain объединили усилия для создания мощных AI-приложений. Узнайте больше о новых партнёрах, таких как BuildShip, Inductor и другие, которые помогают в этом. Читать подробнее #en @database_design | Другие наши каналы

ClickHouse vs BigQuery: 4 отличия в SQL Привет, Хабр! Я Павел Беляев — тимлид дата-аналитиков. Наша компания отвечает за разработку и поддержку витрин данных. Как и многие, мы столкнулись с необходимостью перевести инфраструктуру с иностранного стека на отечественный. Наша аналитическая база данных несколько лет строилась на базе Google BigQuery. Она содержала сотни представлений на гугл-диалекте SQL, и весь этот технопарк было решено перебазировать на российские платформы. Понятное дело, что ClickHouse и BigQuery — далеко не одно и то же, так что в процессе переезда нам пришлось набить немало шишек. В этой статье я покажу несколько отличий в SQL этих СУБД. Надеюсь, их понимание поможет сэкономить время и нервы тем, кто сталкивается с аналогичной задачей. Читать: https://habr.com/ru/companies/beeline_cloud/articles/842810/ #ru @database_design | Другие наши каналы

А вы забрали свой подарок ко Дню программиста? Tproger вместе с друзьями собрал целую коробку подарков, чтобы поздравить вас с профессиональным праздником. Скорее забирайте презент: https://tprg.ru/gKel

Сайзинг многоуровневого КХД (ч.2 Как сайзим) Продолжение разбора задачи сайзинга многоуровневого КХД. Первая часть: "ч.1 Что сайзим" ШАГ 0. Перед началом сайзинга специалистами IT выполняется анализ текущих систем (баз данных) и оцениваются отправные критерии сайзинга (годовой объем данных, прирост, объем исторических данных) ШАГ 1. Общий объем исторических (начальных) данных Читать: https://habr.com/ru/articles/842730/ #ru @database_design | Другие наши каналы

Сайзинг многоуровневого КХД (ч.1 Что сайзим) Приветствую, ищущий методики и подхода, Гость! Мой многолетний опыт работы в части проектирования и реализации КХД с использованием продуктов иностранных Вендоров, всегда был сопряжен с использованием их обширной инфраструктуры и наработок обеспечивающих и помогающих выполнять вспомогательные задачи быстро и условно качественно. Одной из таких задач всегда являлось выполнение сайзинга разрабатываемого КХД. Вы можете задаться вопросом: "Почему "условно качественно"? - ответ тут прозаичен и банален: "Инструменты сайзинга не могут однозначно ответить на вопрос, какие характеристики заложить и как посчитать сайзинг КХД до того, как полностью сформировано ТЗ и не расставлены все точки над Ё...", ну и конечно, никакой инструмент не в силах справиться с изменениями требований по ходу проекта, криворукостью разработчиков и применением не оптимальных решений. Как оказалось, после ухода поставщиков программного обеспечения с рынка и массового перехода на OpenSource решения, вместе с софтом "ушли" и прикладные решения для выполнения сайзинга КХД. Методика, которая рассматривается ниже, основывается на следующих послулатах Читать: https://habr.com/ru/articles/827668/ #ru @database_design | Другие наши каналы

Некоторые моменты switchover в Patroni. Практические истории из SRE-будней. Часть 8 Однажды нам нужно было уменьшить мастер кластера PostgreSQL по CPU и памяти. План был надёжный: дождаться низкой нагрузки на кластер, сменить мастер на одну из асинхронных реплик, переконфигурировать виртуальную машину с бывшим мастером и сделать switchover обратно. Казалось бы, что могло пойти не так? Читать: https://habr.com/ru/companies/flant/articles/840568/ #ru @database_design | Другие наши каналы

MongoDB запускает программу приложений для ИИ (MAAP) MongoDB объявила о запуске программы приложений для ИИ (MAAP), которая поможет компаниям внедрять ИИ-технологии. Программа предлагает архитектурные решения, интеграции с ведущими технологиями, и поддержку профессиональных служб для быстрого создания и развертывания ИИ-приложений. Новые партнеры MongoDB: Облегчаем разработку AI Интеграция LangGraph с MongoDB и новыми партнерами ускоряет создание высокопроизводительных AI-приложений. Пять новых AI партнеров, таких как BuildShip и VLM Run, предлагают инновационные решения для автоматизации, анализа данных и работы с визуальным AI. Узнайте больше на нашем сайте! Читать подробнее #en @database_design | Другие наши каналы

MongoDB запускает программу MAAP для ИИ-решений Компания MongoDB объявила о доступности программы MongoDB AI Applications Program (MAAP). MAAP помогает организациям внедрять приложения на базе ИИ, предлагая архитектурные решения, профессиональные услуги и поддержку. Среди партнеров программы такие лидеры, как AWS, Google Cloud и Microsoft Azure. 🔹 magicpin: Революция в ретейле Индии magicpin, крупнейшая гиперлокальная платформа Индии, изменила правила игры для малого бизнеса. Вместо оплаты за клики, как в традиционной модели, magicpin применяет стратегию оплаты за конверсию. Это позволяет местным продавцам увеличивать трафик и сохранять местные экономики. Узнайте, как Magicpin и MongoDB помогают бизнесу развиваться! Читать подробнее #en @database_design | Другие наши каналы

MongoDB анонсировал программу MAAP для ИИ Программа MongoDB AI Applications Program (MAAP) теперь доступна для всех! MAAP помогает компаниям применять ИИ-технологии, предоставляя ресурсы для быстрого создания и развертывания ИИ приложений. Программа также обеспечивает поддержку и интеграции, уменьшая риски и ускоряя инновации. Революция в индийской рознице: как magicpin меняет правила игры magicpin, крупнейшая гиперлокальная платформа Индии, реформирует традиционную модель платы за клик, вводя оплату только за совершенные покупки. Платформа сотрудничает с локальными продавцами, увеличивая поток посетителей и поддерживая местные экономики. Узнайте, как это работает! Читать подробнее #en @database_design | Другие наши каналы

🔍 Встречайте MongoDB AI App Platform (MAAP) Теперь компании могут легко внедрять AI технологии с помощью MongoDB. MAAP предлагает полный набор инструментов: интеграции с лидирующими поставщиками, профессиональные услуги и поддержку. Даже технологические гиганты, такие как AWS и Google Cloud, уже в деле! MAAP: Инновационная платформа для генеративного ИИ MAAP, совместная разработка MongoDB и лидирующей ИИ-консалтинговой компании, помогает ускорить разработку генеративного ИИ. Платформа предлагает доступ к профессиональной поддержке, готовым архитектурам и образовательным материалам, позволяя легко интегрировать данные и разрабатывать высокопроизводительные ИИ-приложения. Узнайте больше на сайте MAAP! MongoDB и LangChain: Объединение усилий для AI-инноваций MongoDB и LangChain объединяют усилия для создания мощных AI-решений, которые уменьшают инфраструктурные сложности и ускоряют разработку инновационных приложений. Узнайте больше о новых партнёрах и возможностях интеграции с MongoDB. Читайте дальше! Читать подробнее #en @database_design | Другие наши каналы

Запуск MongoDB AI Applications Program (MAAP) MongoDB объявил о запуске программы MAAP, предназначенной для помощи компаниям в разработке и внедрении KI-решений. MAAP предлагает референсные архитектуры, интеграции с ведущими технологическими партнёрами и единое сервисное сопровождение, ускоряя внедрение инноваций и снижая риски интеграции. MAAP: Ваш проводник в мир ИИ Программа MongoDB AI Applications (MAAP) помогает компаниям внедрять и развивать ИИ решения. MAAP предоставляет доступ к проверенным методам интеграции и разработки, повышая производительность и поддерживая модернизацию. Узнайте больше на странице MAAP и начните ваш путь с ИИ уже сегодня! Читать подробнее #en @database_design | Другие наши каналы