DATABASE DESIGN

Новый Oracle Database 23ai открывает новые возможности для бизнеса: интеграция векторного поиска, пространственных графов и генеративного ИИ позволяет эффективнее работать с корпоративными данными и ускоряет принятие решений в сложных задачах. Читать подробнее #en @database_design | Другие наши каналы

Сквозь эпохи: от хаоса к гармонии, или как мы запросы в Greenplum улучшали Привет, Хабр! Я Илья Назаров, старший инженер в разработке сервисов направления эксплуатации инфраструктуры данных DataPlatform Т-Банка. В работе я часто соприкасаюсь с движками баз данных. Первым и основным движком волею судеб стал Greenplum. Расскажу о своем длинном пути взаимодействия с «Зеленой сливой», как из хаоса и невежества я дошел до истины и гармонии. В начале карьеры меня много чего удивляло. Тогда я еще не знал, что такое Greenplum,и плохо понимал, что такое MPP. Позднее коллеги на пальцах объяснили мне, что это «постгрес курильщика» и «постгрес поверх кучи постгресов». Не менее удивительны для меня процессы. Например, процесс деплоя. Именно тогда я узнал, что в большом продакшене может быть деплой через правку SSH-скриптов на серверах. В целом ситуация выглядела страшно интересно: скрипты, процессы деплоя и работы над задачами — все было в новинку. С одной стороны, большой багаж исторически сформированных до меня решений, с другой — большой уровень свободы и минимум ограничений, что как раз и способствовало постоянному росту энтропии и хаоса. Практически сразу я ощутил желание навести во всем порядок. А что из этого получилось — читайте в статье 😉 Читать: https://habr.com/ru/companies/tbank/articles/946450/ #ru @database_design | Другие наши каналы

Как мы ускорили заливку данных в YandexDB в 40 раз Привет! С вами Кабанов Олег — ведущий ML-инженер Flocktory. В этой статье расскажу об опыте внедрения YandexDB в качестве хранилища для ML Online Feature Store. А также о том, как нам удалось ускорить загрузку данных в 40 раз и убрать влияние на скорость чтения данных при обновлении. Читать: https://habr.com/ru/companies/flocktory/articles/946454/ #ru @database_design | Другие наши каналы

Новая эра масштабируемого ИИ: SDK Stagehand и MongoDB Atlas создают мощную платформу для управления сложными веб-данными и эффективной памяти многоагентных систем. Продуманная архитектура памяти обеспечивает координацию и высокую производительность ИИ. Читать подробнее #en @database_design | Другие наши каналы

Хотите браться за задачи посерьезнее? Уставшие от работы в стартапе — сохраняйте канал OTP Tech. Это ТГ про IT-контур ОТП Банка, в котором частенько выкладывают подборки с вакансиями на любой вкус. Преимущественно в банке Java core, но направлений для работы много: всегда нужны дата-саентисты, DevOps-ы, аналитики, тестировщики и кто только не. Подписывайтесь, чтобы не упустить ту самую вакансию. Ну и чтобы быть в курсе процессов и кейсов, которые могут возникнуть на потенциальной работе.

Регулярные выражения в PostgreSQL Регулярные выражения (или regex) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных. Возможно, у кого-то есть вопрос: "А для чего нам регулярные выражения в БД?" И мы вам ответим: Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко. Читать: https://habr.com/ru/articles/946274/ #ru @database_design | Другие наши каналы

Circles использует MongoDB для масштабирования Jetpac — инновационного решения в сфере международной связи, запущенного всего за 6 недель. Благодаря MongoDB Atlas компания ускорила развитие и расширилась до 200 стран, демонстрируя стремительный рост и технологическое лидерство. Память агентов — ключ к эффективной работе мультиагентных систем. Исследования показывают, что без продуманной архитектуры памяти совместная работа агентов приводит к ошибкам и потерям эффективности. Новая дисциплина — memory engineering — решает эти проблемы, обеспечивая координацию и масштабируемость команд ИИ. Почему память решает проблемы команд ИИ-агентов Текст: Основная причина сбоев в многозадачных системах ИИ — проблемы с общей памятью, а не с коммуникацией. Продвинутая архитектура памяти обеспечивает слаженную работу агентов, ускоряет принятие решений и снижает затраты, делая команды ИИ эффективными и устойчивыми. Читать подробнее #en @database_design | Другие наши каналы

Новый релиз MariaDB Connector/J 3.5.6 уже доступен! Обновление содержит важные улучшения и исправления, повышающие стабильность и производительность. Подробности и скачивание доступны на официальном сайте MariaDB. Читать подробнее #en @database_design | Другие наши каналы

Oracle Database 19c теперь поддерживается на Exadata Database Service с инфраструктурой Exascale. Это важное обновление для стабильных и критичных задач с возможностью плавного перехода на Oracle Database 23ai в будущем. Читать подробнее #en @database_design | Другие наши каналы

Почему многoагентным системам необходима инженерия памяти Многие сбои в многoагентных ИИ возникают не из-за плохой коммуникации, а из-за отсутствия общей памяти. Инженерия памяти обеспечивает координацию, снижает дублирование работы и оптимизирует ресурсы, что критически важно для масштабируемых систем. Как эффективно обрабатывать документы на больших данных? В статье описывается архитектура на базе AWS S3, LlamaParse и Confluent Cloud, которая в реальном времени парсит, структурирует и обогащает документы для быстрых поисковых и аналитических сервисов. MongoDB и Vercel: новая эра для AI-приложений MongoDB Atlas теперь доступен в Vercel Marketplace, обеспечивая простое хранение и поиск данных для AI-приложений. Интеграция упрощает разработку и масштабирование, объединяя мощь гибкой базы данных и удобство платформы Vercel. Читать подробнее #en @database_design | Другие наши каналы

Альфа-Банк приглашает IT-специалистов на турнир по спортивному хакингу AlfaCTF — он пройдёт 13-14 сентября Разработчики, тестировщики и аналитики будут решать таски: взламывать, находить уязвимости, собирать флаги и бороться за звание лучшего хакера. 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 🤓🤓🤓🤓🤓🤓🤓🤓 Всего три уровня сложности, есть и простой для студентов. Команды-победители получат до 450 тысяч рублей. Собрать команду и зарегаться нужно на сайте. Для разминки найдите баг на картинке: Это #партнёрский пост

Портим данные с удовольствием Поговорим о том, что такое ненастоящие (или фейковые) данные, для чего они нужны, как отличить «подделку» от оригинала. А ещё о том, что SQL — лучший DSL для работы и с базами данных, и с ненастоящими данными. Читать: https://habr.com/ru/companies/postgrespro/articles/909514/ #ru @database_design | Другие наши каналы

Практические кейсы применения нового модуля «СХД» в DCImanager: от проблем к решениям В этой статье мы рассмотрим 8 практических кейсов, основанных на реальных проблемах, с которыми сталкиваются администраторы систем хранения данных, и покажем, как модуль «СХД» DCImanager мог бы их решить. Каждый кейс демонстрирует конкретные возможности модуля и объясняет механизм решения проблемы. Читать: https://habr.com/ru/companies/ispsystem/articles/945892/ #ru @database_design | Другие наши каналы

Как мы в ВТБ автоматизировали мажорное обновление PostgreSQL Привет, Habr! На связи эксперты команды сервиса WatchDog — Дмитрий Коновалов и Геннадий Переломов. В ВТБ, у нашего основного заказчика, мы развиваем сервисы автоматизации сопровождения баз данных. Одной из ключевых СУБД в инфраструктуре является PostgreSQL. Поддержка её в актуальном состоянии требует периодических мажорных обновлений, которые остаются одной из самых трудоёмких задач для DBA, особенно в ночные или выходные технологические окна. В этой статье мы расскажем, как разработали внутренний сервис, позволяющий администраторам прикладных систем запускать мажорное обновление PostgreSQL в один клик и без участия DBA. Читать: https://habr.com/ru/companies/vtb/articles/945942/ #ru @database_design | Другие наши каналы

Эффективное кеширование данных без проблем с TTL стало реальностью. В новой статье раскрывается подход к созданию высокопроизводительного и постоянно синхронизированного кеша, который обеспечивает стабильность и скорость работы приложений. Подробнее о технологии и преимуществах. Читать подробнее #en @database_design | Другие наши каналы

MongoDB Atlas теперь доступен в Vercel Marketplace. Интеграция упрощает работу с базой данных прямо из экосистемы Vercel, ускоряя создание, масштабирование и адаптацию AI-приложений с высокой производительностью и гибкостью. MongoDB Atlas Stream Processing позволяет создавать высокопроизводительные, непрерывно обновляемые модели чтения в реальном времени. Интегрированное решение упрощает реализацию архитектуры CQRS без сложностей управления потоками данных и снижает задержки при выполнении запросов. Гибкое хранение и поиск в MongoDB: как база данных сочетает в себе управление векторными эмбеддингами и сложными документами. Архитектура с многопоточностью и Schema Registry обеспечивает стабильную обработку и масштабируемость для современных AI-приложений. Читать подробнее #en @database_design | Другие наши каналы

Как построить масштабируемый конвейер обработки документов? В статье рассказали, как с помощью LlamaParse, Confluent Cloud и MongoDB создавать потоковую систему для умного разбора, анализа и хранения больших объёмов документов в реальном времени с применением машинного обучения. Как AI меняет онлайн-шопинг и почему MongoDB важен для брендов Пост: В эру AI покупатели всё чаще доверяют решения ИИ-агентам, меняя привычный путь выбора товара. MongoDB помогает брендам сделать каталоги доступными для этих агентов, обеспечивая гибкость, скорость и безопасность в новом мире agentic commerce. Новая эра обработки данных с MongoDB Atlas Stream Processing Пост: Старые методы с предвычислением данных уже не работают для реального времени. MongoDB Atlas Stream Processing позволяет создавать непрерывно обновляемые коллекции с оптимизированными запросами, решая проблемы с объединениями и обеспечивая молниеносный доступ к данным. Читать подробнее #en @database_design | Другие наши каналы

О «залипании» процесса checkpoint и archive_timeout в Postgres Добрый день, коллеги! Недавно мы столкнулись со следующей проблемой при тестировании СУБД PostgresPro под высокой нагрузкой: процесс представлял собой массированную многопоточную заливку данных на протяжении многих часов,а данных было около 20 ТБ, потоков — 75. В процессе загрузки наблюдалось следующее явление: через некоторое время процесс checkpointer переставал делать контрольные точки в зависимости от других параметров БД либо сразу, либо через 2-3 часа. Читать: https://habr.com/ru/companies/gnivc/articles/945742/ #ru @database_design | Другие наши каналы

Визуализация обмена с 1С: синхронизация заказов, остатков и контрагентов для e-commerce Привет! Это Илья, руководитель проектов в Webest. Расскажу о том, как мы построили обмен между интернет-магазином и 1С. Реализовали двусторонний обмен через очереди, ввели приоритеты для разных типов данных и сделали прозрачный мониторинг в админке Orchid. Читать: https://habr.com/ru/articles/945736/ #ru @database_design | Другие наши каналы

Пять производительных паттернов кэширования, которые ускорят ваш микросервис В современных микросервисных архитектурах кэширование играет ключевую роль в обеспечении высокой производительности, масштабируемости и отказоустойчивости систем. Правильное применение паттернов кэширования позволяет значительно снизить нагрузку на базы данных, уменьшить время отклика и повысить общую пропускную способность системы. Читать: https://habr.com/ru/companies/otus/articles/945604/ #ru @database_design | Другие наши каналы