DATABASE DESIGN

Новый взгляд на обработку событий в Oracle Database 19c. TxEventQ объединяет возможности очередей сообщений и подписки с поддержкой Kafka, позволяя строить эффективные платформы для event streaming прямо в базе данных. Подробнее — в статье. Читать подробнее #en @database_design | Другие наши каналы

Oracle выпустил новую версию 25.1 Spatial Studio — веб-инструмента без кода для визуализации и анализа геопространственных данных. Приложение доступно в OCI Marketplace и для локальной установки, упрощая работу с геоданными в компании. Читать подробнее #en @database_design | Другие наши каналы

Jakarta Data. Что это означает для Java-сообщества Большинство enterprise-приложений работают с БД в том или ином виде. Чаще всего в качестве БД выступает реляционная DBMS, например, PostgreSQL или Oracle. Относительно часто для доступа к данным используют Hibernate. Ранее он предлагал только одну спецификацию — JPA (Java Persistence API), она же Jakarta. Но теперь Hibernate реализует ещё и Jakarta Data. Jakarta Data — это новая спецификация под зонтиком проекта Jakarta EE (как и JPA), которая упрощает интеграцию данных в корпоративных Java-приложениях. Обе эти спецификации разрабатывает Eclipse Foundation, и в частности Gavin King, создатель Hibernate. Большинство разработчиков привыкли работать с Hibernate именно через Spring Data JPA. Изначально, когда только обсуждали спецификацию Jakarta Data, Spring Data (не обязательно JPA) была одним из тех проектов, который, в перспективе, мог бы реализовать спецификацию Jakarta Data. Но этого не произошло, и, несмотря на то, что изначально команда Spring Data была вовлечена в процесс создания спецификации, они отказались от идеи реализовывать Jakarta Data, и та стала развиваться самостоятельно. Сегодня Jakarta Data применяют в Hibernate, Open Liberty и ряде более мелких решений. Как же так вышло? Меня зовут Михаил Поливаха, я практикующий инженер и активный коммитер Spring Data. В этой статье я расскажу об особенностях Jakarta Data, как она появилась и чем отличается от конкурентных решений. Я также расскажу, что помешало команде Spring Data реализовать Jakarta Data, и что же нас ждёт дальше. Читать: https://habr.com/ru/companies/sberbank/articles/936912/ #ru @database_design | Другие наши каналы

Postgres Pro TDE — безопасность и производительность TDE бывает разным: от шифрования на уровне TAM до полного кодирования всего кластера и меток tablespace. Мы сравниваем Percona, Cybertec/EDB, Pangolin/Fujitsu и показываем, где теряется производительность и надёжность, а где появляется гибкость. Дополнительно замдиректора департамента разработки продуктов Василий Бернштейн и старший инженер по ИБ Владимир Абрамов расскажут о том, как в Postgres Pro Enterprise реализована ротация ключей без полного переписывания таблиц и почему выбран AES‑GCM. Читать: https://habr.com/ru/companies/postgrespro/articles/937246/ #ru @database_design | Другие наши каналы

Как использовать Obsidian-плагины правильно? 3 важнейших принципа эффективной работы с плагинами Новички убивают свое хранилище плагинами. Чтобы этого не было, нужно уметь работать в Obsidian - программе, крайне коварной в своей простоте. В статье подскажу как выбирать и использовать плагины рационально, как ставить приоритеты, разберу кейсы с плохим и хорошим распределением времени и хранением данных. Полезно/Интересно Читать: https://habr.com/ru/articles/936986/ #ru @database_design | Другие наши каналы

ClickHouse не тормозит, но теряет данные. Часть 3 — материализованные представления ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных Читать: https://habr.com/ru/articles/937196/ #ru @database_design | Другие наши каналы

Взгляните на IT-мир по-новому 12 сентября. Топовые IT-компании. Закулисье разработок и доклады экспертов. Ещё не знаете, о чём речь? Сейчас расскажем! Приглашаем вас на big tech night. Событие придумали в Яндексе и организовали вместе со Сбером, X5, Т-Банком и Lamoda. Впервые компании одновременно откроют двери офисов ночью и покажут IT-специалистам, где рождаются технологии. ▶️ В московских офисах организаторов вы: • послушаете доклады топовых экспертов, • обсудите новейшие разработки, • познакомитесь с крутыми профессионалами, • и просто повеселитесь. ▶️ Если не сможете прийти офлайн, big tech night организует онлайн-студию. Зрители смогут: • посмотреть выступления спикеров от каждой компании, • послушать дебаты о технологиях, • поучаствовать в интерактивах, • получить записи докладов после мероприятия. Регистрируйтесь на сайте и присоединяйтесь к нам 12 сентября с 18:00 до 00:00! Подписывайтесь: big tech night Реклама. Рекламодатель: ООО "Яндекс" ИНН 7736207543 Это #партнёрский пост

Как мы ускорили сжатие данных: эксперименты с эвристиками Хранение 1 ГБ данных в облаке стоит от 2 до 12 рублей. Можно ждать, пока диски подешевеют, а можно сжать данные и получить «бесплатный» апгрейд хранилища. Но если вы храните данные в облаке, сжимать все подряд — как пытаться загрузить стиральную машинку не глядя: льняные брюки могут сесть в 5 раз и освободить место, но если кинуть в барабан кирпич, меньше он не станет, зато вы получите грохот, счет за электричество, недовольных соседей и возможно — сломанную машинку. Чтобы не потратить кучу CPU с сомнительным результатом, мы у себя в команде R&D Cloud.ru решили исследовать, как сделать сжатие оптимальным, чтобы не тратить время на упаковку того, что сжатию не поддается и эффективно расходовать вычислительные ресурсы. Я Александр Аксенов, мой профиль — оптимизация хранения данных и мне есть что вам рассказать про то, как ускорить процесс сжатия до 80 раз, сэкономить CPU и сохранить качество. Звучит как кликбейт (так оно и есть 😃), но почему это технически правда и может пригодиться вы узнаете из статьи. Надеюсь, мои выводы окажутся полезными всем, кто работает с данными, в особенности инженерам СХД, DevOps, разработчикам распределенных систем и архитекторам облачных решений. Узнать больше Читать: https://habr.com/ru/companies/cloud_ru/articles/936666/ #ru @database_design | Другие наши каналы

Как новичку выбрать сетевое хранилище: 5 моделей NAS для дома Подсесть на облачные сервисы довольно просто. Сначала берешь 5 ГБ в iCloud чисто для резервных копий, потом соглашаешься на семейный тариф на 200 ГБ, и вот через год уже и сам не понимаешь, как решаешься на ежемесячную оплату терабайтного пространства. Хуже всего, что с течением времени данных, которые ты просто не можешь удалить, становится только больше. Поэтому плата за хранение собственных файлов на чужих серверах становится только выше. При этом скорость загрузки ограничена интернет-каналом, доступ к данным зависит от работы сервиса, а вопрос сохранности накопленных годами фотографий остается исключительно на усмотрение корпораций. А ведь они могут просто взять и закрыться или отказать в обслуживании, так сказать, по “географическому признаку”. Логичным решением этой проблемы становится собственное сетевое хранилище. Именно об актуальных моделях этих устройств мы поговорим сегодня. Читать: https://habr.com/ru/companies/x-com/articles/937092/ #ru @database_design | Другие наши каналы

Использование RDMA в СХД Qsan RDMA – аббревиатура, достаточно известная благодаря частым упоминаниям в технических статьях и спецификациях на оборудование. Многим, скорее всего, известно, что означает она Remote Direct Memory Access или прямой доступ к памяти на удаленном хосте. Но что скрывается за ней на самом деле? В чем суть этой технологии, особенно в контексте систем хранения данных? Давайте разберемся в этом. Тем более, что поддержка данной технологии недавно появилась в СХД Qsan. Читать: https://habr.com/ru/companies/skilline/articles/936904/ #ru @database_design | Другие наши каналы

Как настроить Kafka в DBaaS от Selectel: подробный разбор параметров конфигурации Kafka — распределенная стриминговая платформа, которая стала де-факто стандартом для обработки событий в реальном времени. Она обеспечивает надежную доставку сообщений, масштабируемость и низкую задержку. Однако чтобы кластер Kafka работал стабильно под высокой нагрузкой, мало просто «поднять брокеры» — критично правильно настроить параметры конфигурации. От них напрямую зависят пропускная способность, время отклика, устойчивость к сбоям и эффективность использования ресурсов. На связи снова Александр Гришин, руководитель по развитию продуктов хранения данных Selectel. В этой статье я разберу доступные параметры конфигурации Kafka-кластеров в облачных базах данных: от настроек репликации и ретеншена до лимитов на продюсеров и потребителей. Мы посмотрим, как каждый параметр влияет на производительность и надежность, приведем практические рекомендации для разных сценариев — от высокочастотных событий до больших архивных потоков. Материал будет полезен инженерам, которые проектируют архитектуру обмена данными, DevOps-специалистам, отвечающим за эксплуатацию, и разработчикам, которым важно предсказуемое поведение стриминга на продакшене. Погнали! Погнали! Читать: https://habr.com/ru/companies/selectel/articles/936826/ #ru @database_design | Другие наши каналы

Как настроить Kafka в DBaaS от Selectel: подробный разбор параметров конфигурации Kafka — распределенная стриминговая платформа, которая стала де-факто стандартом для обработки событий в реальном времени. Она обеспечивает надежную доставку сообщений, масштабируемость и низкую задержку. Однако чтобы кластер Kafka работал стабильно под высокой нагрузкой, мало просто «поднять брокеры» — критично правильно настроить параметры конфигурации. От них напрямую зависят пропускная способность, время отклика, устойчивость к сбоям и эффективность использования ресурсов. На связи снова Александр Гришин, руководитель по развитию продуктов хранения данных Selectel. В этой статье я разберу доступные параметры конфигурации Kafka-кластеров в облачных базах данных: от настроек репликации и ретеншена до лимитов на продюсеров и потребителей. Мы посмотрим, как каждый параметр влияет на производительность и надежность, приведем практические рекомендации для разных сценариев — от высокочастотных событий до больших архивных потоков. Материал будет полезен инженерам, которые проектируют архитектуру обмена данными, DevOps-специалистам, отвечающим за эксплуатацию, и разработчикам, которым важно предсказуемое поведение стриминга на продакшене. Погнали! Погнали! Читать: https://habr.com/ru/companies/selectel/articles/936826/ #ru @database_design | Другие наши каналы

500 заметок, 80% мусора. Как привести Obsidian в порядок за 1 час без плагинов? Что делать, если хранилище захламлено? Подскажем как быстро сортировать хранилище с большим количеством заметок, картинок и документов. Экономим время! Читать: https://habr.com/ru/articles/936946/ #ru @database_design | Другие наши каналы

Вышла новая версия DBSAT 4.0 для оценки безопасности баз данных DBSAT 4.0 предлагает расширенные проверки, поддержку актуальных стандартов STIG и ускоренный анализ. Инструмент помогает быстро выявлять уязвимости и предлагает четкие рекомендации для улучшения защиты баз данных. Читать подробнее #en @database_design | Другие наши каналы

Как Oracle Global Data Services меняет подход к управлению данными Статья рассказывает о том, как Oracle Global Data Services обеспечивает высокую доступность и эффективное распределение данных по мировым центрам, трансформируя корпоративные ИТ-инфраструктуры. Узнайте о ключевых преимуществах этой технологии. Читать подробнее #en @database_design | Другие наши каналы

Согласие на обработку персональных данных Полагаю, вам из разных утюгов уже поорали, что вы обязаны брать согласие на обработку персональных данных (ПДн). Что ж, правильно орут, ибо и правда надо, но не всегда. Что такое вообще это согласие? В общих чертах это разрешение обрабатывать (запись, сбор, хранение, использование и т.д.) личную информацию человека. Читать: https://habr.com/ru/articles/936798/ #ru @database_design | Другие наши каналы

Big Data Expert Mode: митап для опытных инженеров 43Tech совместно с Яндекс глубоко погрузятся во все технические аспекты Apache Spark и Apache Iceberg и расскажут подробнее о том, как Spark работает в YTsaurus. Ведущие дата инженеры представят практические кейсы и экспертные решения по работе с большими данными. В программе митапа: • Оптимизация SQL-запросов: как Catalyst использует статистику Iceberg и какие типы оптимизаций существуют. • Переход с партицированного Parquet: опыт внедрения Iceberg для борьбы с дублированием данных и компакцией, а также инкрементальное чтение данных в Spark Structured Streaming. • Интеграция Spark в YTsaurus: особенности работы в сравнении с Hadoop и S3 Присоединяйтесь к BigData Meetup 15 августа в Санкт-Петербурге и онлайн. Участие бесплатное, необходима регистрация. Это #партнёрский пост

Мы пилили DBaaS Привет, Хабр! Наверняка каждый разработчик или администратор сталкивался с ситуацией, когда для проверки гипотезы или нового функционала срочно нужна «чистая» база данных. Приходится либо искать свободный сервер, либо разворачивать всё локально, тратя время на установку и настройку. А если таких тестовых баз нужны десятки для команды или разных команд? У наших клиентов мы видели целый зоопарк из PostgreSQL разных версий и конфигураций, поддержка которых превращалась в головную боль. Именно эту проблему — создание «одноразовых» и легковесных баз по одному клику — мы и решили. Меня зовут Сергей Гонцов, я занимаюсь развитием СУБД, основанной на PostgreSQL, которая совсем недавно перешла «под крыло» Arenadata и называется теперь Arenadata Prosperity (ADP). В этой статье расскажу нашу историю, как мы готовили свой DBaaS-сервис. DBaaS по клику Читать: https://habr.com/ru/companies/arenadata/articles/936374/ #ru @database_design | Другие наши каналы

Новая эра распределённых баз данных для агентных ИИ Современные распределённые базы данных, как Oracle Globally Distributed Exadata, позволяют агентным ИИ работать масштабно и с учётом региональных особенностей. Это меняет проблему соблюдения суверенитета данных в стратегическое преимущество бизнеса. Читать подробнее #en @database_design | Другие наши каналы

Новый уровень поддержки MariaDB для малого и среднего бизнеса MariaDB запускает специальное предложение поддержки для компаний SMB, стремящихся снизить риски и получать профессиональную помощь по работе с популярной открытой базой данных. Узнайте, как это облегчит управление данными. Читать подробнее #en @database_design | Другие наши каналы