DATABASE DESIGN

LG유플러스 реформирует платформу с MongoDB Atlas LG유플러스 использует MongoDB Atlas для модернизации платформы разработчиков в облачной среде. Это позволяет упростить процессы и усилить безопасность инфраструктуры. Новая система обрабатывает большие объёмы данных без потери производительности и подходит для работы с неструктурированными данными. Ускорение работы с MongoDB: опыт LG Uplus LG Uplus значительно сократила время выполнения сложных запросов благодаря MongoDB. Используя возможности агрегации, компании удалось уменьшить время обработки запросов на 99%. MongoDB Atlas также упрощает быструю настройку инфраструктуры и оптимизацию затрат. MongoDB Atlas и PowerSync: Новая эра офлайн-приложений Ваша команда выполняет задачи даже без интернета благодаря интеграции MongoDB Atlas и PowerSync. Это решение обеспечивает постоянную синхронизацию данных и надежную работу приложений в офлайн-режиме. Для бизнеса это значит стабильность и безопасность без риска потери данных. Читать подробнее #en @database_design | Другие наши каналы

LG U+ модернизирует платформу разработки с MongoDB Atlas В эпоху 5G и ИИ, LG U+ обновляет процессы, внедряя MongoDB Atlas вместо устаревших реляционных баз данных. Это решение не только повышает безопасность и масштабируемость, но и существенно ускоряет обработку данных, сокращая время выполнения запросов на 99%. Безупречная работа приложений даже без интернета Текст: Узнайте, как интеграция MongoDB Atlas и PowerSync решает проблему сбоев сети, обеспечивая бесперебойную работу POS-приложений. Поддерживайте ваши операции на высоте в любых условиях и укрепите позиции вашей компании. Хотите узнать больше? Посетите руководство PowerSync! Читать подробнее #en @database_design | Другие наши каналы

🚗 Инновации в поиске: Как Socar использует MongoDB Atlas Socar, лидер каршеринга в Корее, внедрил MongoDB Atlas Search для улучшения пользовательского опыта с помощью быстрого и эффективного поиска. Это позволило интегрировать данные из различных источников, обеспечивая точные и актуальные результаты поиска. Узнайте больше об этом технологическом прорыве! 🚀 MongoDB и разработки Cocar: ускоряем инновации! Компания Cocar недавно внедрила MongoDB Atlas Search, что позволило не только улучшить поиск, но и повысить производительность. Поисковые операции стали в разы быстрее, а новые функции, такие как геопоиск, делают приложение более мощным и гибким в использовании. PowerSync и MongoDB Atlas: Решение для стабильной работы без сбоев Текст: PowerSync в тандеме с MongoDB Atlas предлагает гибкие решения для бизнеса, позволяя работать автономно даже при отсутствии связи. Независимо от сектора – будь то энергетика, производство или розница – эти инструменты обеспечивают беспрерывное функционирование и актуальность данных. Узнайте больше о преимуществах этой технологии уже сегодня! Читать подробнее #en @database_design | Другие наши каналы

🌍 Янолья выбирает MongoDB для мультиоблака! Янолья, ведущая корейская тревел-тех компания, обновляет свою базу данных, перейдя на MongoDB Atlas. Это позволяет улучшить управление данными в мультиоблачной среде и предоставлять более надежные и клиент-ориентированные услуги. Компания стремится стать глобальным лидером в сфере данных. Новый уровень надежности с MongoDB и Kubernetes Поддержка MongoDB на нескольких Kubernetes-кластерах улучшает отказоустойчивость и масштабируемость приложений. Репликация данных обеспечивает высокую доступность, а шардирование сокращает задержки и повышает производительность. Узнайте, как эффективно управлять MongoDB в облаке! Читать подробнее #en @database_design | Другие наши каналы

PostgreSQL Antipatterns: «вращаем» JSON Принимать сложные параметры запроса в виде JSON - полезно, хранить его в базе - удобно, но работа с ним в рамках SQL-запроса зачастую вызывает затруднения. Сегодня столкнулся с очередным нетипичным вариантом использования - "перекладыванием" значений из JSON-строк в столбцы. Давайте сделаем это попроще. Читать: https://habr.com/ru/companies/tensor/articles/850522/ #ru @database_design | Другие наши каналы

Новая эра офлайн-приложений с MongoDB Atlas и PowerSync Ваша команда продолжает работать даже без интернета благодаря интеграции MongoDB Atlas и PowerSync. Приложения остаются функциональными, а данные синхронизируются, как только восстанавливается подключение. Это решение идеально для всех отраслей, от энергетики до ритейла. 🚀 Новые возможности MongoDB в Kubernetes MongoDB расширяет поддержку развертывания в нескольких Kubernetes-кластерах! Теперь в открытом доступе превью шардированных кластеров. Это обещает улучшенную масштабируемость и снижение задержек благодаря близости шардов к пользователям. GA ожидается в ноябре 2024. Читать подробнее #en @database_design | Другие наши каналы

Умное хранение или как мы снизили рост БД Oracle в полтора раза Сегодня предлагаем обсудить сжатие данных в Oracle. Ситуация: один наш крупный клиент в сфере телекома стремится нарастить абонентскую базу, поощряет потребление услуг и рост трафика. Это позволяет развиваться компании в целом и каждой её системе в отдельности, включая нашу систему взаиморасчётов с партнёрами — Partner Relationships Managment. Проблема: регулярный прирост информации в БД на 0.6 TБ в месяц превращается в 7.2 TБ в год. При этом востребованной для изменений является информация только за последние два-три месяца. Остальные данные накапливаются и хранятся для отчётности. При таком подходе база разрастается очень быстро, а каждый SSD системы хранения данных становится на вес золота. К тому же необходимо поддерживать согласованность резервной и тестовой БД. Есть два выхода: закидывать в базы, как «в топку», бесконечное количество дисков, либо оптимизировать хранение информации. Мы выбрали второе. В этой статье главный инженер-программист по бизнес-системам Кирилл Солдатов расскажет, что конкретно сделали в Nexign. Информация будет полезна всем, кто как и мы сталкивается с необходимостью управления большими массивами в БД Oracle. Читать: https://habr.com/ru/companies/nexign/articles/850490/ #ru @database_design | Другие наши каналы

Почему важно оптимизировать формат данных Если вам нужно повысить скорость вашей программы, то первым делом логично будет вспомнить курс по структурам данных и оптимизировать алгоритмическую сложность. Алгоритмы — важнейшая часть программы: замена «горячего» алгоритма O(n) менее сложным, например, O(log n), обеспечивает практически произвольное увеличение производительности. Однако существенно влияет на производительность и структурированность данных: программы выполняются на физических машинах с физическими свойствами, например, разными задержками чтения/записи данных в кэши, на диски или в ОЗУ. После оптимизации алгоритмов стоит изучить эти свойства, чтобы достичь наибольшей производительности. Оптимизированный формат данных учитывает используемые алгоритмы и паттерны доступа при выборе того, как сохранять структуру данных на физическом носителе. Благодаря этому можно увеличить скорость алгоритмов в несколько раз. В этом посте мы покажем пример, в котором нам удалось достичь четырёхкратного повышения скорости чтения простым изменением формата данных в соответствии с паттерном доступа. Сравнение хранилищ данных AoS и SoA Современное оборудование, и в частности CPU, спроектировано так, чтобы обрабатывать данные определённым образом. Расположение данных в памяти влияет на то, насколько эффективно программа сможет использовать кэш CPU, как часто она сталкивается с промахами кэша и насколько оптимально она сможет задействовать векторные команды (SIMD). Даже при использовании оптимальных алгоритмов выбор неподходящего формата данных может приводить к частым перезагрузкам кэша, простаивающим конвейерам и чрезвычайно большому объёму передач содержимого памяти; всё это снижает производительность. Читать: https://habr.com/ru/companies/ruvds/articles/850474/ #ru @database_design | Другие наши каналы

Почему важно оптимизировать формат данных Если вам нужно повысить скорость вашей программы, то первым делом логично будет вспомнить курс по структурам данных и оптимизировать алгоритмическую сложность. Алгоритмы — важнейшая часть программы: замена «горячего» алгоритма O(n) менее сложным, например, O(log n), обеспечивает практически произвольное увеличение производительности. Однако существенно влияет на производительность и структурированность данных: программы выполняются на физических машинах с физическими свойствами, например, разными задержками чтения/записи данных в кэши, на диски или в ОЗУ. После оптимизации алгоритмов стоит изучить эти свойства, чтобы достичь наибольшей производительности. Оптимизированный формат данных учитывает используемые алгоритмы и паттерны доступа при выборе того, как сохранять структуру данных на физическом носителе. Благодаря этому можно увеличить скорость алгоритмов в несколько раз. В этом посте мы покажем пример, в котором нам удалось достичь четырёхкратного повышения скорости чтения простым изменением формата данных в соответствии с паттерном доступа. Сравнение хранилищ данных AoS и SoA Современное оборудование, и в частности CPU, спроектировано так, чтобы обрабатывать данные определённым образом. Расположение данных в памяти влияет на то, насколько эффективно программа сможет использовать кэш CPU, как часто она сталкивается с промахами кэша и насколько оптимально она сможет задействовать векторные команды (SIMD). Даже при использовании оптимальных алгоритмов выбор неподходящего формата данных может приводить к частым перезагрузкам кэша, простаивающим конвейерам и чрезвычайно большому объёму передач содержимого памяти; всё это снижает производительность. Читать: https://habr.com/ru/companies/ruvds/articles/850474/ #ru @database_design | Другие наши каналы

Postgres, как настроить запросы между разными БД Всем привет. На днях пришлось вспомнить магию Postgres, задача была решена, по результатам написал инструкцию в корпоративную базу знаний, что бы в следующий раз не тратить время на "воспоминания". Решил поделиться. Ниже речь будет идти о чтении данных одной БД из другой БД. В частности я решал такую проблему: В нашей Системе данные о пользователях записаны в одной БД, а данные об их торгах в другой, без дополнительных настроек Postgres не позволяет использовать в одном запросе данные из разных БД. То есть запрос вида: select a.id from auth.public.user a join trade.public.tenders t on a.id = t.user_id; Вызовет ошибку "[0A000] ERROR: cross-database references are not implemented". Что делать ? Читать: https://habr.com/ru/articles/850236/ #ru @database_design | Другие наши каналы

Приключение пакетишки Каждый вечер, когда солнце прячется за верхушки сосен, на небе зажигаются звезды, а где-то в лесу неподалеку начинает ухать сова, которую мы уже два месяца не можем поймать, чтобы сварить из нее суп, - так вот: каждый раз, когда на нашу свалку опускается темнота, вся детвора собирается вокруг ржавого чайника в пустой нефтяной цистерне на западной окраине, чтобы попить кипятка, съесть по кусочку сахара и послушать сказку на ночь. Проследовать за кроликами Читать: https://habr.com/ru/articles/850320/ #ru @database_design | Другие наши каналы

Всё своё ношу с собой. Мои простые правила организации личной базы знаний Помните те времена, когда Интернет был маленьким, модемы — медленными, а провайдеры — жадными? Мы сохраняли всё полезное у себя на винчестерах, героически пытаясь вместить всё нужное в скромный объём дискового пространства. Раньше это был единственный способ обеспечить себе быстрый и эффективный доступ к информации. А потом высокоскоростной Интернет нас избаловал — мы перестали скачивать файлы и формировать свои собственные локальные библиотеки знаний и контента. Книги, музыка, фильмы, дистрибутивы, документация, исходники — всё теперь лежит на сайтах и в облаках. Зачем что-то скачивать, если всё это моментально доступно по одному клику? Но, похоже, настало время вернуться к истокам. Всё чаще оказывается, что нужный контент становится недоступным или меняется до неузнаваемости... Читать: https://habr.com/ru/articles/847816/ #ru @database_design | Другие наши каналы

Интеграция моделей ИИ в Oracle Database Oracle Database и Autonomous Database предлагают удобное развертывание ваших моделей машинного обучения. Благодаря интеграции с SQL и REST API, корпоративные приложения могут эффективно использовать эти модели, упрощая процесс их внедрения. Читать подробнее #en @database_design | Другие наши каналы

Хотите разобраться в разнообразии Spark API и узнать, когда и какие использовать? Море полезной инфы про API на открытом вебинаре 22 октября в 20:00 мск, где эксперт разберет: — обзор возможностей Spark; — различия и применение RDD, DataFrame, Dataset, Spark SQL и Pandas API; — как эффективно использовать каждый API в своих проектах. Урок для инженеров данных, разработчиков больших данных и Data Scientist'ов. Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах. Встречаемся в преддверии старта курса «Spark Developer». Все участники вебинара получат специальную цену на обучение!   Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8K7jSj

Проблема преобразований муниципалитетов для аналитиков: как мы упорядочили хаос Анализ данных на уровне муниципалитетов осложняется преобразованиями структуры территориальных единиц: меняются не только границы, но и типы муниципалитетов, названия, код ОКТМО. Это нужно учитывать в ходе исследований и при использовании информации, например, при работе с Базой данных показателей муниципальных образований Росстата. Открытых машиночитаемых данных о таких преобразованиях нет. Меня зовут Артём Кушлевич, я геоаналитик из команды СберИндекса. В этой статье расскажу, о каких нюансах муниципальных данных нужно знать аналитикам, как мы сделали пространственный слой муниципалитетов с историей версий и разработали справочник преобразований, который можно использовать для построения непрерывных временных рядов. Эта информация может помочь: — геоаналитикам, заинтересованным в данных о границах муниципальных образований; — исследователям, которые работают с муниципальными данными (в первую очередь с Базой данных показателей муниципальных образований Росстата (БДПМО)); — при проектировании БДПМО 2.0. Читать: https://habr.com/ru/companies/sberbank/articles/849682/ #ru @database_design | Другие наши каналы

🎉 Новое обновление MongoDB: поддержка Multi-Kubernetes кластеров! MongoDB анонсировала публичную превью-версию функции, позволяющей развертывать шардированные кластеры через несколько Kubernetes кластеров. Это улучшает доступность, географическую гибкость и снижает задержки для MongoDB-нагрузок, делая управление более удобным и устойчивым. Новый стандарт управления AI: Партнерство Portkey AI и Reka с MongoDB Portkey AI и Reka объявили о сотрудничестве с MongoDB, чтобы повысить эффективность внедрения и управления AI-приложениями. Компании намерены облегчить работу с мультимодальными данными и сократить время выхода на рынок, предоставляя клиентам реальную ценность. Читать подробнее #en @database_design | Другие наши каналы

QA спецы тут? Сделали для вас непростой квиз Проверьте, соответствуют ли ваши навыки в тестировании уровню middle: https://tprg.ru/Uqmf Это #партнёрский пост

Как я делал систему сбора данных на провинциальном заводе и что из этого вышло Привет, Хабр! Меня зовут Валерий, и я проработал инженером на заводе шесть лет. Звучит как начало занятий по групповой психотерапии для выгоревших сотрудников, но о моём выгорании и причинах этого я расскажу как-нибудь в другой раз. В данной статье хочу поделиться историей о том, как я воплощал свой Pet-проект в рамках промышленного предприятия и что из этого вышло. Впереди много картинок, так что добро пожаловать под кат! Читать: https://habr.com/ru/companies/timeweb/articles/844552/ #ru @database_design | Другие наши каналы