DATABASE DESIGN

Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse Привет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества. Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH), Data Lake и относительно новую концепцию Lakehouse. Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода. Всплыть Читать: https://habr.com/ru/companies/arenadata/articles/885722/ #ru @database_design | Другие наши каналы

Суверенный интернет не есть зло В недавнем посте разгорелась довольно жёсткая дискуссия про ограничения хранения данных, Чебурнет, Великий китайский файрвол и Кванмён. Почему-то они воспринимаются как что-то однозначно плохое. Мне тоже интуитивно кажется, что информация должна быть свободной — с одной стороны. Но с другой стороны, я понимаю, почему без таких систем просто невозможно было обойтись. Примерно как без модерации на форумах: да, с ней легко пережестить, да, она всегда кого-то обижает, но в целом она нужна. В общем, я хотел бы привести несколько рациональных доводов про плюсы и минусы таких систем, ограничивающих Интернет одной страной. В целом это вопрос ИБ, но как и в случае с любой другой ИБ, всё зависит от реализации: можно конкретно переборщить. Первая причина так делать — это банальное выживание в случае отключения глобального сегмента. Причём отключение может быть как политическим вроде истории с Ираном, так и вполне себе атакой на инфраструктуру, как было в Эстонии в 2007 году, когда даже банки приостанавливали операции на несколько дней. Тогда всем стало понятно, что Интернет (точнее, отрезание доступа к нему) можно использовать как оружие. Читать: https://habr.com/ru/companies/ruvds/articles/886228/ #ru @database_design | Другие наши каналы

Новые возможности ALTER TABLE в MariaDB 11.4 Обновление MariaDB Enterprise Server 11.4 предлагает улучшенные возможности для снижения времени простоя операций ALTER TABLE. Новая функция Online Schema Change и оптимистичный ALTER TABLE для репликации позволяют оптимизировать процесс и уменьшить задержки репликации, делая операции менее зависимыми от блокировок. Узнайте, как эти нововведения могут улучшить производительность и уменьшить простои в вашей базе данных. Читать подробнее #en @database_design | Другие наши каналы

Запросы к MongoDB под контролем: более безопасный доступ с Hasura Компании в здравоохранении и финтехе часто выбирают MongoDB для современных приложений с высокими требованиями к безопасности данных. Платформа Hasura усиливает контроль доступа, обеспечивая детализированные разрешения и упрощая взаимодействие с данными через API. Узнайте, как это работает. 🚀 Улучшение платформы для поиска работы В 2023 году сервис "동네알바" расширился, внедрив MongoDB Atlas Search для улучшения поиска работы. Это увеличило скорость поиска в 4 раза и улучшило пользовательский опыт. Платформа обеспечивает безопасный и надежный поиск работы, планируя дальнейшее внедрение AI и других технологий. Прогнозы на будущее: планы и амбиции В недавнем интервью было заявлено о значительных планах на будущее. Обсуждались амбициозные цели и стратегии, направленные на достижение нового уровня развития в ближайшие годы. Узнайте больше о предстоящих изменениях и готовности к ним. Читать подробнее #en @database_design | Другие наши каналы

Что будет интересного в pg_probackup 3 pg_probackup 3 — не просто обновление, а полная перезагрузка системы резервного копирования PostgreSQL. Пока сообщество затаило дыхание в ожидании релиза, мы разберем по косточкам все ключевые изменения: от полностью переработанной архитектуры и нового репликационного протокола до революционной возможности восстановления отдельных баз данных и поддержки FUSE. Узнайте, как LibProbackup3 – полноценный SDK – открывает новые горизонты для интеграции в любую инфраструктуру, а улучшенная поддержка лент и S3, наконец, решает наболевшие проблемы. Читать: https://habr.com/ru/companies/postgrespro/articles/884432/ #ru @database_design | Другие наши каналы

Почему QR-коды в верхнем регистре меньше, чем в нижнем? Взгляните на эти два QR-кода. Отсканируйте их, если хотите: обещаю, в них нет ничего опасного. Слева HTTPS://EDENT.TEL/ в верхнем регистре, а справа — https://edent.tel/ в нижнем. Можно чётко заметить, что слева QR-код «меньше», то есть в нём меньше битов данных. Оба ведут на один и тот же URl, единственное различие заключается в регистре. Что здесь происходит? Читать: https://habr.com/ru/articles/885990/ #ru @database_design | Другие наши каналы

NoSQL: понятие, виды баз данных и их особенности NoSQL (что значит «Не только SQL») представляет новый класс систем управления данными, отходящих от реляционного подхода к хранению информации. В противовес традиционным СУБД, таким как MySQL или PostgreSQL, где все данные размещаются в таблицах с фиксированной структурой и строгими связями, NoSQL предлагает более гибкие способы организации и хранения информации. Эта технология не отрицает SQL, а расширяет возможности работы с данными. Происхождение термина NoSQL имеет интересную историю, которая началась не с технологии, а с названия технической конференции. В 2009 году в Сан-Франциско организаторы мероприятия по базам данных выбрали это название, и оно неожиданно прижилось в индустрии. Любопытно, что за десятилетие до этого, в 1998 году, разработчик Карло Строцци уже использовал название NoSQL для своего проекта, не имевшего отношения к современным нереляционным системам. Современные NoSQL-решения представлены несколькими основными категориями систем хранения данных. К ним относятся базы данных, работающие с документами (MongoDB возглавляет это направление), хранилища пар ключ-значение (яркий пример — Redis), системы управления графами (где лидирует Neo4j) и колоночные хранилища (такие как ClickHouse). Объединяющей характеристикой этих систем является отказ от классического языка SQL в пользу собственных методов обработки данных. В отличие от реляционных СУБД, где SQL выступает стандартизированным языком для работы с данными, обеспечивая возможности выборки информации и объединения таблиц посредством операций JOIN и UNION, нереляционные системы разработали собственные уникальные языки запросов. Каждая NoSQL-база данных предлагает свой специализированный синтаксис для манипуляции данными. Рассмотрим конкретные примеры. Читать: https://habr.com/ru/companies/timeweb/articles/885354/ #ru @database_design | Другие наши каналы

Эффективные связи в мире трудоустройства Текст: Платформа "동네알바" успешно связала 200 тысяч пользователей с работодателями, используя MongoDB Atlas Search. С момента запуска количество пользователей выросло до 2 миллионов. Инновационное использование технологий позволило улучшить опыт пользователей и ускорить процесс поиска. Читать подробнее #en @database_design | Другие наши каналы

Развенчание мифов о MongoDB: действительно ли она не подходит для крупных предприятий? Многие считают MongoDB пригодной лишь для небольших приложений, но это давно устаревший миф. Сегодня MongoDB предлагает гибкость, масштабируемость и мощные инструменты управления данными, что делает её идеальным выбором для крупных бизнес-задач и современных приложений. 🔥 Нейросети выходят на новый уровень с MongoDB и Voyage AI MongoDB объявила о приобретении Voyage AI, ведущего в области создания эмбеддингов и реранжирования моделей. Это шаг к созданию мощной базы данных для ИИ-приложений, снижению вероятности "галлюцинаций" и улучшению точности поиска. Узнайте больше на нашем сайте. Читать подробнее #en @database_design | Другие наши каналы

🔍 Как ускорить поиск по векторным данным? Поиск сходства в векторных данных может быть точным, но медленным. В статье рассматриваются HNSW индексы, которые помогают ускорить процесс поиска, значительно уменьшая количество вычислений. Узнайте, как они работают и почему их стоит использовать. Читать подробнее #en @database_design | Другие наши каналы

Переход в облако: особенности миграции Oracle Узнайте, как легко и эффективно перенести ваши локальные базы данных Oracle в Oracle Cloud Infrastructure. В статье рассматриваются преимущества облачной миграции, упрощение процессов и пути обновления. Погрузитесь в подробности и начните свой путь в облако. Читать подробнее #en @database_design | Другие наши каналы

Как устроен T-RAID — RAID-массив в СХД TATLIN Привет! Меня зовут Вячеслав Пачков, я ведущий инженер по разработке ПО в департаменте СХД YADRO. В этом посте я расскажу о T-RAID — технологии защиты целостности данных, которая используется в нашей гибридной СХД TATLIN.UNIFIED, а также СХД для сверхбольших объемов данных TATLIN.ARCHIVE. Читать: https://habr.com/ru/companies/yadro/articles/885320/ #ru @database_design | Другие наши каналы

Миграция данных Cassandra с помощью Cassandra Data Migrator Однажды мы столкнули на проекте с задачей простой миграции данных между кластерами Cassandra, в которой было требование какого-то иного решения, чем простое перетягивание снапшотов и восстановление из них через sstableloader. Задача так же осложнялись тем, что на одном из проектов не было как ssh доступа к самим нодам кластеров Cassandra, так и возможности затащить и установить что-то «совсем opensource-ное» вроде Medusa. Требовалось решение, которое будет поставляться самим разработчиком Cassandra, либо вовлеченными в разработку компаниями, и которое можно будет использовать, завернув в контейнер. На удивление такое решение было найдено в виде готовой, мощной, живой и поддерживаемой разработки от DataStax, компании, C# драйвера, от которой по умолчанию и устанавливаются при развертывании Cassanda. Cassandra Data Migrator. Читать: https://habr.com/ru/companies/zyfra/articles/885554/ #ru @database_design | Другие наши каналы

Знакомство с PPEM 2 Недавно у Postgres Pro вышла новость о релизе Postgres Pro Enterprise Manager 2 (далее просто PPEM). Если коротко, то это админка для управления и мониторинга Postgres. Основная задача инструмента — помогать DBA в ежедневной работе и избавлять от рутины. Давайте в этой статье попробуем установить и запустить PPEM, посмотреть что это такое и какие возможности предоставляет система. Читать: https://habr.com/ru/companies/postgrespro/articles/885486/ #ru @database_design | Другие наши каналы

Простота работы с JSON в Autonomous Database Теперь MongoDB программы и драйверы могут обращаться к Autonomous Database, поддерживая JSON и транзакционные нагрузки. Это открывает доступ к функциям SQL, включая сложные запросы, объединяющие JSON и реляционные данные. Читать подробнее #en @database_design | Другие наши каналы

🔗 Новые коннекторы для MariaDB MariaDB обновила коннекторы: ODBC 3.2.5, ODBC 3.1.21 и Python 1.1.12. Новая версия ODBC 3.2.5 позволяет управлять протоколами SQLExecDirect и SQLPrepare, а Python 1.1.12 добавила поддержку векторов. Узнайте больше и скачайте обновления на официальном сайте. Читать подробнее #en @database_design | Другие наши каналы

Искусственный интеллект и база данных: новое поколение Искусственный интеллект меняет правила игры, но его успех зависит от точного поиска данных. MongoDB приобретает Voyage AI для интеграции передовых моделей, улучшая качество и точность поиска в базе данных. Это упрощает создание и масштабирование ИИ-приложений без ненужных сложностей. Читать подробнее #en @database_design | Другие наши каналы

Рефакторинг запросов: как ускорить работу API без переписывания всего кода Рефакторинг запросов. Показываем, как ускорить работу API без переписывания всего кода. Рассматриваем пошаговую инструкцию и основные нюансы ✔ Tproger Читать: «Рефакторинг запросов: как ускорить работу API без переписывания всего кода» #ru @database_design | Другие наши каналы

Топовые паттерны для разработки архитектуры ПО Паттерны проектирования архитектуры ПО. Показываем виды паттернов и их особенности. Рассматриваем пошаговую инструкцию и основные нюансы ✔ Tproger Читать: «Топовые паттерны для разработки архитектуры ПО» #ru @database_design | Другие наши каналы