DATABASE DESIGN

Своя система бэкапов: сначала стратегия, потом скрипты Слишком многие люди преступно пренебрегают резервным копированием. Из-за заблуждений в этой области теряется слишком много данных; это связано и с ошибочными техниками наподобие «бэкапов Шрёдингера» (то есть никогда не тестируемых, а значит, валидных и невалидных одновременно), и с концептуальными заблуждениями о том, что такое бэкапы и как они работают (RAID — это не бэкап!). Сегодня о резервном копировании зачастую думают по остаточному принципу. Многие полностью полагаются на «облако», не задаваясь даже вопросами о том, каким образом защищаются их данные. Большинство упускает из виду, что даже крупные поставщики облачных услуг работают по модели коллективной ответственности. В условиях пользования они часто подчёркивают, что, несмотря на обеспечение ими безопасности инфраструктуры, в конечном итоге ответственность за защиту и резервное копирование данных лежит на пользователях. Когда хранишь всё «в облаке», в кластерах, которыми владеют другие компании, или в распределённых системах Kubernetes, бэкапы часто кажутся ненужными. Иногда я спрашиваю коллег или разработчиков о том, как они реализуют резервное копирование, и они смотрят на меня так, как будто я говорю на каком-то древнем забытом языке. Они попросту никогда об этом не задумывались. Но данные не эфемерны, их необходимо защищать любыми возможными способами. Я всегда исповедовал такую философию: данные обязаны быть восстанавливаемыми (и как можно быстрее), целостными и храниться в открытом формате (чтобы для их восстановления или анализа не приходилось покупать что-то). Эти пункты могут показаться очевидными, но на деле это не всегда так. Читать: https://habr.com/ru/companies/ruvds/articles/929830/ #ru @database_design | Другие наши каналы

Что такое магистратура для инженеров данных и почему сейчас — лучшее время поступать Спрос на инженеров данных растет, и магистратура — лучший способ освоить профессию. Читайте, как программы Нетологии и НИУ ВШЭ готовят специалистов для работы с данными и что нужно для поступления в 2025 году. Читать: «Что такое магистратура для инженеров данных и почему сейчас — лучшее время поступать» #ru @database_design | Другие наши каналы

Что такое магистратура для инженеров данных и почему сейчас — лучшее время поступать Спрос на инженеров данных растет, и магистратура — лучший способ освоить профессию. Читайте, как программы Нетологии и НИУ ВШЭ готовят специалистов для работы с данными и что нужно для поступления в 2025 году. Читать: «Что такое магистратура для инженеров данных и почему сейчас — лучшее время поступать» #ru @database_design | Другие наши каналы

Как BiHA уведомляет о событиях в кластере В прошлом году мы сделали встроенную поддержку отказоустойчивости в Postgres Pro Enterprise — BiHA. Наше решение позволяет разворачивать отказоустойчивый кластер Postgres, в котором в случае сбоя пишущего узла новый пишущий узел (лидер) будет выбран автоматически. В новой версии BiHA появилась возможность зарегистрировать пользовательские функции, которые будут вызваны при возникновении таких событий в кластере, как смена лидера, добавление/удаление ноды и других. Этот механизм мы назвали пользовательские колбэки. Разработчик программного обеспечения Postgres Professional Наталия Кокунина расскажет, как реализованы колбэки, и обсудит особенности их использования. Читать: https://habr.com/ru/companies/postgrespro/articles/927040/ #ru @database_design | Другие наши каналы

S3 изнутри: как работать с объектным хранилищем и не сойти с ума Привет! Меня зовут Евгения Тарашкевич. Я инженер из группы эксплуатации К2 Cloud, и моя специализация — системы хранения данных. Сегодня хочу поделиться с вами опытом и знаниями о работе с объектным хранилищем S3. Эта статья будет полезна инженерам, которые только начинают работать с ним, и тем, кто уже использует его в продакшене, но хочет структурировать знания и разобраться в типовых проблемах. Читать: https://habr.com/ru/companies/k2tech/articles/929906/ #ru @database_design | Другие наши каналы

Qdrant c n8n. Автоматизируем ИИ RAG-приложение Недавно мы выпустили статью “Всё про Qdrant. Обзор векторной базы данных”, в которой подробно познакомились с данным сервисом. Сегодня мы рассмотрим векторную БД с практической стороны. В статье будет описана инструкция по разработке no-code RAG-приложения на основе n8n с использованием Qdrant и OpenAI. Читать: https://habr.com/ru/companies/amvera/articles/930250/ #ru @database_design | Другие наши каналы

15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик Визуализация данных — это не просто способ представить информацию, а настоящий инструмент для открытия новых инсайтов и улучшения принятия решений. В этой статье мы собрали 15 библиотек для визуализации данных, которые стали стандартом в своих областях. Здесь вы найдете как решения для быстрых графиков, так и мощные фреймворки, подходящие для сложных и масштабных задач. Каждая библиотека имеет свои особенности, и в статье мы подробно рассмотрим, какие из них лучше всего подойдут для вашего следующего проекта. Если вы хотите поднять свои визуализации на новый уровень — читайте, разберемся, какие инструменты действительно заслуживают внимания. Читать: https://habr.com/ru/companies/otus/articles/929938/ #ru @database_design | Другие наши каналы

Как технологии меняют ритейл: важность единой платформы для консультантов в магазине В статье рассказывается, как объединение данных и реальное время помогают консультантам быстрее обслуживать клиентов, обеспечивая качественный сервис и повышая продажи в условиях омниканального ритейла. Как MongoDB Atlas меняет ритейл Пост: MongoDB Atlas создаёт надёжную и гибкую базу данных для единой торговли, обеспечивая быструю разработку, масштабируемость и безопасность. Это помогает улучшить клиентский опыт и поддерживает IT-команды экспертной поддержкой и активным сообществом разработчиков. Читать подробнее #en @database_design | Другие наши каналы

Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени Семь советов для ускорения работы в терминале Linux. Как быстро обработать файлы, отладить Bash-скрипт и редактировать длинные пути в Линукс. Читать: «Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени» #ru @database_design | Другие наши каналы

Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени Семь советов для ускорения работы в терминале Linux. Как быстро обработать файлы, отладить Bash-скрипт и редактировать длинные пути в Линукс. Читать: «Что еще есть в терминале Linux: 7 команд, которые экономят кучу времени» #ru @database_design | Другие наши каналы

Интервью с ИИ: как бы LLM спроектировала ЦОД Истина рождается в споре, а инсайты приходят во время общения. Помня об этом, я решил провести интервью с искусственным интеллектом и спросил у модели о том, как бы она спроектировала ЦОД и что нам ждать в ближайшем будущем. Вопросы сформулировал я, а ответы писал ChatGPT–4о. В некоторых местах текст дополнен моими ремарками и обоснованием от чат-бота. Если интересно, приглашаю под кат, а промпт в конце текста. Узнать мнение ИИ Читать: https://habr.com/ru/companies/ruvds/articles/929094/ #ru @database_design | Другие наши каналы

pg_dphyp: учим PostgreSQL соединять таблицы по-другому Большая часть времени планировщика запросов в СУБД тратится на поиск оптимального способа соединения таблиц. В PostgreSQL используется два алгоритма: алгоритм динамического программирования, также называемый DPsize, и генетический — GEQO. В других СУБД реализовано еще множество других алгоритмов. DPhyp — алгоритм соединения на основе гиперграфов — уже используется такими СУБД как MySQL и YDB. Я задался вопросом: можно ли реализовать его в PostgreSQL? Оказывается, можно. Так и зародилось расширение pg_dphyp для PostgreSQL, реализующее альтернативный алгоритм соединения таблиц. В статье я не описываю подробно сам алгоритм, привожу только концептуальное описание его идеи, а рассказываю вот о чем: -- Какие решения пришлось принять, чтобы добавить алгоритм DPhyp в существующую кодовую базу без изменения ядра; -- Как GPLv2 помог найти эффективный алгоритм обхода соседей; -- Как проиндексировали неиндексируемое гиперрёбра; -- Планирование какого запроса смогли ускорить в 600 раз; -- Какой изъян в работе существующего планировщика был найден. Но главный сюжетный поворот — в конце... Читать: https://habr.com/ru/companies/tantor/articles/929980/ #ru @database_design | Другие наши каналы

Выбираем российский хостинг в 2025: подборка на любой запрос В этом материале — семь проверенных российских хостингов для разных задач: от стартапа до корпоративного проекта. Каждый прошел тестирование на аптайм (время бесперебойной работы), безопасность и доступность поддержки. Читать: «Выбираем российский хостинг в 2025: подборка на любой запрос» #ru @database_design | Другие наши каналы

Выбираем российский хостинг в 2025: подборка на любой запрос В этом материале — семь проверенных российских хостингов для разных задач: от стартапа до корпоративного проекта. Каждый прошел тестирование на аптайм (время бесперебойной работы), безопасность и доступность поддержки. Читать: «Выбираем российский хостинг в 2025: подборка на любой запрос» #ru @database_design | Другие наши каналы

Новый уровень интеграции ИИ с Oracle Database Статья рассказывает о Model Context Protocol, который упрощает подключение ИИ и больших языковых моделей к базе данных Oracle. Благодаря Oracle MCP Server интеграция становится быстрой и безопасной без необходимости создавать индивидуальные решения. Читать подробнее #en @database_design | Другие наши каналы

Альтернатива чатам с ИИ для анализа и оптимизации SQL запросов Всем привет! Экспериментировал с оптимизацией SQL запросов в ChatGPT и Claude. В какой-то момент понял, что это превращается в одно и то же: Напиши промт → вставь SQL → подожди → поправь → повтори Читать: https://habr.com/ru/articles/929730/ #ru @database_design | Другие наши каналы

Синхронность разумений Имеются фундаментальные вопросы о природе, подняв которые, течение времени несколько замедляется, с точки зрения наличия эталонов длин дня и ночи. Таким образом поддерживаются достаточно исходные среды, течение времени в которых более размеренно. Но что способствует поднятию вопросов, когда имеется некоторое понимание, что наше отражение в зеркале, есть простейшее доказательство того, что человек это не утопичная идея? Для понимания, можно предположить нечто, вопросом о чём может задаться совсем не глупая девчушка, в период своей чувственной юности: "Есть воздуха воображение? А чем нам усмирить его движение? Ведь есть пера предназначение!"... Живого ж появление от дураков явления, что ни на есть, знамение. По чему только какая-то навязчивая идея нас ведёт к природе, на позволяя заметить, что всё в ней живое может просто жить? Человеческий промысел человеческому промыслу рознь, с точки зрения формирования общего целеполагания. При условии, что надежда природы, может формировать запрос на человека, а грамотный Космос удовлетворять потребность при наличии достаточно общего целеполагания. Что мы немножко попутали, с детства зная, с чего начинается т.н. сотворение мира, описанное в Торе? Творец не создал воздух. По сему не лишним было бы задаться вопросом на тему о том, почему же летающие букашки бьются об стекло, в условиях наличия рядом открытого окна? Не таким ли образом они демонстрируют недостатки синхронности разумений, устремляясь туда, куда путь держать невозможно, даже находясь в некотором подобии человека? Читать: https://habr.com/ru/articles/929696/ #ru @database_design | Другие наши каналы

Интеллектуальный финансовый помощник на базе MongoDB и IBM Watsonx.ai Финансовые компании используют интеграцию MongoDB Atlas с IBM Watsonx.ai для создания умных ассистентов. Такая система обрабатывает сложные запросы, обеспечивает быстрый доступ к данным и предоставляет персонализированные финансовые рекомендации в реальном времени. Новое в интеграции MongoDB и Google BigQuery Google Datastream теперь поддерживает MongoDB как источник данных, что позволяет в реальном времени реплицировать изменения в BigQuery. Это упрощает аналитику, ускоряет принятие решений и развивает AI-проекты благодаря свежим и точным данным. Читать подробнее #en @database_design | Другие наши каналы

Google Datastream теперь поддерживает MongoDB для интеграции с BigQuery. Это упрощает потоковую передачу данных в реальном времени, улучшая аналитические возможности и ускоряя внедрение ИИ. Новая функция помогает компаниям быстрее принимать решения на основе актуальных данных. CentralReach и Base39 используют MongoDB Atlas и AI для улучшения сервисов: автоматизация ухода за пациентами с аутизмом и ускоренный кредитный анализ. Их решения повышают точность, снижая затраты и сокращая сроки обработки. Подробнее о современных AI-приложениях в бизнесе. Читать подробнее #en @database_design | Другие наши каналы

«Эра Flink 2.0»: что реально меняется в архитектуре real‑time вычислений Apache Flink 2.0 — первый мажорный релиз после 1.0 (2016), закрывающий многолетний цикл эволюции архитектуры и устраняющий накопленные болевые точки масштабирования потоковых платформ: усложняющуюся конфигурацию, ограниченность локального состояния, разрыв между batch и streaming, устаревшие API и операционную стоимость при росте AI/real‑time сценариев. В команде BitDive мы уже используем Flink 2.0 для низколатентной обработки потоковых метрик и трассировок (агрегация, выделение аномалий) — это позволило ускорить recovery и снизить стоимость вычислений по сравнению с линией 1.20.x. Читать: https://habr.com/ru/articles/929222/ #ru @database_design | Другие наши каналы