DATABASE DESIGN

Раскрыта причина падения GitHub накануне ночью 14 августа GitHub столкнулся с сбоем, который затронул ключевые функции, такие как Actions, Pages и Pull Requests. Причиной стали изменения в инфраструктуре базы данных. Команда GitHub быстро откатила изменения, восстановив работу сервиса к 4:30 по московскому времени. Читать: «Раскрыта причина падения GitHub накануне ночью» #ru @database_design | Другие наши каналы

Новые версии MariaDB Community Server 11.5 и 11.6 Вышел стабильный релиз MariaDB Community Server 11.5, а также кандидат в релизы версии 11.6. Новая версия 11.5 включает опцию ограничения дискового пространства для временных файлов и таблиц. Подробности по ссылке. Источник: [Announcing MariaDB Server 11.5 GA and 11.6 RC](https://mariadb.com/resources/blog/announcing-mariadb-server-11-5-ga-and-11-6-rc/) Читать подробнее #en @database_design | Другие наши каналы

Демистифицируем парсинг PDF: конвейерная обработка Преобразование неструктурированных документов, таких как PDF-файлы и отсканированные изображения, в структурированные или полуструктурированные форматы является важной составляющей искусственного интеллекта. Однако из-за замысловатой природы PDF-файлов и сложности задач, связанных с парсингом PDF, этот процесс не кажется на первый взгляд таким уж очевидным. Этот цикл статей посвящен демистификации парсинга PDF. В предыдущей статье мы описали основную задачу парсинга PDF, классифицировали существующие методы и дали краткое описание каждого из них. В этой статье мы сосредоточимся на конвейерном подходе. Мы начнем с обзора самого метода, затем продемонстрируем несколько стратегий по его реализации на примере готовых фреймворков, специализирующихся на этой задаче и, наконец, проанализируем полученные результаты. Читать: https://habr.com/ru/companies/otus/articles/835930/ #ru @database_design | Другие наши каналы

Переезжаем с Oracle на Platform V Pangolin в промышленной эксплуатации Привет, Хабр! Меня зовут Семен Попов, я отвечаю за разработку хранилища клиентских данных в Сбере. Расскажу, как мы в эксплуатации перешли с одной базы данных на другую — а именно, с Oracle на Platform V Pangolin, разработку СберТеха на основе PostgreSQL, доработанного в области безопасности, надёжности и производительности. Читать: https://habr.com/ru/companies/sberbank/articles/836084/ #ru @database_design | Другие наши каналы

Переезжаем с Oracle на Platform V Pangolin в промышленной эксплуатации Привет, Хабр! Меня зовут Семен Попов, я отвечаю за разработку хранилища клиентских данных в Сбере. Расскажу, как мы в эксплуатации перешли с одной базы данных на другую — а именно, с Oracle на Platform V Pangolin, разработку СберТеха на основе PostgreSQL, доработанного в области безопасности, надёжности и производительности. Читать: https://habr.com/ru/companies/sberbank/articles/832220/ #ru @database_design | Другие наши каналы

PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ PGlite — компактная JavaScript-библиотека на базе WebAssembly, позволяющая запускать полноценный сервер PostgreSQL прямо в браузере. Весит всего 3 МБ, поддерживает расширения, такие как pgvector, и упрощает разработку и тестирование приложений. Читать: «PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ» #ru @database_design | Другие наши каналы

PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ PGlite — компактная JavaScript-библиотека на базе WebAssembly, позволяющая запускать полноценный сервер PostgreSQL прямо в браузере. Весит всего 3 МБ, поддерживает расширения, такие как pgvector, и упрощает разработку и тестирование приложений. Читать: «PostgreSQL-сервер упаковали в JavaScript-библиотеку размером 3 МБ» #ru @database_design | Другие наши каналы

Облачные кластеры для Atlas Search теперь доступны в нескольких регионах Теперь пользователи могут воспользоваться мульти-региональной доступностью для Search Nodes на всех крупных облачных платформах: AWS, Google Cloud и Microsoft Azure. Это позволяет лучше оптимизировать ресурсы и обеспечивает повышенную надежность и отказоустойчивость в случае сбоев. 💡 Курс по разработке AI-приложений с MongoDB Изучите создание эффективных RAG приложений с использованием MongoDB и поиска вектора. Узнайте о моделировании данных, сжатии подсказок и многом другом. Повышайте свои навыки в области AI и оптимизации затрат. Запишитесь сейчас и улучшите свой набор разработчика! Читать подробнее #en @database_design | Другие наши каналы

Три фичи PostgreSQL, которые будут полезны каждому новичку Думаю, вы знаете, что поиск эффективных решений – это половина успеха. Я сам прошел через все эти тернии, когда работа с данными казалась слишком сложной и запутанной. И именно тогда я открыл для себя потрясающие возможности PostgreSQL, которые значительно мою жизнь. Сегодня я хочу поговорить о трех фичах PostgreSQL, которые помогут сделать работу более продуктивной и вдохновить на создание более сложных и интересных проектов. Эти фичи уже не раз выручали меня в сложных проектах, и я уверен, что они станут надежными помощниками и в вашей разработке. Читать: https://habr.com/ru/companies/otus/articles/834314/ #ru @database_design | Другие наши каналы

Обратный поиск по федеративному графу Netflix В Netflix было сделано много нового со времён выхода предыдущих материалов, посвящённых роли тех, кто отвечает за направление Content Engineering, в реализации поиска по нашему федеративному графу (federated graph). А именно, в первой статье мы идентифицировали проблему и рассказали об использовании инфраструктуры индексирования данных, а во второй мы углубились в вопрос о том, как мы пользуемся очередями. Мы дали доступ к Studio Search для всех инженеров компании, а не только для тех, кто занимается направлением Content Engineering, и переименовали этот проект в Graph Search. С Graph Search интегрировано более 100 приложений. В рамках этой системы поддерживается примерно 50 индексов. Мы продолжаем расширять её функционал. Как было обещано в предыдущем материале, здесь мы расскажем о том, как мы, объединив усилия с одной из команд, отвечающих за Studio Engineering, создавали обратный поиск (reverse search). Обратный поиск переворачивает с ног на голову стандартный подход к выполнению запросов: вместо того, чтобы искать документы, которые соответствуют запросу, он направлен на поиск запросов, соответствующих документу. Читать: https://habr.com/ru/companies/wunderfund/articles/832284/ #ru @database_design | Другие наши каналы

Укрощение ClickHouse: почему ДанКо делает Visiology намного быстрее Привет, Хабр! Сегодня мы поговорим о том, почему BI-платформам нужен движок, какие сложности создает ClickHouse для аналитиков, когда речь действительно заходит о больших данных, зачем нужно оптимизировать SQL и о многих других вещах, которые часто остаются «за горизонтом» в дискуссиях о BI и хранении данных. Говоря другими словами, я хочу рассказать о том, как мы разрабатывали ДанКо — новый движок, который лежит сегодня в основе Visiology 3, а главное — каким образом ДанКо позволяет достичь высокой производительности в аналитических задачах (в некоторых случаях показывая ускорение вплоть до х100)! Эта статья будет полезна тем, кто еще не сталкивался с задачей организации хранения аналитических данных компании, а также интересна тем, кто как раз, наоборот, уже делал это. Читать: https://habr.com/ru/companies/visiology/articles/835694/ #ru @database_design | Другие наши каналы

Тестирование NAND и eMMC Когда я плотно занимался аппаратным тестированием, в рамках разработки embedded-устройств, часто бывало так, что инженеры-разработчики и я оказывались в условиях жесткого ограничения в выборе возможных компонентов NAND или eMMC. И в этой связи очень часто возникала необходимость дополнительных проверок каждого из компонентов на долговечность и качество работы. Очень часто приходилось проверять чипы-кандидаты на общий ресурс записи/чтения, скорости операций и т. п. И мне пришла идея, почему бы не поделиться своим опытом с другими специалистами, перед которыми стоят аналогичные задачи. Я хотел бы рассказать в данной статье, что такое Flash-память, почему они выходят из строя и как я организовал тестирование, как через тестирование минимизировать риски при выборе устройства хранения для разрабатываемого устройства. Всем, кому интересна данная тема — приглашаю под кат. Читать: https://habr.com/ru/companies/timeweb/articles/835154/ #ru @database_design | Другие наши каналы

MariaDB на IBM Power10: Новая ступень производительности MariaDB plc и IBM представили MariaDB Enterprise Server на архитектуре IBM Power. Это решение обеспечивает надежность, стабильность и высокую производительность, идеально подходя для ИИ и гибридных облаков. Тесты показали улучшение производительности до 4.22 раз по сравнению с системами на базе Intel x86. Читать подробнее #en @database_design | Другие наши каналы

Как настроить веб-приложение под высокие нагрузки Привет, меня зовут Александр Ададуров. Я — руководитель проектов ФГБУ «Центр информационно-технического обеспечения». В этой статье я опишу опыт настройки сайта с образовательным контентом под нагрузку в пиках до 15 000 запросов в секунду или до нескольких миллионов пользователей в день. Образовательный контент сайта представлял собой иллюстрированные HTML-страницы, видеоуроки и различные интерактивные задания, преимущественно на JavaScript, которые проверяли правильность выполнения заданий запросами к бэкенду. Сайт жил спокойной жизнью и вяло развивался до введения локдаунов в связи с распространением COVID-19. Первые месяцы карантина существенно изменили код приложения, его архитектуру и даже серверную инфраструктуру, на которой оно располагалось. Читать: https://habr.com/ru/companies/beeline_cloud/articles/835498/ #ru @database_design | Другие наши каналы

Как избежать проблем с производительностью S3 в своём приложении За время работы с объектными хранилищами я встречал немало «подводных рифов» на пути к быстрому и эффективному хранению. В этой статье я покажу, где чаще всего проседает производительность при работе с S3-совместимым хранилищем, — на примерах из реальных кейсов технической поддержки. Читать: https://habr.com/ru/companies/yandex_cloud_and_infra/articles/831204/ #ru @database_design | Другие наши каналы

Визуализация идей: Новый подход к управлению проектами в 3D Мы рады представить инновационное решение для управления проектами, вдохновленное нейронными сетями и современными концепциями 3D визуализации. Наш новый облачный узел позволяет пользователям взаимодействовать с проектами как с динамичной экосистемой, отображая их в виде 3D карт, что делает процесс управления идеями более интуитивным и привлекательным. / In to the future Читать: https://habr.com/ru/articles/835346/ #ru @database_design | Другие наши каналы

По поводу очередного диспута на тему — «где хранить бизнес-логику — в СУБД или backend?» Вот интересно , а проводились ли сравнительные испытания производительности информационной системы - до и после переноса бизнес логики с уровня СУБД на уровень backend ? Теоретически наверное можно сделать синтетические тесты . Очень было бы интересно, сравнить производительность. Разница однозначно должна быть . Читать: https://habr.com/ru/articles/835160/ #ru @database_design | Другие наши каналы

Репликация: создание кластера, подключение, изменения настроек таблицы в кластере Привет, я Майк. Недавно я начал работать в компании Manticore на должности Developer Advocate. Я не совсем далёк от ИТ, но сейчас активно осваиваю современные технологии. В этом блоге я буду делиться своим опытом и тем, что узнаю о Manticore. Я планирую вести дневник, где буду рассказывать, что такое Manticore и как с ним работать. Давайте вместе разбираться, как все устроено, выявлять проблемы и взаимодействовать с разработчиками. Если вам интересно изучать Manticore вместе со мной, я буду держать вас в курсе в: Читать: https://habr.com/ru/articles/834980/ #ru @database_design | Другие наши каналы

Новые версии MariaDB Community Server уже доступны! Вышли обновления MariaDB Community Server для версий 11.4.3, 11.2.5, 11.1.6, 10.11.9, 10.6.19 и 10.5.26. Подробности об изменениях можно найти в релиз-заметках и логах на сайте MariaDB. Скачивайте обновления по ссылке: mariadb.com/downloads. Читать подробнее #en @database_design | Другие наши каналы

Комплексная защита данных от Oracle Oracle предлагает стратегию глубокой защиты с интегрированными компонентами безопасности, которые обеспечивают непрерывную защиту данных повсюду. Забудьте о разрозненных технологиях — решайте проблемы безопасности комплексно с помощью лучших решений от Oracle. Читать подробнее #en @database_design | Другие наши каналы