DATABASE DESIGN

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя решать довольно сложные и нестандартные проблемы, что очень увлекательно само по себе, а удачные решения приносят огромное удовлетворение. В статье я попытаюсь погрузить читателя в проблемы, с которыми нам, инженерам YADRO, приходится сталкиваться при отладке программного обеспечения СХД. Также покажу особенности работы с такими системами. Расскажу, какие инструменты, а иногда и решения, которые мы пишем сами, приходится для этого применять. А еще постараюсь сформулировать условия, которые необходимы для нахождения причин возникновения ошибок обработки данных в системе. Текст про особенности поиска багов был бы пустым без конкретных примеров, поэтому под катом вас ждет разбор случая, который как-то произошел в нашей лаборатории при тестировании производительности СХД. Читать: https://habr.com/ru/companies/yadro/articles/800237/ @database_design

Требования к безопасности веб-проектов на «1С-Битрикс» Рассказали о мерах безопасности в 1С-Битрикс, которые обеспечат надежную работу всей системы. И показали, как настроить встроенные средства защиты и журналирования. Читать: «Требования к безопасности веб-проектов на «1С-Битрикс»» @database_design

Как мы делаем свой DBaaS Сейчас мы, в Postgres Professional, разрабатываем новый интересный продукт — DataBase as a Service, и в этой статье хочется немного рассказать о наших успехах, узнать ваше мнение и послушать возможные пожелания. Читать: https://habr.com/ru/companies/postgrespro/articles/801795/ @database_design

Как мы улучшили СУБД промышленного уровня Platform V Pangolin в версии 6.1 Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе. Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий. В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной. В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры. Читать: https://habr.com/ru/companies/sberbank/articles/801797/ @database_design

Introducing Semantic Caching and a Dedicated MongoDB LangChain Package for gen AI Apps Read: https://www.mongodb.com/blog/post/introducing-semantic-caching-dedicated-mongodb-lang-chain-package-gen-ai-apps @database_design

New Data Modeling Learning Path and Certification Read: https://www.mongodb.com/blog/post/new-data-modeling-learning-path-certification @database_design

생성형 인공지능과 MongoDB를 사용하여 사이버 보안의 가장 중대한 과제 해결 Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-kr @database_design

Use a IA generativa e o MongoDB para enfrentar os maiores desafios da segurança cibernética Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-br @database_design

Utilizzo della IA generativa e di MongoDB per affrontare le sfide più importanti della sicurezza informatica Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-it @database_design

Uso de IA Generativa y MongoDB para enfrentar los mayores desafíos de la ciberseguridad Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-la @database_design

Utiliser l’IA générative et MongoDB pour relever les plus grands défis de la cybersécurité Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-fr @database_design

Mit generativer KI und MongoDB die größten Herausforderungen der Cybersicherheit in Angriff nehmen Read: https://www.mongodb.com/blog/post/using-generative-ai-mongodb-tackle-cybersecuritys-biggest-challenges-de @database_design

Что модно в этом сезоне на наш взгляд и на взгляд Lamoda Tech? Просто fun to remember, что сейчас очень модные neural network, очень модные pet-projects с какими-то details, облачные services модные. И это всё on design. А как бы выглядел весь этот fashion-стек технологий Lamoda Tech в виде аутфитов с Lamoda? Мы уже представили, очень affordable получилось. Решать вам — подходят ли логотипам такие капсулы?  Но самое главное: Lamoda Tech запустила у себя в канале конкурс на лучшую couple IT-инструмента и наряда. Subscribe на канал Lamoda Tech и присылайте им свои варианты сочетаний. Самым стильным модникам достанется сертификат Lamoda на shopping суммой 10 000 рублей. Удачи и XO XO Реклама

Инженер на минималках: установка и настройка ClickHouse Базы данных — один из важнейших инструментов в арсенале аналитика. А ClickHouse — это высокопроизводительная аналитическая СУБД, которая заточена на то, чтобы переваривать огромные массивы данных. Поэтому полезно будет разобраться, как самостоятельно установить ClickHouse в Yandex Cloud или на VDS-сервере, как создать пользователей и активировать веб-интерфейс и доступ по сети. Этим и займемся в статье. Читать: https://habr.com/ru/articles/801757/ @database_design

Безопасность данных в BI-системе Привет, Хабр! На связи Александр Чебанов, product owner Modus. Сегодня хочу поговорить о том, что такое безопасность данных, и какие свойства информации ее обеспечивают, где в BI-системах уязвимые места и как защитить свои данные. Поехали! Читать: https://habr.com/ru/companies/modusbi/articles/801715/ @database_design

Современные тенденции и проблемы управления данными на рынке РФ: вызовы 2024 года В эпоху данных и активной цифровизации вопросы эффективного управления данными становятся все более актуальными. От того, насколько эффективно компания управляет своими данными, зависит эффективность принятия управленческих решений, что влияет на выручку компании и чистую прибыль. Вопросы управления данными включают задачи эффективного хранения и обработки данных (КХД, озера данных, ETL & ELT) в облаках и On-Premise, настройки интеграционных потоков (транспорт) для анализа в режиме реального времени и не только, вопросы предоставления данных во внешние системы и BI, процессы качества данных и каталогизации, безопасность данных, решения на базе расширенной аналитики и ИИ. Александр Сулейкин, кандидат технических наук, генеральный директор и архитектор Big Data систем компании “ДЮК Технологии” дает прогноз на предстоящий год: какие технологии управления данными будут развиваться, с какими проблемами сталкивается бизнес и каких технологий не хватает для полноценного импортозамещения. Читать: https://habr.com/ru/articles/801599/ @database_design

Когда одного Postgres'a мало: сравнение производительности PostgreSQL и распределенных СУБД Общеизвестно, что PostgreSQL - крайне эффективная СУБД с богатой функциональностью. При этом не секрет, что PostgreSQL масштабируется только вертикально и её производительность ограничена возможностями одного сервера. Написано много хороших постов, в которых сравнивают архитектуру монолитных и распределенных СУБД. К сожалению, обычно авторы ограничиваются теоретическим сравнением и не приводят конкретные цифры. Данный пост же наоборот основан на эмпирическом исследовании с использованием бенчмарка TPC-C, который является промышленным стандартом для оценки производительности транзакционных СУБД (On-Line Transaction Processing, OLTP). Мы расскажем, когда именно одного Postgres'a становится мало, и какие возможны компромиссы между производительностью и надежностью. Для тех, кто не готов к компромиссам, мы покажем, что могут предложить такие распределенные СУБД, как CockroachDB и YDB. Читать: https://habr.com/ru/companies/ydb/articles/801587/ @database_design

Живы ли жесткие диски в 2024 году, и где их стоит применять Кажется, что эпоха жестких дисков давно ушла. SSD-накопители если не вытеснили HDD с рынка комплектующих для консьюмерских ПК, то сильно пошатнули их позиции. Иначе и быть не могло, когда имеешь дело с очевидно превосходящим решением, которое развивается семимильными шагами. Несмотря на это, жесткие диски все еще продаются и даже пользуются определенной популярностью. Эту статью мы подготовили для тех, кто сомневается и не уверен в рациональности приобретения (или, наоборот, не-приобретения) HDD в 2024 году. Никакого rocket science под катом -- только факты и их анализ, а также сегодня мы расскажем про пять сфер, в которых HDD остаются лучшее SSD. Читать: https://habr.com/ru/companies/x-com/articles/801563/ @database_design

Дом, милый дом: нюансы работы с ClickHouse. Часть 1 Всем привет, меня зовут Пётр, я инженер компании Nixys. На современных проектах используется огромное разнообразие баз данных: реляционные, ключ-значение, документоориентированные. Особое место среди них занимают колоночные базы данных, ярким представителем которых является ClickHouse. Это мощный инструмент, который способен обрабатывать миллиарды строк в секунду при минимальном времени ответа. Однако, для максимальной эффективности ClickHouse необходимо понимать ряд фундаментальных моментов для того, чтобы использовать его по назначению. В этой серии статей мы разберем особенности работы ClickHouse, которые помогут в выжимании максимума из этой базы. И сегодня начнём с фундаментальных теоретических моментов, чтобы составить максимально полное общее впечатление, которое поможет нам в дальнейшем. Читать: https://habr.com/ru/companies/nixys/articles/801029/ @database_design

Transforming Industries with MongoDB and AI: Manufacturing and Motion Read: https://www.mongodb.com/blog/post/transforming-industries-mongodb-ai-manufacturing-motion @database_design