DATABASE DESIGN

Работа с данными в Apache Spark Фреймворк Spark позволяет выполнять множество различных операций с распределенными наборами данных. При этом, объем обрабатываемых данных может быть достаточно большим. Конечно, можно сохранять обрабатываемую информацию в файлы, но что делать, если набор данных не умещается на одном компьютере или на одном дисковом хранилище. Для решения данной проблемы фреймворк поддерживает широкий диапазон различных механизмов ввода/вывода. Это можно объяснить в том числе и тем, что Apache Spark создавался в экосистеме Hadoop, предназначенной для работы с большими данными. Так, для доступа к данным Spark использует интерфейсы InputFormat и OutputFormat из Hadoop MapReduce, программной платформы, предназначенной для создания заданий, обрабатывающих большие объемы данных. А данные интерфейсы, в свою очередь поддерживают множество форматов файлов и систем хранения (SЗ, HDFS, Cassandra, HBаsе и т. д.) Читать: https://habr.com/ru/companies/otus/articles/826056/ @database_design ___ Другие наши проекты

Битый или небитый? Как обеспечить целостность данных в Postgres Pro Следим за целостностью данных в PostgreSQL. Мысль о возможной катастрофе неприятна, поэтому люди часто не принимают серьезных предупредительных мер. Администратор любой IT системы должен знать о всех возможных проблемах, которые могут возникнуть на вверенном ему оборудовании: аппаратные сбои системы хранения, сбои файловой системы, повреждения страниц в оперативной памяти, сбои в кэше хранилищ и так далее. Для серверов баз данных выявление и исправление таких ошибок особенно важно, так как информация в БД должна быть в согласованном состоянии и некорректность только части данных портит БД целиком. В этой статье мы расскажем с помощью каких инструментов можно защитить ваши данные в СУБД Postgres и обнаруживать ошибки до того, как они становятся реальными проблемами. Читать: https://habr.com/ru/companies/postgrespro/articles/825796/ @database_design ___ Другие наши проекты

MongoDB Atlas Vector Search — лидер среди векторных баз данных! В 2024 году MongoDB Atlas Vector Search снова признан самой популярной векторной базой данных по версии Retool AI. Она получила самый высокий NPS и 21.1% голосов, уступив лишь PostgreSQL. Это важное достижение для технологии, обеспечивающей мощные возможности для AI-приложений. Отчет о состоянии ИИ 2024: MongoDB Atlas Vector Search — любимый векторный БД Исследование Retool показало, что MongoDB Atlas Vector Search снова признан самым популярным векторным базой данных 2024 года. В отчете отмечается рост использования генерации с расширением поиска (RAG) и важность MongoDB для улучшения производительности ИИ-приложений. Новая интеграция MongoDB и Haystack для Python AI проектов MongoDB и Haystack объявили о новой интеграции, которая упрощает создание высококачественных AI приложений на Python. Используйте векторные поисковые возможности MongoDB Atlas вместе с мощными инструментами NLP от Haystack для создания умных и контекстно-осведомленных решений. Читать подробнее ___ Другие наши проекты

Atlas Vector Search - лидер среди векторных БД По данным отчета "2024 AI 现状" от Retool, MongoDB Atlas Vector Search второй год подряд становится самым популярным векторным базой данных. Он получил наивысший NPS, что отражает вероятность рекомендации пользователями этой системы своим коллегам. MongoDB Atlas Vector Search: Лидер в мире баз данных для ИИ В отчете Retool 2024 MongoDB Atlas Vector Search занял первое место среди баз данных для ИИ. Популярность метода RAG растет, более трети крупных компаний используют его для актуальных данных. Удобное использование MongoDB помогает улучшить производительность приложений ИИ. Читать подробнее ___ Другие наши проекты

Atlas Vector Search вновь признан любимым векторным БД Согласно новому отчету "State of AI 2024" от Retool, MongoDB Atlas Vector Search получил наивысший NPS и вновь стал самым любимым векторным банком данных. Его популярность среди разработчиков продолжает расти, подтверждая востребованность в AI-приложениях. MongoDB и Haystack: Ускоряйте развитие AI проектов Интеграция MongoDB Atlas Vector Search с Haystack открывает новые возможности для разработчиков на Python. Используйте данные MongoDB в Haystack для создания мощных AI-приложений с улучшенным семантическим поиском и обработкой естественного языка. Начните уже сегодня! Читать подробнее ___ Другие наши проекты

Второй год подряд MongoDB Atlas Vector Search признан лучшим! Atlas Vector Search снова получил высший балл NPS в отчете Retool State of AI 2024, становясь самым любимым векторным базой данных по мнению разработчиков и IT-лидеров. Узнайте, как Atlas облегчит внедрение ИИ в ваш бизнес. Читайте полный отчет! Упрощение разработки AI-приложений с MongoDB и Haystack MongoDB интегрируется с Haystack, что значительно упрощает создание AI-приложений на Python. Теперь разработчики могут легко использовать данные MongoDB в Haystack для разработки и масштабирования приложений, таких как чат-боты и системы вопросов-ответов. Подробности в статье! Читать подробнее ___ Другие наши проекты

Atlas Vector Search признана самой любимой векторной базой данных Согласно новым данным из исследования Retool State of AI 2024, MongoDB Atlas Vector Search снова стала самой популярной векторной базой данных, набрав самый высокий индекс NPS. Использование векторных баз данных выросло с 20% в 2023 году до 63.6% в 2024 году. Узнайте больше в статье! Упростите разработку ИИ-приложений с MongoDB и Haystack MongoDB анонсировала интеграцию с Haystack, что облегчает разработку приложений на Python с использованием Atlas Vector Search. Теперь разработчики могут быстро создавать и масштабировать ИИ-приложения, такие как чатботы и системы ответов на вопросы, благодаря продвинутым возможностям семантического поиска. Читать подробнее ___ Другие наши проекты

MongoDB Atlas вновь признана самой популярной векторной БД Согласно отчету Retool State of AI 2024, MongoDB Atlas Vector Search второй год подряд занимает первое место среди векторных баз данных. Решение получило самый высокий Net Promoter Score, указывающий на готовность пользователей рекомендовать его коллегам. Снижение сложности разработки ИИ-приложений с MongoDB и Haystack MongoDB интегрируется с Haystack, упрощая разработку ИИ-приложений. Теперь Python-разработчики могут использовать MongoDB для создания приложений с усовершенствованным семантическим поиском и большими языковыми моделями. Узнайте больше о новых возможностях на нашем сайте! Читать подробнее ___ Другие наши проекты

MongoDB Atlas Vector Search снова лидирует среди вектродатабаз! По данным отчета "Состояние ИИ 2024", MongoDB Atlas Vector Search второй год подряд становится самой популярной вектродатабазой. Сервис получил наивысший Net Promoter Score (NPS), что подтверждает его востребованность и эффективность среди разработчиков и IT-специалистов. Ускорьте разработку AI-приложений с MongoDB и Haystack MongoDB и Haystack анонсировали интеграцию, которая облегчит создание AI-приложений для Python разработчиков. Используя MongoDB Atlas Vector Search и Haystack, вы можете быстро разрабатывать и масштабировать приложения на основе семантического поиска и больших языковых моделей. Начните экспериментировать уже сегодня! Читать подробнее ___ Другие наши проекты

Корреляционный анализ для решения инцидентов производительности СУБД В статье в общих словах рассматриваются 2 вопроса: 1) Как рассчитать метрику производительности СУБД 2) Как использовать корреляционный анализ для поиска причин снижения производительности СУБД Читать: https://habr.com/ru/articles/827504/ @database_design ___ Другие наши проекты

Ускорьте разработку AI-приложений с MongoDB и Haystack MongoDB интегрировался с Haystack, улучшив работу MongoDB Atlas Vector Search для Python-разработчиков. Теперь вы можете легко использовать данные MongoDB в Haystack для создания качественных LLM-пайплайнов. Независимо от уровня вашего опыта, ускорьте разработку AI-приложений и увеличьте их ценность для бизнеса. Читать подробнее ___ Другие наши проекты

Как организовать экономный бэкап с использованием жестких ссылок Привет, Хабр! Меня зовут Егор Орлов, я более 24 лет в ИТ, преподаю в СПбПУ и пишу для медиа вАЙТИ. В этой статье мы разберем, что такое жесткие ссылки в UNIX-подобных операционных системах и как они могут применяться. А именно, как с их помощью можно значительно экономить место при резервном сохранении данных, создавая резервные копии, которые по занимаемому месту являются инкрементальными копиями, а по удобству доступа к данным аналогом полных резервных копий. Читать: https://habr.com/ru/companies/beeline_cloud/articles/827446/ @database_design ___ Другие наши проекты

Размышления о мониторинге производительности отдельного SQL запроса Иногда в докладах/статьях о оптимизации производительности СУБД описание предлагаемой методики/средства начинается с события -"мы заметили резкое увеличение времени выполнения запроса/запросов и резкое увеличение количества прочитанных блоков разделяемой области". Далее следует описание процесса выявления ресурсоёмкого запроса, с целью его оптимизации. На этапе разработки данных сценарий вполне себя оправдывает . Нагрузка на СУБД - детерминирована, характер нагрузки определён и описан, данные постоянны. При условии адекватности команды разработки, даже удастся действительно оптимизировать запрос. Но. В процессе промышленной эксплуатации ситуация меняется принципиально . Читать: https://habr.com/ru/articles/827156/ @database_design ___ Другие наши проекты

Инфраструктура для data engineer S3 S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами. В этой статье рассказывается о технологии S3 со стороны дата-инженерии. Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии Читать: https://habr.com/ru/articles/827052/ @database_design ___ Другие наши проекты

Дом, милый дом: нюансы работы с ClickHouse. Часть 2, репликация Всем привет, меня зовут Пётр. В первой части этого цикла статей мы взглянули на некоторые базовые концепции ClickHouse. В этой же статье продолжим изучать тонкости работы с этой колоночной базой данных и подробно рассмотрим такой аспект как репликация. А ещё разберёмся с сервисами координации Zookeeper и ClickHouse Keeper. Давайте разбираться! Читать: https://habr.com/ru/companies/nixys/articles/826850/ @database_design ___ Другие наши проекты

Книга: «Нечеткое сопоставление данных в SQL» Привет, Хаброжители! Если бы вам предоставили два разных, но связанных между собой набора данных, какие инструменты вы бы использовали для поиска совпадений? А если все, что у вас есть, — это доступ к базе данных через SQL SELECT? Джим Лемер предлагает лучшие практики, методики и приемы, которые помогут вам импортировать, очищать, сопоставлять, оценивать и осмысливать разнообразные данные с помощью SQL. Администраторы баз данных, программисты, бизнес-аналитики и специалисты по исследованию данных узнают, как выявлять и удалять дубликаты, разбирать строки, извлекать данные из XML и JSON, генерировать SQL с помощью SQL, упорядочивать данные и готовить наборы данных, а также применять подходы к качеству данных и ETL для поиска сходств и различий между различными выражениями одних и тех же данных. Примеры, приведенные в книге, полны реальных приемов и содержат рабочий код. Читать: https://habr.com/ru/companies/piter/articles/826462/ @database_design ___ Другие наши проекты

Что могут векторные СУБД — open source инструменты & облако Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству. Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов. Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%. Читать: https://habr.com/ru/companies/mws/articles/826642/ @database_design ___ Другие наши проекты

Теперь клиенты Oracle Database@Azure могут использовать OCI GoldenGate Компании могут улучшить обслуживание клиентов, эффективно организуя данные. Клиенты Oracle Database@Azure теперь могут использовать OCI GoldenGate для репликации данных между базами данных Oracle и приложениями на платформе Azure, независимо от среды — на земле, гибридной или мультитенантной. Читать подробнее ___ Другие наши проекты