DATABASE DESIGN

Vector Search 和专用 Search Nodes：现已正式发布 Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-cn

Pesquisa vetorial e nós de pesquisa dedicados: agora em disponibilidade geral Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-br

Vector Search 및 전용 검색 노드: 현재 일반 공개 Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-kr

Vector Search e nodi di ricerca vettoriale dedicati: ora in General Availability Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-it

Vector Search et search nodes dédiés désormais en disponibilité générale Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-fr

Vector Search y Dedicated Search Nodes: ahora en Disponibilidad general Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-la

Vector Search und dedizierte Search Nodes: jetzt generell verfügbar Read: https://www.mongodb.com/blog/post/dedicated-search-nodes-vector-search-now-in-general-availability-de

Building AI with MongoDB: How Patronus Automates LLM Evaluation to Boost Confidence in GenAI Read: https://www.mongodb.com/blog/post/how-patronus-automates-llm-evaluation-boost-confidence-genai

Как устроена страничная организация памяти x86_64 В этом посте я буду говорить о страничной организации только в контексте PML4 (Page Map Level 4), потому что на данный момент это доминирующая схема страничной организации x86_64 и, вероятно, останется таковой какое-то время. Окружение Это необязательно, но я рекомендую подготовить систему для отладки ядра Linux с QEMU + gdb. Если вы никогда этого не делали, то попробуйте такой репозиторий: easylkb (сам я им никогда не пользовался, но слышал о нём много хорошего), а если не хотите настраивать окружение самостоятельно, то подойдёт режим практики в любом из заданий по Kernel Security на pwn.college (вам нужно знать команды vm connect и vm debug). Я рекомендую вам так поступить, потому что считаю, что самостоятельное выполнение команд вместе со мной и возможность просмотра страниц (page walk) на основании увиденного в gdb — хорошая проверка понимания. Читать: https://habr.com/ru/articles/787502/

Building AI With MongoDB: How Gradient Accelerator Blocks Take You From Zero To AI in Seconds The text is about Gradient, a platform that enables businesses to create custom AI applications. Gradient's Accelerator Blocks are fully managed building blocks designed for AI use cases, reducing developer workload and helping businesses achieve their goals quickly. The newest Accelerator Block focuses on improving the performance and accuracy of AI models through retrieval augmented generation (RAG). It uses Gradient's LLMs and embeddings, MongoDB Atlas Vector Search, and LlamaIndex for data integration. With Gradient's platform, businesses can further customize and deploy AI solutions. Gradient provides industry-specific models in finance and healthcare, ensuring user privacy and data ownership. MongoDB Atlas is included as a core part of the Gradient platform. The text also introduces Atlas Vector Search, a feature integrated into MongoDB Atlas that allows users to query data based on the semantics rather than the data itself. It explains how vector search works and how it connects to MongoDB's platform. The text concludes by mentioning the company's commitment to supporting developers in building AI-enabled applications. This text discusses how WeLab Group, a leading FinTech group, has implemented MongoDB and Alibaba Cloud to improve their data processing capacity and meet regulatory requirements. WeLab replaced their traditional MySQL database with ApsaraDB for MongoDB, which provides advanced storage capabilities and better responds to market and regulatory changes. The upgrade has resulted in improved efficiency, reduced risk, and technical improvements, such as increased database write and query performance. With the support of Alibaba Cloud and MongoDB, WeLab has successfully built a new generation risk management system, WeDefend 3.0. Overall, ApsaraDB for MongoDB has met WeLab's data characteristics and technical requirements, resulting in a smooth system upgrade and lower operation and learning costs. Read: https://www.mongodb.com/blog/post/how-gradient-accelerator-blocks-take-you-from-zero-to-ai-seconds

Как мы не выбрали Airbyte Привет, Хабр! Меня зовут Илья, я работаю инженером данных в компании Selectel. В отделе BI мы собираем информацию из внутренних и внешних источников и предоставляем аналитикам. У нас достаточно большой набор внешних ресурсов, данные из которых нужно собирать и обрабатывать. Среди них — различные SMM-площадки вроде VK и Telegram, платформы лидогенерации, инструменты таргетированной рассылки писем, системы автоматизации и многое-многое другое. Так как компания развивается, мы спрогнозировали, что число источников тоже будет только расти. И назрела мысль, что нам нужно подобрать специализированное ПО, которое будет отвечать за доставку данных из внешних ресурсов в DWH. Время прошло, идея воплощена: мы используем Airflow и самописные коннекторы на Python. Но могло сложиться все иначе — и мы бы использовали Airbyte, если бы не одно «но»… Читать: https://habr.com/ru/companies/selectel/articles/788302/

Снова на те же грабли. Разбираемся с ошибками хранения ПДн и способами защиты медицинских данных Привет, Хабр! Ловите новую подборку от beeline cloud — собрали практические истории по работе с персональными данными. Здесь и основные ошибки хранения ПДн, и советы, которые помогут навести порядок, и примеры защиты личных данных пациентов в виде кейса компании, которая проводит дистанционные медицинские осмотры. Читать: https://habr.com/ru/companies/beeline_cloud/articles/790730/

​​​​Дорожная карта SQL: от новичка до мидла в 2024 году Какой бы язык вы и осваивали, попутно рано или поздно предстоит выучить и SQL для обращения с базами данных. Но вместо того, чтобы делать это хаотично и набивать непредсказуемые шишки, лучше делать это с умом. Специально для этого сделали дорожную карту по изучению SQL. Там есть основные темы, краткая информация для каждого раздела и полезные ссылки для изучения: https://tproger.ru/articles/dorozhnaya-karta-obucheniya-sql-dlya-dostizheniya-urovnya-middle- #sql #шпаргалки

WeLab Leads Tens of Millions of Users Toward a Future of Intelligent Finance With MongoDB and Alibaba Cloud The article discusses how WeLab Group, a leading FinTech group, and iReader Technology, a digital reading platform, are using MongoDB and Alibaba Cloud to enhance their operations and meet the challenges of the financial and digital reading industries, respectively. WeLab Group, which operates WeLab Bank and other online consumer financial services, faced regulatory challenges in the FinTech industry. To handle the rapid increase in data and maintain system efficiency, they replaced their traditional MySQL database with ApsaraDB for MongoDB. The upgrade resulted in improved efficiency, reduced risk, and better response to market and regulatory changes. iReader Technology, a digital reading platform, needed a flexible database solution to handle large volumes of operation data and adapt to constantly changing data in multiple scenarios. They chose ApsaraDB for MongoDB for its document structure and support for bidirectional data queries. The migration to MongoDB improved service performance and operational efficiency for iReader. Both WeLab Group and iReader Technology benefited from the capabilities of MongoDB and Alibaba Cloud in terms of data processing, stability, efficiency, and cost reduction. They were able to meet the demands of their respective industries and improve their business operations with the help of these technologies. This text discusses the importance of providing developers with flexible functionality through the platforms LangChain and LlamaIndex. It mentions that these platforms support various features such as vector search, chat recording, and document indexing. The company, MongoDB, is committed to helping developers empower the next generation of AI-enabled applications and will continue to release new features. They emphasize the importance of community feedback and their dedication to meeting developer needs. The text encourages developers to continue their development activities. It also mentions the possibilities of Atlas Vector Search and suggests consulting the documentation, whitepaper, and tutorials for more information. The text concludes with the date, January 31, 2024. Read: https://www.mongodb.com/blog/post/welab-leads-tens-millions-users-toward-future-intelligent-finance-mongodb-alibaba

MongoDB presenta Atlas Vector Search: crea applicazioni intelligenti con ricerca semantica e intelligenza artificiale su qualsiasi tipo di dati Read: https://www.mongodb.com/blog/post/introducing-atlas-vector-search-build-intelligent-applications-semantic-search-ai-it

Написание минимальной подсистемы хранения данных в памяти для MySQL/MariaDB Я потратил неделю, копаясь во внутренностях MySQL/MariaDB вместе с ещё примерно 80 разработчиками. Хотя MySQL и MariaDB — это, по большей части, одно и то же (я ещё к этому вернусь), я сосредоточился именно на MariaDB. Раньше я никогда сам не собирал MySQL/MariaDB. В первый день «недели хакерства» я смог наладить локальную сборку MariaDB и твикнул код так, что запрос SELECT 23 возвращал 213. Сделал я и другой твик — такой, что запрос SELECT 80 + 20 возвращал 60. На второй день я смог заставить заработать простую UDF на C, благодаря которой запрос SELECT mysum(20, 30) давал 50. Остаток недели я потратил, пытаясь разобраться с тем, как сделать минимальный движок для хранения данных в памяти. Именно о нём я и расскажу. Это — 218 строк кода на C++. Читать: https://habr.com/ru/companies/wunderfund/articles/789640/

Эффективное обновление состояний в БД из сервисов потоковой обработки событий Как хранить сложные сущности в БД? Что нужно сделать, чтобы не перезаписывать весь рекламный баннер для обновления одного лишь заголовка? Рассмотрим как минимум 5 независимых и взаимно совместимых идей для многократного снижения нагрузки на чтение и запись подобных объектов. Меня зовут Юрий Печатнов, я уже 6 лет работаю в Яндексе и занимаюсь сервисами потоковой обработки. Это большие распределенные системы, читающие сообщения из большой распределенной очереди и создающие полезный выход. Полезным выходом могут быть сообщения в другой распределенной очереди и/или обновление состояний в БД. Поговорим о том, как их эффективно обновлять. Читать: https://habr.com/ru/companies/oleg-bunin/articles/788038/

Smooth Cloud Experience Delivers Data Dividends for iReader The text discusses how iReader, a digital reading platform, improved its data management and performance by using ApsaraDB for MongoDB. The platform needed a database that could handle large volumes of data and support constant updates and expansions. The integration of ApsaraDB for MongoDB resulted in a 30% improvement in service performance and reduced operational costs by over 10%. The platform now has the capability to handle bidirectional data, manage unstructured data effectively, and support various operational activities. This has allowed iReader to enhance its capabilities and operational efficiency. The text also highlights a community member, Chris Dellaway, who received an award for his exceptional support and contributions to the MongoDB community. In a separate section, the text discusses how MongoDB Atlas and AWS work together to power Capgemini's Trusted Vehicle solution, which accelerates the development of driver and fleet management experiences in the automotive industry. MongoDB Atlas offers faster time-to-market, developer velocity, and customized solutions for customers. It also provides capabilities for data synchronization, storage, and processing in IoT applications. The implementation of MongoDB Atlas in Trusted Vehicle's solution has shifted the responsibility of data management from AWS components to MongoDB, resulting in improved efficiency and performance. This text highlights the benefits of using MongoDB Atlas, a technology stack, in the automotive industry. It mentions that MongoDB Atlas is more cost-effective as the fleet of vehicles expands, leading to a decrease in the total cost of ownership. Additionally, it notes that MongoDB's cloud-agnostic components allow for a more flexible and adaptable implementation, independent of specific cloud environments. Overall, MongoDB Atlas expedites development, reduces costs, and caters to a wider range of clients. The text also provides links for more information on the partnership with Capgemini and the value proposition for the automotive industry. Read: https://www.mongodb.com/blog/post/smooth-cloud-experience-delivers-data-dividends-ireader