DATABASE DESIGN

Каталог данных своими руками из PowerBi и небольшой БД Привет! Я Николай, аналитик во ВкусВилле, я запустил и поддерживаю проект по каталогу данных в ВВ. Поиск данных — нелегкая задача, особенно при большом объеме бизнеса. Много источников информации и множество аналитиков связаны со сложностями как при онбординге, так и в процессе работы. Чтобы жить стало проще, мы решили создать свою систему для каталогизации источников и определения единого источника правды. Сделали каталог своими руками, как подошли к этому вопросу и что получили в итоге —расскажу в этом материале. Читать: https://habr.com/ru/companies/vkusvill/articles/864998/ #ru @database_design | Другие наши каналы

ZIP-бомба в формате Apache Parquet Давние хаброжители помнят, как в 2015 году ZIP-бомба в формате PNG ненадолго вывела из строя Habrastorage. С тех пор появились новые разновидности этого «оружия»: например, разработаны нерекурсивные и компиляторные бомбы (29 байт кода → 16 ГБ .exe). Подобного рода экспоиты можно встроить не только в формат ZIP или PNG, но и в других форматы файлов, которые поддерживают сжатие. Например, в формате Apache Parquet. Читать: https://habr.com/ru/companies/globalsign/articles/864886/ #ru @database_design | Другие наши каналы

Ваше новое хранилище данных: на что обратить внимание при миграции? Рассказываем об основных шагах для того, чтобы правильно провести миграцию хранилища данных на новые технологии в современных условиях в России. Читать: «Ваше новое хранилище данных: на что обратить внимание при миграции?» #ru @database_design | Другие наши каналы

О векторных базах данных простым языком Представьте, что управляете онлайн-магазином, предлагающим тысячи товаров. Чтобы помочь пользователям находить нужные позиции, вы добавили строку поиска. Теперь посетители могут вводить интересующие их запросы, на что вы будете показывать им подходящие результаты. Например, когда пользователь вводит «лето», вы можете показывать предметы вроде шортов, платьев, панам и пляжных зонтов. Как бы вы реализовали такую систему? Читать: https://habr.com/ru/companies/ruvds/articles/863704/ #ru @database_design | Другие наши каналы

Создаем коллективный интеллект: обмен опытом в команде технических писателей Как эффективно организовать процесс обмена знаниями в компании, минимизировать потерю времени и повысить продуктивность команды. В статье делимся проверенными инструментами и подходами из личного опыта техписов, которые сделали взаимодействие внутри команды удобным и результативным. Читать: https://habr.com/ru/companies/documenterra/articles/864542/ #ru @database_design | Другие наши каналы

Чем отличается пессимистическая и оптимистическая блокировка в MySQL При проектировании приложений, использующих базы данных, часто возникают такие ситуации, в которых требуется конкурентный доступ к данным. Это может приводить к самым разным последствиям, поскольку состояние базы данных может нарушиться, или некоторые данные могут быть потеряны. Чтобы предотвратить такие сценарии, существуют различные способы контролировать доступ к ресурсам. Например, применяется оптимистическая и пессимистическая блокировка, о которых мы здесь поговорим. Читать: https://habr.com/ru/companies/piter/articles/864498/ #ru @database_design | Другие наши каналы

Платформа данных в хранилище Магнит OMNI Всем привет! Меня зовут Михаил, я руковожу разработкой хранилища данных «Магнит OMNI». Хочу рассказать, как мы решали проблемы его создания: разделение ресурсов хранилища между несколькими большими равнозначными заказчиками; переиспользование кода для оптимизации рутинных задач; развитие платформы DWH в условиях активно растущего бизнеса; навигация в сотнях витрин и соблюдение единообразия расчёта метрик. Читать: https://habr.com/ru/companies/magnit/articles/864472/ #ru @database_design | Другие наши каналы

Как надёжно стереть секретную информацию из базы данных Зачем вообще "надёжно" стирать данные? Главное же, чтобы пользователь через интерфейс СУБД не мог их достать. Мало ли, что там за остатки данных в файлах болтаются, это же не проблема. Или нет? Читать: https://habr.com/ru/companies/isp_ras/articles/827830/ #ru @database_design | Другие наши каналы

Новинки от MongoDB на AWS re:Invent 2024 На конференции AWS re:Invent 2024 MongoDB представила новые интеграции и решения с AWS, включая оптимизацию для генерирующего ИИ. MongoDB удостоилась звания "Технологический партнер года" от AWS. Также анонсированы обновления для платформы Atlas и представлена новая программа обучения. Инновации в AI для аутизма с помощью CentralReach и MAAP Текст: CentralReach использует платформу MongoDB и сеть партнёров MAAP для создания AI-решений, улучшающих результаты терапии для людей с аутизмом. Благодаря передовым технологиям, компания оптимизирует медицинскую практику для более чем 350,000 клиентов по всему миру. Узнайте больше на странице MAAP и партнёров. Читать подробнее #en @database_design | Другие наши каналы

Новинка от MongoDB: ускоряем разработку На конференции MongoDB.local в Лондоне представлена версия MongoDB 8.0, предлагающая значительные улучшения производительности и безопасности. Также анонсированы инструменты для упрощения работы с ИИ и ускоренной разработки. Узнайте, как новые функции могут помочь создать приложения следующего поколения! Новое в MongoDB: ускорьте разработки и обучитесь новым навыкам MongoDB представляет обновления в Atlas Vector Search и интеграции с ведущими AI-фреймворками. Теперь создание и масштабирование AI-приложений стало проще, а бесплатные Learning Badge помогут развивать навыки в сфере генеративного AI. Узнайте больше на сайте MongoDB. CentralReach и MongoDB: Повышение качества медицинского обслуживания CentralReach использует платформу MongoDB для улучшения электронных медкарт и предоставления более эффективного ухода за людьми с аутизмом и интеллектуальными нарушениями. Сотрудничество с MAAP помогает измерять результаты и повышать качество клинических услуг. Читать подробнее #en @database_design | Другие наши каналы

MongoDB.local Лондон 2024: ускоряем разработку приложений На конференции MongoDB.local в Лондоне представили MongoDB 8.0. Новая версия обеспечивает значительные улучшения производительности, включая ускоренные чтение и запись данных, и поддерживает сложные агрегации с улучшенной безопасностью. Эти новшества помогут разработчикам создавать приложения будущего. Обновленные возможности Atlas Vector Search Векторная квантовка теперь доступна, позволяя быстрее создавать масштабируемые AI приложения с меньшими затратами. MongoDB внедряет интеграции с популярными AI фреймворками, упрощая разработку. Новые обучающие значки подчеркивают ваши навыки работы с AI. Узнайте больше на официальном блоге MongoDB. Центральный вдохновитель: как CentralReach реформирует помощь при аутизме с помощью ИИ Пост: CentralReach, воспользовавшись технологиями MongoDB и партнерской сетью MAAP, разработала инновационную AI-платформу для улучшения результатов лечения аутизма. Система позволяет оптимизировать клинические процессы и улучшить качество помощи для более 350,000 пациентов по всему миру. Читать подробнее #en @database_design | Другие наши каналы

MongoDB 8.0: Революция В Разработке На конференции MongoDB.local London 2024 представлена версия MongoDB 8.0 с улучшенной производительностью и безопасностью, теперь поддерживающая AI-решения. Обновление MongoDB Atlas позволяет гибко и быстро масштабировать ресурсы. Откройте новые горизонты разработки с MongoDB! Читать подробнее #en @database_design | Другие наши каналы

🚀 MongoDB.local London 2024: Новые горизонты для разработчиков На мероприятии MongoDB.local в Лондоне были представлены новейшие продукты и обновления, включая релиз MongoDB 8.0. Эта версия улучшает производительность и снижает затраты на масштабирование. А также делает работу с AI еще более доступной, помогая разрабатывать мощные и безопасные приложения. 🚀 Новые возможности MongoDB: повышение производительности и интеграции MongoDB расширяет поддержку для разработки на Kubernetes, улучшая доступность и масштабируемость. Новые возможности Atlas Vector Search снижают затраты и повышают скорость в AI-приложениях. Интеграция с популярными AI-фреймворками упрощает создание инновационных решений. MongoDB 8.0: Новый уровень производительности и безопасности MongoDB 8.0 предлагает улучшенную производительность с до 36% лучшей пропускной способностью и сниженными затратами на инфраструктуру. Благодаря уникальному шифрованию Queryable Encryption обеспечивается высокая безопасность данных. Обновления упрощают горизонтальное масштабирование, делая его быстрее и дешевле для компаний. Читать подробнее #en @database_design | Другие наши каналы

CRUS: принципиально новая архитектура работы с данными Здравствуйте, меня зовут Дмитрий Карловский и я.. обычно пишу статьи с ответами, но на этот раз я, наоборот, буду задавать много вопросов, о которых вы даже не задумывались. Далее будет много и фундаментальной теории, и мелких технических деталей. Так что приглашаю специалистов по криптографии, безопасности, хранению, обработке и синхронизации данных вместе размять наши мозговые косточки. Ответить на все вопросы Читать: https://habr.com/ru/articles/863968/ #ru @database_design | Другие наши каналы

Устойчивость MariaDB с подключением MaxScale Как избежать единичного отказа в вашей базе данных MariaDB? Используйте современные коннекторы приложения, поддерживающие автоматическое переключение, чтобы MaxScale не стал единственной точкой отказа. Настройка фейловера позволяет вашему приложению работать без перебоев даже при сбое узла MaxScale. Читать подробнее #en @database_design | Другие наши каналы

Кэшируем поток данных из Kafka в Tarantool: подробный пример реализации с кодом и результатами Apache Kafka — популярный распределенный брокер сообщений, который собирает и сохраняет сообщения (данные) со всех источников, а после предоставляет их программам и сервисам-получателям. Благодаря своей производительности и архитектуре инструмент довольно активно используется в проектах, где нужно гонять большие объемы данных. Но даже возможностей Kafka не всегда достаточно — иногда системам нужен буст по скорости и надежности. И получить его можно с помощью кэширования данных в Tarantool. Меня зовут Никита Молоствов. Я старший программист в команде разработки VK Tech. В этой статье я расскажу о том, как можно наладить взаимодействие Kafka и Tarantool, зачем может понадобиться кэширование потока из Kafka в Tarantool, и дам подробную пошаговую инструкцию, с которой каждый сможет применить мои наработки в собственной системе. Читать: https://habr.com/ru/companies/vk/articles/863518/ #ru @database_design | Другие наши каналы

Пора перестать в любой непонятной ситуации строить DWH для аналитики Привет! Кажется, первая статья нашла своего благодарного читателя.Снова мысли от CDO трудящегося вместе с одной небольшой компанией ру-сегмента. Продолжу о том, что "наболело". Эта статья может быть Вам полезна, если консалтинг/интегратор/CTO/CIO/сын маминой подруги настойчиво хочет решить все Ваши "проблемы" в аналитике классным корпоративным хранилищем, далее - DWH. Читать: https://habr.com/ru/articles/863308/ #ru @database_design | Другие наши каналы

«У нас кончились столбцы» — Лучшая, худшая кодовая база Оу, таблица merchants2? Ну, у нас кончились столбцы в merchants, так что мы сделали merchants2. Когда я начал заниматься программированием в детстве, я не знал, что людям за это платят. Даже когда я закончил высшую школу, я предполагал, что мир "профессиональной разработки" был устроен совершенно иначе, чем мой код, написанный в свободное время. Когда мне посчастливилось попасть на первую работу разработчиком, я быстро понял насколько я был прав и неправ. Моя первая работа была "испытанием огнём", и по сей день эта кодовая база является и худшей, и лучшей из тех, с которыми я работал. И пусть она навеки останется закрытой в стенах той конкретной компании, я всё же могу поделиться парой самый забавных и страшных историй. Читать: https://habr.com/ru/articles/863656/ #ru @database_design | Другие наши каналы

Apache Flink: Flink Table API & SQL Привет! Меня зовут Александр Булатов, я старший инженер данных в Блоке Данных билайна. В этой серии статей я расскажу, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API. Я работаю на проекте Radcom, в котором мы получаем данные о детализации звонков. И есть источник потоковых данных, которые мы получаем с Kafka. Таких потоков у нас внутри Radcom одиннадцать штук, и данные от них идут в формате csv. Формат не самый удобный для обработки, потому что он не имеет в себе схему — нам присылают просто голые строки csv, без какой-либо схемы, и нам нужно парсить эти строки относительно ее. В одном подобном потоке вполне может находиться сто миллиардов записей в сутки, а это со всех потоков почти семь терабайт в день. У нас в билайне это считается одним из самых больших потоков, которому требуется очень много ресурсов, в год с учетом репликации мы занимаем почти семь петабайт данных. Так вот, мы принимаем данные в csv и должны их сохранять в Hive в колоночных форматах, чтобы впоследствии аналитики и Data Scientists могли пользоваться этими данными. У нас принято использовать либо ORC, либо Parquet. Мы попробовали оба формата, пришли к Parquet. Читать: https://habr.com/ru/companies/beeline_tech/articles/863588/ #ru @database_design | Другие наши каналы

Создание блога на FastAPI с нуля: JWT, Markdown и современный веб-дизайн В этой статье мы создадим полноценный мини-блог на FastAPI с нуля, используя современные технологии веб-разработки. Вы узнаете, как реализовать JWT-аутентификацию, работать с Markdown и создать привлекательный пользовательский интерфейс. Мы рассмотрим асинхронную работу с SQLAlchemy 2, включая сложные запросы и связи ManyToMany, а также интеграцию фронтенда с использованием Jinja2. Этот проект демонстрирует, как создать функциональный блог, подобный Telegraf, преодолевая его ограничения и расширяя возможности. Читать: https://habr.com/ru/companies/amvera/articles/863130/ #ru @database_design | Другие наши каналы