DATABASE DESIGN

Как мы повышали производительность очереди сообщений Работа в Яндексе ставит огромное количество технических вызовов, которые интересно решать. И один из них — это производительность основной очереди сообщений YDB Topics. Посмотрим, может ли опенсорсный продукт от Яндекса конкурировать с Apache Kafka по производительности. Меня зовут Зевайкин Александр. Я уже практически 20 лет в IT. Начинал с преподавания в вузе, запускал множество стартапов, руководил командами разработки. В текущий момент я работаю в Яндексе в отделе, занимающимся одной из высоконагруженных систем. Это разработка распределённой базы YDB, в частности, функциональности YDB Topic. Читать: https://habr.com/ru/companies/oleg-bunin/articles/824826/ @database_design ___ Другие наши проекты

Секретные материалы: удобство (без)опасности Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада. Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру. Читать: https://habr.com/ru/companies/bastion/articles/824748/ @database_design ___ Другие наши проекты

Новые возможности Audit Vault и Database Firewall В последнем релизе Audit Vault и Database Firewall появилась функция сканирования сети для поиска баз данных и быстрого добавления новых обнаруженных баз данных в качестве целевых объектов AVDF. Узнайте, как это может повысить безопасность ваших данных. Читать подробнее ___ Другие наши проекты

Auditing access to your sensitive data is now simpler and more precise Oracle Database 23ai expands the unified audit framework with new, easier to use, column-level auditing capabilities Read: https://blogs.oracle.com/database/post/auditing-access-to-your-sensitive-data-is-now-simpler-and-more-precise @database_design ___ Другие наши проекты

Почему Starburst Icehouse подходит не всем Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных. Читать: https://habr.com/ru/companies/vk/articles/824258/ @database_design ___ Другие наши проекты

Разыскиваем системных аналитиков с опытом. Стек: Java / Kotlin (JDK 11), Spring Boot, PostgreSQL, Apache Kafka, Openshift/ Kubernetes, TypeScript, React, React Native.   Задачи: — Анализ функциональности ПО. — Проектирование интеграции с источниками данных. — Поддержка документации.   Бонусы: — Зарплата до 330 000 рублей на руки, премии и скидки. — Возможность выстроить свою систему на новом проекте. — Нет legacy и есть полная свобода в выборе инструментов. Откликайтесь тут #вакансии #работа

Секретные материалы: удобство (без)опасности Выбор метода хранения и передачи секретной информации и его настройки могут серьёзно сказаться на общей безопасности инфраструктуры. Наши аналитики Нина Степовик и Виктор Кузнецов рассказали об этом со сцены Positive Hack Days Fest 2, а мы выкладываем видеозапись и дополненную текстовую версию доклада. Из этого материала вы узнаете о некоторых аспектах управления секретными данными и основных видах атак на хранилища секретов. Наши специалисты сравнили популярные хранилища, поделились рекомендациями и лучшими практиками для их настройки, а также разобрали типичные ошибки в интеграции хранилищ секретов в инфраструктуру. Читать: https://habr.com/ru/companies/bastion/articles/824096/ @database_design ___ Другие наши проекты

Быстрый запуск Redis через Docker Compose Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных. Читать: https://habr.com/ru/articles/823936/ @database_design ___ Другие наши проекты

Unlock PDF Search in Insurance with MongoDB & SuperDuperDB Read: https://www.mongodb.com/blog/post/unlock-pdf-search-in-insurance-mongodb-superduperdb @database_design ___ Другие наши проекты

Собираем полноценный NAS с 4 NVME дисками размером с небольшую книгу Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно! На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно. Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети. Что получилось, что не получилось? Читать: https://habr.com/ru/articles/823814/ @database_design ___ Другие наши проекты

MariaDB R2DBC Connector 1.2.1 now available Read: https://mariadb.com/?p=39381 @database_design ___ Другие наши проекты

ELK: использовать нельзя изобрести Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования? Читать: https://habr.com/ru/companies/vk/articles/822391/ @database_design ___ Другие наши проекты

Мы научили ИИ писать сатирические новости технологий Он уже рассказал нам про: — электросамокатную полицию; — продажу Марса NVIDIA; — ИИ на посту мэра города; — связь Starlink и внеземных цивилизаций. Подписывайтесь, чтобы узнать, что ждёт нас дальше по мнению нейросети: @notnewsgpt

Atlas Vector Search Once Again Voted Most Loved Vector Database Read: https://www.mongodb.com/blog/post/retool-state-of-ai-report-mongodb-vector-search-most-loved-vector-database @database_design ___ Другие наши проекты

Архивация сегментов WAL с помощью Pgbackrest Добрый день, меня зовут Андрей, я специалист по администрированию баз данных в компании «Сервионика». За 2,5 года под моим контролем побывало около 700 кластеров баз данных, из которых 80 % — High Avaiability, треть из них — это трёхнодовые полноценные кластеры, где есть мастер, синхронная и асинхронная реплики. Также были успешно проведены проекты по миграции с Oracle и MSSQL на PostgreSQL. Резервное копирование — один из важнейших процессов администрирования баз данных. К сожалению, никто не застрахован от сбоев оборудования или логических ошибок. Однажды мы столкнулись с ошибкой резервного копирования PostgreSQL, которая возникает у многих пользователей Pgbackrest. В сети нет единого описания её исправления. Расскажу о том, к какому решению мы пришли, и как в компании реализовано резервное копирование PostgreSQL. Читать: https://habr.com/ru/companies/T1Holding/articles/823360/ @database_design ___ Другие наши проекты

Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса С 2017 года мы строим и постоянно адаптируем к меняющимся требованиям и внешним факторам платформу управления данными. Для нас это инфраструктура, которая живёт и переиспользуется внутри разных сервисов, которые входят в Яндекс Go: Такси, Еда, Лавка и Доставка. Сначала мы обсудим скоуп того, что мы считаем платформой и чем занимаемся. Дальше расскажу про архитектуру YTsaurus (YT) предназначенную для обработки и хранения данных, и как она развивалась на стороне Яндекс Go. Про YT я буду рассказывать с точки зрения того, какие возможности он дает разработчикам хранилища и платформы, аналитикам и другим пользователям, которые активно работают с данными. Читать: https://habr.com/ru/companies/yandex/articles/822321/ @database_design ___ Другие наши проекты

Миграция в облако глазами инженера: как мы строили гибрид для 144 виртуальных машин и 104 ТБ данных Привет, Хабр! В этой статье Вячеслав Закариев, DevOps из компании Henderson, рассказывает о миграции в облако инфраструктуры крупного российского производителя и селлера одежды. Под катом: переезд с Hyper V на VMware, организация собственного ЦОД в офисе, интеграция его в облако, 140+ виртуальных машин от 250 ГБ до 4 ТБ каждая, честный отзыв Вячеслава по итогам переезда и много чего ещё. Читать: https://habr.com/ru/companies/oxygendc/articles/822355/ @database_design ___ Другие наши проекты

Сильный ИИ. Элира2. Сохранение диалогов ChatGPT Всем привет! В этой статье я расскажу о том, как можно сохранить диалоги в ChatGPT вместе с изображениями из чата! Несмотря на уже довольно долгое существование ChatGPT в нем до сих пор отсутствует функция сохранения диалогов с изображениями. Более того, при наличии изображений в диалоге, ссылка для сохранения вообще не создается. Именно поэтому я решил создать скрипт, который позволит сохранять диалоги напрямую через веб-интерфейс ChatGPT, используя Selenium. Читать: https://habr.com/ru/articles/823428/ @database_design ___ Другие наши проекты

Microsoft Power BI can now connect with the Oracle Database using Microsoft Entra ID SSO tokens This blog announces the availability of Microsoft Entra ID SSO tokens to connect Microsoft Power BI with Oracle Database Read: https://blogs.oracle.com/database/post/pbi-with-oracle-db @database_design ___ Другие наши проекты

Exact Nearest Neighbor Vector Search for Precise Retrieval Read: https://www.mongodb.com/blog/post/exact-nearest-neighbor-vector-search-for-precise-retrieval @database_design ___ Другие наши проекты