DATABASE DESIGN

FFmpeg: уменьшаем размер видео В статье разбираю, как уменьшить размер видео на Windows с помощью open-source инструмента FFmpeg. Показываю установку, настройку переменной PATH и простую команду для эффективного сжатия с минимальной потерей качества. Это поможет освободить место на диске и упростить хранение и передачу видеофайлов. Читать: https://habr.com/ru/articles/988616/ #ru @database_design | Другие наши каналы

Генерируем CRUD для gRPC по схеме БД следуя Google AIP Как с помощью db-exporter автоматизировать процесс генерации CRUD-операций для gRPC, соблюдая стандарт Google AIP Читать: «Генерируем CRUD для gRPC по схеме БД следуя Google AIP» #ru @database_design | Другие наши каналы

Как мы мигрировали с Zeppelin и что из этого вышло. Часть 1. Рассылки Для задач аналитики Zeppelin - это чуть ли не находка. Он может в одной книжке исполнять код на любом языке (был бы интерпретатор), выводить его в виде красивых табличек, графиков и в любом другом виде, который удобен. И на Хабре есть много статей, посвященных плюсом данного решения для задач аналитики. В результате в аналитический отдел ТКБ Инвестмент Партнерс данный инструмент проник достаточно глубоко: на нем писались аналитические отчеты для разных отделов, расчетные таблицы, которые затем отсылались в дашборды, также данными книжками могли пользоваться все, кто знал какие-либо языки программирования. И мы попали в зависимость от него. Панацея, которая должна была стать легким решением для (почти) любой задачи превратилась в наше проклятие. Из-за проблем с данной системой на нас приходило по 5-7 тикеров в неделю, а также потерей доверия к нашим сервисам. Как мы с этим справились? Читать: https://habr.com/ru/articles/988386/ #ru @database_design | Другие наши каналы

Как организовать Базу знаний с пользой для авторов и читателей. Часть 2. Ревью Ситуация: открываете базу знаний и понимаете — что-то с ней не так, и каждый раз кто-то приходит с одними и теми же вопросами. Вы — тимлид/техлид/knowledge-менеджер, который знает ответы на все вопросы. Но времени на работу не остаётся как раз из-за разрешения всяких мелочей. Знакомо? Привет, Хабр! Меня зовут Анастасия Граф. Я руковожу отделом разработки технической документации в Maxim Technology — компания делает Ride Tech сервис для такси Maxim. Мы первыми в России запустили цифровую платформу. Этот материал готовился по мотивам доклада для TeamLead Conf. В предыдущей части статьи об организации Базы знаний мы сформулировали универсальные требования к ней и разобрались, с чего начать в принципе на примере процессов в Maxim Technology. Сегодня выясним, зачем нужно ревью любой документации и как оно поможет повысить уровень знаний в командах. Читать: https://habr.com/ru/companies/oleg-bunin/articles/969606/ #ru @database_design | Другие наши каналы

Видеокарты, NAND, процессоры, далее — везде. Почему растут цены и что с этим делать Если оглянуться на последние пару лет, легко заметить: рынок компьютерного железа научился выживать в режиме постоянных встрясок — то майнинг, то пандемия, то еще что-нибудь. Но нынешний кризис оказался каким-то особенно упорным. Все началось с оперативной памяти: к концу 2025 года цены на обычные модули DDR5 в отдельных сегментах выросли в несколько раз и с тех пор продолжают ползти вверх. И это, похоже, не временный скачок. «Идеальный шторм» дефицита электронных компонентов не только не утих, но со временем стал лишь набирать силу. Давайте разберемся, в чем тут дело и есть ли шансы, что ситуация придет в норму. Читать: https://habr.com/ru/companies/selectel/articles/988126/ #ru @database_design | Другие наши каналы

Горизонтальное масштабирование 1С: переносим отчеты на реплику без потери производительности В статье рассматриваются текущие возможности горизонтального масштабирования СУБД для 1С, а также какое решение предлагает Tantor Postgres. Читать: https://habr.com/ru/companies/tantor/articles/987338/ #ru @database_design | Другие наши каналы

Вышел Bun 1.3: full-stack рантайм, поддержка Redis и новый SQL API. Разобрались, что еще нового Bun 1.3 стал full-stack рантаймом с Redis, SQL API, поддержкой MySQL и PostgreSQL, новым тест-раннером и ускорением сборки до 2,5 раз Читать: «Вышел Bun 1.3: full-stack рантайм, поддержка Redis и новый SQL API. Разобрались, что еще нового» #ru @database_design | Другие наши каналы

Какие приложения установить на Windows и macOS Список разбит по категориям: от браузеров и гейминга до утилит безопасности и инструментов для продуктивности. Читать: «Какие приложения установить на Windows и macOS» #ru @database_design | Другие наши каналы

Post-GraphQL мир: стоит ли переходить на gRPC и tRPC Подробное сравнение технологий API для разработчиков. Разбираем сильные и слабые стороны GraphQL, gRPC и tRPC на реальных кейсах. Практические рекомендации по выбору технологии для вашего проекта. Читать: «Post-GraphQL мир: стоит ли переходить на gRPC и tRPC» #ru @database_design | Другие наши каналы

Как мы разгрузили базу данных в проде и не сломали систему Наверное, всем знакома ситуация, когда собираешь красивый отчет в BI-системе, пользуешься им полгода, а потом он с каждым днем тормозит все сильнее? Графики обновляются дольше обычного, таблицы медленно грузятся. А все потому, что BI работает на одной базе на пределе своих возможностей из-за перегруженности. Пример классической схемы, с которой начинают почти все компании: BI + база данных. Пока стартапы не могут позволить себе дорогостоящее озеро данных или DWH, они устанавливают базу данных, заполняют ее и прикручивают рядом BI-систему. Вот только данные в растущей компании имеют свойство прибывать. К примеру, у стартапа в первые месяцы работы было пять заказов в день, затем 100, 1 000 и еще больше. День за днем, год за годом все данные складываются в одну базу данных, и в итоге получается тяжелая, медленная система, которой банально неудобно пользоваться. Можно увеличить мощность базы данных, но это лишь отложит проблему на время, а не решит ее. А можно снять нагрузку с базы и доверить обработку накопленных данных другим инструментам и системам хранения. В этой статье я расскажу, как решить проблему с базой данных, которая трещит по швам, с помощью облачных managed-сервисов. Читать: https://habr.com/ru/companies/cloud_ru/articles/987934/ #ru @database_design | Другие наши каналы

Когда gfix бессилен: инструмент восстановления БД Firebird, спасаем данные Разбираем бинарный формат Firebird по байтам: структура страниц, транзакции, MVCC. Пишем утилиту на Delphi для восстановления данных, когда gfix и gbak бессильны. Читать: https://habr.com/ru/articles/986764/ #ru @database_design | Другие наши каналы

PostgreSQL 18 вышел: новый асинхронный I/O ускоряет запросы в 3 раза PostgreSQL 18 вышел с асинхронным I/O, ускоряющим запросы в 3 раза, быстрее pg_upgrade, новыми индексами, OAuth 2.0 и улучшенным текстовым поиском Читать: «PostgreSQL 18 вышел: новый асинхронный I/O ускоряет запросы в 3 раза» #ru @database_design | Другие наши каналы

Ваш код украли: как защитить права на IT-продукт и не потерять миллионы Трудовой договор не даёт права на код вашего продукта! Юрист Сергей Соколов простыми словами объясняет, как юридически закрепить права на ПО за компанией, а не за разработчиком. Узнайте, какие документы подготовить, чтобы ваш софт не «уплыл» к конкурентам. Читать: «Ваш код украли: как защитить права на IT-продукт и не потерять миллионы» #ru @database_design | Другие наши каналы

Memory wall: что это и почему важно для индустрии хранения данных Серверы становятся мощнее и больше каждый год. Количество ядер растет, векторные блоки для параллельной обработки массивов данных одной инструкцией расширяются, частоты давно уперлись в физические ограничения. Но вычислительная плотность продолжает увеличиваться. При этом производительность памяти и систем хранения растет существенно медленнее. В результате в реальных системах процессор все чаще простаивает, так как технически готов выполнять инструкции, но вынужден ждать, пока данные будут доставлены из хранилища. Это явление давно известно в архитектуре вычислительных систем как разрыв между процессором и памятью (или Memory Wall). Сегодня он определяет производительность серверов, баз данных, платформ данных и AI/ML-платформ сильнее, чем выбор конкретной модели процессора или видеокарты. А в будущем определит то, какие продукты и решения индустрия будет использовать для решения задачи хранения данных. Привет! Я Александр Гришин, руководитель по развитию продуктов хранения данных в Selectel. В этой статье я попробую подробно разобрать, что такое этот ваш разрыв между процессором и памятью, как он сформировался, как устроена иерархия памяти в сервере и почему эти ограничения подталкивают индустрию к новым архитектурам и решениям. Погнали! Читать: https://habr.com/ru/companies/selectel/articles/987304/ #ru @database_design | Другие наши каналы

Redis против Postgres в роли кэша: неожиданные итоги бенчмарка Бенчмарк показал: Redis быстрее в роли кэша, но PostgreSQL с unlogged-таблицами выдаёт до 7400 rps и подходит для многих проектов Читать: «Redis против Postgres в роли кэша: неожиданные итоги бенчмарка» #ru @database_design | Другие наши каналы

«SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы SQL отлично справляется с данными, но неудобен для бизнес-логики: разработчики выносят её в код ради гибкости, скорости и независимости Читать: ««SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы» #ru @database_design | Другие наши каналы

«SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы SQL отлично справляется с данными, но неудобен для бизнес-логики: разработчики выносят её в код ради гибкости, скорости и независимости Читать: ««SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы» #ru @database_design | Другие наши каналы

Устраиваем свой Data QA с PyTest и фикстурами Рабочий подход к тестированию трансформации данных в ETL-процессах. На примере Python-проекта с pytest, allure и psycopg2 демонстрируется, как автоматизировать создание и наполнение таблиц, хранить схемы и данные, а затем сравнивать результат. Читать: «Устраиваем свой Data QA с PyTest и фикстурами» #ru @database_design | Другие наши каналы

Как сеньоры документируют проекты: протокол архитектурных решений Как сеньоры документируют архитектуру без боли. Обзор подхода ADR: шаблоны, примеры из практики и комментарии экспертов. Ускорьте онбординг и перестаньте объяснять одно и то же. Читать: «Как сеньоры документируют проекты: протокол архитектурных решений» #ru @database_design | Другие наши каналы

Многофакторное сравнение пяти популярных вычислительных движков для больших данных Эволюция от Hadoop к cloud‑native и ИИ‑архитектурам. Многомерное сравнение Spark, Presto, Trino, ClickHouse и StarRocks по скорости, масштабируемости, кэшам, SQL/Python, HA и др. Читать: «Многофакторное сравнение пяти популярных вычислительных движков для больших данных» #ru @database_design | Другие наши каналы