DATABASE DESIGN

Что подразумевают под Data Governance? Если говорить про Data Governance, то это, в первую очередь, не продукты, а огромная методология управления жизненным циклом данных, и только потом – технологии. Близко к идеалу считается методология DAMA-DMBOK, и у любого специалиста по данным это должна быть настольная книга. К сожалению, в подавляющем большинстве случаев, когда люди начинают задумываться про управление данных, она попросту неприменима, так как она показывает «правильное» управление данными больших предприятий, до неё еще надо «дорасти», при этом точечно применяя сначала простые приемы, с возможностью расширения методик управления данными как «вширь», на другие отделы, так в «вглубь» на все процессы, связанные с управлением данными (Data Management): получением («добычей»), обработкой, хранением, извлечением и использованием информации. Без подобного управления жизненным циклом данных получим картину как в последнем исследовании Makves, что 40% данных никогда не используется: к ним не зафиксировано ни одного обращения за 5 лет. Найти «Ценность в данных» становится искусством, так как на предприятии растут «Кладбища данных» вместо «Хранилищ данных». Сейчас зачастую под Data Governance имеют в виду две части, это Data Quality – управление качеством данных, и Data Linage – «понять, откуда пришли данные, как они изменялись и можно ли им доверять». Если данные методологии использовать «в лоб», то это очень сильно замедлит разработку и перегрузит команду по управлению данными. Читать: https://habr.com/ru/articles/892302/ #ru @database_design | Другие наши каналы

Этот текст видят только те, кто хотел писать про IT, но всегда откладывал Редакция Tproger запустила свой канал для авторов, где учат писать лучше. Если давно хотели попробовать себя в IT-журналистике — самое время начать.

Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах Зачем разработчику знать SQL, если есть NoSQL. Показываем основные отличия SQL и NoSQL. Рассматриваем пошаговую инструкцию и важные особенности ✔ Tproger Читать: «Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах» #ru @database_design | Другие наши каналы

Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах Зачем разработчику знать SQL, если есть NoSQL. Показываем основные отличия SQL и NoSQL. Рассматриваем пошаговую инструкцию и важные особенности ✔ Tproger Читать: «Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах» #ru @database_design | Другие наши каналы

Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах Зачем разработчику знать SQL, если есть NoSQL. Показываем основные отличия SQL и NoSQL. Рассматриваем пошаговую инструкцию и важные особенности ✔ Tproger Читать: «Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах» #ru @database_design | Другие наши каналы

Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах Зачем разработчику знать SQL, если есть NoSQL. Показываем основные отличия SQL и NoSQL. Рассматриваем пошаговую инструкцию и важные особенности ✔ Tproger Читать: «Зачем разработчику знать SQL, если есть NoSQL? Разбираемся на примерах» #ru @database_design | Другие наши каналы

Прогресс в AI: Oracle и NVIDIA ускоряют поиск На Oracle CloudWorld 2024 в Лас-Вегасе были представлены концепты использования GPU от NVIDIA для ускорения AI Vector Search в Oracle Database 23ai. Компании продолжают совместную работу над повышением эффективности и надежности этих технологий. Читать подробнее #en @database_design | Другие наши каналы

Быстрый поиск видео с DeweyVision Обработка видеоматериалов вручную занимает много времени. DeweyVision решает эту проблему с помощью AI, делая поиск быстрым и точным. Теперь компания преодолевает свои трудности с помощью Oracle AI Vector Search в Oracle Database 23ai. Узнайте, как они добились успеха! Читать подробнее #en @database_design | Другие наши каналы

Ускорение работы с Oracle Spatial в версии 23ai Oracle Database 23ai улучшает работу с векторными тайлами благодаря кэшированию. Это предлагает значительное повышение производительности при их получении. Узнайте, как использовать эти возможности для быстрого отображения карт в приложениях. Читать подробнее #en @database_design | Другие наши каналы

Как MongoDB помогает модернизироваться: вдохновляющие кейсы MongoDB представила серию блогов, рассказывающих, как компании по всему миру используют базу данных для решения критически важных задач. Среди примеров — модернизация систем швейцарского банка Lombard Odier и улучшение стримингового сервиса SonyLIV. Узнайте, как лидеры отрасли раскрывают потенциал данных с MongoDB. IFG Life модернизирует инфраструктуру с MongoDB Текст: IFG Life, дочерняя компания Indonesia Finance Group, обновила свою IT-инфраструктуру, перейдя на облачные технологии и микросервисы. В поисках оптимальной базы данных компания выбрала MongoDB Atlas. Это решение позволило улучшить управление клиентами и подготовиться к внедрению генеративного ИИ. Читать подробнее #en @database_design | Другие наши каналы

Новые возможности Oracle Exadata X11M для автономных баз данных Пост: В статье раскрываются преимущества Oracle Exadata Database Machine X11M, способной значительно повысить эффективность автономных баз данных. Узнайте, как эта платформа обеспечивает улучшенную производительность и надежность для корпоративных систем. Читать подробнее #en @database_design | Другие наши каналы

Обзор накопителя 2 ТБ Micron 4600 Накопитель Micron 4600 порадует ценителей высокопроизводительных устройств хранения данных. Этот мощный SSD выводит скорость на новый уровень, не жертвуя энергоэффективностью. Оснащенный контроллером SMI SM2508 и новейшей 276-слойной памятью TLC NAND от Micron, он воплощает в себе все, что можно ожидать от современного накопителя. Micron 4600 знаменует собой новую эру доступных и быстрых дисков PCIe 5.0, предлагая производительность без привычных компромиссов. Хотя это нельзя назвать революционным инженерным достижением, устройство уверенно прокладывает путь к стабильному развитию рынка SSD, переживающего череду взлетов и падений. И этот накопитель — определенно один из взлетов. Micron 4600 — это OEM-накопитель, поэтому его нельзя назвать широко доступным в розничной продаже, к тому же у него относительно слабая реклама. Даже в одиночной конфигурации этот накопитель демонстрирует впечатляющие характеристики и выдающуюся энергоэффективность для своего уровня производительности. Хотя было бы замечательно увидеть версию с объёмом 8 ТБ, для большинства пользователей текущей ёмкости более чем достаточно. Теперь остаётся с интересом ждать, сможет ли Samsung дать достойный ответ с выпуском 9100 Pro. Можно задаться вопросом, зачем нужен такой быстрый диск. Micron позиционирует 4600 как решение для профессиональных задач, включая искусственный интеллект, что подразумевает, что диск является хорошим выбором для HEDT (high-end desktop). Несомненно, этот диск также более чем пригоден для игр в будущем, а его пиковая производительность превосходит аналоги. С его появлением на рынке устанавливается новая планка для SSD-накопителей, так как система хранения данных PCIe 5.0 становится все более совершенной. Читать: https://habr.com/ru/companies/ua-hosting/articles/891688/ #ru @database_design | Другие наши каналы

SQL vs Excel: когда таблицы уже не справляются Когда в компании работа выстроена в Excel, проблем нет, пока в таблице несколько тысяч строк. Но бизнес растёт, и вот в файле уже миллион записей. Поиск тормозит, сложные формулы зависают. А если сотрудник случайно удалит столбец — восстанавливать придётся вручную. Это первые сигналы, что Excel не справляется. В этой статье разберём, когда Excel перестаёт быть удобным инструментом и как SQL помогает решать эти проблемы. А приглашённые эксперты поделятся практическими примерами и советами по переходу. Читать: https://habr.com/ru/companies/netologyru/articles/891236/ #ru @database_design | Другие наши каналы

SQL vs Excel: когда таблицы уже не справляются Когда в компании работа выстроена в Excel, проблем нет, пока в таблице несколько тысяч строк. Но бизнес растёт, и вот в файле уже миллион записей. Поиск тормозит, сложные формулы зависают. А если сотрудник случайно удалит столбец — восстанавливать придётся вручную. Это первые сигналы, что Excel не справляется. В этой статье разберём, когда Excel перестаёт быть удобным инструментом и как SQL помогает решать эти проблемы. А приглашённые эксперты поделятся практическими примерами и советами по переходу. Читать: https://habr.com/ru/companies/netologyru/articles/891236/ #ru @database_design | Другие наши каналы

Тестирование БД в легаси-проекте: повышение качества кода и стабильности системы в «Цифровой карте магазина» В этой статье я хотел бы поделиться с вами моим опытом написания юнит-тестов для базы данных (БД) в рамках легаси-проекта. Я выбрал формат ретроспективы, чтобы показать, как все начиналось, к чему мы пришли и какой путь был пройден в разработке юнит-тестов для проекта «Цифровая карта магазина». Возможно, статья будет полезна начинающим разработчикам баз данных или тем, кто хочет начать писать юнит-тесты для Oracle, но не знает, с чего начать. Читать: https://habr.com/ru/companies/sportmaster_lab/articles/888110/ #ru @database_design | Другие наши каналы

Процедура обнаружения взаимоблокировок в PostgreSQL РostgreSQL автоматически обнаруживает взаимоблокировки. В статье рассматривается процедура обнаружения взаимоблокировок, трудоёмкость процедуры обнаружения, причины, по которым параметр конфигурации log_lock_waits зависит от параметра deadlock_timeout и что влияет на выбор его значения. Обычно, приводятся примеры взаимоблокировки двух процессов, но заблокироваться может и более двух процессов. Параметр конфигурации deadlock_timeout устанавливает время ожидания получения блокировки, по истечении которого будет выполняться проверка на наличие взаимоблокировки. Параметр log_lock_waits типа boolean (по умолчанию false) позволяет получить в логе кластера сообщение о том, что сессия ждёт получения блокировки дольше, чем значение deadlock_timeout. Процедура обнаружения взаимоблокировок Если процесс не может получить блокировку, то он засыпает и устанавливает себе таймер, чтобы проснуться через время, заданное параметром конфигурации deadlock_timeout (по умолчанию 1 секунда). Процесс проснётся до истечения таймаута, если блокировка ему будет предоставлена. По завершению таймаута процесс начинает процедуру обнаружения взаимоблокировки. Процедура обнаружения взаимоблокировок относительно трудоёмка, так как набор блокировок не дерево, а граф. В графе проверяется наличия колец, которые указывают на взаимоблокировки. Если взаимоблокировки нет, то процесс снова заснёт и больше не будет проверять, есть ли взаимоблокировка до получения блокировки или прерывания транзакции в соответствии с параметрами transaction_timeout и аналогичными параметрами. Почему процесс не будет дальше поверять ситуацию возникновения взаимоблокировки с частотой deadlock_timeout? Читать: https://habr.com/ru/articles/891782/ #ru @database_design | Другие наши каналы

"IFG Life открывает потенциал данных с MongoDB" IFG Life, дочерняя компания Indonesia Finance Group, модернизирует свои системы с помощью MongoDB Atlas. Старые архитектуры данных тормозили развитие, но переход на облачные технологии и использование MongoDB позволили создать единую платформу управления клиентами, улучшив понимание и обслуживание клиентов. MongoDB поддержал компанию, предоставив необходимые ресурсы и технологии. Почему MongoDB — лучший выбор для модернизации телеком-систем Телеком-компании, такие как Nokia и Vodafone, уже успешно обновили свои системы с помощью MongoDB. Благодаря гибкой модели данных и встроенным сервисам, MongoDB упрощает переход на новые технологии и повышает эффективность. Узнайте, как MongoDB помогает в модернизации телеком-индустрии. Читать подробнее #en @database_design | Другие наши каналы

Переход на MongoDB: модернизация телеком-систем Телеком-компании сталкиваются с вызовами старых систем, таких как сложность и низкая масштабируемость. MongoDB предлагает решение, позволяющее эффективно обрабатывать большие объемы данных и повышать безопасность, адаптивность и производительность современных приложений. Открытие ORiGAMi для машинного обучения с MongoDB ORiGAMi — новая open-source платформа для машинного обучения с неструктурированными документами в MongoDB. Она позволяет обучать модели без упрощения данных, сохраняя их структуру и контекст. Платформа обновляет предсказания на основе изменения поведения пользователя и доступна на GitHub. Присоединяйтесь к развитию технологии! Читать подробнее #en @database_design | Другие наши каналы

OpenSearch как сервис: обзор и тривиальный пример использования на Python Привет, Хабр! Проблема традиционных реляционных баз данных в том, что они не всегда справляются с обработкой огромных объемов информации. Вот вам нужно быстро найти, проиндексировать и проанализировать логи, события или метрики, но вы упираетесь в ограничения масштабируемости, автошардирования и скорости обработки запросов специфического профиля нагрузки. Знакомо? Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье расскажу, как описанные проблемы решает OpenSearch, как развернуть кластеры этой платформы за несколько минут и начать с ней работать в Python. Читать: https://habr.com/ru/companies/selectel/articles/891046/ #ru @database_design | Другие наши каналы

OpenSearch как сервис: обзор и тривиальный пример использования на Python Привет, Хабр! Проблема традиционных реляционных баз данных в том, что они не всегда справляются с обработкой огромных объемов информации. Вот вам нужно быстро найти, проиндексировать и проанализировать логи, события или метрики, но вы упираетесь в ограничения масштабируемости, автошардирования и скорости обработки запросов специфического профиля нагрузки. Знакомо? Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье расскажу, как описанные проблемы решает OpenSearch, как развернуть кластеры этой платформы за несколько минут и начать с ней работать в Python. Читать: https://habr.com/ru/companies/selectel/articles/891046/ #ru @database_design | Другие наши каналы