DATABASE DESIGN

«Марсианская технология»: почему дата-центры переходят на топливные ячейки По прогнозам, к 2025 году индустрия связи (в том числе дата-центры) будет потреблять 20% всего электричества на планете. Чтобы сократить количество выбросов в атмосферу, компании все чаще обращаются к «зеленым» технологиям. Одной из них являются топливные ячейки — это решение стало наследником технологии НАСА, которую хотели использовать во время миссии на Марс. Рассказываем, как получилось, что эти системы запитали ЦОДы. Читать: https://habr.com/ru/companies/1cloud/articles/426335/ #ru @database_design | Другие наши каналы

Kafka в Wargaming: блицопрос Почему Kafka? Каковы общие впечатления? Каков состав кластеров? Под катом — дюжина коротких вопросов для Левона Авакяна, отвечающего в Wargaming за надежность, архитектуру приложений, инфраструктуру и продакшн. Читать: https://habr.com/ru/companies/oleg-bunin/articles/425703/ #ru @database_design | Другие наши каналы

Инновации массивов начального уровня HPE MSA: более доступный флеш массив и богатая интеграция решений Как HPE инвестирует в расширение возможностей массивов начального уровня MSA с поддержкой SSD-накопителей для компаний с разными бюджетами и потребностями в хранении данных? Всё больше и больше хороших новостей для владельцев малого и среднего бизнеса, которые ищут дисковый массив начального уровня – они становятся всё более производительными и легкими в управлении. Компания HPE продолжает развивать массивы MSA для того, чтобы вы получали больше скорости, доступности данных и мобильности. Предлагаю подробнее взглянуть на нововведения, которые позволят вам получить гораздо больше от MSA. Читать: https://habr.com/ru/companies/hpe/articles/426063/ #ru @database_design | Другие наши каналы

Как мы строили S3 хранилище DataLine. Эксперименты, тестирование и немного о бегемотах Снова привет, на связи Алексей Приставко, и это вторая часть моего рассказа об объектном S3 хранилище DataLine на базе Cloudian HyperStore. Сегодня я подробно расскажу о том, как устроено наше S3 хранилище и с какими трудностями мы столкнулись в процессе его создания. Обязательно коснемся «железной» темы и разберем оборудование, на котором мы в итоге остановились. Поехали! Читать: https://habr.com/ru/companies/rt-dc/articles/425973/ #ru @database_design | Другие наши каналы

Перенос облачной CRM в коробочную версию Когда возможностей облачного сервиса уже становится мало, и переход на коробочную версию видится следующим логичным шагом для дальнейшего развития корпоративного портала и CRM-системы, то у компаний встает вопрос, как это сделать, что их ожидает и все ли сохранится после переноса? Читать: https://habr.com/ru/articles/425911/ #ru @database_design | Другие наши каналы

Как капчи рассказали об уязвимости Яндекса Привет, Хабр! Присаживайтесь поудобней, заварите себе чайку, ибо я пишу немного затянуто и через правое ухо. Итак, Вы готовы? Отлично, тогда приступаем. ВНИМАНИЕ! Информация, описанная ниже, написана исключительно в исследовательских целях и не предназначена для использования в корыстных целях! Начну, пожалуй с предыстории. А именно, с разработки сетевого накопителя, сектора которого находятся в облаке. Суть данной технологии позволяла сделать из нескольких аккаунтов (ну около 100 или 1к аккаунтов) того же Яндекс.Диск по 10 Gb каждый (может измениться на момент прочтения) один большой диск, скажем на 10Tb. Вот... Читать: https://habr.com/ru/articles/425779/ #ru @database_design | Другие наши каналы

Как работать в облаке: от проверки надёжности дата-центра до управления виртуальной инфраструктурой Сегодня мы подобрали кейсы, рекомендации и аналитику о работе с IaaS. Здесь вы найдете статьи о том, как протестировать дисковую систему в облаке, как проверить надёжность ЦОД, и как передать управление ИТ-инфраструктурой IaaS-провайдеру и не пожалеть об этом. Читать: https://habr.com/ru/companies/mws/articles/425533/ #ru @database_design | Другие наши каналы

Флэш для всех и каждого. All Flash массив от QSAN Тема All Flash систем будоражит умы как пользователей, желающих получить в свое распоряжение сверхбыстрые хранилища, так и производителей систем хранения, стремящихся удовлетворить потребности своих клиентов. Все больше и больше игроков вступают в битву за этот лакомый кусок пирога, предлагая свои решения в области хранения на базе твердотельных накопителей. Не остался в стороне и тайваньский производитель систем хранения данных QSAN Technology, который относительно недавно включился в эту гонку, выпустив свой продукт All Flash — XCubeFAS XF2026D. Читать: https://habr.com/ru/articles/425417/ #ru @database_design | Другие наши каналы

Технология Solid: пришло время для перестройки веба Сэр Тим Бернерс-Ли на Campus Party 2008, фото Jonan Basterra Сэр Тим Бернерс-Ли, создатель Всемирной паутины и директор консорциума W3C, уверен, что развитие веба достигло критической точки, максимально отклонилось от изначальной концепции. Изначально он задумывался как децентрализованная сеть, где первый браузер одновременно был и редактором документов. Идея состояла в том, что каждый пользователь не только сможет просматривать документы, но и создавать, редактировать их. Веб должен был стать местом совместного творчества и сотрудничества для всего человечества. Но что-то пошло не так. Есть примеры удачной реализации совместного творчества, как Википедия, децентрализованный хостинг сайтов и пиринговые социальные сети. Это предвестники того, каким может стать веб на основе новой технологии Solid, которую разработал Тим Бернерс-Ли совместно с группой исследователей из Массачусетского технологического института. Это венец десятилетий концептуальной работы, которой занимался Бернерс-Ли. Читать: https://habr.com/ru/companies/globalsign/articles/425171/ #ru @database_design | Другие наши каналы

Хранение архива изображений для сайта в Azure BLOB storage В статье рассказано про опыт организации бюджетного хранения архива изображений для сайта с миллионами объявлений. Читать: https://habr.com/ru/articles/424841/ #ru @database_design | Другие наши каналы

О демонах и телепортации: две технологии, которые приближают «квантовое будущее» Расскажем о технологиях, которые могут поспособствовать широкому распространению квантовых машин, квантовом эквиваленте демона Максвелла и телепортации квантового вентиля. Читать: https://habr.com/ru/companies/mws/articles/424821/ #ru @database_design | Другие наши каналы

И снова про обезличивание На Федеральном портале проектов нормативных правовых актов появился проект Федерального Закона «О внесении изменений в Федеральный закон «О персональных данных» в части уточнения требований при обезличивании персональных данных». Полный текст проекта доступен по ссылке. Суть предложения Минкомсвязи проста: обезличивать персональные данные можно будет только в случаях, прямо установленных законодательством Российской Федерации и в соответствии с требованиями и методами, установленными Роскомнадзором. Читать: https://habr.com/ru/companies/cloud4y/articles/424703/ #ru @database_design | Другие наши каналы

Распределённые приложения на C++ с минимумом усилий Цель моего поста — рассказать о C++ API распределенной базы данных Apache Ignite, который называется Ignite C++, а также о его особенностях. О самом Apache Ignite на хабре писали уже не раз, так что наверняка некоторые из вас уже примерно представляют, что это такое и зачем нужно. Кратко об Apache Ignite для тех, кто пока с ним не знаком Не буду вдаваться в подробности о том, как появился Apache Ignite и чем отличается от классических баз данных. Все эти вопросы уже поднимались тут, тут или тут. Итак, Apache Ignite — это по сути быстрая распределённая база данных, оптимизированная для работы с оперативной памятью. Сам Ignite вырос из дата грида (In-memory Data Grid) и до недавнего времени позиционировался как очень быстрый, находящийся полностью в оперативной памяти распределённый кэш на основе распределенной хэш-таблицы. Вот почему, кроме хранения данных, в нем есть множество удобных фич для их быстрой распределенной обработки: Map-Reduce, атомарные операции с данными, полноценные ACID транзакции, SQL запросы по данным, так называемые Continues Queries, дающие возможность следить за изменением определённых данных и другие. Однако недавно в платформе появилась поддержка постоянного хранилища данных на диске. После чего Apache Ignite получил все преимущества полноценной объектно ориентированной базы данных, сохранив при этом удобство, богатство инструментария, гибкость и быстроту дата грида. Читать: https://habr.com/ru/companies/gridgain/articles/420623/ #ru @database_design | Другие наши каналы

Переезжаем на ClickHouse: 3 года спустя Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHouse, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на ClickHouse, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — ClickHouse тогда напоминал минное поле. Три года спустя ClickHouse стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на ClickHouse десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас ClickHouse все еще не беззаботная прогулка, но уже и не минное поле. Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. На прошедшей HighLoad++ 2019 Александр, один из пионеров использования ClickHouse, рассказал, что сейчас из себя представляет эта СУБД. Мы узнаем про основные особенности ClickHouse: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на ClickHouse. Читать: https://habr.com/ru/companies/oleg-bunin/articles/328784/ #ru @database_design | Другие наши каналы

Понимаем Container Storage Interface (в Kubernetes и не только) Прим. перев.: о так называемых плагинах хранилищ «вне дерева» Kubernetes (Out-of-Tree CSI Volume Plugins) мы впервые рассказывали в своём обзоре релиза K8s 1.9, где эта фича появилась в статусе альфа-версии. Автор нового материала — Anoop Vijayan Maniankara (ведущий DevOps-инженер финской компании Tuxera) — собрал ключевые сведения об идеях и устройстве CSI, что помогает быстро познакомиться с новой концепцией, которая, как утверждают некоторые наши сотрудники, «будет the next big thing». Для более подробного и технического изучения CSI в конце статьи приведены полезные ссылки, среди которых я особенно выделю презентацию одного из авторов этой спецификации (Jie Yu). Но начать всё равно стоит с «общей картины»… Container Storage Interface (CSI) — инициатива, призванная унифицировать интерфейс хранилищ, таких как Ceph, Portworx, NetApp и т.п., в системах оркестровки контейнеров: Kubernetes, Mesos, Docker Swarm, Cloud Foundry и других. Идея в том, чтобы реализация одного CSI производителем хранилища гарантированно работала со всеми этими системами. Читать: https://habr.com/ru/companies/flant/articles/424211/ #ru @database_design | Другие наши каналы

Наиболее распространенные ошибки и заблуждения при настройке DFSR [Прим. переводчика. Материал статьи относится к Windows Server 2003/2003R2/2008/2008R2, но большинство из описанного справедливо и для более поздних версий ОС] Всем привет! Уоррен снова здесь, и этот пост в блоге представляет собой подборку наиболее распространенных проблем DFSR, с которыми я столкнулся за последние несколько лет. Цель этого поста — перечислить распространенные ошибки в конфигурации DFSR, из-за которых возникают эти проблемы, и уберечь вас от совершения аналогичных ошибок. Знать, чего делать не следует, так же важно, как знать, что нужно делать. Многие из описанных пунктов связаны с другими темами, поэтому для углубленного изучения вопроса предоставлены соответствующие ссылки. Читать: https://habr.com/ru/articles/424139/ #ru @database_design | Другие наши каналы

Database as Сode. Копаем глубже В IT-проектах код пишут все. Инженеры с помощью нескольких строк управляют Kubernetes кластерами, разгоняют облака Terraform'ом и ворочают тонны конфигураций на Ansible, Chef и Puppet. QA пишут понятные бизнесу тестовые сценарии на Spock и Cucumber. Аналитики свободно, часто лучше разработчиков, разговаривают на SQL. Проектная документация в форматах Markdown, AsciiDoc или LaTEX "компилируются" в нужный формат на билд-сервере. Ну а сами разработчики, эти укротители кода, владеют сразу россыпью языков на каждый жизненный случай — клиентский, серверный, скриптовый, функциональный и пр. Код уже давно перестал быть загадочной тарабарщиной и теперь в том или ином виде доступен и понятен многим, даже премьер-министрам. И весь этот код участвует в стандартном жизненном цикле — находится под управлением VCS, подвергается code review, автоматизированному тестированию, CI, CD. Используются общие инструменты и подходы, метрики производительности и качества. А все вместе это носит гордое название — "Everything as code". Однако мир БД традиционно стоит особняком вдалеке от этой феерии прогресса и технологий. Процесс разработки и сопровождения БД не меняется годами и продолжает вселять ужас и страх в разработчиков, администраторов и пользователей по всему миру. Но возможно ли представить БД в виде обычного кода? Приблизиться к основному процессу разработки, использовать общие инструменты и подходы? Об этом под катом. Database as Code? Что за дичь? Читать: https://habr.com/ru/companies/croc/articles/333376/ #ru @database_design | Другие наши каналы

Уже год, как в домашних сетевых хранилищах My Cloud от WD зияет дыра Комикс xkcd В популярных домашних сетевых хранилищах My Cloud от компании Western Digital обнаружена уязвимость (CVE-2018-17153), она позволяет атакующему обойти механизм аутентификации и создать административную сессию, привязанную к его IP-адресу. UPD Опрос показывает, что почти каждый четвертый читатель Хабра находится буквально в шаговой доступности от уязвимого устройства. Ремко Вермелен, исследователь в области информационной безопасности, обнародовал все детали уязвимости в популярных устройствах Western Digital My Cloud. На этот шаг эксперт пошел тогда, когда компания после нескольких его обращений не устранила брешь и 15 месяцев спустя. Вермелен проинформировал производителя о проблеме еще в апреле 2017 года, но компания какой-то момент по неизвестной причине в прервала контакты с исследователем. Обычно «белые» хакеры дают компаниям 90 дней на закрытие обнаруженной уязвимости, однако в нашей истории ожидание явно подзатянулось. 260 days ago I responsibly disclosed a privilege escalation in the WD MyCloud. Unfortunately @WDCreators doesn’t take security very seriously. After the recent public disclosure of Gulftech I decided to disclose my finding. @TheHackersNews #MyCloud #FullDisclosure pic.twitter.com/aEerGZpybU — Remco Vermeulen (@RemcoVermeulen) January 10, 2018 Читать: https://habr.com/ru/articles/424107/ #ru @database_design | Другие наши каналы

Когда 2 х 3 = 2, или еще раз про виртуализацию данных Всем привет! Слышали ли вы что-нибудь о феномене Баадера-Майнхофа? Это забавное когнитивное искажение, наблюдать которое, как оказалось, довольно интересно на собственном примере. В 2016 году на Хабре вышла обзорная статья про технологию Delphix. Как любая хорошая теория, которую ты потребляешь ежедневно тоннами, чтобы быть в курсе, ты начисто забываешь процентов 80, не применяя ее на практике. Так случилось и со мной – я довольно быстро забыл про тот пост и Delphix, пока где-то год назад по долгу службы не столкнулся с авторами продукта и с самим продуктом. Получив возможность изучить тему не в теории, а на практике, ЛАНИТ погрузился в данную технологию настолько глубоко, что в этой статье я бы хотел систематизировать полученные знания и проанализировать полученный опыт. Картинка любезно предоставлена поисковой выдачей Яндекса. Читать: https://habr.com/ru/companies/lanit/articles/416813/ #ru @database_design | Другие наши каналы

Франция требует сделать «право на забвение» глобальным — на что это может повлиять Французская организация CNIL, занимающаяся вопросами защиты персональных данных в стране, потребовала от Google распространить «право на забвение» на весь мир. Регулятор желает, чтобы ссылки, удаленные из французской версии, скрывались и в версиях Google для других стран. ИТ-гигант не согласился с этим требованием, потому спор Google и CNIL перешел в зал Суда Европейского союза. Далее разбираемся в сути конфликта. Читать: https://habr.com/ru/companies/mws/articles/424077/ #ru @database_design | Другие наши каналы