DevOps FM

Дом, милый дом: нюансы работы с ClickHouse. Часть 2, репликация

Если вспомнить работу репликации в MySQL, то реплики получают данные через бинарный лог — файл-журнал. Реплика копирует этот журнал себе и последовательно выполняет операции из него у себя. Концепция репликации в ClickHouse схожа, однако за хранение этого журнала отвечает не сама база. Для хранения и координации действий репликации в ClickHouse требуется распределённое хранилище данных, которое может гарантировать согласованность состояния. Для этого ClickHouse использует один из двух вариантов: Zookeeper или ClickHouse Keeper.

Об этой и других особенностях репликации в ClickHouse вы можете узнать из новой статьи Петра, DevOps-инженера компании Nixys. А ознакомиться с первой частью серии можно по этой ссылке. Приятного чтения! #Хабр #статья_Nixys #ClickHouse

О, вы как раз вовремя! Подборка новостей, статей и релизов уже ждёт вас. 🟡 Немного контекста. В 2023 году Oracle изменила модель формирования релизов MySQL. Теперь есть два вида веток: Innovation (новые функции каждые 3 месяца и поддержка только актуальной минорной версии) и LTS (стабильная версия с расширенным временем поддержки). Так вот: Oracle зарелизила MySQL 9.0, который пока относится к ветке Innovation. Что нового? Например, теперь при выполнении конструкции "EXPLAIN ANALYZE INTO" вы можете сохранить вывод в формате JSON в пользовательскую переменную, которая затем может использоваться в качестве аргумента в функциях для работы с JSON. Ещё добавили 15 переменных для настройки и инспектирования движка MLE, позволяющего использовать в хранимых процедурах и функциях код на языках, отличных от SQL. Полный список изменений — здесь.  LTS-релиз этой версии планируют выпустить через год. Тогда же и зарелизят MySQL 10.0. ⚫️ На InfoQ вышла статья про Platform-as-a-Runtime (PaaR, платформу как среду выполнения), созданную командой Wix. В двух словах: если вам нужно оптимизировать работу сотен микросервисов, то PaaR — это идеальное кастомное решение, выходящее за рамки привычного CI/CD. 🟡 На DevOps разобрали одну из основных проблем автоматизированного тестирования — нестабильных тестов. Автор рассказывает, почему появляются такие тесты, как их обнаружить и всё починить. #DevOps #test #MySQL

❌ Привет! В этот понедельник хотим напомнить, что у всех на работе случаются ошибки. На DEV технический директор Кевин поделился своими неудачами и дал парочку практических советов о том, как озвученных ситуаций можно было избежать. Вспомнить джунские деньки, умилиться ошибкам и узнать что-то новое можно по этой ссылке. ➕ Будет здорово, если и вы поделитесь под этим постом своим опытом или открытием. Вдруг именно ваш коммент спасёт чей-то прод?

🖖 Всем пятничный DevOps! Мы снова проводим опрос, чтобы узнать вас, — наших подписчиков, — получше и публиковать только интересный и полезный контент. Ещё принесли две интересные статьи по теме опроса: Как быть хорошим мейнтейнером: https://opensource.guide/ru/best-practices/ Тяжесть бытия мейнтейнера. Не старьё, а классика: http://antirez.com/news/129 Желаем приятных выходных. А тем, кто работает или дежурит — спокойных смен!

💻 А вот и заключительная часть серии постов про ключевые подходы к мониторингу SRE. Four Golden Signals — это методология, которая позволяет установить базовый уровень прозрачности в мониторинге ваших систем. 🔍 Концепцию «Четырёх золотых сигналов» разработала команда Google SRE. Первое упоминание о Four Golden Signals содержится в их книге “Site Reliability Engineering”. Эти метрики были созданы для связки классического мониторинга (показывающего, КОГДА возникла проблема) и наблюдаемости (англ. observability; показывающей, ПОЧЕМУ возникла проблема). Подход Four Golden Signals подразумевает следующие метрики: • Latency (задержка): время, необходимое для обслуживания запроса. • Errors (ошибки): количество неудачных запросов в секунду. • Traffic (трафик): количество пользователей или транзакций, проходящих через сервис. • Saturation (насыщенность): загруженность системы. Из полезного: здесь можно прочитать все три книги о SRE, которые написала команда Google. #DevOps #SRE #мониторинг

Чек-лист по разработке облачных приложений. Часть 2 — аспекты безопасности Станислав Тибекин, CEO компании Nixys, продолжает серию переводов статей Эяля Эстрина из AWS про особенности создания cloud-native приложений. В первой части автор рассказывал про бизнес-требования, инфраструктуру, автоматизацию, отказоустойчивость и экологичность. Во второй речь пойдёт о безопасности. Вы узнаете о основах IAM-систем, способах защиты сети и данных, управлении патчами и реагировании на инциденты. #DevOps #перевод #CloudNative

💻 Продолжаем серию постов про ключевые подходы к мониторингу SRE. R.E.D. Method — это методология, которая используется для высокоуровневых сервисов, обслуживающих запросы (например, веб-сервисы, запросы баз данных и т. д.). Она основана на разработанных командой Google SRE «Четырёх золотых сигналах». О них подробнее мы поговорим в четверг. RED-поход предложил Том Уилки, который является техническим директором Grafana Labs и состоит в команде Prometheus:

Нам действительно хотелось использовать философию мониторинга, ориентированную на микросервисы. Именно поэтому мы придумали метод R.E.D.

В концепции R.E.D. используется три показателя: • Rate (скорость): количество запросов в секунду. • Errors (ошибки): количество неудачных запросов в секунду • Duration (продолжительность): время, которое занимает каждый запрос на каждой фазе. Цель метода RED — проанализировать, насколько удобно и комфортно пользоваться сервисом в первую очередь конечным пользователям. #DevOps #SRE #мониторинг

☁️ Архивные проекты CNCF CNCF создаёт, развивает и поддерживает экосистему облачных технологий с открытым исходным кодом. Под крылом фонда — более 170 проектов. Но что будет, если один из этих продуктов завершит свой жизненный цикл и уйдёт (или вытиснится) с рынка? Или команда проекта больше не захочет получать поддержку Technical Oversight Committee (TOC, Комитета Технического Надзора)? Или наоборот — TOC перестанет рекомендовать технологию? В таком случае проект получит статус архивного. 🗄 Что это значит? Он больше не будет получать помощь через службу поддержки и не сможет позиционировать себя как часть CNCF. Предыдущие статусы, такие как «Sandbox», «Incubating» или «Graduated», будут аннулированы. Архивация в CNCF — это долгий многоэтапный процесс, во время которого разработчики ещё могут исправить ситуацию. Если проект всё же заархивировали, то он будет храниться в Linux Foundation. Ментейнеры смогут продолжить работу над ним и, если захотят, — повторно активировать. На сегодняшний день в архиве CNCF находятся 8 проектов. Среди них: • движок для контейнеров rkt, который не выдержал конкуренции с containerd от Docker Inc и cri-o от RedHat. • утилита Brigade для запуска скриптов, исполняемых в кластере Kubernetes, которая перешла к Microsoft от купленной Deis. В 2022 году проект изжил себя, оставшись без ментейнера и активных участников. • OpenTracing, так как OpenTracing и OpenCensus объединились в платформу OpenTelemetry. #DevOps #CNCF #opensource

Всем DevOps! С осторожностью деплоим подборку новостей и статей. 🟡 Важная новость: в целях улучшения системы безопасности Grafana прекращает поддержку API-ключей. Теперь нужно использовать ставшие общедоступными Service Account Tokens. Здесь вы найдёте подробную инструкцию по переходу с ключей API на SAT. Советуем заранее подготовиться к переменам и закончить переход до 31 декабря 2024 года, чтобы избежать внезапных перебоев и ошибок. ⚫️ Docker зарелизил Docker Desktop 4.31. Из обновлений: air-gapped контейнеры стали общедоступными. Они позволяют ограничить доступ к Интернету, таким образом предотвращая нежелательную загрузку и выгрузку данных. Ещё добавили две новые фичи, которые пока что находятся в стадии бета-тестирования, — File Viewer для просмотра файлов конфигурации Compose и поддержку проверки сборок GitHub Actions непосредственно в Docker Desktop. 🟡 ProDevOpsGuy опубликовал 100 лучших практик Linux. Есть как очевидные для опытных пользователей рекомендации, так и неожиданные советы. Переходите по ссылке и проверяйте, многих ли best practices вы придерживаетесь :) ⚫️ В блоге Oracle вышел небольшой пост про непопулярные, но полезные функции MySQL Shell.