DevOps&SRE Library

From RSS to WSS: Navigating the Depths of Kubernetes Memory Metrics

Beyond the basics, an in depth look at memory metrics in Kubernetes

https://itnext.io/from-rss-to-wss-navigating-the-depths-of-kubernetes-memory-metrics-4d7d77d8fdcb

#вакансия #DevOps #fulltime #remote #crypto Компания: Telespace Вилка: от 3000 до 4000 usd Вакансия: DevOps Engineer Уровень: middle+/senior Формат работы: Remote | FullTime Условия - Работа в перспективном стартапе, который находится в закрытом альфа тестировании - Зарплата в криптовалюте - Гибкий формат работы: из любой точки мира - Удобный график работы Мы ищем Опытного DevOps-инженера, который способен обеспечить бесперебойную работу множественных центров обработки данных, эффективно управлять распределением больших объемов данных, с интеграцией современных технологий, включая Kubernetes Stack Env: Bare-metal / Proxmox Backend: Go, Python + Temoral.io Data Transport: Apache Kafka, S3 Data Storage: PostgreSQL, Clickhouse, Cassandra, Redis (KeyDB), Elasticsearch Ops: k8s, GitLab Monitoring: Prometheus/Grafana, OpenTelemetry/Opentracing Ключевые задачи Проектирование и развитие инфраструктуры в нескольких ДЦ: - Планирование и реализация сетевой архитектуры - Эффективное управление распределением данных - Масштабирование и оптимизация работы кластеров k8s - Проектирование архитектурных решений и обоснование с точки зрения производительности, безопасности и стабильности Бесперебойная работа сервисов: - Обеспечение надежности, высокой доступности и производительности продукта - On-call дежурства и реакция на инциденты: работа продакшн - твоя зона ответственности - Управление инцидентами: разбор и постмортемы, исправление проблем - Масштабирование и capacity planning. Создание DRP, проведение регулярных учения по отказам с последующим анализом результатов Делать продакшн лучше: - Автоматизация ручной, повторяющейся работы и рутинных задач - Release engineering: разработка, внедрение и поддержка процессов CI/CD - Сотрудничество с командами разработки для обеспечения работы и эффективного взаимодействия всех компонентов системы - Актуализация метрик/алертов мониторинга и логирования, отслеживание и анализ ошибок Ожидания Самое важное для нас: - Глубокие знания сетевых технологий: опыт работы с multi-DC network, умение проектировать/настраивать их для обеспечения высокой доступности и производительности - Практический опыт с крупными базами данных: такими как Postgres, Clickhouse, Cassandra или ScyllaDB, а также понимание того, как решать задачу CAP на большом объеме данных - Глубокий опыт эксплуатации k8s: ты знаешь, как быстро и просто масштабировать продукт, между несколькими дата-центрами на больших объемах данных - Умеешь в System Design: используешь принципы и best practice при построении высоконагруженных систем - Слова Observability & Monitoring тебя не пугают: знаешь, что такое персентиль и медиана, отличаешь SLO/SLA/SLI - Во время сбоя можешь быстро принимать решения, не теряешься и не сдаешься - Умеешь и любишь общаться с коллегами (да, мы понимаем, что иногда это сложно). Необходимо много общаться со смежниками, договариваться - Умеешь описывать понятную и подробную документацию, по проделанной работе Будет плюсом опыт: - bare-metal / on-prem - Proxmox/VMware - Temporal.io - Go/Python Откликнуться на вакансию: @mxssl

Incident severity levels for online platforms

Defining clear Incident Severity levels is a key component to an efficient Incident Management process that helps Engineering teams quickly respond to outages and mitigate customer impact.

https://argoday.medium.com/incident-severity-levels-78bfe7dd7e0d

terraform-github-actions

This is a suite of terraform and OpenTofu related GitHub Actions that can be used together to build effective Infrastructure as Code workflows.

https://github.com/dflook/terraform-github-actions

📌 Kubernetes — это база. А Слёрм запускает базовый курс по k8s уже в январе. В процессе обучения вы: ▪️разберете основы работы с Kubernetes, устройство кластера и отказоустойчивость; ▪️познакомитесь с продвинутыми абстракциями в k8s; ▪️научитесь подключать системы хранения данных на примере Ceph; ▪️узнаете, как работают DNS-сервисы, Helm и CI/CD. Вас ждут подробные видеоуроки, практика на стендах в личном кабинете, АМА-сессии со спикерами и итоговая сертификация в конце курса. 🎁 Бонус для всех, кто хочет начать заниматься сразу — бесплатный доступ к первому модулю. Поток стартует 17 января. Не упустите шанс сохранить для себя цены 2023 года — присоединяйтесь прямо сейчас! Изучить программу и присоединиться к курсу

Take your testing to the cloud https://mattias.engineer/posts/take-your-testing-to-the-cloud

Testing Framework in Terraform 1.6: A deep-dive https://mattias.engineer/posts/terraform-testing-deep-dive

git rebase: what can go wrong? https://jvns.ca/blog/2023/11/06/rebasing-what-can-go-wrong-

AWS CDK vs Terraform

IaC is one of the key DevOps practices, and AWS CDK & Terraform are both great IaC tools to manage your AWS infrastructure. Having used both extensively, let me share my experience with the 2 IaC tools.

https://medium.com/@kansvignesh/aws-cdk-vs-terraform-738c39d91f7a

Upgrading GitHub.com to MySQL 8.0

GitHub uses MySQL to store vast amounts of relational data. This is the story of how we seamlessly upgraded our production fleet to MySQL 8.0.

https://github.blog/2023-12-07-upgrading-github-com-to-mysql-8-0

On Error Budgets

An error budget is essentially the permissible limit of risk or failure that a service can tolerate while still meeting its objectives. It is closely tied to Service Level Objectives, which define the expected level of service reliability. For instance, if an SLO dictates 99.9% uptime, the error budget allows for a 0.1% margin of error or downtime.

https://www.codereliant.io/on-error-budgets

Service Level Indicators

Introduction to SLI, examples, counterexamples and tips

https://blog.alexewerlof.com/p/sli

tofuenv

OpenTofu version manager inspired by tfenv

https://github.com/tofuutils/tofuenv

Martian Kubernetes Kit: a smooth-sailing toolkit from our SRE team

We’ve been using Kubernetes since before it was a “thing”, and as of 2023, we believe that it is still underutilized. In fact, it’s the best (and basically only real “at-scale”) solution for orchestrating Docker containers—or containers in general, after you’ve outgrown services like Heroku or Fly.io! That’s a bold claim, but it’s a belief backed up by our years of SRE experience. In this post, we’ll expand on that, and we’ll introduce a Kubernetes toolkit we already use and support for our clients, which simultaneously de-complexifies and highlights the benefits of Kubernetes.

https://evilmartians.com/chronicles/martian-kubernetes-kit-a-smooth-sailing-toolkit-from-our-sre-team

Healthchecks.io Hosting Setup, 2022 Edition https://blog.healthchecks.io/2022/02/healthchecks-io-hosting-setup-2022-edition Healthchecks.io Hosting, Questions and Answers https://blog.healthchecks.io/2022/05/healthchecks-io-hosting-questions-and-answers

Notes on Self-hosted Transactional Email

Since a little more than two months ago, Healthchecks.io has been sending transactional email (~300’000 emails per month) through its own SMTP server. Here are my notes on setting it up.

https://blog.healthchecks.io/2023/08/notes-on-self-hosted-transactional-email

Kubewatch: A Kubernetes Watcher for Observability and Monitoring

Kubewatch is a Kubernetes watcher that publishes notifications to available collaboration hubs/notification channels. It watches the cluster for resource changes and notifies you through webhooks.

https://medium.com/@seifeddinerajhi/kubewatch-a-kubernetes-watcher-for-observability-and-monitoring-d6dea1dbeb06 https://github.com/robusta-dev/kubewatch

Kubernetes And Kernel Panics

How Netflix’s Container Platform Connects Linux Kernel Panics to Kubernetes Pods

https://netflixtechblog.com/kubernetes-and-kernel-panics-ed620b9c6225

VictoriaMetrics: A Comprehensive Guide, Comparing It to Prometheus, and Implementing Kubernetes Monitoring https://medium.com/@seifeddinerajhi/victoriametrics-a-comprehensive-guide-comparing-it-to-prometheus-and-implementing-kubernetes-03eb8feb0cc2

Mastering AWS Lambda with Terraform: A Comprehensive Guide https://blog.awsfundamentals.com/aws-lambda-with-terraform