DevOps&SRE Library

5 SRE Predictions For 2024

1️⃣ Tougher Job Market for SREs With many companies looking to cut costs due to worsening economic conditions, dedicated SRE roles may be seen as expendable - so SRE headcount and budgets could be reduced. Many organizations transition to Amazon-like model, where SWEs would "do it all". Infrastructure management, operational hardening, incident tracking and being oncall are becoming a part of the job, so reliability engineers would be slowly pushed out or would have to transition into development. We can already see these trends among colleagues being laid off in 2023, including SRE-minded companies like Google. This combination of factors means the SRE job market will likely tighten considerably in 2024. Openings will be harder to find and competition will be steeper. SREs will need to clearly demonstrate their value to stay relevant. 2️⃣ Rise of the Hybrid Cloud The economic realities of running workloads on major public clouds like AWS, GCP and Azure will lead companies to look for alternatives. The costs of using public cloud infrastructure and services have been climbing, eating into budgets. As companies look to reduce spending, running applications on public clouds may no longer make economic sense. We'll see a migration back towards private data centers, colocation facilities, and on-prem infrastructure. SREs skilled in on-prem operations, bare metal provisioning, etc. will be in higher demand. 3️⃣ Kubernetes will continue its dominance. While Kubernetes benefits and operational costs are questioned a lot recently, it has become the clear leader as the orchestration platform of choice for containerized workloads. Engineers and companies are heavily invested in Kubernetes workflows and tools, both in cloud and on-prem. As companies look to further invest in efficiency of infrastructure and application management, SREs will need strong Kubernetes expertise. 4️⃣ Increased major outages due to AI-written code (and fewer SREs) While the automated code generation promises improved developer productivity, it also poses new reliability challenges. As code generation by AI systems increases, companies may end up with insufficiently supervised software. With fewer SREs around to establish robust testing and deployment practices, outages caused by bugs in AI-generated code could become more frequent. Companies will be caught off guard by disruptions caused by their overreliance on AI. Quick mitigations for these outages would be problematic as well, as fundamentally it'd be harder to fix code issues in AI-written code. 5️⃣ Platform Engineering Matures In 2024, unifying infrastructure, applications, data, and services under common APIs and self-service platforms will accelerate. These platforms will provide standardized building blocks and streamlined workflows so engineering teams can quickly build, connect and deploy applications without wasting time in infrastructure complexities. Platforms will handle provisioning, networking, monitoring, access controls, and other operational aspects behind the scenes. With job opportunities for traditional SRE roles declining, many SREs will look to transition into platform engineering positions. The broad technical skills required by platform roles align well with strengths many SREs already have. However, to successfully land a platform engineering role, you will need to skill up on software development as well. Programming and coding will become mandatory for those looking to get into platform engineering.

https://www.codereliant.io/5-sre-predictions-for-2024

Building ML Infrastructure with Terraform https://medium.com/@alexgidiotis_96550/building-ml-infrastructure-with-terraform-520b80874e8b

Exploring Open Source Alternatives to Terraform Enterprise / Cloud https://medium.com/terrakube/exploring-open-source-alternatives-to-terraform-enterprise-cloud-73acf158a6e4

kamal

From bare metal to cloud VMs, deploy web apps anywhere with zero downtime. Kamal has the dynamic reverse-proxy Traefik hold requests while a new app container is started and the old one is stopped. Works seamlessly across multiple hosts, using SSHKit to execute commands. Originally built for Rails apps, Kamal will work with any type of web app that can be containerized with Docker.

https://github.com/basecamp/kamal

marmot

Marmot is a distributed SQLite replicator with leaderless, and eventual consistency. It allows you to build a robust replication between your nodes by building on top of fault-tolerant NATS JetStream. So if you are running a read heavy website based on SQLite, you should be easily able to scale it out by adding more SQLite replicated nodes. SQLite is probably the most ubiquitous DB that exists almost everywhere, Marmot aims to make it even more ubiquitous for server side applications by building a replication layer on top.

https://github.com/maxpert/marmot

⚡Тест на Observability: Мониторинг, Логирование, Трейсинг Проверь себя – пройди тест на знание навыков в отношении построения систем оповещений, мониторинга и логирования, таких как Prometheus, Grafana, ELK, Apache kafka, etc. Тест приурочен к онлайн-курсу "Observability: мониторинг, логирование, трейсинг". Курс доступен в рассрочку. 💯 Научитесь строить эффективные системы мониторинга и логирования. Курс идеально подойдет администраторам Linux, DevOps-инженерам и разработчикам, которые хотят повысить квалификацию и увеличить доход. ➡ ПРОЙТИ ТЕСТ: https://vk.cc/cu1TwN 🤝 Бонусом за успешно пройденный тест, получишь доступ к записям лучших вебинаров курса. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvySMnN

⚡Тест на Observability: Мониторинг, Логирование, Трейсинг Проверь себя – пройди тест на знание навыков в отношении построения систем оповещений, мониторинга и логирования, таких как Prometheus, Grafana, ELK, Apache kafka, etc. Тест приурочен к онлайн-курсу "Observability: мониторинг, логирование, трейсинг". Курс доступен в рассрочку. 💯Научитесь строить эффективные системы мониторинга и логирования. Курс идеально подойдет администраторам Linux, DevOps-инженерам и разработчикам, которые хотят повысить квалификацию и увеличить доход. ➡ ПРОЙТИ ТЕСТ: https://vk.cc/cu1RDA 🤝 Бонусом за успешно пройденный тест, получишь доступ к записям лучших вебинаров курса. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2Vtzqx3UQMc

paradedb

ParadeDB is an ElasticSearch alternative built on Postgres. We're building the features of ElasticSearch's product suite, starting with search.

https://github.com/paradedb/paradedb

atuin

Atuin replaces your existing shell history with a SQLite database, and records additional context for your commands. Additionally, it provides optional and fully encrypted synchronisation of your history between machines, via an Atuin server.

https://github.com/atuinsh/atuin

Брокеры сообщений – что это и зачем они нужны? Узнайте на бесплатном практическом уроке от OTUS, где опытный эксперт разберет: - какие проблемы решают брокеры сообщений; - основные понятия в теме; - применение брокеров в микросервисной архитектуре; - почему именно RabbitMQ; - почему не Каfka и в чем разница. Встречаемся 25 января в 20:00 мск в рамках курса «RabbitMQ для разработчиков и администраторов». Доступна рассрочка на обучение! Регистрируйтесь прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://vk.cc/cu0hF5 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvpHJCn

Performance Benchmarks of Cloud Machines (December 2023)

In this post, I will compare the performance metrics for different cloud providers. I’ve used standard (shared CPU) instances aith 4 vCPUs (RAM may vary) of these providers: - GitHub Codespaces - DigitalOcean - Linode - Vultr - Hetzner - AWS LightSail - Google Cloud

https://bas.codes/posts/cloudbench2312

Какими инструментами нужно владеть для работы с высоконагруженной архитектурой? Расскажем на бесплатном практическом уроке «Роль Tarantool в высоконагруженной архитектуре» от OTUS. На вебинаре разберём: - особенности, функционал и преимущества Tarantool; - архитектурные шаблоны и примеры его применения; - итоги и вопросы. Урок будет полезен для разработчиков, сисадминов и архитекторов, интересующихся высоконагруженными системами. Занятие пройдёт 31 января в 20:00 мск и будет приурочено к старту курса «Highload Architect». Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке: https://vk.cc/ctZzrx Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvvEaiz

The challenges of configuring Kubernetes resources’ Requests & Limits in combination with HPA at Scale https://medium.com/@alexandre.highrollers/the-challenges-of-configuring-kubernetes-resources-requests-limits-in-combination-with-hpa-at-92177cb5a378

Как за час сделать рабочий VPN для себя и друзей? 👉 Расскажем на бесплатном практическом уроке «Быстрая настройка VPN WireGuard с нуля». ⏰ Встречаемся 22 января в 19:00 мск, занятие будет приурочено к старту курса «Специализация Administrator Linux». После урока вы сможете продолжить обучение в рассрочку. 👉 Для бесплатного участия зарегистрируйтесь: https://otus.pw/08RC/ ☝️ На вебинаре: - погрузимся в основы сетевых технологий; - разберём смысл VPN; - запустим и настроим собственный WireGuard-сервер с удобным интерфейсом. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2Vtzqv6yY5j

Avoid this mistake when running containerized applications in production

Let's talk about things we must manage when running containerized applications and how this relates to proper management of termination signals.

https://dev.to/antoinecoulon/avoid-this-when-running-containerized-applications-in-production-562k

Как эффективно работать с MySQL? Расскажет Николай Лавлинский на бесплатном практическом уроке «MySQL 8.0: запуск GTID-репликации в Docker» от OTUS. На вебинаре: - разберём полный процесс запуска надежной репликации в MySQL 8.0 c использованием GTID - используем контейнеры для запуска серверов баз данных 💻 Урок будет полезен начинающим и опытным сисадминам Linux, веб-разработчикам и всем, кто хочет разобраться в работе MySQL в контейнерах. Занятие пройдёт 30 января в 19:00 мск и будет приурочено к старту курса «Administrator Linux. Professional». Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке: https://vk.cc/ctWHQ1 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqueE4V3

Zero downtime Postgres upgrades

Tl;dr: We recently upgraded from Postgres 11.9 to 15.3 with zero downtime by using logical replication, a suite of support scripts, and tools in Elixir & Erlang’s BEAM virtual machine. This post will go into far too much detail explaining how we did it, and considerations you might need to make along the way if you try to do the same. It is more of a manual than anything, and includes things we learned along the way that we wish we’d known up front.

https://knock.app/blog/zero-downtime-postgres-upgrades

🔍Yandex Cloud и Ipsos подвели итоги исследования рынка бессерверных вычислений По мнению 43% опрошенных разработчиков и предпринимателей, serverless позволяет компаниям сэкономить ИТ-бюджет. 83% респондентов уверены, что использование таких сервисов будет активно расти в 2024 году. Чаще всего serverless-архитектуру используют для аналитики данных (48%), их сбора и поставки в системы хранения (44%), а также для управления облачной инфраструктурой (34%). 💬Узнайте больше о состоянии рынка serverless в России по ссылке. Реклама. ИНН 7704458262, ООО "Яндекс Облако", erid: LdtCKBJSM

Binding to Low Ports as a Non-root User with Docker and Kubernetes https://nickjanetakis.com/blog/binding-to-low-ports-as-a-non-root-user-with-docker-and-kubernetes

Ожидания пользователей > реальное приложение – почему так? Расскажет опытный эксперт на бесплатном практическом уроке «CAP-теорема и управление ожиданиями пользователей» от OTUS. На вебинаре разберём: 1. Введение в CAP-теорему 2. Технические ограничения и ожидания пользователей 3. Реальные кейсы и способы решения Урок будет полезен для разработчиков, сисадминов, аналитиков, DevOps и архитекторов. Занятие пройдёт 23 января в 20:00 мск и будет приурочено к старту курса «Microservice Architecture». Доступна рассрочка на обучение. Для бесплатного участия регистрируйтесь прямо сейчас: https://vk.cc/ctVPDb Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqxmT17K