DevOps&SRE Library

Prometheus and centralized storage: When you need it, how it works, and what Mimir is https://blog.palark.com/prometheus-centralized-storage-mimir

Из DevOps в DevSecOps Если тебе интересна безопасность, этот пост для тебя. Сейчас СберМаркет с нуля собирает команду DevDecOps инженеров и у тебя есть возможность стать её частью. Базовые занания в области безопасности, конечно, нужны, но влиться в новую профессию ребята помогут. Что предстоит делать: внедрять сканнеры в пайплайны разработки следить за тем, что инфраструктурные узлы были хорошо настроены с точки зрения безопасности выстраивать процесса обработки уязвимостей, найденных в используемых Docker-образах. Немного о СберМаркет Tech. Это команда инженеров, которая разрабатывает e-grocery сервис #1 в России. Мы создает 2 мобильных приложения и сайт, сервисы для курьеров и сборщиков, PaaS, рекламную платформу для брендов, рекомендательные системы, а недавно начали качать направление доставки готовой еды. Под капотом крутится Go, Ruby, React Native, Kafka, Kubernetes. Залетайте на их Telegram-канал, чтобы побольше узнать об атмосфере в команде! Вакансию ищи по ссылке! Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 16+

Retries, Backoff and Jitter

In distributed systems, failures and latency issues are inevitable. Services can fail due to overloaded servers, network issues, bugs, and various other factors. As engineers building distributed systems, we need strategies to make our services robust and resilient in the face of such failures. One useful technique is using retries.

https://www.codereliant.io/retries-backoff-jitter

🗓 21 ноября, 16:00 📌Kubernetes Workshop: как развернуть сайт с помощью Terraform Присоединяйтесь на практический вебинар от @Selectel, на котором коллеги расскажут, как развернуть сайт в Kubernetes. При работе будут использованы сервисы Container Registry, Managed Kubernetes, менеджер секретов и DNS-хостинг. Во второй части вебинара вас ждут ответы на вопросы и разбор интересных кейсов по работе с Kubernetes. Основные темы: ▫️Создание в Terraform кластера Kubernetes и реестра для хранения образов контейнеров ▫️Настройка интеграции между Managed Kubernetes и Container Registry ▫️Добавление домена в DNS-хостинг Selectel ▫️Разбор кейсов по работе с Kubernetes и ответы на вопросы Регистрируйтесь на мероприятие и участвуйте в розыгрыше приза за лучший вопрос: https://slc.tl/771k1 Реклама ООО «Селектел» erid 2VtzqvGwCjA

The costs of microservices

The microservices architecture adds more moving parts to the overall system, and this doesn’t come for free. The cost of fully embracing microservices is only worth paying if it can be amortized across dozens of development teams.

https://robertovitillo.com/costs-of-microservices

tailspin

A log file highlighter

https://github.com/bensadeh/tailspin

Что делать с постепенно растущей нагрузкой при быстром масштабировании? А с ее резким ростом? Ответы на эти вопросы — на вебинаре Tarantool и Git In Sky «Типичные ошибки быстрого масштабирования: как их избежать» 23 ноября в 16:00 МСК. В программе: 🔹 Что может пойти не так на начальном этапе масштабирования? В чем плюсы и минусы традиционных подходов к кэшированию? 🔹 Что делать с постепенно растущей нагрузкой? А с резким ростом нагрузки? Как обеспечить доступность и отказоустойчивость сервиса? 🔹 Как избежать чрезмерного разрастания технологического стека при выпуске нового функционала? 🔹 Как на разных этапах масштабирования может помочь Tarantool? И как правильно его приготовить, чтобы добиться максимальной производительности и надежности? Приходите, если любите учиться на чужих ошибках и узнавать про факапы других людей🙂 Регистрируйтесь: https://bit.ly/3ME8WJt

SRE Interview Prep Plan (Week 3)

This week, we're taking another significant step forward as we get into the critical stack of monitoring and alerting. Now, it's time to equip yourself with the knowledge and tools needed to keep an eye on systems, analyze performance, and respond quickly to any issues that may come up.

https://www.codereliant.io/sre-interview-prep-plan-week-3

Learning From Google SRE Team (part-1)

In this blog post, we aim to expand on the first 5 lessons shared by Google's Site Reliability Engineering team, offering a closer look at practical implementation examples.

https://www.codereliant.io/20-sre-lessons-from-google-part1

Разберитесь в микросервисной архитектуре и повысьте свою востребованность Всего за 5 месяцев на онлайн-курсе «Microservice Architecture» от OTUS. После обучения вы сможете: - на профессиональном уровне планировать архитектуру и создавать масштабируемые, fault-tolerant приложения; - решать нетривиальные задачи в рамках распределенных и децентрализованных систем; - использовать в проектах классические паттерны проектирования (шардирование, репликация, и т.д.). Обучение идеально подходит архитекторам, разработчикам, системным аналитикам, администраторам и DevOps, которые хотят повысить свои доход и востребованность. Вы можете заранее бесплатно получить полную программу, чтобы убедиться, что она вам подходит. Также курс доступен для приобретения в рассрочку. Пройдите бесплатное вступительное тестирование прямо сейчас, чтобы занять место в группе по спец.цене: https://vk.cc/csq1OC Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvBXnuE

Scaling Elasticsearch by Cleaning the Cluster State

We often get questions like: - How much data can I put in an Elasticsearch cluster? - How many nodes can an Elasticsearch cluster have? - What’s the biggest cluster that you’ve seen? And while the 14-year-old in me is proud to say that we’ve done 24/7 support for clusters of 1000+ nodes holding many PB of data, I am quick to add that: 1. It doesn’t mean it’s a good idea to have clusters that big. 2. Such generic questions deserve more nuanced answers. Which is exactly what this blog post does. And it applies to OpenSearch as well as for Elasticsearch. And for the most part, to Solr (where the cluster state is stored in Zookeeper).

https://sematext.com/blog/elasticsearch-scaling-cluster-state

Top 10 common Dockerfile linting issues

We've added the ability to lint Dockerfiles on demand in Depot. This post covers the top 10 most common Dockerfile linting issues we've seen flowing through Depot.

https://depot.dev/blog/dockerfile-linting-issues

Первая конференция для разработчиков операционных систем и микроконтроллеров от SberDevices — «Салют, OS DevConf!» Мероприятие пройдет 18 ноября (суббота) в Москве. Участников ждет максимум полезной информации о системной разработке и безопасности ОС. Поделимся практиками SDL на kernel space и расскажем, почему так сложно защитить ядро: — Рассмотрим причины, по которым санитары из пространства пользователя не работают в ядре операционной системы; — Обсудим способы прикрутить libfuzzer к ядру и преимущества & недостатки использования симулятора атаки SYZKALLER; — Поговорим об особенностях статического анализа в ядре и о том, как писать эффективные ядерные харденинги. Посмотреть все доклады и зарегистрироваться можно по ссылке. Реклама. ПАО Сбербанк ИНН 7707083893. erid: 2SDnjcrT7AY

Argo Workflows - Proven Patterns from Production

Argo Workflows provides an excellent platform for infrastructure automation, and has replaced Jenkins as my go tool for running scheduled or event-driven automation tasks. In growing my experience with Argo Workflows, I’ve killed clusters, broken workflows and generally made a mess of things. I’ve also built a lot of workflows that needed refactoring as they became difficult to maintain. This blog post aims to share some of the lessons I’ve learned, and some of the patterns I’ve developed, to help you avoid the same mistakes I’ve made.

https://hodgkins.io/argo-workflow-proven-patterns-from-production

terraform-provider-namecheap

A Terraform Provider for Namecheap domain DNS configuration.

https://github.com/namecheap/terraform-provider-namecheap

🐧 Для начинающего Linux-администратора или DevOps инженера понимание Linux – это ключ к безграничным возможностям в мире ИТ. Наш курс «Linux для начинающих» доступен сейчас всего за 🔟₽, с ним вы сделаете первый шаг к успешной карьере в IT. 🖥 На курсе мы: — Детально разберем основные команды в Linux и научимся работать в консоли — Познакомимся с зомби, сиротами и демонами — Выясним, что такое ядро операционной системы и системные вызовы — Научимся работать со стандартными потоками ввода/вывода — Разберем некоторые особенности файловой системы ext4 Спикер курса — Андрей Буранов, специалист по UNIX-системам в компании VK. Он работает с операционной системой Linux более 7 лет. Входит в топ-3 лучших преподавателей образовательных порталов. ➡ Записаться на курс: https://vk.cc/csmoYH Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvVPJNc

Lessons learned from writing a Terraform Provider https://medium.com/@abagayev/lessons-learned-from-writing-a-terraform-provider-62412b79a997

ScratchDB

Scratch is an open-source alternative to BigQuery, Redshift, and Snowflake. Runs on Clickhouse.

https://github.com/scratchdata/ScratchDB

Как не только заметить ошибку в системе, но и понять ее причины? Расскажем на бесплатном открытом уроке «O11y (Observability) - что это? Почему Observability != Monitoring?» от OTUS. На эфире: - изучим основные принципы и практики наблюдаемости; - научимся применять современные инструменты для мониторинга и анализа состояния систем; - узнаем, как настраивать и использовать Prometheus, Grafana, Jaeger и Elasticsearch; - познакомимся с методами трейсировки, экспортом данных мониторинга и настроенными алертами; - рассмотрим примеры использования этих методов на практике. 🗓 Занятие состоится 15 ноября в 20:00 мск в рамках курса «SRE практики и инструменты». После урока вы сможете продолжить обучение в рассрочку. 🌐 Для бесплатного участия в открытом уроке и получения записи регистрируйтесь прямо сейчас, чтобы ничего не пропустить: https://vk.cc/cshrvk Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvMRuvf

RedisInsight

RedisInsight is a visual tool that provides capabilities to design, develop and optimize your Redis application. Query, analyse and interact with your Redis data.

https://github.com/RedisInsight/RedisInsight