DevOps&SRE Library

Author: https://t.me/sysadmin_tools

We have made the VictoriaLogs stack for storing logs and the main goal will be to collect logs from k8s. At the moment the product is ready and shows itself very well (does not require resources, compresses data very  well) https://docs.victoriametrics.com/victorialogs/ Among the features - supports many protocols for data insertion (including native syslog, promtail (and all variations of this name), elasticsearch, examples of how to write through standard log shippers). VictoriaLogs has visualisation in Grafana and its own UI + query langues, which allows you to basically do whatever you want with logs (filtering analytics slide/dice). We plan to release the cluster and officially announce that everything is ready on Kubecon NA this fall. The Roadmap: https://docs.victoriametrics.com/victorialogs/roadmap/ As for important things: cluster support for s3, alerting and operator (now only helm chart is available). We'll be glad to get feedback at our telegram community @VictoriaMetrics_en or at https://slack.victoriametrics.com The code is here - https://github.com/VictoriaMetrics/VictoriaMetrics/tree/master/app/victoria-logs (monorepo for VictoriaMetrics and VictoriaLogs)

Solving large logs with ClickHouse

Embrace engineers share a few key learnings from supporting larger log sizes, including working around a current limitation in ClickHouse and testing several skip indices to optimize query performance and storage cost.

https://embrace.io/blog/solving-large-logs-with-clickhouse

Ephemeral Values in Terraform

Since long before I worked at HashiCorp I've been interested in the problems with how Terraform interacts with security-sensitive information like passwords and private keys.

https://log.martinatkins.me/2024/05/22/terraform-ephemeral-values

Завершено масштабное исследование State of DevOps Russia 2024 от Экспресс 42 при поддержке Deckhouse, HeadHunter, Yandex Cloud, Avito Tech, Т-Банк, OTUS и JUG Ru Group. 📌 26 июля в 11:00 состоится вебинар по результатам исследования! В программе: 🔸 востребованность DevOps в различных отраслях, ситуация на рынке труда и во что бизнес готов инвестировать ИТ-бюджет; 🔸изменения в DevOps-инструментах и использовании российских ОС; 🔸бенчмарк индустрии и как компании делятся по профилям эффективности; 🔸облачная инфраструктура и гибридный формат, AI, задачи для PaaS и навыки специалистов по DevOps; 🔸тренды использования индустриальных платформ и сложности, с которыми сталкиваются компании при их развитии и поддержке; 🔸специфика выбора оркестраторов компаниями и статистика по наиболее используемым платформам контейнеризации, включая российские решения. Регистрируйтесь 👉 по ссылке!

gitops-bridge

The GitOps Bridge is a community project that aims to showcase best practices and patterns for bridging the process of creating a Kubernetes cluster to subsequently managing everything through GitOps. It focuses on using ArgoCD or FluxCD, both of which are CNCF-graduated projects.

https://github.com/gitops-bridge-dev/gitops-bridge

Теория + практика: аспирантура по ИИ от Яндекса. В 2024 году компания открывает первую практико-ориентированную аспирантуру по ИИ в ИТМО и НИУ ВШЭ. Молодые ученые получат грант 800 тысяч рублей (ежегодный) и смогут работать над реальными проектами под руководством тимлидов из Yandex Cloud и автономного транспорта. 🧠Что значит теория + практика? Аспиранты будут решать реальные задачи и предлагать решения на базе своих исследований. Какие задачи: улучшение языковых моделей, адаптация YandexGPT, разработка ИИ для промышленности, безопасность автономного транспорта. У каждого будет научный руководитель, исследователь из вуза и проектный руководитель из компании. Кажется, это именно то, что может помочь молодым ученым ускорить внедрение своих исследований в реальные продукты и двигать развитие ИИ вперед.

GPU Virtualization in K8s: Challenges and State of the Art

Kubernetes schedules GPU workloads by assigning a whole device to a single job exclusively. This one-to-one relationship leads to massive GPU underutilization, especially for interactive jobs, characterized by significant idle periods and infrequent bursts of heavy GPU usage. Current solutions enable GPU sharing by statically assigning a fixed slice of GPU memory to each co-located job. These solutions are not suitable for interactive scenarios since the number of co-located jobs is limited by the size of physical GPU memory. Consequently, users must know the GPU memory demand of their jobs before submitting them for execution, which is impractical.

https://www.arrikto.com/blog/gpu-virtualization-in-k8s-challenges-and-state-of-the-art

Летняя распродажа в Слёрме: -50% на все видеокурсы из списка С 17 по 31 июля в Слёрме на все видеокурсы из этого списка скидка 50% по промокоду LETO2024. До старта бизнес-сезона осталось меньше половины лета. Пока на вас не свалилось 500 новых проектов, можно спокойно разобраться в новом инструменте, подходе или методике. Время до сентября — лучшее, чтобы прокачать свой стек 😉 ➡ Доступ к видеоурокам сохранится на 2 года ➡ Вы можете спланировать учёбу на год вперёд, купить дешевле и учиться в любое время ➡ Рассрочка действует и на акционные цены Выбирайте курсы и пойдём учиться! ⚡️ В КАТАЛОГ КУРСОВ ⚡️

Kubernetes Events — News feed of your cluster

Understand Kubernetes Events and learn to use kubectl events to monitor and troubleshoot your cluster’s issues effectively.

https://decisivedevops.com/kubernetes-events-news-feed-of-your-kubernetes-cluster-826e08892d7a

Обеспечьте безопасность вашего кода на С/С++! Присоединяйтесь к открытому вебинару «Безопасная разработка и уязвимости программного кода на С/С++» ⏰ 24 июля в 20:00 мск На уроке вы узнаете о самых распространенных уязвимостях, с которыми сталкиваются программы, написанные на С/С++. Вы поймете, как сделать ваш код на С/С++ менее уязвимым и научитесь использовать инструменты статического и динамического анализа кода. Занятие будет полезно как разработчикам С/С++, которые хотят обеспечить безопасность своего кода, так и инженерам DevOps/DevSecOps. ➡Не упустите возможность узнать о безопасной разработке на С/С++ и защитить код от уязвимостей: https://vk.cc/cyzaft Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqwBPKBQ

Users, Groups, Roles and API Access in Kubernetes

The nuances of how users and groups are configured in Kubernetes and how the role-based access control (RBAC) mechanism applies for them.

https://blog.adityasamant.dev/users-groups-roles-and-api-access-in-kubernetes

Cтаньте мастером безопасного деплоя в Kubernetes и научитесь эффективно управлять секретами с помощью Helm 💛💛💚❤💛❤💛⤵ Приглашаем 25 июля в 20:00 мск на бесплатный вебинар "Эффективное управление секретами в Kubernetes с Helm". Вебинар является бесплатной частью полноценного онлайн-курса «Инфраструктурная платформа на основе Kubernetes». ‼ На вебинаре вы научитесь основам Helm, узнайте, как хранить и управлять секретами в Kubernetes, овладеете методами шифрования переменных и их интеграции с Helm. ➡ Регистрация на вебинар: https://vk.cc/cyz8Z8 ☄ После вебинара вы сможете безопасно деплоить приложения, эффективно шифровать и управлять секретами, освоите лучшие практики защиты данных и получите навыки DevOps-инженера! Записывайтесь сейчас, а мы потом напомним. Участие бесплатно. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2Vtzqvb1p4i

Argo Events — Event Bus and Webhook

Argo Event is a Kubernetes based event automation engine. It is part of the Argo project. Argo Events can be used with or independent of other projects in Argo. I will be writing a series of articles on Argo Events; in these articles I will be looking at how we can use Argo Event to automate process within and without a Kubernetes cluster. For this first article in this series, we will examine Argo Events core concepts, installation and provisioning different event buses which Argo Event uses to forward events to their sink. Finally we will look at setting up a webhook event flow to verify our setup.

https://medium.chuklee.com/argo-events-event-bus-and-webhook-ac34e5714209

ConfigMap Conundrum: Subtleties of Dynamic Updates in Kubernetes Configurations

Know the differences between ConfigMaps mounted as Volumes and ConfigMaps defined as environment variables.

https://blog.adityasamant.dev/configmap-conundrum-subtleties-of-dynamic-updates-in-kubernetes-configurations

Practical Guide to Kubernetes API https://blog.kubesimplify.com/practical-guide-to-kubernetes-api

Useful git commands for SRE and DevOps engineers https://reliabilityengineering.substack.com/p/useful-git-commands-for-sre-and-devops

A write-ahead log is not a universal part of durability

A database does not need a write-ahead log (WAL) to achieve durability. A database can write its long-term data structure durably to disk before returning to a client. Granted, this is a bad idea! And granted, a WAL is critical for durability by design in most databases. But I think it's helpful to understand WALs by understanding what you could do without them.

https://notes.eatonphil.com/2024-07-01-a-write-ahead-log-is-not-a-universal-part-of-durability.html

⚡Приглашаем 23 июля в 20:00 мск на бесплатный вебинар «Мониторинг в соответствии с DevOps-практиками». Вебинар является бесплатной частью онлайн-курса «DevOps практики и инструменты» от OTUS. ➡ Записаться на вебинар: https://vk.cc/cyvRlW ❗️На этом вебинаре мы поделимся знаниями о следующем: ✅ О видах диагностических данных: логи, метрики, и трейсы. ✅ Какие есть системы на рынке, их особенности и преимущества. Обыкновенный Elastic Stack, новомодный Loki, Prometheus и его заклятый брат VictoriaMetrics, и многое, многое другое. - Тук-тук, к вам алерт! Какой смысл в мониторинге без правил оповещения инженеров? - Как, в конце-концов, выглядит идеальный стек? Какие кирпичики в нём могут быть, чтобы системы хватило надолго? 🤝 Не упустите возможность бесплатно протестировать процесс обучение на курсе + познакомиться с преподавателем и задать ему свои вопросы в режиме онлайн! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvJgE3c

Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding

Applying Quality of Service techniques at the application level

https://netflixtechblog.com/enhancing-netflix-reliability-with-service-level-prioritized-load-shedding-e735e6ce8f7d

Счет оплатили. Направляю материалы для размещения: Летний ИТ-фестиваль в Москве «Под открытым небом || кодом» Приглашаем всех, кто умеет отличить SaaS от IaaS, Kubernetes от Docker и не путает SQL с NoSQL и GitLab c GitHub на мероприятие под открытым небом, которое пройдет 24 июля в Москве. Что будем делать: — Открыто говорить о том, что обычно обсуждают в кулуарах. — Делиться успешными кейсами по запуску сервисов. — Разбирать нетривиальные отраслевые ситуации. — Наслаждаться свежим воздухом и июльским солнцем. Для кого это мероприятие? Для широкого круга ИТ-специалистов и сочувствующих, а также всех, кто хочет участвовать в развитии сообщества дата-инженеров и архитекторов инфраструктуры. Принять участие можно как офлайн, так и онлайн. Всех пришедших офлайн ждут приятные бонусы! Участие - БЕСПЛАТНО. Обращаем ваше внимание, что количество мест офлайн ограничено! Подробнее ознакомиться с информацией о мероприятии и его программой можно по ссылке. Спешите зарегистрироваться прямо сейчас!