DevOps&SRE Library

LLM Inference Performance Engineering: Best Practices https://www.databricks.com/blog/llm-inference-performance-engineering-best-practices

crd-to-sample-yaml

Generate a sample YAML file from a CRD definition.

https://github.com/Skarlso/crd-to-sample-yaml

🧐 В адвент-календаре от Слёрма открыто уже 4 окошка! Мы разыграли классную толстовку, дали доступ к полезному чат-боту, а также поделились скидкой на потоковые курсы. Что же ждет вас сегодня? Скорее открывайте пятое окошко, чтобы узнать! 🔎 ЗАБРАТЬ НОВЫЙ ПОДАРОК

Terraform As A Service: Google Infrastructure Manager https://medium.com/google-cloud/terraform-as-a-service-google-infrastructure-manager-409c2c9e71d5

mcfly

McFly replaces your default ctrl-r shell history search with an intelligent search engine that takes into account your working directory and the context of recently executed commands. McFly's suggestions are prioritized in real time with a small neural network.

https://github.com/cantino/mcfly

Terragrunt root selector: automatically select the best root directory base on file changed https://medium.com/@bill.nz/terragrunt-root-selector-automatically-select-the-best-root-directory-base-on-file-changed-8f0b4147a8a3

Как обеспечить безопасность в Docker контейнерах? 💻Расскажет Senior DevOps Engineer Андрей Бирюков на бесплатном практическом уроке от OTUS, где вы вместе с экспертом обсудите: - разбор практик безопасной сборки, тестирования и Run-Time защиты Docker контейнеров; - Docker Security топ-10 лучших практик; - обзор Cloud Native Buildpacks. 👉Встречаемся 14 февраля в 20:00 мск в рамках курса «Внедрение и работа в DevSecOps». Пройдите короткий тест прямо сейчас, чтобы занять место на уроке и получить запись: https://vk.cc/cusVAH Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqwCsJ5N

Using LocalStack and GitHub Actions to Test Terraform AWS Deployments https://medium.com/@robbiedouglas/using-localstack-and-github-actions-to-test-terraform-aws-deployments-0a119dcff7c2

✨ Отус приглашает 15 февраля в 20:00 мск на бесплатный вебинар «Роль Apache Kafka в логировании». Вебинар является частью продвинутого онлайн-курса "Observability: мониторинг, логирование, трейсинг". ➡ Регистрация на вебинар: https://vk.cc/cur9DR 🤝 На вебинаре мы разберём: - роль брокера в Kafka; - как Kafka интегрируется в общую систему сбора данных; - индексы в Kafka; - взаимодействие с общим стеком логирования. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqxNkEQp

Why Distributed Systems Fail?

Distributed systems are tricky - it's easy to make wrong assumptions that lead to problems down the road. Back in the 90s, computer scientist L. Peter Deutsch identified several common misconceptions, or "fallacies," that trip up engineers working on distributed systems. Surprisingly these fallacies are still relevant today: 1. The Network is Reliable: It's risky to assume networks are 100% reliable. Networks can and do fail in various ways. 2. Latency is Zero: While we might wish our networks had no latency, that's simply not physically possible - even light takes time to travel distances. Ignoring the inevitable delay in data transmission can lead to unrealistic expectations of system performance. 3. Bandwidth is Infinite: This overlooks the physical and practical limitations on data transfer rates. 4. The Network is Secure: No wonder Security is a growing industry. Assuming inherent security can lead to vulnerabilities and oversight in protective measures. 5. Topology Doesn't Change: This neglects the dynamic nature of network configurations. 6. There is One Administrator: A simplification that fails to consider the complexity of managing distributed systems. 7. Transport Cost is Zero: Overlooking the resources required for data movement. 8. The Network is Homogeneous: Ignoring the diversity in network systems and standards. These fallacies, if not recognized and addressed, can lead to design flaws, performance issues, and security vulnerabilities in distributed systems. In the following sections, we will break down each of these misconceptions, exploring their implications and how to mitigate the risks they pose in real-world applications.

P1: https://www.codereliant.io/why-distributed-systems-fail-1 P2: https://www.codereliant.io/why-distributed-systems-fail-2

RabbitMQ vs Kafka — какой брокер выбрать? Расскажет Максим Иванов на бесплатном практическом уроке от OTUS, где вы узнаете: - что может и как работает Kafka; - что может и как устроен RabbitMQ (классические очереди); - что может и как устроен RabbitMQ streams; - слабые, сильные стороны и технические ограничения RabbitMQ и Kafka. Встречаемся 20 февраля в 20:00 мск в рамках курса «RabbitMQ для разработчиков и администраторов». Доступна рассрочка на обучение! Регистрируйтесь прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://vk.cc/cur84i Реклама. ООО «ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ». ИНН 9705100963, erid: 2Vtzqvtasct

kubernetes-image-puller

Kubernetes Image Puller is used for caching images on a cluster. It creates a DaemonSet downloading and running the relevant container images on each node.

https://github.com/che-incubator/kubernetes-image-puller

uptrace

Open source APM: OpenTelemetry traces, metrics, and logs

https://github.com/uptrace/uptrace

Как повысить надежность и безопасность вашей инфраструктуры с помощью собственного Certificate Authority? Узнайте на бесплатном практическом уроке «Vault PKI строим собственный Certificate Authority (CA)» от OTUS. На вебинаре разберём: 1. Что такое Certificate Authority (CA). Познакомимся с Hashicorp Vault, какой функционал он имеет и как его применять 2. Познакомимся с Vault PKI. Внедрим инфраструктуру открытых ключей и построим свой центр сертификации Занятие пройдёт 13 февраля в 20:00 мск и будет приурочено к старту курса «Administrator Linux. Professional». Осталось меньше половины мест. Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке и получить запись: https://vk.cc/cupjUc Реклама. ООО «ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ». ИНН 9705100963, erid: 2VtzqwZck2c

Loki's new TSDB Index https://lokidex.com/posts/tsdb

Viacheslav Biriukov - SRE deep dive into Linux Page Cache

In this series of articles, I would like to talk about Linux Page Cache. I believe that the following knowledge of the theory and tools is essential and crucial for every SRE. This understanding can help both in usual and routine everyday DevOps-like tasks and in emergency debugging and firefighting.

https://biriukov.dev/docs/page-cache/0-linux-page-cache-for-sre

12 Factor CLI Apps

At Heroku, we’ve come up with a methodology called the 12 factor app. It’s a set of principles designed to make great web applications that are easy to maintain. In that spirit, here are 12 CLI factors to keep in mind when building your next CLI application. Following these principles will offer CLI UX that users will love.

https://medium.com/@jdxcode/12-factor-cli-apps-dd3c227a0e46

42 things I learned from building a production database https://maheshba.bitbucket.io/blog/2021/10/19/42Things.html

The state of Kubernetes jobs in 2023 Q4

Kubernetes Job market trends for Q4 2023

https://kube.careers/state-of-kubernetes-jobs-2023-q4

wal-listener

A service that helps implement the Event-Driven architecture. To maintain the consistency of data in the system, we will use transactional messaging - publishing events in a single transaction with a domain model change. The service allows you to subscribe to changes in the PostgreSQL database using its logical decoding capability and publish them to the NATS Streaming server.

https://github.com/ihippik/wal-listener