DevOps Star (Звезда Девопса)

Как мы ищем деградации на нодах в кластерах Kubernetes Меня зовут Станислав Егоркин, я инженер юнита IaaS департамента разработки Infrastructure в Авито. В этой статье я расскажу про инструмент, который мы используем для обнаружения деградаций на нодах в кластерах Kubernetes, а также покажу дашборд, где мы наблюдаем за состоянием всех наших нод. Причины деградаций на нодах Инфраструктура Авито — это тысячи bare-metal серверов, большая часть из которых объединена в десятки Kubernetes-кластеров. Понятно, что в таких масштабах отказ отдельных кубонод — событие регулярное. Причины могут быть разные: от поломки планки памяти до возникновения проблем с container runtime. Хорошо, если нода отказала полностью, тогда Kubernetes сам обработает отказ, и рабочая нагрузка пострадает минимально. Хуже, когда деградация частичная. В этом случае нода может долго находиться в плохом состоянии, заставляя «страдать» все сервисы, которые оказались запущены на ней. Обычно события в этом случае развиваются следующим образом: кто-то из разработчиков замечает деградацию своего микросервиса, локализовывает ее до ноды и приходит к нам. Мы диагностируем и прочиниваем ноду. Однако некоторые проблемы встречались на разных нодах снова и снова. И каждый раз они требовали нашего вмешательства. https://habr.com/ru/companies/avito/articles/847466/ 👉 @devops_star

Шпаргалка по командам Docker 👉 @devops_star

20 лучших практик работы с Dockerfile Узнайте, как предотвратить проблемы с безопасностью и оптимизировать контейнеризованные приложения, применяя набор лучших практик для Dockerfile при сборке образов. https://sysdig.com/blog/dockerfile-best-practices/ 👉 @devops_star

Что происходит, когда вы создаёте Pod в Kubernetes? Создание Pod в Kubernetes — простая задача. Но под капотом скрывается сложный рабочий процесс, который затрагивает несколько компонентов кластера. Делимся переводом статьи, где автор рассказывает, что в этот момент происходит в кластере. Статья будет полезна тем, кто изучает Kubernetes, знакомится с его компонентами и абстракциями. Начнем с очевидного: kubectl отправляет определение YAML на сервер API. На этом этапе kubectl: - Обнаруживает эндпоинты API с помощью OpenAPI (Swagger). - Согласовывает версию ресурса. - Проверяет YAML. - Выдает запрос. https://itnext.io/what-happens-when-you-create-a-pod-in-kubernetes-6b789b6db8a8 👉 @devops_star

Аутентификация в Kubernetes через Gitlab'овские JWT токены Зачем? Представим ситуацию, что мы деплоим по push-модели. В качестве платформы для запуска деплоя у нас используется Gitlab: в нём настроен пайплайн и джобы, разворачивающие приложения в разные окружения в Kubernetes Какой бы инструмент мы не использовали (kubectl, helm), для манипуляций с ресурсами API нам в любом случае будет необходимо аутентифицироваться при выполнении запросов к Kubernetes. Для этого в запросе надо передать данные для аутентификации, будь то токен или сертификат. И тут возникает несколько вопросов: - Где хранить эти креды? - Как сделать так, чтобы у каждого пользователя были свои данные для доступа в кластер? https://habr.com/ru/articles/783586/ 👉 @devops_star

Основы мониторинга (обзор Prometheus и Grafana) Мониторинг сегодня – фактически обязательная «часть программы» для компании любых размеров. В данной статье мы попробуем разобраться в многообразии программного обеспечения для мониторинга и рассмотрим подробнее одно из популярных решений – систему на основе Prometheus и Grafana https://habr.com/ru/post/709204/ 👉 @devops_star

Kubernetes-examples Это репозиторий содержит множество примеров Kubernetes https://github.com/AdminTurnedDevOps/kubernetes-examples 👉 @devops_star

Docker Traefik в docker-compose Быстрый старт с Docker Swarm DOCKER COMPOSE и как работает сеть в ДОКЕРЕ Запуск веб сервера Nginx в Docker Docker Swarm & Gitlab - быстрый деплой для любого проекта Docker. Основы - Сборка образов и сеть Основы DOCKER с нуля источник 👉 @devops_star

Готовим k8s кластер на OrangePi 3 LTS Привет! В своей работе я регулярно внедряю различные решения на кластере Kubernetes. Для тестирования проектов очень важно иметь тестовую среду, которая была бы недорогой, проста в обслуживании и, при необходимости, могла поддерживать не слишком нагруженные приложения в продакшене. Самый простой способ - это использовать виртуальные машины или различные контейнерные решения (как, например, kind (Kubernetes in Docker) ), однако мне не нравится такой подход из-за ограничений виртуализации и ресурсов. Я стремлюсь создать кластер, который можно использовать в реальном бизнесе и который обеспечит надежность в случае сбоев. Готовить кластер будем с помощью утилиты kubeadm. Идеальным и бюджетным решением являются микрокомпьютеры на базе архитектуры ARM, например Orange Pi 3 LTS. https://habr.com/ru/articles/828556/ 👉 @devops_star

Kubetools — это тщательно подобранный список популярных инструментов для Kubernetes. https://collabnix.github.io/kubetools/ 👉 @devops_star

RBAC Wizard RBAC Wizard - это инструмент, который помогает визуализировать и анализировать конфигурации RBAC в кластере Kubernetes. Он обеспечивает графическое представление объектов RBAC Kubernetes. https://github.com/pehlicd/rbac-wizard 👉 @devops_star

Внедрение GitOps с помощью ArgoCD: пошаговое руководство В современном быстро меняющемся мире DevOps управление и развертывание приложений, последовательное и надежное в различных средах, может оказаться сложной задачей. GitOps, парадигма, использующая Git-репозитории в качестве единого источника истины для декларативной инфраструктуры и приложений, предлагает решение. В этом посте я расскажу вам о проекте, в котором мы внедрили GitOps с помощью ArgoCD, подробно опишу цели проекта и шаги, которые мы предприняли для их достижения. https://medium.com/@kalimitalha8/implementing-gitops-with-argocd-a-step-by-step-guide-b79f723b1a43 👉 @devops_star

Большая подборка книг по Devops https://cloud.mail.ru/public/Dw9E/jusvbFVAF 👉 @devops_star

CI/CD Kubernetes платформа Gitorion. Реплицируемый NAS для Highly Available кластера Kubernetes Привет всем! В данной статье мы расскажем о том, как Statefull приложения хранят свои данные в Highly Available варианте CI/CD платформы Gitorion. В составе платформы Gitorion работает три Statefull приложения: Gitea/Forgejo — хранит git‑репозитории с кодом приложений; Jenkins — хранит свои настройки и пайплайны; Docker‑registry — хранит Docker‑образы пользовательских микросервисов. Также свои данные могут хранить пользовательские приложения, которые будут разрабатывать на платформе и деплоить в продакшен. https://habr.com/ru/companies/gitorion/articles/845120/ 👉 @devops_star

👉 @devops_star

k'exp - Kubernetes Explorer Создан не для управления продом, а для изучения кубера через визуализацию. k'exp предназначен для: Изучение и исследование возможностей Kubernetes Разработка приложений (предварительные наборы объектных графов для каждого приложения) Разработка контроллеров и операторов (динамические графы объектов) [скоро появится] Postman-подобный клиент и конструктор запросов для Kubernetes API k'exp может отражать состояние вашего кластера в режиме реального времени: https://github.com/iximiuz/kexp 👉 @devops_star

Kyverno Управление нативными политиками Kubernetes Kyverno - это движок политик, разработанный для инженерных команд платформы Kubernetes. Он обеспечивает безопасность, автоматизацию, соответствие и управление с помощью политик как кода. Kyverno может проверять, изменять, генерировать и очищать конфигурации с помощью средств контроля допуска Kubernetes, фонового сканирования и сканирования репозитория исходного кода. Политики Kyverno могут управляться как ресурсы Kubernetes и не требуют изучения нового языка. Kyverno спроектирован таким образом, чтобы хорошо работать с уже используемыми вами инструментами, такими как kubectl, kustomize и Git. https://github.com/kyverno/kyverno 👉 @devops_star

Snips.sh ✂️ Безпарольный, анонимный pastebin на основе SSH с удобным текстовым и веб-интерфейсом Фичи: ⚡ Нулевая установка: используйте с любого устройства, где установлен SSH-клиент 🌐 Веб-интерфейс: код с подсветкой синтаксиса, короткие ссылки и поддержка рендеринга Markdown 💻 Текстовый интерфейс: управление и просмотр сниппетов прямо из терминала 🔑 Без паролей: всё, что вам нужно — это SSH-ключ 🕵️ Анонимность: без регистрации, без логинов, без необходимости указывать email ⏰ URL с временем жизни: ограниченный по времени доступ для безопасного обмена 📦 Возможность самостоятельного хостинга: контейнеризированный и малозатратный в плане ресурсов 🧠 Определение языка с помощью ИИ: интеллектуальное распознавание исходного кода https://github.com/robherley/snips.sh 👉 @devops_star

Готовим по рецепту: CI/CD в MLOps Всем привет! Меня зовут Роза и я MLOps-инженер в Купере. Под катом расскажу, как построить CI/CD-пайплайн для ML-приложений с нуля, поэтапно и без боли. Ну почти :) Раньше очень часто работа DS-инженера заканчивалась на подготовке кода модели в Jupyter-ноутбуке, а дальше его подхватывали команды разработки и доводили до продакшена. У такого подхода есть минусы. Например, если произойдёт инцидент, непонятно кто ответственен за сервис — команда разработки или авторы ML-модели? К счастью, культура разработки меняется: теперь ML-инженер — это специалист, который разрабатывает свой ML-сервис на всем пути от общения с бизнесом до продакшена. Этот подход хорошо описывает принцип «you build it, you run it»: кто построил модель, тот её и запускает. Как раз в этом здорово помогает CI/CD. https://habr.com/ru/companies/kuper/articles/845312/ 👉 @devops_star

Архитектура кластеров Kubernetes - выбор размера рабочего узла Стоит ли создавать кластер Kubernetes с меньшим количеством крупных узлов или с большим количеством мелких узлов? В этой статье мы рассмотрим все плюсы и минусы. Когда вы создаете кластер Kubernetes, одним из первых вопросов, который у вас может возникнуть, является: "Какой тип рабочих узлов я должен использовать и сколько их нужно?". Если вы создаете локальный кластер, стоит ли заказывать серверы последнего поколения или использовать дюжину или около того старых машин, которые валяются в вашем центре обработки данных? Или если вы используете управляемый сервис Kubernetes, например Google Kubernetes Engine (GKE), следует ли вам использовать восемь экземпляров n1-standard-1 или два экземпляра n1-standard-4 для достижения желаемой вычислительной мощности? https://learnk8s.io/kubernetes-node-size 👉 @devops_star