DevOps

Тренировки по DevOps. Часть 1 Лекция 1: Кто такой DevOps Лекция 2: Облако. Кто виноват и что делать? Лекция 3: Процессы Linux Лекция 4: Сети Часть 1. Коты и коробки Разбор домашнего задания 1: Кто такой DevOps Разбор домашнего задания 2: Облако. Кто виноват и что делать? Лекция 5: Linux: инструменты командной строки Лекция 6: Базы данных Разбор домашнего задания 3: Процессы Linux" Разбор домашнего задания 4: Сети. Часть 1. Коты и коробки источник #devops #девопс Подпишись 👉@i_DevOps

Открытые мастера в Kubernetes — потенциальный инцидент в продакшене. В новой статье на Хабр разработчики сервиса Managed Kubernetes из MWS Cloud Platform ⬜️ рассказывают: ⏺️какие уязвимости с радостью используют хакеры при открытых control plane-нодах в твоём кластере; ⏺️какие требования к hosted control plane-решению предъявляет публичный облачный провайдер, предоставляющий k8s as-a-service; ⏺️о плюсах и минусах популярных open source-решений. ➡️ Читать статью

⁉️ Хотите научиться строить масштабируемые и отказоустойчивые решения на Kafka? На открытом уроке «Архитектурные паттерны работы с Kafka: от простого к масштабируемому» 13 августа в 18:00 МСК мы разберем основные паттерны и архитектурные подходы для работы с Kafka в микросервисах. Вы освоите Event Sourcing и CQRS и узнаете, как правильно обрабатывать ошибки и гарантировать доставку сообщений. Этот урок откроет перед вами новые возможности: вы научитесь строить архитектуру для обработки больших потоков данных и получите опыт работы с реальными кейсами. ➡️ Присоединяйтесь и получите скидку на большой курс «Apache Kafka»: https://vk.cc/cOkTJB Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

k8s-cleaner — это утилита для автоматической очистки ресурсов Kubernetes, которые больше не используются. Она помогает поддерживать кластеры в чистоте, удаляя устаревшие объекты (Pods, Deployments, ConfigMaps и др.), которые больше не нужны, снижая нагрузку и освобождая ресурсы. Основные возможности: - Анализирует ресурсы в кластере и находит неиспользуемые. - Поддерживает разные типы объектов Kubernetes. - Может запускаться по расписанию. - Упрощает администрирование и уменьшает «мусор» в кластере. https://github.com/gianlucam76/k8s-cleaner #devops #девопс Подпишись 👉@i_DevOps

Apache APISIX — это высокопроизводительный API-шлюз и платформа для управления трафиком, построенная на базе Nginx и OpenResty. Она используется для маршрутизации, балансировки нагрузки, аутентификации, ограничения скорости и других задач, связанных с API. Ключевые возможности: - Динамическая конфигурация без перезапуска. - Плагины для аутентификации, безопасности, мониторинга и модификации трафика. - Поддержка gRPC, REST и WebSocket. - Расширяемость за счёт Lua и плагинов на других языках. - Интеграция с сервис-мешами и системами вроде Consul, Eureka, Nacos. https://github.com/apache/apisix #devops #девопс Подпишись 👉@i_DevOps

💻 RabbitMQ против Kafka — что выбрать для вашей структуры: сравнение и лучшие практики 🛠 🔥 11 августа в 20:00 мск приглашаем на открытый вебинар в OTUS. На вебинаре рассмотрим: - Обзор RabbitMQ: принципы работы, отправка и получение сообщений - Обзор Kafka: устройство, принципы работы, отправка и получение сообщений - Сравнение RabbitMQ и Kafka: когда и почему выбрать одно из решений 🎓 После вебинара вы: - Узнаете различия между RabbitMQ и Kafka и научитесь выбирать подходящий инструмент для своей системы - Освоите принципы работы с обоими брокерами сообщений - Получите советы по настройке и внедрению для повышения производительности и надежности Присоединяйтесь, чтобы научиться эффективно работать с RabbitMQ и Kafka для потоковой обработки данных и обмена сообщениями! 🚀 🎁Все участники получат шаблоны настроек конфигурации для Spring Boot: RabbitMQ, Kafka 👉 Регистрация https://vk.cc/cOihur Бесплатное занятие приурочено к старту курса Microservice Architecture, обучение на котором позволит освоить микросервисы: Docker, Kafka, API и стать мастером производительных систем Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Как спрятать сontrol plane Kubernetes от любопытных глаз Control plane Kubernetes — как сейф с главными ключами. Он управляет кластером, хранит sensitive-информацию и зачастую представляет собой лакомую цель для злоумышленников. В этой статье — разбор того, как спрятать control plane в сервисе Managed Kubernetes, предоставляемом в облаке: зачем это нужно, какие варианты существуют и с какими проблемами мы столкнулись на практике. Рассмотрим несколько open source решений, которые протестировали у себя в поисках надёжного способа изолировать control plane-ноды от пользователя и сделать их недоступными для какого-либо внешнего взаимодействия. Меня зовут Каиржан, я DevOps/Software-инженер в команде разработки MWS Cloud Platform, пишу на Go под Kubernetes и ClusterAPI. Наша команда разрабатывает сервис Managed Kubernetes для публичного облака — от инфраструктуры до собственных провайдеров для ClusterAPI. Поэтому вопрос безопасности control plane (CP) для нас стоит особенно остро. https://habr.com/ru/companies/mws/articles/931232/ #devops #девопс Подпишись 👉@i_DevOps

Deckhouse User Community meetup #2 21 августа | Москва «Флант» приглашает на второй Deckhouse User Community meetup. Три доклада от практиков: → управление узлами кластера на всём их жизненном цикле с командой Deckhouse Core; → построение платформы обучения K8s на DKP CE с коллегами из КРОКа; → автоматизация архитектурного контроля и подход Architecture as Code с экспертами «ДОМ.РФ Технологии». Регистрируйтесь, если интересны реальные кейсы работы с Kubernetes-платформами.

Glasskube Это пакетный менеджер с открытым исходным кодом для Kubernetes. Он делает развертывание, обновление и настройку пакетов в Kubernetes в 20 раз быстрее по сравнению с такими инструментами, как Helm или Kustomize. Вдохновлён простотой Homebrew и npm. Вы можете выбрать: использовать Glasskube через интерфейс (UI), командную строку (CLI) или развёртывать пакеты напрямую через GitOps. https://github.com/glasskube/glasskube #devops #девопс Подпишись 👉@i_DevOps

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit. https://habr.com/ru/companies/flant/articles/931902/ #devops #девопс Подпишись 👉@i_DevOps

❓ Потеря данных — это кошмар для любой компании. Хотите защитить свои MySQL-базы? 👉 На открытом уроке 7 августа в 19:00 МСК мы разберём все подходы к резервному копированию: от дампов до репликации. Вы научитесь работать с инструментами вроде mysqldump, xtrabackup, а также научитесь автоматизировать создание резервных копий и их хранение. 💪 После вебинара вы сможете восстановить данные из дампов или инкрементальных копий и избежать ошибок при бэкапе. Этот опыт необходим каждому системному администратору и DevOps-инженеру! 🎁 Посетите урок и получите скидку на большое обучение «Administrator Linux. Professional»: https://vk.cc/cOaUcq 👉 Для участия в вебинаре зарегистрируйтесь Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Уроки из наших 8 лет работы с Kubernetes в продакшене — два крупных сбоя кластера, отказ от самоуправляемого решения, снижение затрат, инструменты и многое другое На ранних этапах в Urb-it, ещё до моего прихода, мы решили использовать Kubernetes как краеугольный камень нашей облачно-нативной стратегии. Мотивом этого выбора было наше ожидание быстрого масштабирования в сочетании с желанием использовать возможности оркестрации контейнеров, чтобы получить более динамичную, устойчивую и эффективную среду для наших приложений. А с нашей микросервисной архитектурой Kubernetes отлично подходил для этой задачи. https://medium.com/@.anders/learnings-from-our-8-years-of-kubernetes-in-production-two-major-cluster-crashes-ditching-self-0257c09d36cd #devops #девопс Подпишись 👉@i_DevOps

Практический пентест Kubernetes. Ищем открытые ресурсы Среда оркестрации контейнеризированных приложений Kubernetes получила в последние годы широкое распространение. Для этого есть множество причин. Прежде всего это все те преимущества, которые даёт использование контейнеров: возможность построения микросервисной архитектуры, когда мы можем разделить приложение на отдельные компоненты, работающие в контейнерах и реализовывать в них нужный нам функционал, независимо от других элементов нашего решения. Также, контейнеры позволяют эффективнее использовать оборудование, их удобно применять там, где нужно развернуть несколько идентичных экземпляров приложения, например, при миграции из среды разработки в среду тестирования. И наконец, контейнеры позволяют сделать архитектуру приложения более безопасной за счет изоляции отдельных компонентов. Тогда, в случае компрометации одного микросервиса злоумышленник не сможет (или по крайней мере, не должен) выбраться за пределы контейнера и захватить среду контейнеризации. https://habr.com/ru/companies/cdnnow/articles/837012/ #devops #девопс Подпишись 👉@i_DevOps

В хабе на Хабр «Разработка публичных облаков» — свежие статьи от инженеров MWS Cloud Platform ⬜️. ➡️ Создаем S3-хранилище с нуля. Ультимативный лонгрид про современный S3-ландшафт и нашу архитектуру Object Storage. ➡️ Multus в Kubernetes. Как мы подключили поды к сервисам в overlay-сети с IPv4 и зачем это вообще понадобилось. ➡️ DHCP-сервер облака. Как мы раздаём один и тот же IP в изолированных сетевых пространствах (VRF), какие используем опции и как мониторим доступность DHCP-серверов. ➡️ Development Platform. Зачем мы пишем общие библиотеки и компоненты, как развиваем внутренний open source и с помощью каких инструментов общаются сервисы MWS Cloud Platform и их создатели. Если вам интересны архитектурные решения для настоящего highload'а — эти материалы будут вам полезны. 🔗 Подпишись на облачный хаб MWS — там регулярно рассказываем, как строим новое облако с нуля.

The Kubernetes Storage Layer Madhav Jivrajani, VMware The Kuberentes storage layer для конечного пользователя — это etcd, но на самом деле он состоит из 3 разных уровней. Чтобы масштабировать Kubernetes настолько, насколько это возможно на сегодняшний день, был проделан и продолжает выполняться значительный объем работы на уровне хранения. Существует 3 уровня абстракции: кэш-память для просмотра, кэш-память-перехватчик и, наконец, etcd. Понимание того, как запросы API взаимодействуют с каждым уровнем, может значительно снизить затраты и повысить производительность, а понимание реализации этих уровней может показаться сложной задачей, но это не обязательно так. источник #devops #девопс Подпишись 👉@i_DevOps

Управление сотнями кластеров Kubernetes с помощью Cluster API Авторы: Зайн Малик и Нибир Бора, инженеры команды, работающей над core-инфраструктурой. В City Storage Systems наша команда Core Infrastructure решает задачи управления более чем 100 многопользовательскими кластерами Kubernetes, каждый из которых обслуживает до десятков тысяч активных pod’ов ежедневно. Вся наша программная экосистема работает в Kubernetes — от критически важных микросервисов до stateful-баз данных и систем наблюдаемости. В этом блоге мы рассказываем о том, как нам удалось добиться полной автоматизации процесса создания кластеров, управления их жизненным циклом и обновлений. С помощью нового набора инструментов мы сократили время развёртывания и подготовки кластера к рабочей нагрузке с 1,5 недель до менее чем 1 дня, сохранив при этом компактную команду инженеров. Эта трансформация стала возможной благодаря стратегическому решению о миграции в Microsoft Azure, на которую у нас было всего несколько месяцев. Во время перехода количество управляемых нами кластеров более чем удвоилось. https://techblog.citystoragesystems.com/p/managing-100s-of-kubernetes-clusters #devops #девопс Подпишись 👉@i_DevOps

Топ-3 ошибок новичка в System Design Interview. Лайфхаки от практика. Бесплатный вебинар от Слёрма 6 августа в 19:00 МСК О чем поговорим: 🔹 Что такое System Design и почему он набирает популярность в собеседованиях? 🔹 Зачем SRE специалисту System Design?  🔹 Как пройти System Design Interview на необходимом для SRE уровне? Дадим лайфхаки, как подготовиться к собеседованию, и расскажем, что ценят интервьюеры на самом деле 😏 Регистрация в один клик — здесь ⬅️

Чему мы научились после 2 лет работы с Airflow на Kubernetes Apache Airflow — один из ключевых компонентов нашей Data Platform, который используют разные команды внутри компании. Он обеспечивает работу всех наших процессов трансформации данных, механизмов выявления мошенничества, инициатив в области Data Science, а также множества внутренних задач и сервисных процессов в Teya. Чтобы представить масштаб: у нас более 300 DAG'ов в продакшене, которые ежедневно выполняют свыше 5 000 задач. Можно сказать, что это средний по размеру деплой Airflow, который стабильно приносит ценность нашим пользователям. Более того, уже больше 8 месяцев мы работаем без единого инцидента или сбоя в Airflow. В этом посте мы хотим поделиться важными аспектами нашей конфигурации, которые помогли нам построить масштабируемую и надёжную среду. Надеемся, это будет полезно тем, кто только начинает свой путь с Airflow в продакшене или ищет идеи для улучшения текущей инфраструктуры. https://medium.com/apache-airflow/what-we-learned-after-running-airflow-on-kubernetes-for-2-years-0537b157acfd #devops #девопс Подпишись 👉@i_DevOps

Прокачай свои пайплайны с GitLab CI — секреты для DevOps и разработчиков. Хотите, чтобы ваши пайплайны в GitLab CI были не только надёжными, но и эффективными? Тогда этот вебинар — для вас!  Мы покажем, как избежать ошибок, ускорить релизы и сделать процесс работы с GitLab CI простым и предсказуемым. Ошибки, которые вы научитесь избегать: 📲чрезмерная ручная настройка: мы покажем, как сделать пайплайн автономным и стабильным 📲сложные и нечитаемые пайплайны: узнаете, как разделить логику пайплайна для лучшей поддержки и управления 📲непонимание влияния CI/CD на бизнес: мы объясним, как правильный пайплайн ускоряет процесс разработки и способствует росту бизнеса 📅 Дата: 30 июля, 19:00 (МСК) - бесплатно 👉 Записаться на вебинар — https://tglink.io/15aa7f75d066 Не упустите шанс сделать процесс разработки более предсказуемым и эффективным Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFHDErL8

Запросы и лимиты в Kubernetes: разбираемся в деталях Управление ресурсами в Kubernetes немного напоминает зефирный тест, который иногда выходит из-под контроля. Если тщательно не лимитировать, сколько ресурсов может потреблять контейнер, он пойдёт вразнос, примерно как малыш, способный слопать большую пачку Skittles за один присест. С другой стороны, если вы постоянно лишаете контейнер минимального объёма ресурсов, который нужен ему для корректной работы, то словно постоянно не подпускаете ваших детей к сладостям. Контейнер будет влачить жалкое существование и работать вполсилы. Вот почему настолько важно правильно настроить в Kubernetes лимиты и работу с запросами. Понимая, какова роль запросов и лимитов при управлении ресурсами и производительностью в Kubernetes, а также умея настраивать и/или задавать запросы и лимиты, вы гарантируете, что на обработку каждой рабочей нагрузки будет выделено ровно столько ресурсов, сколько нужно — ни больше, ни меньше. Далее в этой статье подробно рассказано, как в Kubernetes организована работа с запросами и лимитами, как они используются для управления ресурсами. В любой организации чрезвычайно важно управление ресурсами в Kubernetes и роль такого управления. Разберём управление ресурсами в Kubernetes и начнём с самых азов. https://habr.com/ru/companies/timeweb/articles/835068/ original https://www.groundcover.com/blog/kubernetes-requests-vs-limits #devops #девопс Подпишись 👉@i_DevOps