DevOps

📌Что такое service mesh и для чего он нужен? Service mesh - это шаблон, который обеспечивает более гибкое управление трафиком в Kubernetes. Service mesh включает в себя control plane, который собирает информацию о кластере Kubernetes, запущенных в нем приложениях, а также дополнительных объектах (custom resources), которые могут быть описаны для настройки, и sidecar-контейнеры, которые обычно инжектируются в PODы автоматически с помощью mutation webhook. Sidecar-контейнеры являются прокси-серверами, перехватывающими входящий и исходящий трафик приложений в контейнерах и управляющими ими в соответствии с конфигурацией, полученной из control plane. 📌Каким образом организована сеть в k8s? В Kubernetes существуют три типа сетей: 1. Сеть узлов (node network) — это сеть, в которую объединены узлы кластера. В зависимости от используемого CNI-плагина, узлы могут работать либо в одной подсети, либо в нескольких. 2. Сеть POD-ов (pod network) — это сеть, в которой получают IP-адреса запускаемые POD-ы. 3. Сеть сервисов (service network) — это сеть, в которой получают адреса сервисы Kubernetes. Сети POD-ов и сервисов организуются с помощью CNI-плагинов. 📌Что такое bearer token? Bearer token, также известный как токен учетной записи службы, представляет собой JWT-токен, который генерируется автоматически при создании новой учетной записи службы. Он содержит информацию о конкретной учетной записи службы и подписывается корневым сертификатом кластера. Этот токен сохраняется в объекте типа secret, который затем монтируется в POD по стандартному пути и периодически обновляется. При использовании данного токена процесс, запущенный в контейнере, получает доступ к API Kubernetes и может выполнять только разрешенные действия. #devops #девопс Подпишись 👉@i_DevOps

Не знаете, как эффективно управлять конфигурацией и обеспечивать консенсус данных? Ваши проекты сталкиваются с проблемами масштабируемости и надежности? Тогда присоединяйтесь к открытому вебинару 21 августа в 20:00 мск, где мы: 1. Рассмотрим основы и архитектуру Apache Zookeeper: алгоритмы обеспечения консенсуса данных (Zookeeper Atomic Broadcast с Paxos) 2. Узнаем, как Zookeeper обеспечивает координацию и синхронизацию в распределенных системах 3. Разберём методы настройки и администрирования Zookeeper 👨‍💻🛠👨🏻‍💻 Урок будет полезен разработчикам, DevOps-инженерам, администраторам систем и сетей, архитекторам ПО и всем, кто хочет глубже понять работу Apache Zookeeper. 🔴 Запишитесь прямо сейчас, чтобы не пропустить мероприятие: https://vk.cc/czBjGZ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Наш опыт эксплуатации Airflow в Kubernetes Apache Airflow — это один из самых популярных ETL-шедулеров. ETL-процессы — это когда мы выбираем интересующие нас данные, приводим их к агрегированному виду и сохраняем для дальнейшего использования. И это присутствует везде, где есть необходимость анализа данных. Соответственно, Airflow предназначен для того, чтобы запускать пайплайны обработки данных. https://habr.com/ru/companies/vk/articles/836256/ #devops #девопс Подпишись 👉@i_DevOps

Почему тупит Kafka? Знаний об отправке/приёме сообщений не хватит, чтобы быстро найти причину просадки. Если хотите отказоустойчивую систему, которую легко дебажить, стоит разобраться в архитектуре Кафки.  ➡️На обновлённом курсе Слёрма «Apache Kafka для разработчиков» вы получите больше, чем просто настройка Kafka. Вы изучите архитектуру и логику работы с Kafka на примере бизнес-кейсов компаний: MovieFlix, GetTaxi, MyBank.  За 8 недель вы: ✔️Поймете основы работы с Kafka и принципы построения архитектуры и бизнес-процессов ✔️Научитесь решать проблемы отправки/получения большого количества сообщений из разнородных систем ✔️Подготовитесь к собеседованиям на уровень пользователя Kafka ❗️Углублённый курс с практикой на Java и платформой Docker+Postgres.   Спикеры: 🔥Всеволод Севостьянов. Staff Engineer в Lokalise 🔥Василий Калугин. Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг» ⚡Старт — 26 августа Занять место на потоке — по ссылке erid: LjN8Jv2w4

🐳 Команды Docker: от новичка до продвинутого уровня для инженеров DevOps Это руководство охватывает основные команды Docker, от начального до продвинутого уровня, помогая инженерам DevOps эффективно управлять своими контейнеризированными приложениями. https://dev.to/prodevopsguytech/docker-commands-from-beginner-to-advanced-for-devops-engineers-bb3 #devops #девопс Подпишись 👉@i_DevOps

Liqo Включите динамические и бесшовные мультикластерные топологии Kubernetes. Что это обеспечивает? - Peering (Пиринговое взаимодействие): автоматическое установление одноранговых отношений потребления ресурсов и сервисов между независимыми и разнородными кластерами. Нет необходимости беспокоиться о сложных конфигурациях VPN и сертификационных центрах: все автоматически согласовывается для вас. - Offloading (Разгрузка): бесшовная разгрузка рабочих нагрузок на удаленные кластеры без необходимости вносить какие-либо изменения в Kubernetes или сами приложения. Мультикластерность становится нативной и прозрачной: объедините весь удаленный кластер в виртуальный узел, совместимый со стандартными подходами и инструментами Kubernetes. - Network fabric (Сетевая инфраструктура): прозрачное подключение pod-to-pod и pod-to-service в мультикластерной среде, независимо от базовых конфигураций и плагинов CNI. Нативный доступ к сервисам, экспортируемым удаленными кластерами, и распределение взаимосвязанных компонентов приложения по различным инфраструктурам, при этом весь трафик между кластерами проходит через защищенные сетевые туннели. - Storage fabric (Инфраструктура хранения): поддержка удаленного выполнения состояния нагрузок в соответствии с подходом гравитации данных. Бесшовное расширение стандартных (например, баз данных) методов развертывания высокой доступности на мультикластерные сценарии для повышения надежности. Всё это без сложности управления несколькими независимыми кластерами и репликами приложений. https://github.com/liqotech/liqo #devops #девопс Подпишись 👉@i_DevOps

❓Объемы данных растут, а аналитические процессы тормозят? Хотите узнать, как интеграция ClickHouse с системами ETL и BI-инструментами может ускорить анализ и улучшить качество данных? Ждем вас на открытом вебинаре 22 августа в 20:00 мск, где мы разберём: - как интегрировать ClickHouse с популярными системами ETL для эффективной обработки и загрузки данных; - подключение ClickHouse к BI-инструментам, таким как Tableau и Grafana, для визуализации данных; - импорт и экспорт данных в различных форматах, таких как CSV, JSON и Parquet. Спикер Наталия Титова — опытный аналитик и преподаватель в области баз и анализа данных и DS. Старший преподаватель в департаменте прикладной математики МИЭМ НИУ ВШЭ. Встречаемся в преддверии старта курса «NoSQL». Все участники вебинара получат специальную цену на обучение! 👉 Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://vk.cc/czyfSl Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Kubernetes 1.31: новый VolumeSource, эмуляция старых версий и настройка анонимного доступа к эндпоинтам Сегодня официально выпустили новую версию Kubernetes — 1.31. Среди главных нововведений — VolumeSource, поддерживающий OCI-образы и/или OCI-артефакты и поле SupplementalGroupsPolicy для контроля дополнительных групп, которые присоединяются к первому процессу в контейнере, а также флаг --emulation-version для эмулирования возможностей предыдущих версий Kubernetes и механизм, который позволяет пользователям настраивать, к каким эндпоинтам возможен анонимный доступ. https://habr.com/ru/companies/flant/articles/835626/ #devops #девопс Подпишись 👉@i_DevOps

Какой продукт поможет повысить безопасность и эффективность использования контейнерной среды разработки?  Если Вы работаете с контейнерами, то вам наверняка знакома проблема обеспечения их безопасности. Решить ее поможет новый продукт компании НОТА (Холдинг Т1) - НОТА КУПОЛ. Контейнеры, о котором мы расскажем 22.08.24 в 11:00 по Мск на бесплатном вебинаре «Новые возможности защиты контейнерных сред разработки». НОТА КУПОЛ. Контейнеры - система защиты контейнерных сред разработки, являющаяся частью экосистемы комплексной защиты КИИ.  Разберем как сам продукт, так и 3 ключевых нововведения: - Карта сети: функционал и преимущества - Масштабирование сканера: методы и настройка - Проверка целостности образов: важность и инструменты И проведем сессию вопросов и ответов! Вебинар подойдет как для разработчиков или специалистов по безопасности, так и для IT-директоров. Регистрируйтесь по ссылке! И до скорой встречи онлайн!

JupyterHub на стероидах: реализация KubeFlow фич без масштабных интеграций JupyterHub — централизованный инструмент для создания Jupyter ноутбуков для разных пользователей по заранее заданным параметрам, который используется более чем 200 специалистами у нас на проекте в Альфа-Банке. Сейчас множество сервисов могут запускаться в Kubernetes, который уже стал стандартом. И JupyterHub не исключение. Есть много статей по его запуску, и в большинстве из них описано, как просто поднять данный сервис и запустить рабочий ноутбук на базе профилей. Каждый профиль представляет собой заранее настроенные параметры для Pod ноутбука. Однако с ростом числа пользователей возникают различные проблемы, о которых мы поговорим в этой статье. https://habr.com/ru/companies/kts/articles/832084/ #devops #девопс Подпишись 👉@i_DevOps

Каким образом мы можем запустить в Kubernetes приложение (варианты: рабочую нагрузку, workload)? Запускать PODы поодиночке можно, но обычно для этого используются более функциональные сущности в Kubernetes, такие как: — Deployment, который используется для развертывания необходимого количества PODов на основе общего шаблона. — StatefulSet, похожий на Deployment, но оптимизированный для работы с stateful-приложениями. — DaemonSet, позволяющий развернуть один экземпляр приложения на каждом доступном узле и обычно используется для обслуживания узлов. — Job, для запуска конечного процесса в контейнере и ожидания его успешного завершения с заданием политик запуска, таких как длительность и количество рестартов в случае сбоя. — CronJob, аналогичный Job, но с возможностью запуска по расписанию и ведением логов успешных запусков. ReplicationController считается устаревшим и практически не используется, на его место пришел Deployment. #devops #девопс Подпишись 👉@i_DevOps

❓ Вы когда-нибудь задумывались, как VLAN фундаментально преобразил локальные сети? Хотите узнать, почему эта технология используется почти в 100% случаев? 🔆 Ждём вас на открытом вебинаре 19 августа в 20:00 мск, где мы разберём: - технологию Ethernet до появления VLAN; - что такое VLAN и его преимущества; - настройку VLAN на сетевой схеме; - взаимодействие узлов в VLAN через маршрутизацию. 👉 Урок будет полезен тем, кто хочет начать карьеру сетевого специалиста. Вы познакомитесь с историей, реализацией и настройкой VLAN, а также её достоинствами и недостатками. Встречаемся в рамках курса «Специализация Network Engineer». Все участники вебинара получат специальную цену на обучение! Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://vk.cc/czrdYO Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Продвинутая работа с логами в Linux journalctl - Работа со структурированными логами Журнал событий, это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng. Утилита командной строки journalctl, если сравнивать ее с традиционным инструментами для работы с логами в UNIX (tail, grep, sed, awk) более широкие возможности. Давайте рассмотрим основные возможности которые предоставляет журнал systemd и способы их применения. https://habr.com/ru/articles/749714/ #devops #девопс Подпишись 👉@i_DevOps

🤝Приглашаем на открытый урок Kubernetes probes: учимся отслеживать состояние наших сервисов в кластере. В результате вебинара: 1️⃣ Вы освоите различные виды проб в Kubernetes и научитесь использовать их для эффективного мониторинга состояния сервисов. 2️⃣ Узнаете, как правильно настраивать probes для улучшения стабильности и надежности приложений. 3️⃣ Получите практические знания по интеграции probe-ов в процессы управления инцидентами и поддержания высокой доступности сервисов. 👍 Освойте методы мониторинга и обеспечения стабильности сервисов в Kubernetes с помощью probe-ов и healthcheck-ов. ✔️Записывайтесь сейчас: https://clck.ru/3CVeZY/?erid=2VtzqvHeXet Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

База данных на Kubernetes Введение в развертывание базы данных на Kubernetes С ростом внедрения DevOps все больше приложений контейнеризируется, а инструменты для управления этими контейнерами, такие как Kubernetes, становятся все более популярными. Этот рост миграции приложений на Kubernetes (K8s) также отражается на приложениях с поддержкой состояния (например, системах баз данных). Для начала давайте разберемся в основах: Для развертывания любого приложения на K8s наиболее предпочтительным является декларативный способ, при котором мы объявляем желаемое состояние приложения (например, образ, который должен использоваться для запуска подов, масштабирование подов для управления нагрузкой и т.д.) в YAML-файле, который известен как файл развертывания. https://chetak.hashnode.dev/database-on-kubernetes #devops #девопс Подпишись 👉@i_DevOps

Что такое GitOps. Улучшенный DevOps? 00:00 Что такое GitOps 00:18 Нетология - DevOps инженер 01:20 Кратко о DevOps 02:00 IoC инфраструктура как код 03:45 Важность системы контроля версий 05:28 Где кончается DevOps 06:57 Код приложения и инфраструктуры вместе 07:55 Автоматизация 09:20 Важность обозреваемости системы 09:49 Зачем GitOps? источник #devops #девопс Подпишись 👉@i_DevOps

💪 Рекомендую качественный контент знакомого ИТ-сообщества с 14-летним стажем: ⌨️ ITKB_channel — бесплатное обучение по Windows, Linux, DevOps, Security, Network, программирование 📚 ITKB_Archive — библиотека (книги, курсы, ИТ литература)

Стать DevOps-инженером в 2023 году: [Практическая дорожная карта] В этом подробном руководстве я расскажу о практической дорожной карте становления DevOps-инженера, основанной на моем 10-летнем опыте работы в качестве DevOps-инженера в различных организациях. На современном ИТ-рынке сфера DevOps является одним из лучших вариантов для повышения заработной платы и карьерного роста ИТ-специалистов. Один из часто задаваемых мне вопросов: "Как стать инженером DevOps?". Многие утверждают (в том числе и я), что нет ничего похожего на "DevOps-инженера" или "DevOps-команду", потому что этого понятия не существует. Однако все в отрасли уже привыкли к термину "инженер DevOps", и если вы понимаете философию DevOps, то эти названия не имеют большого значения. Ближе к концу статьи я добавил различные команды, в которые может входить инженер DevOps. https://devopscube.com/become-devops-engineer#devops-engineer-roadmap #devops #девопс Подпишись 👉 @i_DevOps

Хотите узнать, как совместить несколько протоколов маршрутизации в одной сети? Ждем вас на открытом вебинаре 21 августа в 19:00 мск, где мы разберем: - почему возникла необходимость использования более одного протокола маршрутизации; - как реализуется совместная работа протоколов; - как обеспечивается их взаимодействие и консистентность таблиц маршрутизации. 👨‍💻🛠👨🏻‍💻 Урок подойдет сетевым инженерам, сетевым архитекторам и всем, кто глубоко интересуется современными сетевыми технологиями. Спикер — опытный сетевой инженер и архитектор, имеет экспертную сертификацию одного из ведущих мировых вендоров. Встречаемся в преддверии старта курса «Network Engineer. Professional». Все участники вебинара получат специальную цену на обучение! Ссылка для регистрации: https://vk.cc/czlIyv Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Infisical Это платформа управления секретами с открытым исходным кодом: Синхронизируйте секреты в вашей команде/инфраструктуре и предотвратите утечку секретов. Особенности Удобная панель управления секретами в разных проектах и средах (например, разработка, продакшен и т. д.). Клиентские SDK для получения секретов для ваших приложений и инфраструктуры по требованию. Infisical CLI для получения и внедрения секретов в любой фреймворк в локальной разработке и CI/CD. Infisical API для выполнения CRUD-операций над секретами, пользователями, проектами и любыми другими ресурсами в Infisical. Встроенные интеграции с такими платформами, как GitHub, Vercel, AWS, и такими инструментами, как Terraform, Ansible и др. Оператор Infisical Kubernetes для управления секретами в k8s, автоматической перезагрузки развертываний и т. д. Infisical Agent для внедрения секретов в ваши приложения без изменения логики кода. Самостоятельный хостинг и размещение на локальной площадке для полного контроля над вашими данными. Версионирование секретов и Point-in-Time Recovery для версионирования каждого секрета и состояния проекта. Журналы аудита для записи каждого действия, выполняемого в проекте. Контроль доступа на основе ролей позволяет создавать наборы разрешений для любого ресурса в Infisica и назначать их пользователям или машинам. Простое развертывание на месте, в AWS, Digital Ocean и т. д. Сканирование секретов и предотвращение утечек для предотвращения утечки секретов в git. https://github.com/Infisical/infisical #devops #девопс Подпишись 👉@i_DevOps