DevOps Portal | Linux

Традиционно наибольшему глубинному пониманию и максимально переносимым знаниям способствует такой порядок обучения: Linux → Networking → Containers → {Kubernetes, Cloud} Переходить сразу к изучению более высокоуровневых сетевых компонентов, таких как AWS VPC, Security Groups, Internet Gateways и т.п., вполне распространённая практика, но, по моему опыту, это часто приводит к тому, что на освоение уходит больше времени, а при переходе с AWS на Azure или при отказе от удобств облака в пользу более дешёвой, но и более суровой реальности on-prem-развёртываний приходится буквально переучиваться с нуля. В противоположность этому, когда вы сначала разбираетесь с LAN’ами (L2-широковещательные домены, типовые топологии коммутаторов и т. п.), затем с L3-маршрутизацией, iptables и NAT, понимание того, что такое VPC и Security Group на самом деле, становится гораздо проще. И самое приятное в том, что у фокуса на фундаментальных вещах есть ещё одно важное преимущество: знания становятся переносимыми и в сторону тоже Например, контейнерная сеть (типичная bridge-сеть Docker) и Node/Pod-сети в Kubernetes опираются на те же концепции, даже если отдельные примитивы виртуализированы (Linux bridge выступает виртуальным коммутатором, а network namespace — аналогом изолированного сетевого узла). Поэтому в iximiuz Labs делается акцент на фундаментальных аспектах серверных технологий: - [course] Computer Networking Fundamentals For Developers, DevOps, and Platform Engineers — https://labs.iximiuz.com/courses/computer-networking-fundamentals - [hands-on] Practical Networking 101 problems — https://labs.iximiuz.com/challenges?category=networking 👉 DevOps Portal

Выживаем в условиях ограниченной доступности - DevOps, SRE, сисадмины, архитекторы и инженеры, этот практикум для вас! 3 декабря в 20:00 мск ведущий DevOps-инженер Михаил Чугунов разберет: 👨‍💻как правильно выстроить пайплайн CI/CD 👨‍💻как организовать DNS, ingress и балансировку 👨‍💻как проектировать архитектуры кластера и сетевого взаимодействия После Практикума “Kubernetes в закрытом контуре”: ✔️DevOps/SRE смогут автоматизировать доставку обновлений и контейнерных образов без внешнего доступа ✔️Сисадмины разберутся, как организовать сетевую топологию, прокси, ingress-контроллеры и DNS в полностью изолированном контуре ✔️Архитекторы поймут, как закладывать ограничения NAT и отсутствие интернета в архитектурные решения ✔️Инженеры БД получат систему, как выстроить безопасную модель доступа, обеспечить комплаенс и защиту данных внутри замкнутой инфраструктуры Kubernetes Для полной погруженности мы дарим видео-курс о Kubernetes - будьте устойчивы и готовы! Забрать уроки: https://tglink.io/0c0fe788d3f2 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFG9ci4x

Случалось ли вам по ошибке обновить Kubernetes Secret? Такое происходит чаще, чем кажется. Например: Вы обновляете Secret для одного сервиса в кластере, но случайно редактируете Secret, который используется критичным приложением. Через пару секунд приложение падает, потому что креды больше не совпадают. Чтобы предотвратить такие ситуации, Kubernetes позволяет сделать Secrets immutable. Достаточно добавить одну строку immutable: true в манифест, вы можете залочить этот Secret. Если кто-то попробует его изменить, Kubernetes заблокирует обновление. Если всё же нужно обновить immutable Secret, его придётся удалить и создать заново. Есть и другой способ избежать случайных изменений – использовать Secrets Store CSI Driver. Он монтирует внешние секреты из провайдеров вроде AWS Secrets Manager напрямую как read-only тома в поды, так что их нельзя модифицировать из кластера. Чтобы узнать больше о Secrets Store CSI Drive, прочитайте эту статью: https://devopscube.com/secrets-store-csi-dirver-eks/ 👉 DevOps Portal

Сегодня разбирается классическая задача распределённых систем: как надёжно стримить логи с нескольких реплик в хронологическом порядке? Удивительно, но ни один из популярных контейнерных тулов этого не делает. docker service logs, kubectl logs, stern, kubetail, k9s — все они просто перемешивают потоки по мере поступления. Стандартный костыль – прогонять вывод через | sort 🙃 Чтобы сделать это правильно, нельзя просто сразу печатать строку лога: более медленный поток может прислать запись с более ранним таймстампом. Нужно понять, когда её печатать безопасно. Для новой команды uc logs используется следующий подход: 1. Low watermark Трекать минимальный timestamp среди всех лог-стримов и безопасно печатать буферизированные логи с таймстампами ниже этой метки.

watermark = min(latest_timestamp for each stream)
sort and print all buffered logs where timestamp < watermark

2. Heartbeat-таймстампы Что если контейнер замолчит? Весь поток залипнет, потому что watermark больше не будет сдвигаться. Решение: периодически отправлять пустые heartbeat-записи с текущим timestamp от серверов. Это своего рода обещание: «У меня нет логов старше этого». Это позволяет клиенту продвигать watermark сразу, не блокируя вывод. Интервал в 500 мс – 1 с работает хорошо на практике. Что насчёт несинхронизированных часов? Много тут не сделать, если не плодить лишнюю сложность. Просто детектируйте ситуацию, предупредите пользователя, и на этом всё. 👉 DevOps Portal

📘 На Stepik вышел курс — «DevOps-инженер: От основ до продакшена»  Уже пишете код или администрируете серверы и хотите перейти на следующий уровень? Этот курс поможет уверенно войти в DevOps. • Полный путь от Linux и сетей до Kubernetes: Docker, Git, GitLab CI/CD, Terraform, Ansible, Prometheus и Grafana • Практика на реальных кейсах: настраиваем пайплайн, контейнеризацию и инфраструктуру кодом, выкатываем сервисы • 180+ интерактивных заданий с автопроверкой — конфиги, манифесты прямо в браузере, в любое удобное время • Итоговый pet-project: к финалу курса у вас будет рабочая инфраструктура с контейнерами, CI/CD и мониторингом 🎓 Сертификат по завершении — добавьте его в резюме или профиль LinkedIn 🚀 Прокачайте DevOps с пользой и удовольствием. Начните уже сегодня и получите скидку 25%, которая действительна в течение 48 часов 👉 Пройти курс на Stepik

Не забудьте создать и использовать непривилегированного (non-root) пользователя в вашем Dockerfile. Это одно из тех небольших изменений, которые тихо делают всю конфигурацию контейнера более безопасной. По умолчанию контейнеры запускаются от root, вроде бы безобидно, пока не осознаёшь, что одна уязвимость в приложении может дать атакующему root-доступ внутри контейнера. Это не означает моментальный компромисс хоста, но предоставляет достаточно возможностей, чтобы нанести ущерб через writable-маунты, некорректные права доступа или баги, позволяющие вырваться за пределы контейнера. Переход на non-root пользователя ограничивает доступ запущенного процесса, снижает потенциальный ущерб от любой эксплуатации и заставляет соблюдать более аккуратную гигиену с владением файлами и разрешениями 👉 DevOps Portal

В статье A Practical Approach to Keycloak Token Exchange: Converting External Tokens for Internal Use with Kubernetes and Istio рассматривается подход к настройке обмена токенами Keycloak в Kubernetes с помощью Istio. Автор показывает как сконфигурировать CRD ресурс EnvoyFilter, в котором будет заложена Token Exchange Logic: - Extract Authorization Header - Make HTTP Call to Keycloak - Inject Internal Token 👉 DevOps Portal

Как использовать LLM в бизнесе и не нарушать 152-ФЗ? ИИ стал незаменим, но ограничения на обработку персональных данных ужесточаются. Хорошая новость: выход есть - модуль деперсонализации от Wikibot. Что он делает: 🔹Автоматически обезличивает ФИО, e-mail, адреса, паспорта, ИНН, СНИЛС, номера карт и другие чувствительные данные. 🔹Перед отправкой в LLM заменяет реальные данные на маркеры - после ответа восстанавливает их обратно. 🔹Персданные не отправляются за границу, что соответствует законодательству. Почему это выгодно бизнесу: 🔹Вы экономите - зарубежные LLM дешевле отечественных. 🔹Получаете доступ к функциям и качеству топовых моделей мира. 🔹Полностью соблюдаете требования закона без костылей и обходных путей. Модуль деперсонализации: подробная информация и демо-стенд

Быстрая заметка по k8s только что выяснил, что можно настраивать лимиты пропускной способности для пода или деплоймента. по умолчанию фича лимитирования выключена. но можно контролировать входящую и исходящую пропускную способность пода через аннотации Kubernetes, примерно так кстати, M – это Mbps, G – это Gbps 👉 DevOps Portal

Годная CTF от WIZ – The Cloud Hunting Games CTF. Здесь вам нужно расследовать инцидент в облаке. Задания базируются на распространенных TTP злоумышленников in the wild. Попробовать порешать можно тут 👉 DevOps Portal

5 шагов, как выдержать нагрузку в пиковый сезон и не переплатить за инфраструктуру 1️⃣Определите, какую максимальную нагрузку может выдержать ваша инфраструктура и какой рост трафика ожидается во время распродажи. 2️⃣Оптимизируйте сервис и настройте быстрое восстановление из бэкапа. 3️⃣Подготовьте инфраструктуру к масштабированию. В частности, подключите CDN для ускорения загрузки контента. 4️⃣Мониторьте ситуацию во время пиковых нагрузок и следите за корректностью работы всех узлов. 5️⃣После снижения трафика верните систему в штатный режим. Вы великолепны! А чтобы инфраструктура была еще выгоднее, подключайте СDN от Selectel со скидкой до 50% на дополнительный трафик. Успейте зарегистрироваться и подать заявку до 31 декабря: https://slc.tl/k0wmy Реклама. АО "Селектел". erid:2W5zFFwiTHr

Инструмент для сравнения результатов сканирования сканеров уязвимостей. Из коробки поддерживает grype, syft. И можно добавлять другие сканеры самостоятельно. Потом смотреть качество результатов сканирования как в рамках одного сканера и различных версий, так между разными сканерами. GitHub: yardstick 👉 DevOps Portal

ROI в DevOps ↗️ Эффективны ли ваши инвестиции в DevOps? Как посчитать возврат от вложений? Команда юнита «Экспресс 42» (Флант) приглашает вас на вебинар, где:

– Поделится инструментами оценки ROI сверху вниз (верхнеуровневая оценка трансформации) и снизу вверх (детальная оценка отдельных изменений). – Проанализирует выгоды и ROI на примере компании среднего размера. – Объяснит, как DevOps помогает сократить трудозатраты и получить дополнительную доходность.

Вебинар пройдёт 5 декабря (пт) в 12:00 Зарегистрироваться Если ищете способы увеличить прибыль или сократить издержки, а также усовершенствовать качество поставки цифровых продуктов, ждём вас на эфире 🧑🏼‍💻

Ограничение сетевого трафика с помощью eBPF Ещё один отличный практический туториал от Теодора Подобника на iximiuz Labs. Узнайте, как реализовать базовый packet rate limiter с использованием eBPF/XDP, чтобы применять ограничения прямо в ядре Читайте здесь 👉 DevOps Portal

Полезная шпаргалка по различным Kubernetes специфичным логам 👉 DevOps Portal

Удаляйте ChatGPT. Вы не умеете им пользоваться. Большинство пользователей спамит в ИИ всякую чушь — просят рассказать анекдот, изливают душу и используют как Гугл. Российский тимлид OpenAI Вадим Петрич рассказывает в «Доктор GPT» как извлекать из нейронок максимум пользы. Это очень интересно: • ТОП №1 нейросеть, генерирующая видео без цензуры вообще • Готовые промты на все случаи жизни • Инсайды и разработки от китов индустрии Подпишитесь, с Доктором GPT нейронки станут инструментом роста, а не безделушкой: https://t.me/+K65EHRh_x_c2OTli

Это очень мощная фича Новые возможности Kubernetes v1.34 позволяют добиться крайне низкой сетевой латентности. PreferSameNode и PreferSameZone – это два варианта топологически-осознанного распределения трафика для сервисов в K8s. Обе опции крутые, но PreferSameNode мне кажется чуть более выгодным, потому что он нацелен на почти нулевую сетевую задержку. Как? За счёт того, что трафик отправляется в backend-pod, который находится на той же ноде, что и pod-клиент (если оба реально запущены на одном узле). PreferSameZone, в свою очередь, тоже отлично оптимизирует задержку. Цифры впечатляют: часто латентность падает с 1–2 мс до <0.1 мс внутри одной зоны. Как? Он выбирает pod’ы в той же зоне доступности (AZ), что и клиент. Клиентский pod пойдёт в backend в другой зоне только если в текущей зоне нет доступного pod’а, что случается довольно редко. Важно отметить: PreferSameNode работает строже, чем PreferSameZone. Если локального pod’а на ноде нет, трафик пойдёт на другие ноды (и при этом, по возможности, будут учтены предпочтения по зонам) 👉 DevOps Portal

Веб-симулятор экзаменов по Kubernetes, который можно без труда развернуть локально. Он позволяет отработать прохождение экзаменов CKAD, CKA и CKS, а также предоставляет подсказки, тайм-трекер и автоматическую проверку результатов GitHub: CK-X Simulator 👉 DevOps Portal

👩‍💻 Хочешь раскрыть все секреты Docker и стать настоящим мастером контейнеризации? 📝 Подпишись на Docker Ninja — твой надежный гид в мире Docker! ➡️ Как скопировать файл из контейнера на хост ➡️ Почему порты контейнера не конфликтуют с хостом ➡️ Как уменьшить размер образа с multi-stage builds ➡️ История создания первого docker-образа

📌 Эти и другие интересные темы мы разбираем на канале Docker Ninja.

Изучаете, как вручную размещать Pod'ы в Kubernetes? На платформе iximiuz Labs доступно задание, которое охватывает node selectors, правила affinity и taints. Полезно, когда вам нужно контролировать размещение Pod'ов, например, для запуска рабочих нагрузок на узлах с GPU, изоляции сред или распределения трафика. Если вы хотите освоить эти техники, это задание - отличный способ попрактиковаться. Попробуйте здесь 👉 DevOps Portal