DevOps Portal | Linux

Это — база по Machine Learning и Data Science, которая заменит вам сотни тг-каналов и сайтов. Фишка в том, что здесь опытные ML-специалисты первыми освещают новости сферы, пишут емкие разборы статей и делятся прикладными материалами. И канал – только часть клада: ребята сделали целый сайт с научными лонгридами, ML-соревнованиями и свежими вакансиями индустрии. Теперь вся жизнь ML-специалиста собрана в одном месте: Data Secrets

Kubernetes 101: назначение Pod'ов на узлы В статье подробно рассматриваются механизмы назначения Pod'ов на узлы в Kubernetes. Автор объясняет такие инструменты, как nodeSelector, nodeAffinity и taints/tolerations, которые позволяют контролировать, где именно будут запускаться ваши Pod'ы 👉 Ссылка на статью 👉 DevOps Portal

💻 Совет по устранению неполадок в Kubernetes: Устранение проблем с сетью. Поиск и устранение проблем с сетевым подключением в Kubernetes может быть трудоемким, в основном из-за сложности самого Kubernetes, а также в случае использования многокластерной среды, когда необходимо применять несколько разных инструментов для тестирования различных компонентов. Лично я предпочитаю использовать инструмент "Netshoot", основанный на Docker-образе. В нем есть большинство необходимых инструментов (ping, curl, dig, nmap, netcat и т. д.), и его можно запустить как временный под. Он будет работать, пока вы им пользуетесь, а как только вы выйдете из пода, тот сразу же будет удален. Команда для его запуска: ❯ kubectl run tmp-shell --rm -i --tty --image nicolaka/netshoot --namespace=<namespace> -- /bin/bash 👉 DevOps Portal

⚡️ Дождались! Ребята сделали крутейший канал про Linux Здесь на простых картинках и понятном языке обучают работе с этой ОС, делятся полезными фишками и инструментами Подписывайтесь: @linuxos_tg

Быстрый совет по Linux 🐧 Если вы хотите удалить пустые директории, команда find может упростить задачу:

$ find . -type d -empty -exec rmdir -v {} +

Опция -type d ищет директории, -empty выбирает пустые, а -exec rmdir {} выполняет команду rmdir, чтобы удалить их. Команда rmdir гарантирует, что директория пуста, прежде чем удалить её. Альтернативно, вы можете использовать эту команду для выполнения той же задачи:

$ find . -type d -empty -delete

👉 DevOps Portal

DevOps MLOps CloudOps AlOps DataOps ITOps RevOpS FinOps HROps LegalOps SysOps BizOps DevSecOps ClickOps LLMOps ChatOps NoOps 👉 DevOps Portal

Вам нравится читать контент на этом канале? Возможно, вы задумывались о том, чтобы купить на нем интеграцию? Следуйте 3 простым шагам, чтобы сделать это: 1) Нажмите на ссылку: Вход 2) Пополняйтесь удобным способом 3) Размещайте публикацию Если тематика вашего поста подойдет нашему каналу, мы с удовольствием опубликуем его.

(часть 2) 🔹NodeNotReady — Причина: Узел имеет проблемы (например, истощение ресурсов, проблемы с сетью или сбой kubelet). — Первый шаг: Проверьте логи kubelet на узле, убедитесь в его работоспособности и что он может подключиться к управляющей плоскости. 🔹Node Ready, NetworkUnavailable — Причина: Сетевой плагин (CNI) не работает должным образом. — Первый шаг: Проверьте логи плагина CNI (например, Calico, Flannel, Weave). Проверьте настройки сети и перезапустите pod плагина CNI. 🔹Не удается подключиться к серверу: x509: сертификат подписан неизвестным удостоверяющим центром — Причина: Несоответствие сертификата сервера Kubernetes API и клиента. — Первый шаг: Обновите файл ~/.kube/config или пересоздайте сертификат сервера API с действительным CA. 🔹Подключение к серверу <URL> отклонено — Причина: Сервер API Kubernetes не работает или неправильно настроен. — Первый шаг: Проверьте логи сервера API и убедитесь, что сервер работает на правильном порту.

Ошибки kubelet

🔹kubelet не работает должным образом — Причина: Kubelet не может связаться с сервером API или неправильно настроен. — Первый шаг: Проверьте логи kubelet (journalctl -u kubelet). Убедитесь, что конфигурация kubelet (/var/lib/kubelet/config.yaml) правильная. 🔹kubelet: не удалось запустить контейнер — Причина: Проблемы с контейнерным окружением (например, Docker, containerd, CRI-O). — Первый шаг: Проверьте логи контейнерного окружения (например, journalctl -u docker). Убедитесь, что окружение установлено и работает корректно. 🔹kubelet: не удалось смонтировать том — Причина: Проблемы с постоянным томом или монтированием тома (например, хранилище недоступно, ошибка прав). — Первый шаг: Проверьте, что хранилище доступно. Убедитесь в правильных правах доступа и настройках тома в спецификации pod. 🔹kubelet: узел не зарегистрирован — Причина: Kubelet не может зарегистрировать узел в сервере API. — Первый шаг: Проверьте логи kubelet и убедитесь, что токен kubeadm join действителен. Убедитесь, что узел может подключиться к управляющей плоскости по сети.

Ошибки контейнерного окружения

🔹ContainerRuntime не работает — Причина: Контейнерное окружение (например, Docker, containerd) не работает или вышло из строя. — Первый шаг: Перезапустите контейнерное окружение (systemctl restart docker или containerd). Проверьте логи на наличие ошибок. 🔹docker: не удалось загрузить образ — Причина: Рабочий узел не может загрузить контейнерный образ из реестра. — Первый шаг: Убедитесь, что у рабочего узла есть доступ в интернет (или к приватному реестру). Проверьте учетные данные для приватных образов.

Ошибки плагина CNI (сети)

🔹Pod застрял в ContainerCreating — Причина: Pod не может подключиться к сети из-за проблемы с плагином CNI. — Первый шаг: Проверьте логи плагина CNI в /var/log или с помощью kubectl logs. Убедитесь, что плагин CNI установлен и работает. 🔹Не удалось создать Pod SandBox — Причина: Узел не смог создать пространство имен сети для pod. — Первый шаг: Проверьте конфигурацию плагина CNI в /etc/cni/net.d/. Убедитесь, что выделение IP-адресов работает корректно. 🔹NetworkUnavailable — Причина: Демон CNI (например, Calico, Flannel) не работает. — Первый шаг: Перезапустите демоны CNI. Проверьте логи на наличие ошибок конкретного сетевого плагина. 👉 DevOps Portal

💻 Ошибки Kubernetes: подробный список (часть 1)

Ошибки Pod/контейнера

🔹CrashLoopBackOff — Причина: Контейнер продолжает падать из-за ошибок в приложении. — Первый шаг: Проверьте логи с помощью kubectl logs <pod> и отладьте приложение. 🔹ImagePullBackOff — Причина: Kubernetes не может загрузить образ контейнера из реестра. — Первый шаг: Проверьте название образа, учетные данные (если образ приватный) и убедитесь, что реестр доступен. 🔹ErrImagePull — Причина: Kubernetes не удалось загрузить образ контейнера. — Первый шаг: Убедитесь, что образ существует в реестре и его имя написано правильно. 🔹OOMKilled — Причина: Контейнер превысил лимит памяти. — Первый шаг: Увеличьте лимит памяти в спецификации pod или оптимизируйте приложение. 🔹ContainerCreating в течение длительного времени — Причина: Проблемы с монтированием томов, образами или kubelet. — Первый шаг: Проверьте привязки томов, статус образа и логи узла. 🔹Неудачная проверка Readiness/Liveness — Причина: Пробы неправильно настроены или приложение не отвечает. — Первый шаг: Проверьте настройки проб и убедитесь, что приложение готово.

Ошибки планирования Pod

🔹0/1 узлов доступны: 1 Недостаточно CPU — Причина: Узлы кластера не имеют требуемых ресурсов CPU. — Первый шаг: Масштабируйте кластер или отрегулируйте запросы ресурсов для pod. 🔹0/1 узлов доступны: Нет совпадений для селектора узла — Причина: Селекторы узлов в спецификации pod не совпадают с метками узлов. — Первый шаг: Обновите метки узлов или измените селектор узла в pod. 🔹0/1 узлов доступны: Правила Pod Affinity/Anti-affinity — Причина: Правила размещения pod препятствуют планированию. — Первый шаг: Проверьте и отрегулируйте правила affinity/anti-affinity в спецификации pod.

Ошибки с постоянным хранилищем

🔹VolumeMountConflict — Причина: Несколько pod пытаются смонтировать том в режиме ReadWriteOnce. — Первый шаг: Отрегулируйте режимы доступа к томам или конфигурацию хранилища. 🔹PersistentVolumeClaim в состоянии Pending — Причина: Нет подходящего PersistentVolume. —Первый шаг: Проверьте конфигурацию PV и убедитесь, что она соответствует требованиям PVC. 🔹Неудачное прикрепление тома — Причина: Ошибка прикрепления тома к узлу. — Первый шаг: Проверьте класс хранилища и логи облачного провайдера на наличие ошибок.

Ошибки RBAC и аутентификации

🔹Forbidden: Пользователь <user> не может просматривать ресурс <resource> — Причина: У пользователя или сервисного аккаунта нет необходимых прав. — Первый шаг: Создайте или обновите RoleBinding/ClusterRoleBinding. 🔹Unauthorized — Причина: Неверный или просроченный kubeconfig. — Первый шаг: Обновите токены, убедитесь в наличии правильных сертификатов или повторно войдите в кластер. 🔹Secret не найден — Причина: Секрет, указанный в спецификации pod, не существует. — Первый шаг: Создайте секрет или обновите pod, чтобы использовать существующий секрет.

Ошибки в управляющей плоскости и узлах рабочих

🔹etcdserver: запрос истек по времени — Причина: Кластер etcd не работает должным образом или перегружен. — Первый шаг: Проверьте логи и метрики etcd и убедитесь в правильном распределении ресурсов. 🔹Evicted — Причина: Давление на ресурсы узла (например, недостаточно диска, памяти или CPU). — Первый шаг: Освободите ресурсы или масштабируйте кластер. 🔹Узел испытывает давление на диск — Причина: Недостаточно места на диске узла. — Первый шаг: Очистите неиспользуемые образы или логи и мониторьте использование диска. 🔹Узел испытывает давление на память — Причина: Слишком высокое использование памяти. — Первый шаг: Определите процессы, потребляющие много памяти (top или htop), и оптимизируйте их или остановите. Рассмотрите возможность добавления памяти в узел. 🔹Узел испытывает давление по PID — Причина: Достигнут максимальный лимит процессов (PIDs). — Первый шаг: Увеличьте лимит PID в /etc/systemd/system.conf. Проверьте "блуждающие" процессы и оптимизируйте использование ресурсов.

Dockerfile: рекомендации и ошибки Типичный совет, который часто дают, — избегать использования кэша менеджера пакетов. На первый взгляд это кажется логичным, потому что: 🔹Последующие сборки не смогут повторно использовать кэш. 🔹Кэшированные файлы увеличат размер финального образа. ...но что если я скажу вам, что: 🔹Разные запуски команды docker build могут повторно использовать кэш менеджера пакетов. 🔹Кэшированные файлы не попадут в финальный образ. 🔹Кэш будет работать, даже если один из вышеуказанных слоев изменится. И все, что для этого нужно, это использовать инструкцию RUN --mount=type=cache. Вот пример для сборки образа с Python 👆 👉 DevOps Portal

Введите в вашем терминале эту команду:

watch -d -n 1 sensors

Это отображает данные о температуре CPU, GPU, Wi-Fi, NVMe SSD и HDD в реальном времени. Подробнее: https://cyberciti.biz/faq/howto-linux-get-sensors-information/ 👉 DevOps Portal

🚩 Единая точка входа в IT! Теперь всё, что нужно для твоего роста, собрано в одном месте: статьи, материалы, вакансии, задачи и вопросы с собеседований для каждого направления! Выбирай сферу и становись частью IT сообщества: 👩‍💻 Frontend 👩‍💻 Node.js 👩‍💻 Python 👩‍💻 Java 👣 Golang 👣 Rust 🖥 PHP 🖥 Ruby 👩‍💻 Android 👩‍💻 iOS 🖥 Общее IT 👩‍💻 QA 📆 Митапы 👨‍💻 Вакансии А также у нас есть собственная платформа для подготовки к собеседованиям! 🔹 Прогресс и история подготовки 🔹 Фильтры по технологиям и сложности 🔹 Интерактивные тренажёры для практики 🔹 4000+ вопросов для подготовки к собеседованиям 🔖 Всё для вашего направления — в одном месте, без лишних подписок.

💡🐧 Быстрый совет по Linux Команда ls — отличный инструмент командной строки для вывода списка файлов и каталогов в Linux. Однако lsd — это еще более современная альтернатива ls. Она добавляет значки, цветной вывод и делает представление информации более удобным и наглядным.

$ lsd -lah

Если команда lsd не установлена в вашей системе по умолчанию, обратитесь к документации вашей системы для инструкций по установке. 👉 DevOps Portal

⚙️ Руководство по сетевому программированию в Linux — LinuxNetworkProgramming Полный учебник, охватывающий всё: ✅ Основы сетевого программирования в Linux ✅ Работа с сокетами ✅ Создание HTTP/TCP-клиентов ✅ Использование неблокирующих сокетов ✅ Безопасная коммуникация с libcurl и OpenSSL 👉 GitHub: LinuxNetworkProgramming 👉 DevOps Portal

Совет IT-спецам на 2025 год - чаще посещайте тематические мероприятия Зачем тратить время на Ютубчик, когда можно интересно проводить время, при этом развивая свои навыки! А чтобы не гуглить афиши и не подписываться на сотню разных каналов, IT-мероприятия России уже собрали все самые топовые события в одном месте. Оффлайн и онлайн, для разных специальностей и уровней знаний. 👨🏻‍💻 В этом канале ты найдешь самые актуальные и интересные события: анонсы форумов, конференций, митапов, вебинаров, хакатонов, олимпиад и многое другое. Присоединяйся к комьюнити лучших спецов и заново влюбись в свою работу: IT мероприятия России / ITMeeting / IT events

DevOps Roadmap 2025 Этот дорожный план поможет вам освоить ключевые навыки и технологии, необходимые для того, чтобы стать успешным инженером DevOps в 2025 👉 DevOps Portal

Atuin Это инструмент для улучшения истории командной строки, заменяющий стандартную историю оболочки. Он сохраняет команды в зашифрованной базе данных, синхронизирует историю между устройствами и позволяет легко искать и фильтровать команды. Atuin поддерживает bash, zsh и fish, обеспечивая удобство работы с историей в терминале. 👉 https://github.com/atuinsh/atuin 👉 DevOps Portal

Нам сообщили, что многие тут хотят серьезно прокачать свой DevOps. Но не знают где взять информацию и четкий план. 💪 Советуем бесплатный мета-курс Devops Roadmap - это расширенный чек-лист, который поможет сориентироваться в мире DevOps и стать крутым спецом. 👀 В мета-курсе перечислены все основные разделы и навыки, которыми должен обладать DevOps инженер: от Linux до программирования в удобном формате. ✔️А еще он будет полезен при подготовке к собеседованиям. 👽 Кстати, бонусом крутой канал о девопс. Там тоже самые свежие IT-новости, полезные советы от DevOps-инженера с 20-летним стажем, эксклюзивные материалы, релизы топовых инструментов, обзоры вакансий и личный взгляд на девопс-сферу. 📌 Ну а тем, кто хочет двигаться под руководством наставника - индивидуальная программа.

👩‍💻 Основы сетевого взаимодействия Pod'ов — Основы Pod Networking 🔹 Уникальный IP для каждого Pod: Каждый Pod получает уникальный IP-адрес, действующий во всем кластере. 🔹 Общая сеть для контейнеров Pod: Контейнеры внутри одного Pod'а делят одно сетевое пространство (например, виртуальная "сетевая комната"). Они общаются через localhost и используют общий IP и порты. — Взаимодействие внутри кластера 🔹 Прямой трафик между Pod'ами: 1. Pod'ы могут общаться напрямую, даже если они находятся на разных узлах. Для этого не нужны прокси или NAT. 2. Исключение: Pod'ы на Windows, использующие host-сеть, не поддерживают это правило. 🔹 Node-агенты могут взаимодействовать с Pod'ами: Такие инструменты, как kubelet (агент узла), могут общаться со всеми Pod'ами на своем узле. — Сервисы: стабильный доступ к Pod'ам 🔹 API Service: Предоставляет стабильный IP/имя хоста для группы Pod'ов (например, backend-серверов). Пример: Frontend веб-приложения может подключаться к backend-сервису, не беспокоясь об изменении IP-адресов отдельных Pod'ов. 🔹 EndpointSlices: Kubernetes автоматически обновляет их для отслеживания активных Pod'ов, обслуживающих сервис. — Маршрутизация трафика и прокси 🔹 Service Proxy: Направляет трафик к нужным Pod'ам. — По умолчанию: kube-proxy (встроенный прокси Kubernetes). — Альтернативы: Некоторые сетевые плагины заменяют kube-proxy своими прокси (например, Cilium). — Внешний доступ к сервисам 🔹 Gateway API/Ingress: 1. Ingress: Устаревший способ предоставления внешнего доступа к сервисам (например, через HTTP-маршруты). 2. Gateway API: Современный и гибкий метод управления внешним трафиком (поддерживает сложную маршрутизацию и многокомандные настройки). 🔹 Тип LoadBalancer: Самый простой способ предоставить внешний доступ к сервису (работает с облачными провайдерами, такими как AWS или GCP). — Сетевая безопасность (NetworkPolicy) 🔹 Контроль трафика: Определяет правила, например: "Только Pod'ы frontend могут взаимодействовать с Pod'ом базы данных." 🔹 Не всегда поддерживается: Зависит от сетевого плагина (например, Calico поддерживает NetworkPolicy, а простые плагины могут не поддерживать). — Без ручной настройки сети 🔹 Автоматическое подключение: В отличие от старых систем (например, Docker links), Kubernetes автоматически управляет сетями. 🔹 Pod'ы как виртуальные машины: Подходите к Pod'ам как к отдельным серверам — не нужно вручную сопоставлять порты или управлять подключениями. — Как Kubernetes реализует сети 🔹 Kubernetes задает правила: Указывает, что должно быть сделано (например, Pod'ы должны общаться напрямую). 🔹 Внешние инструменты выполняют работу: 1. Container Runtime Interface (CRI): Настраивает сетевые пространства Pod'ов (общие для контейнеров внутри Pod'а). 2. CNI-плагины: Управляют реальной сетью Pod'ов (например, Calico, Flannel). 3. Сервисные прокси: Обрабатывают маршрутизацию трафика (например, kube-proxy или прокси плагинов). — Ключевые моменты для понимания 🔹Сеть Pod'ов vs. Host-сеть: 1. Сеть Pod'ов: Режим по умолчанию (Pod'ы получают уникальные IP). 2. Host-сеть: Pod'ы используют IP узла (редко используется, например, для инструментов мониторинга сети). 🔹 Устаревшие vs. современные инструменты: 1. Ранее требовалась ручная привязка портов (например, docker run -p 80:80). 2. Kubernetes автоматизирует этот процесс — ручная работа не требуется. 🔹 Примеры Gateway API: 1. Облачные: AWS Gateway API Controller, Google Cloud Gateway. 2. Универсальные: Istio, NGINX Gateway. 👉 DevOps Portal

Walk — это инструмент на Go, который позволяет рекурсивно обходить директории и выполнять команды для каждого найденного файла или папки. Ключевые особенности: 🔹 Простая команда для выполнения скриптов или операций над файлами. 🔹 Гибкость и высокая скорость работы. 🔹 Подходит для автоматизации задач, связанных с обработкой файлов. 👉 Репозиторий: https://github.com/antonmedv/walk 👉 DevOps Portal