Библиотека девопса | DevOps, SRE, Sysadmin

🤔😱 Что происходит после команды kubectl run? Представьте, что вы хотите развернуть nginx в кластере Kubernetes, набрав что-то вроде этого в своем терминале: kubectl create deployment nginx --image=nginx --replicas=3 Через несколько секунд увидите три модуля nginx, распределенных по всем рабочим нодам. Что на самом деле происходит под капотом? Одна из замечательных особенностей Kubernetes заключается в том, что он управляет развертыванием рабочих нагрузок в инфраструктуре с помощью удобных для пользователя API. Сложность скрыта за простыми абстракциями. Но для того, чтобы полностью понять ценность, которую он нам предлагает, полезно разобраться в его внутреннем устройстве. Это руководство полностью разбирает жизненный цикл запроса от клиента к kubelet, при необходимости ссылаясь на исходный код, чтобы проиллюстрировать, что происходит. Написано понятным языком. #туториал

#memes

Как быть, если запустил скрипт в терминале, без nohup и применения screen? Ждать завершения не вариант, и завершать нельзя... Сделаем подопытный образец, который в цикле, каждые 2 секунды будет писать в файл числа от 1 до 10000, чтобы визуально понимать что происходит.

#!/bin/bash

for i in {1..10000}
do
 echo $i >> /tmp/log.txt
 sleep 2
done

Открываем второй терминал:

tail -f /tmp/log.txt

Видим как log.txt постепенно наполняется. Жмем сочетание клавиш ctrl+z в первом терминале, где был запущен скрипт.

Комбинация клавиш Ctrl + Z посылает процессу сигнал, который приказывает ему остановиться. Это значит, что процесс остается в системе, но замораживается.

Получаем такое:

[1]+ Stopped ./script.sh

Видим что скрипт остановил свою работу. А во втором терминале с tail, цифры перестали заполнять файл. Ключевое слово - остановил, но не прекратил. А теперь в первом терминале запустим команду bg, и увидим такое:

[1] + ./script.sh & 

Команда bg предназначена для возобновления исполнения остановленной задачи в фоновом режиме в командных оболочках.

Скрипт продолжил работу в фоне, с того момента где был остановлен. Идем во второй терминал с tail и видим, что цифры продолжили заполнять файл. Если сейчас закрыть первый терминал, скрипт прекратит свою работу, нужно его отвязать от текущей сессии и демонизировать.

disown %1

Команда disown блокирует отправку системного сигнала SIGHUP с помощью командной оболочки и исполняющемуся в фоновом режиме процессу при завершении работы командной оболочки.

Теперь в первом терминале пишем exit либо просто закрываем его. А во втором терминале работа скрипта продолжается.

🏆 Самые популярные языки программирования 2023 Популярность ЯП зависит от нескольких факторов. Мы разобрались с ними, составили сводный рейтинг и обсудили особенности, преимущества, недостатки и причины популярности каждого языка. Заходите и читайте👇 🔗 Читать статью 🔗 Зеркало

🤔❓ Что ты такое, dhclient? Сетевой стек Linux не прост даже на первый взгляд: приложение — в юзерспейсе, а всё, что после сокета, — в ядре операционки. И там тысяча реализаций TCP. Любое взаимодействие с сетью — системный вызов с переключением контекста в ядре. Один из самых простых протоколов с точки зрения сетевого взаимодействия — UDP 67+68. Это всего четыре сообщения: DHCPDISCOVER, DHCPOFFER, DHCPREQUEST, DHCPACK. И даже не будем усложнять себе жизнь, используя DHCP Relay. Остальная часть истории здесь #почитать

#memes

Маск навел суеты вокруг ИИ, поэтому и вам предлагаем немного погрузиться в эту тему. Поможет #дайджест бесплатных курсов по ИИ и ChatGPT: 🚀 Генеративный ИИ для всех — как работает генеративный искусственный интеллект и как использовать его в своей жизни и на работе 🔥 Введение в генеративный ИИ от Google — что такое генеративный искусственный интеллект, как он используется и чем отличается от традиционных методов машинного обучения 🔵 Гарвардский курс CS50 «Введение в искусственный интеллект с помощью Python» — учимся использовать машинное обучение на Python ✈️ Знакомство с ответственным ИИ от Google — что такое ответственный ИИ, почему это важно и как Google внедряет ответственный ИИ в свои продукты 👨‍💻 Оптимизируем работу с помощью Microsoft Bing Chat — как Bing Chat может выполнять широкий спектр задач и помочь вам оптимизировать весь рабочий процесс

❤️🙏 Путь к мечте: как инвалидность не помешала стать разработчиком и продолжить борьбу за здоровье Автор «Библиотеки программиста» Станислав Герасимов, инвалид с детства, делится жизненной историей становления профессиональным разработчиком. В жизни Стаса было всё, но, возможно, именно путь к мечте помог справиться со всеми жизненными трудностями и добиться поставленной цели. 🔗 Читать статью 🔗 Зеркало

#вопросы_с_собеседования Что такое RAID? Какие основные типы RAID существуют? В работе с дисками есть две проблемы: ✏️ Низкая скорость чтения\записи ✏️ Выход дисков из строя и потеря данных И это всё решается с помощью технологии RAID — избыточного массива независимых дисков. Существуют следующие уровни спецификации RAID: 1, 2, 3, 4, 5, 6, 0. Кроме того, существуют комбинации: 01, 10, 50, 05, 60, 06. Существуют аппаратные и программные RAID-массивы. Программные массивы создаются уже после установки ОС средствами программных продуктов и утилит, что и является главным недостатком таких дисковых массивов. Аппаратные RAID’ы создают дисковый массив до установки ОС и от неё не зависят. RAID 0 — чередование RAID 1 — зеркалирование RAID 5 — чередование с четностью RAID 6 — чередование с двойной четностью RAID 10 — совмещение зеркалирования и чередования

🧖🧖 System Design 101 Объясняются сложные системы, используя наглядные материалы и простые термины. Готовитесь ли вы к собеседованию по системному дизайну или просто хотите понять, как системы работают, эта массивная шпаргалка будет полезна. Много полезных тем в сжатом виде — от протоколов до нюансов безопасности. Шпаргалка #туториал

💥⚠️ Рекомендации по безопасности: высокая степень уязвимости Curl Разработчики curl, популярного инструмента командной строки и библиотеки для передачи данных выпустили релиз 8.4.0 11 октября 2023 года. Эта версия включает исправление для двух распространенных уязвимостей, одну из которых разработчики curl оценивают как «ВЫСОКУЮ» степень серьезности и описывают как «вероятно, худший недостаток безопасности curl за долгое время». Айдишники CVE: CVE-2023-38545: переполнение буфера кучи SOCKS5, высокая степень серьезности (влияет как на libcurl, так и на инструмент curl) CVE-2023-38546: внедрение cookie без файла, степень серьезности НИЗКАЯ (влияет только на libcurl, а не на инструмент) Подробная информация о том, как используются эти CVE, опубликована вместе с рекомендацией. Разработчик curl опубликовал пост с более подробной информацией о том, как возникла уязвимость в результате конкретной реализации поддержки SOCKS5. В данной статье объясняется, как можно использовать Docker Scout, чтобы понять, есть ли зависимость от curl в образах контейнеров, а также представлено руководство о том, где была введена зависимость и как обновить curl до версии 8.4.0. Подробности тут #гайд

💥🔌 Архитектурные паттерны: Circuit-Breaker Circuit Breaker предназначен для обнаружения сбоев и инкапсуляции логики предотвращения выполнения системой операции, которая может сбоить. Вместо того чтобы повторно обращаться к службе, которая, вероятно, недоступна, Circuit Breaker на некоторое время останавливает все попытки, давая проблемной службе время на восстановление. Как это работает Для предотвращения сбоя, Circuit Breaker состоит из трех возможных состояний, позволяющих системе понять, что случился сбой и отреагировать соответствующим образом: 🔹 закрытое состояние — состояние по умолчанию 🔹 разомкнутое состояние — предотвращение любых запросов к сбойной службе 🔹 полуоткрытое состояние — разрешается несколько тестовых запросов для определения работоспособности и статуса сбойной службы Подробнее здесь #туториал

⚡ Как защитить данные в Kubernetes? Приглашаем на открытый вебинар «Хранилище секретов для приложений. Vault» от OTUS. Вебинар является бесплатной частью онлайн-курса «Инфраструктурная платформа на основе Kubernetes». Курс-доступен в рассрочку. 🎙 Спикером выступит Михаил Чугунов – старший системный инженер в «RNT Group». На вебинаре: – рассмотрим основы работы с хранилищем секретов Vault и его применение в Kubernetes; – расскажем о типах секретов, доступных в Vault; – объясним, как управлять доступом и обеспечить безопасность; – погрузимся в механизмы интеграции Vault с Kubernetes. Вебинар пройдёт 4 декабря в 20:00 мск ➡ Регистрация на вебинар по ссылке: https://otus.pw/Dk76/ После вебинара вы сможете продолжить обучение на курсе по специальной цене. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Erid 2Vtzqwe3off

#memes

❗️Мы запускаем серию исследований — и вы можете нам в этом помочь! «Библиотека программиста» выпустит несколько статей, в которых мы проведем полноценные исследования. Помогите нам выбрать интересные темы: может быть, вы давно хотели узнать, как изменилась зарплата у тех, кто релоцировался? Или гадаете, сколько лет нужно, чтобы стать миддлом? Присылайте интересующие вас темы в комментарии — интересные мы возьмем в работу и поделимся с вами результатами 💙

🤔 Очередной #дайджест инструментов и полезностей для DevOps 🎯 sshx — безопасный веб-терминал для совместной работы 🎯 eBPF: разблокировка ядра — документалка об истории появления eBPF 🎯 Ansible Semaphore — удобная веб-морда для работы с Ansible 🎯 ttop — инструмент мониторинга системы с историей, триггерами и TUI, похожим на top 🎯 grub2-themes — несколько прикольных тем для Grub2

🧑‍🎓🧑‍🎓 November 2023 FreeBSD Vendor Summit В начале ноября состоялся ивент, предоставляющий коммерческим пользователям FreeBSD возможность встретиться лицом к лицу с разработчиками и участниками. Была крутая дискуссия по улучшению операционной системы. В программе были выступления от NetApp, Netflix, ARM и других компаний. Записи видосов: День 1 День 2 #видео

🔍Вопросы с собеседований и задачи по DevOps У нас появились новые каналы по DevOps, в которых мы готовимся к собеседованиям и проверяем себя на практических задачках 🚀 Подписывайтесь: 👉Библиотека собеса по DevOps — тут мы готовимся к интервью 👉Библиотека задач по DevOps — тут решаем задачи, проходим тесты и изучаем код

🧑‍✈️☸️ Kubernetes 1.27: политики pod topology теперь в бета-версии Распространение Pod-топологии имеет параметр maxSkew, определяющий степень, в которой модули могут быть распределены неравномерно. Не было способа контролировать количество доменов, на которые мы должны распространяться. Некоторые пользователи хотят принудительно распределить поды по минимальному количеству доменов, и если их уже недостаточно, заставить кластер-автоскалер выделить их. В версии 1.24 Kubernetes появился параметр minDomains для ограничений распространения Pod-топологии в качестве альфа-функции. С помощью параметра minDomains можно определить минимальное количество доменов. Например, предположим, что есть 3 ноды с достаточной пропускной способностью, и созданный набор реплик имеет следующие topologySpreadConstraints в своем Pod-шаблоне.

...
topologySpreadConstraints:
- maxSkew: 1
  minDomains: 5 # требуется как минимум 5 нодов (поскольку каждая нода имеет уникальное имя хоста).
  whenUnsatisfiable: DoNotSchedule # minDomains действителен только при использовании DoNotSchedule.
  topologyKey: kubernetes.io/hostname
  labelSelector:
    matchLabels:
        foo: bar

Читать далее #туториал

#memes Я на собеседовании