Библиотека девопса | DevOps, SRE, Sysadmin

#вопросы_с_собеседования Редкий, но интересный вопрос по *nix на смекалку. Как можно создать zombie-процесс? #include «stdlib.h> #include #include int main() { pid_t child_pid; /* Создание дочернего процесса. */ child_pid = fork(); if (child_pid > 0) { /* Это родительский процесс — делаем минутную паузу. */ sleep(60); } else { /* Это дочерний процесс — немедленно завершаем работу. */ exit(0); } return 0; }

🕷️🕸️ Понимание кластерной сети Kubernetes По умолчанию все поды в кластере K8s могут взаимодействовать друг с другом без NAT, поэтому каждому модулю присваивается IP-адрес всего кластера. Контейнеры внутри каждого пода совместно используют сетевое пространство имен поды, что позволяет им взаимодействовать друг с другом на localhost через loopback. С точки зрения рабочих нагрузок, выполняемых внутри контейнеров, эта IP-сеть выглядит как любая другая, и никаких изменений не требуется. Когда пода создается или терминируется, частью работы kubelet является настройка или очистка песочницы поды, на которой он запущен. Kubelet полагается на реализацию Container Runtime Interface (CRI) для обработки деталей создания и уничтожения песочниц. CRI состоит из нескольких интерфейсов; наиболее интересными являются RuntimeService interface (client-side API; integration point kubelet->CRI) и RuntimeServiceServer (server-side API; integration point RuntimeService->CRI implementation). Эти API-интерфейсы одновременно большие и объемные, но в данной статье нас интересуют только *PodS и коробочный набор методов (например, RunPodSandbox). Однако под капотом CRI находится сетевой интерфейс контейнера, который создает и настраивает сетевое пространство имен поды. Очень крутая и объемная статья, продолжение которой вас ждет тут #гайд

#memes

📦📦 Перенос Docker на другой диск в Windows Небольшой туториал по переносу Docker с диска С, на диск D. У автора статьи было мало места на 120-гиговой SSD-шке, и пришлось пойти на этот шаг. Если у кого-то стоит такая задача — милости просим. # выключаем wsl wsl --shutdown # экспортируем данные docker-desktop wsl --export docker-desktop D:\docker-desktop.tar # убираем регистрацию данных docker-desktop wsl --unregister docker-desktop # импортируем данные docker-desktop в новую директорию wsl --import docker-desktop D:\wslStore\ D:\docker-desktop.tar --version 2 # удаляем D:\docker-desktop.tar После этих манипуляций, все наши сокровища с DockerDesktop будут располагаться в D:\wslStore\. Но, это не означает, что данные (контейнеры, снимки и прочие) будут тоже находиться там. Читать далее #туториал

Человек на 60% состоит из воды, а Тинькофф на 100% из масштабных ИТ-задач и ежедневных вызовов Если ты опытный ИТ-спец, этот вызов для тебя. А решение бытовых забот берем на себя: от ультра расширенной медстраховки и юридической поддержки до компенсации питания, спорта и дополнительного обучения. Выбрать вакансию и стать частью ИТ-команды можно тут: https://o.tinkoff.ru/career

💫🕳️ k'exp — Kubernetes Explorer Данный софт поможет разобраться в Kubernetes через визуализацию. Это не очередная попытка управлять производственными кластерами в браузере. kexp предназначен для: изучения возможностей Kubernetes разработки приложений разработка контроллера и оператора Installation Получите последний релиз с GitHub: GOOS=linux GOARCH=amd64 curl -Ls https://github.com/iximiuz/kexp/releases/latest/download/kexp_${GOOS}_${GOARCH}.tar.gz | tar xvz sudo mv kexp /usr/local/bin Использование Это статически связанный двоичный файл Go со встроенным UI. Если у вас уже настроен kubectl для доступа к вашим кластерам, вы также можете запустить kexp — он использует ту же логику обнаружения KUBECONFIG. По умолчанию kexp запускает сервер на localhost:5173: kexp open localhost:5173 В качестве альтернативы вы можете указать кастомный адрес: kexp --host 0.0.0.0 --port 8090 #обзор

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

🌴Отпуск… Двухнедельный… Звучит как мечта для многих управленцев. Но почему она так недостижима? Что мешает тимлиду уйти в отпуск? Где внутренние причины, где внешние? 🔥Узнайте на бесплатном уроке: «Готовь сани летом.. или почему тимлиду нужно начинать готовить команду к своему отпуску еще с осени». На занятии обсудим: — Когда можно уйти в отпуск, а когда всё же не стоит? — Как подготовить команду и заказчика к своему отпуску? — Почему длительный отпуск важен для руководителя? — Как переключаться в режим отдыха? — Как включиться в работу после? Вебинар будет полезен: — Начинающим тимлидам и тем, кто близок к выгоранию. — Уставшим менеджерам, которых окружают безответственные работники! 👉Регистрируйтесь на эфир → Понравился урок — берите полный курс «Team Lead разработки», его можно пройти по специальной цене, и даже в рассрочку. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru erid 2Vtzqxf8sWb

🤔 Очередной #дайджест по DevOps ➡️ Рекомендации по безопасности: уязвимости Curl — описание предстоящего апдейта и безопасности в целом, а curl, как известно, напичкан пробоями в безопасности ➡️ SIG-архитектура — обсуждение насущного с лидом Conformance sub-project ➡️ Учимся бесплатно деплоить Java (и не только) приложения — использование для деплоя бесплатного сервиса CircleCi и AWS от Amazon ➡️ Group wait, Group interval и Repeat interval — разбор нюансов работы Prometheus Alertmanager, чтобы полностью понять, как функционируют интервалы ➡️ Обзор работоспособности сети с помощью mtr, ss, lsof и iperf3 — если в сети происходит что-то странное, на помощь всегда приходят эти инструменты

⚙️ Настройка CI/CD для Gitlab-репозитория: схемы и гайд по шагам CI/CD (Continuous Integration / Continuous Deployment) — это непрерывная интеграция и развертывание, предназначенные для повышения удобства, частоты и надежности публикации изменений программного обеспечения или продукта, где: CI — это практика разработки ПО, при которой изменения в коде автоматически собираются, тестируются и интегрируются в целевую ветку репозитория. Основная идея — минимизация разрыва между компонентами проекта и быстрая обратная связь о качестве кода, благодаря автоматической сборке и тестированию. CD — это продолжение CI, которое позволяет автоматически разворачивать успешно собранный и протестированный код на сервере или другой среде реального применения. Цель — автоматизация процесса разработки и развертывания приложения или программного продукта после всех этапов проверки и тестирования. Развертывание в продакшн должно выполняться после ручного подтверждения деплоя, чтобы предоставить дополнительный уровень контроля и безопасности. Инструментов работы с CI/CD 🔹 Gitlab CI/CD — полностью интегрированная в GitLab система для автоматизации сборки, тестирования и развертывания программного кода. 🔹 Jenkins — система с открытым исходным кодом для внедрения CI/CD для автоматизации процесса разработки. 🔹 Azure DevOps — отдельное комплексное решение от Microsoft с набором инструментов разработки. Оно позволяет командам планировать работу, совместно создавать код и доставлять приложения. 🔹 TeamCity — сервер непрерывной интеграции от JetBrains. У TeamCity открытая архитектура, которая позволяет разработчикам создавать плагины для расширения функционала. Для углубленного ознакомления переходим сюда #гайд

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы 🐘PHP Библиотека пхпшника Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие профильные каналы Библиотека фронтендера Библиотека шарписта Библиотека мобильного разработчика Библиотека хакера Библиотека devops’a Библиотека тестировщика 💼Каналы с вакансиями Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel Вакансии по DevOps & SRE Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 🤖Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook 🔸Instagram

🧑‍🎓😎 Еще одна серия с мероприятия OFFZONE 2023 Здесь собираются безопасники, разработчики, инженеры, исследователи, преподаватели и студенты из десятков стран мира. В центре внимания — только хардкорный технический контент по кибербезопасности. Самое слабое звено: разбираемся в атаках на цепочки поставок В последние годы атаки на цепочки поставок перестали быть прерогативой спонсируемых государствами групп. Управлению киберразведки BI.ZONE известно как минимум несколько случаев, когда финансово мотивированные хакеры, например операторы программ‑вымогателей, использовали данный метод для получения первоначального доступа к своим целям. В ходе доклада спикер расскажет, что представляют собой подобные атаки, и на реальном примере разберет, на каких этапах жизненного цикла можно их обнаружить и предотвратить возможный ущерб Смотреть #видео

#туториал 🤔🤔 Что насчет запуска команд в bash параллельно? Первый способ основан на символе &

#!/bin/bash

sleep 5 && echo "sleep 5_1" &
sleep 5 && echo "sleep 5_2" &
wait
echo "sleep 0"

Здесь первая и вторая команда запустятся параллельно. Через 5 секунд на экран выведутся 3 строчки sleep 5_1, sleep 5_2 и sleep 0. Wait – команда, которая ожидает завершения определенного процесса и возвращает его состояние завершения. Оболочка ждет (wait) пока завершатся два предыдущих процесса, прежде чем запустить следующую команду. Получается, все то, что в скрипте идет после wait, будет в режиме ожидания, пока не завершатся 2 sleep-а. Уже похоже на асинхронность. Теперь запустим в терминале последовательно такие команды:

sleep 60 &
sleep 90 &
sleep 120 &

На экран выведется что-то такое:

[1] 38161
[2] 38166
[3] 38167

Это PID-ы запущенных процессов. Но сейчас интересна команда jobs, которая позволяет напрямую взаимодействовать с процессами в текущей оболочке. Команда отображает состояние заданий в текущем сеансе. Запускаем jobs и смотрим:

[1] Done sleep 60
[2]- Running sleep 90 &
[3]+ Running sleep 120 &

— список команд, которые запустились в фоне. Первое задание завершилось, а остальное еще в процессе. Теперь посмотрим где всё это можно применить.

downloader(){
wget -q "$1"
}

while IFS= read -r url
do
downloader "$url" &
done < urls.txt

wait
echo "Завершено"

🍕Скрипт читает построчно файл url.txt 🍕 Передает каждую строчку в функцию downloader 🍕 Функция downloader каждый раз запускается в фоне 🍕 Происходит скачивание файла по ссылке 🍕 По завершению (wait) получаем complete Файл url.txt представляет собой список прямых урлов на файлы, которые нужно скачать. Символ & говорит — запусти всё одновременно и параллельно. Типа такого, с таким ты уже всяко встречался: Можно все это сделать иначе. Есть утилита parallel: apt/yum/brew install parallel Делает она то же самое, но имеет более гибкие настройки через параметры. Например, предыдущий пример со скачиванием файлов мог бы выглядеть таким образом:

parallel -j 4 wget -q {} < urls.txt

-j означает сколько джобов будет запараллелено. А еще, есть «$!», она позволяет узнать PID последнего запущенного процесса:

sleep 60 &
[1] 39032
echo $!
39032

В первой команде запустили фоном ожидание 60 секунд, вывелся порядковый номер джобы и PID. Ну а чтобы получить последний PID, выполняем третью команду с «$!». На экран вывелся PID в чистом виде, а дальше можно его сохранить в переменную и уже проверять в скрипте, завершился он или нет.

ErrImagePull — это ошибка, возникающая, когда с образом, указанным для контейнера, нельзя произвести retrieved или pull. ImagePullBackOff — это период ожидания, пока с образом не случится pull fix. Образы контейнеров Одной из самых сильных сторон контейнеризации является возможность запуска любого образа за считанные секунды. Контейнер — это группа процессов, выполняющихся изолированно от базовой системы. Образ контейнера содержит все ресурсы, необходимые для запуска этих процессов: бинарники, библиотеки и необходимые конфиги. Реестр контейнеров — это репозиторий образов, в котором выполняются два основных действия: Push: загрузка образа для доступа из из репы Pull: выгрузка образа для использование его в контейнере В примерах к этой статье будет использоваться docker CLI, но можно использовать любой инструмент, реализующий спецификации Open Container Initiative для всех взаимодействий с реестром контейнеров. Далее читайте здесь #гайд

#туториал 🤔🤔 Что насчет запуска команд в bash параллельно? Первый способ основан на символе &

#!/bin/bash

sleep 5 && echo "sleep 5_1" &
sleep 5 && echo "sleep 5_2" &
wait
echo "sleep 0"

Здесь первая и вторая команда запустятся параллельно. Через 5 секунд на экран выведутся 3 строчки sleep 5_1, sleep 5_2 и sleep 0. Wait – команда, которая ожидает завершения определенного процесса и возвращает его состояние завершения. Оболочка ждет (wait) пока завершатся два предыдущих процесса, прежде чем запустить следующую команду. Получается, все то, что в скрипте идет после wait, будет в режиме ожидания, пока не завершатся 2 sleep-а. Уже похоже на асинхронность. Теперь запустим в терминале последовательно такие команды:

sleep 60 &
sleep 90 &
sleep 120 &

На экран выведется что-то такое:

[1] 38161
[2] 38166
[3] 38167

Это PID-ы запущенных процессов. Но сейчас интересна команда jobs, которая позволяет напрямую взаимодействовать с процессами в текущей оболочке. Команда отображает состояние заданий в текущем сеансе. Запускаем jobs и смотрим:

[1] Done sleep 60
[2]- Running sleep 90 &
[3]+ Running sleep 120 &

— список команд, которые запустились в фоне. Первое задание завершилось, а остальное еще в процессе. Теперь посмотрим где всё это можно применить.

downloader(){
wget -q "$1"
}

while IFS= read -r url
do
downloader "$url" &
done < urls.txt

wait
echo "Завершено"

🍕Скрипт читает построчно файл url.txt 🍕 Передает каждую строчку в функцию downloader 🍕 Функция downloader каждый раз запускается в фоне 🍕 Происходит скачивание файла по ссылке 🍕 По завершению (wait) получаем complete Файл url.txt представляет собой список прямых урлов на файлы, которые нужно скачать. Символ & говорит — запусти всё одновременно и параллельно. Типа такого, с таким ты уже всяко встречался: Можно все это сделать иначе. Есть утилита parallel: apt/yum/brew install parallel Делает она то же самое, но имеет более гибкие настройки через параметры. Например, предыдущий пример со скачиванием файлов мог бы выглядеть таким образом:

parallel -j 4 wget -q {} < urls.txt

-j означает сколько джобов будет запараллелено. А еще, есть «$!», она позволяет узнать PID последнего запущенного процесса: sleep 60 & [1] 39032 echo $! 39032 В первой команде запустили фоном ожидание 60 секунд, вывелся порядковый номер джобы и PID. Ну а чтобы получить последний PID, выполняем третью команду с «$!». На экран вывелся PID в чистом виде, а дальше можно его сохранить в переменную и уже проверять в скрипте, завершился он или нет.

#memes Когда не решаешь таски, но продуктивно думаешь о них

#memes Когда работаешь строго по графику 😆😆

📚 ТОП-8 книг по DevOps в 2023 году Список из 8 лучших книг, которые должны быть в библиотеке каждого начинающего и продвинутого DevOps-специалиста. Читать статью #книги

Подборка лучших статей «Библиотеки программиста» за сентябрь: сохраняй в заметки, чтобы не пропустить #самыйсок 🐧📖 ТОП-10 книг по Linux в 2023 году 🧩🧠 Тест на сообразительность: 3 захватывающие головоломки, чтобы развлечься и потренировать мозг 🎮 Идеальный подарок геймеру: Xbox vs PlayStation vs Nintendo Switch vs Steam Deck 📊 Как я входил в IT? Результаты опроса «Библиотеки программиста» 🔝 Приоритизация задач по методу MoSCoW: как за 5 минут научиться грамотно расставлять приоритеты