Библиотека девопса | DevOps, SRE, Sysadmin

⚡ Отус приглашает 15 января в 20:00 мск, на бесплатный вебинар «Подход: Иинфраструктура как код (Infrastructure as Code)» Вебинар пройдет в рамках онлайн-курса "DevOps практики и инструменты". Курс доступен в рассрочку на специальных условиях. 🎙 На вебинаре мы разберём: 1. Что такое инфраструктура как код 2. История развития методологии 3. Инструменты подхода 4. Краткое введение в концепцию GitOps ➡ Регистрация на вебинар: https://otus.pw/RIYU/ ❗ Вебинар будет построен на основе интерактивных дискуссий, демонстраций и упражнений, а также предоставит возможность задать вопросы и обсудить наболевшие темы. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Erid 2VtzquX8WA9

🫡🫡 Отладка дедлока FUSE в ядре Linux Проблема, описываемая в статье, была связана с ndrive — внутренней файловой системой, реализованной с помощью FUSE. Автор расскажет, как он копался в /proc в поисках причины, и узнал, как на самом деле работает wait в ядре. Читать статью #гайд

#memes

Недавно выяснили, что nginx позволяет нативно писать логи в json формате. Для этого в конфиг nginx.conf нужно добавить такой блок:

log_format nginx_json escape=json '{"time_local":"$time_local", "cloud_ip":"$http_x_real_ip", "ip":"$http_cf_connecting_ip", "connection":"$connection", "request_completion":"$request_completion", "status":"$status", "rtime":"$request_time", "rlenght":"$request_length", "content_type":"$content_type", "content_length":"$content_length", "bytes_sent":"$bytes_sent", "body_bytes_sent":"$body_bytes_sent", "raddr":"$remote_addr", "ruser":"$remote_user","upstream_addr":"$upstream_addr", "upstr_resp_time":"$upstream_response_time", "upstr_cache_status":"$upstream_cache_status", "upst_status":"$upstream_status", "gzip_ratio":"$gzip_ratio", "http_x_forwarded_for":"$http_x_forwarded_for", "proxy":"$proxy_host:$proxy_port", "proxy_int_body_length":"$proxy_internal_body_length", "server_proto":"$server_protocol", "rmethod":"$request_method", "uri":"$uri", "args":"$args", "http_referer":"$http_referer", "uag":"$http_user_agent"}';

access_log /var/log/nginx/access.log nginx_json;
error_log /var/log/nginx/error.log;

Получаем максимальную информацию о клиенте в json формате, которую пробиваем средствами nginx. И теперь все это можно легко скармливать всяким эластикам и т.п. без парсинга и прочего. Хранить логи в файлах не айс — хорошо бы запихать их в system journal. Добавим пару строк в nginx.conf и всё логирование будет перенаправлено в system journal.

error_log syslog:server=unix:/dev/log;
access_log syslog:server=unix:/dev/log nginx_json;

А можно комбинировать, писать одновременно логи в файл в дефолтном шаблоне nginx’а и параллельно писать в system journal в json:

log_format nginx_json ...
log_format nginx_default ...

access_log /var/log/nginx/access_json.log nginx_json;
access_log /var/log/nginx/access_default.log nginx_default;

Чтобы посмотреть логи в system journal, воспользуйтесь командой: journalctl -f

🧑‍💻 Особенности работы в айти: результаты опроса подписчиков В декабре мы провели среди вас опрос, изучили результаты и сделали аналитическую статью на vc.ru. Вот некоторые выводы: 🧔‍♂️ В основном наша аудитория состоит из мужчин — 92,1% опрошенных. Женщин, соответственно, всего 7,9%. 🐍 В ТОП-10 специальностей входят питонисты — их 12,4%. Дата-инженерами или дата-сайентистами себя назвали 3.7% респондентов. 👨‍🎓 25% аудитории — самоучки, у которых нет профильного образования, и они не заканчивали никаких платных курсов. 💲 У разработчиков с опытом менее года преобладают зарплаты до 90 000 рублей (88%). Если опыта 1-3 года, то доля получающих 150 000+ увеличивается до 53,6%. 💰 Опытные и образованные Python-разработчики (15,44%) также входят в шестёрку самых высокооплачиваемых специалистов. 🔗 Полный отчёт можно прочесть по этой ссылке 💬 Пишите, какие ещё подобные материалы вам было бы интересно почитать

#вопросы_с_собеседования Как работают сертификаты? Как подтверждается соединение? ➖ Браузер или сервер (клиент) пытается подключиться к веб-сайту (веб-серверу), защищенному с помощью SSL. ➖ Клиент запрашивает идентификацию у веб-сервера. ➖ В ответ веб-сервер отправляет копию своего SSL-сертификата и публичный ключ. ➖ Клиент проверяет, является ли этот SSL-сертификат доверенным. В него зашиты сервера с помощью которых нужно производить проверку, с помощью центров сертификации. Если это так, он сообщает об этом веб-серверу. Генерирует сеансовый ключ, шифрует публичным ключом и отправляет на сервер. ➖ Сервер расшифровывает сообщение и сохраняет сеансовый ключ. Затем веб-сервер возвращает подтверждение с цифровой подписью и начинает сеанс, зашифрованный с использованием SSL. ➖ Зашифрованные данные используются совместно браузером или сервером и веб-сервером. Этот процесс иногда называют подтверждением SSL-соединения. Хотя по описанию этот процесс выглядит длительным, в реальности он занимает миллисекунды.

🤔 Очередной #дайджест для DevOps-ов ◾ Память как у пингвина — работа памяти в Linux ◾ Strace little book — короткие заметки о том, какие опции и в каких случаях можно использовать ◾ Визуальный редактор для terraform — создавайте свою облачную инфраструктуру без особых усилий с помощью вебморды Brain board ◾ Helm Dashboard — графический интерфейс для управления Helm-релизами в Kubernetes ◾ Нагрузочное тестирование — про нагрузочное тестирование для DevOps-инженеров от Yandex Cloud

Подробное дополнение по Container Security Fundamentals к этому посту т. к. тема интересная и стоит внимания. Linux capabilities предоставляют процессу подмножество доступных привилегий root. Это эффективно разбивает привилегии root на более мелкие и отличающиеся друг от друга единицы. Каждая из этих единиц затем может быть независимо предоставлена процессам. Таким образом, сокращается полный набор привилегий и снижаются риски эксплуатации. Читать статью #туториал

💪💪 Kubernetes V1.27 : Защита поды с помощью MemoryThrottlingFactor В стремлении к совершенству управления ресурсами в Kubernetes 1.22 появилась важная функция — ограничения памяти. Это позволило пользователям устанавливать явные границы использования памяти, предотвращая чрезмерное потребление ресурсов контейнерами. Запросы к памяти и ограничения стали ключевыми с появлением ограничений памяти в Kubernetes. Эти элементы играют решающую роль в точной настройке распределения ресурсов внутри кластера. Продолжение тут #туториал

🥷💥 Container Security Fundamentals В этом видео разбирается, как возможности Linux могут использоваться обычными программами и контейнерами для предоставления только определенных прав, которые им необходимы, вместо предоставления root-привилегий. #видео

ZRAM позволяет сжимать оперативную память на лету и таким образом увеличить ее объём. При включении zram, сжатие переносит часть нагрузки на процессор, но использование zram действительно может улучшить производительность. Также есть zswap, которая сжимает данные в разделе подкачки. И которая по умолчанию включена почти во всех официальных ядрах. Проблема zswap заключается в том, что его приоритет выше чем у zram, который остается неиспользуемым. Чтобы решить эту проблему, нужно отключить zswap в ядре.

CONFIG_ZSWAP_DEFAULT_ON=N

Но чтобы применить эту опцию, нужно пересобрать ядро. Пойдем легким путем и выключим zswap через загрузчик grub. Редактируем файл /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="zswap.enabled=0" loglevel=3 quiet "

Не забываем перегенирировать конфиг grub:

grub-mkconfig -o /boot/grub/grub.cfg

Перезагружаем машину и проверяем отключение zswap:

cat /sys/module/zswap/parameters/enabled

Если вывелась буква N — значит все правильно. Ну и наконец включаем zram. Для этого пишем bash скрипт и кидаем его в автозагрузку:

#!/bin/bash

modprobe zram
mkdir /sys/block/zram0
echo lz4 > /sys/block/zram0/comp_algorithm
echo 1G > /sys/block/zram0/disksize
echo 2 > /sys/block/zram0/max_comp_streams
mkswap --label zram0 /dev/zram0
swapon --priority 100 /dev/zram0

1. Загружаем модуль zram 2. Выбираем алгоритм сжатия lz4 (либо zstd) 3. Объем zram 1гиг физической оперативки 4. 2 это количество потоков сжатия (потоки процессора) 5. Создаем блочное устройство и включаем его Запускаем скрипт и проверяем включение командой: zramctl. Если на экран что-то вывелось, значит всё хорошо и сжатие начало работать. Если заморачиваться с bash скриптами не хочется, ставим утилиту которая будет работать через systemd.

apt install systemd-zram-generator

Правим конфиг /etc/systemd/zram-generator.conf

[zram0]
zram-size = ram
compression-algorithm = lz4

Активируем и запускаем:

systemctl daemon-reload
systemctl start /dev/zram0

Всё! Теперь оно само будет запускаться без лишних движений.

#memes

😇🤲 Роль информационной безопасности в наше время — не остановить все инциденты, а не допустить нанесение ущерба Контейнеризированные среды благоволят реализовывать концепцию Zero Trust, потому что они сами приносят определенные уровни изоляции и, непосредственно, есть дополнительные инструменты, как самой системы оркестрации, так и системы Linux, которая нам это позволяет делать. Проще сред чем контейнеризированная для оркестрации и для того, чтобы реализовывать модель Zero Trust, нет. В концепции Zero Trust мы ничему не доверяем, то есть у нас нет такого понятия, как доверенное окружение, доверенный компонент или среда. Мы изначально исходим из концепции, что везде может быть уязвимость, вредоносный код и другие проблемы. Изначально, до обнаружения проблем, мы закладываем, что они уже могут существовать и система может, возможно, уже скомпрометирована. Читать статью #почитать

🤔 Очередной #дайджест для DevOps-ов 🔺 Валидация данных при помощи Pydantic — зачем это нужно, чем софт лучше marshmallow, как пользоваться и как с его помощью правильно проверять данные 🔺 snips.sh — pastebin сервис, работающий по SSH и доступный как в tui, так и в веб-морде 🔺 Formatting an XFS Filesystem — инженеры Oracle пишут о работе mkfs.xfs и о том, что происходит в процессе форматирования раздела в этой файловой системе 🔺 Установка размера кучи Java внутри контейнера Docker — запуск Java-приложений в контейнере может показаться тривиальной задачей, но есть некоторые подводные камни... 🔺 Траблшутинг отсутствующих журналов Kubernetes в Elasticsearch — рассказ о том, почему это происходит и как это предотвратить

#memes

❓ Да что вы знаете про DevOps? Проверь себя – пройди тест по ДевОпс и уйзнай можешьли ть стать DevOps-инженером! 🫵 Ответишь успешно — пройдешь на курс «DevOps практики и инструменты» от Отус по специальной цене. Освойте принципы и популярные инструменты DevOps-инженера, которые помогут повысить вашу востребованность и доход на онлайн-курсе «DevOps практики и инструменты» от OTUS и Express 42. ➡ ПРОЙТИ ТЕСТ: https://otus.pw/Caym/ 💥 Бонусом за успешно пройденный тест, получишь доступ к записям лучших открытых уроков курса. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Erid 2VtzqwB9Hfa

🤔😱 Траблшутинг BGP BGP — это сложный протокол маршрутизации, и бывают ситуации, когда что-то идет не так как надо. Кроме того, что он сложный, он также совершенно отличается от наших IGP протоколов (OSPF и EIGRP). В материале повествование начнется с рассмотрения неполадок, возникающих в установлении соседства BGP и проблем с объявлением маршрутов, которые должны или не должны появляться Изучить #туториал