LinuxCamp | DevOps

Как cgroups v2 реально ограничивает CPU, память и IO Что такое cgroups v2 cgroups v2 - это механизм ядра, который делит ресурсы системы между группами процессов. Для каждой группы ядро считает и ограничивает CPU, память, дисковый и сетевой IO. Всё управляется через файловую систему /sys/fs/cgroup. Проверить, используется ли v2:

mount | grep cgroup2
cat /sys/fs/cgroup/cgroup.controllers

Иерархия и контроллеры Все группы - это директории внутри /sys/fs/cgroup. В каждой можно включить контроллеры и настроить лимиты. Процесс "попадает" в cgroup, когда его PID записывают в файл cgroup.procs. Пример создания отдельной группы вручную:

cd /sys/fs/cgroup
mkdir test.slice
echo "+cpu +memory +io" > cgroup.subtree_control
cd test.slice
echo $$ > cgroup.procs    # добавить текущий shell

Ограничение CPU CPU в v2 настраивается через квоту и период. Так ядро решает, какую долю от одного ядра может использовать группа. Пример: не более 50% одного CPU:

echo "100000" > cpu.max    # период 100 мс
echo "50000"  >> cpu.max   # квота 50 мс

Для полного запрета ограничения (no throttle):

echo "max" > cpu.max

Ограничение памяти Ядро отслеживает все страницы памяти группы и сравнивает их с лимитом. При превышении включается reclaim, а в крайнем случае OOM внутри cgroup. Пример жёсткого лимита 512 МБ:

echo $((512 * 1024 * 1024)) > memory.max

Текущие значения и пики:

cat memory.current
cat memory.events

Ограничение дискового IO Контроллер io задаёт лимиты на чтение и запись для конкретных устройств. Ядро контролирует количество операций и суммарную пропускную способность. Пример: ограничить чтение до 10 МБ/с для /dev/sda:

echo "8:0 rbps=10485760" > io.max

Узнать номера устройств:

lsblk --output NAME,MAJ:MIN

Вывод cgroups v2 - это единая иерархия, где для каждой директории можно включить контроллеры CPU, памяти и IO, добавить процессы и задать жёсткие лимиты. Всё управление сводится к записи чисел и параметров в файлы внутри /sys/fs/cgroup, а дальше ядро само выполняет политику. LinuxCamp | #overview

Выживаем в условиях ограниченной доступности - DevOps, SRE, сисадмины, архитекторы и инженеры, этот практикум для вас! 3 декабря в 20:00 мск ведущий DevOps-инженер Михаил Чугунов разберет: 👨‍💻как правильно выстроить пайплайн CI/CD 👨‍💻как организовать DNS, ingress и балансировку 👨‍💻как проектировать архитектуры кластера и сетевого взаимодействия После Практикума “Kubernetes в закрытом контуре”: ✔️DevOps/SRE смогут автоматизировать доставку обновлений и контейнерных образов без внешнего доступа ✔️Сисадмины разберутся, как организовать сетевую топологию, прокси, ingress-контроллеры и DNS в полностью изолированном контуре ✔️Архитекторы поймут, как закладывать ограничения NAT и отсутствие интернета в архитектурные решения ✔️Инженеры БД получат систему, как выстроить безопасную модель доступа, обеспечить комплаенс и защиту данных внутри замкнутой инфраструктуры Kubernetes Для полной погруженности мы дарим видео-курс о Kubernetes - будьте устойчивы и готовы! Забрать уроки: https://tglink.io/334fb92cb4b3 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFJRMBLC

KDE отказывается от X11 Команда KDE Plasma объявила о начале новой эры в развитии рабочего стола: в релизе Plasma 6.8 будет полностью прекращена поддержка сессии X11, и рабочее окружение станет эксклюзивно работать на Wayland. Поддержка приложений X11 будет осуществляться через совместимый слой Xwayland, а сама сессия Plasma X11 будет исключена из дистрибутивов. В долгосрочной перспективе это позволит ускорить разработку, улучшить производительность и внедрять новые возможности. По статистике 73% юзеров Plasma 6 используют Wayland, а не X11, такие дела... Рано или поздно X11 вымрут окончательно. LinuxCamp | #news

⚠️Alert: применена скидка 60% Сообщение: Похоже, кто-то обновил прод в пятницу.  Результат: страница упала, цены — тоже. Курсы по DevOps, Kubernetes, SRE и другим направлениям теперь со скидкой 60% Статус: ❗️ DevOps готовится откатывать изменения. ❗️ Скидки могут исчезнуть после отката. Действие: 👉 [Забрать скидку, пока откат не начался] ❗️ Скидки ведут себя нестабильно — могут упасть или подняться в любой момент.

Легализация ИИ для разработки ядра Команда разработчиков ядра завершает работу над документом «Kernel Guidelines for Tool [AI] Generated Content». Теперь использование ИИ-инструментов допускается официально во всех аспектах разработки: от написания кода до генерации changelog-ов. Что нового: — Код, сгенерированный ИИ, может быть принят как любой другой вклад. — При ревью теперь можно предлагать не правки кода, а «лучший prompt» для чата, чтобы тот сам допилил его. — Эти правила уже обсуждены и одобрены лидерами сообщества. — В ядре Linux уже есть код, сгенерированный ИИ.

До этой официальности 100 проц патчи только так и делали "с ИИ")

LinuxCamp | #news

Настройка конфигурации под 1С:ERP — это путь в Преисподнюю, если игнорировать 👉🏼 эти ошибки и советы от бывалых ИТ-инженеров ... Реклама. ООО "ИТЕЛОН". ИНН 7701527528. erid: 2W5zFJ5kXdA

Надеюсь теперь закрыт вопрос того, какой же дистр выбрать на старте. Ответ получен от надежного источника 😄 LinuxCamp | #memes

Хочу стать DevOps-инженером. С чего начать? ➡️ С базы, конечно же – автоматизации, развертывания, масштабирования и управления приложениями в контейнерах. 15 декабря Слёрм запускает новый поток курса «Kubernetes: База» для инженеров. 🔸Научим разворачивать инфраструктуру k8s, обслуживать кластер и его сервисы 🔸Подготовим к работе в DevOps-проектах 🔸Расскажем, как поддерживать k8s, находить неисправности и решать проблемы 🔸Покажем, как внедрить CI/CD, настраивать мониторинг и управлять контейнеризированными приложениями Внутри: 👉 73% практики и работы со стендами 👉 5 онлайн-встреч со спикерами 👉 итоговая сертификация В подарок — подготовительные курсы по Ansible и Docker🔥 ➡️Узнать подробности и занять место — по ссылке.

Совместимость игр под Windows с Linux достигла рекордно высокого уровня благодаря постоянным усилиям разработчиков WINE и Proton. 90% (девять из десяти) игр теперь запускаются на Linux 🎮 Valve активно работает с издателями и разработчиками, чтобы новые игры запускались на Linux с первого дня выпуска. LinuxCamp | #news

Мониторинг K8s: экономим время Все знают, как провести мониторинг Kubernetes-кластера. Но как сделать его простым и полезным?  Приглашаем вас на вебинар 28 ноября, где раскроем все тонкости использования метрик в кластерах Deckhouse Kubernetes Platform (DKP). Мы расскажем и покажем, что уже есть «из коробки» в платформе, а также, какие инструменты и подходы упрощают настройку и повышают эффективность мониторинга приложений, запущенных в Kubernetes-кластере. На вебинаре вы узнаете: 👉 чем наш подход к мониторингу отличается от других и как это вам поможет; 👉 как мультитенантность и интеграция с веб-интерфейсом облегчают ежедневные задачи по управлению кластерами; 👉 как готовые дашборды и алерты «из коробки» ускоряют расследование инцидентов и локализацию сбоев. 28 ноября, 12:00 | Онлайн Регистрируйтесь по ссылке и повышайте эффективность работы с Kubernetes благодаря инструментам DKP!

Страницы памяти и HugePages Что такое страница Страница - это базовая единица виртуальной памяти (обычно 4 КБ). Через неё ядро мапит виртуальные адреса на физические. Это даёт изоляцию и контроль доступа. Проверить размер можно так:

getconf PAGE_SIZE

Почему это быстро Преобразование адресов кешируется в TLB - небольшой кеш мапинга страниц. Пока программа ходит по близким адресам, почти все обращения попадают туда без лишних затрат. Посмотреть информацию о TLB:

grep -i tlb /proc/cpuinfo

Что такое HugePages HugePages увеличивают размер страницы до 2 МБ или 1 ГБ, уменьшая количество записей в таблице страниц и снижая TLB-промахи. Это ускоряет работу приложений с большими объёмами RAM.

grep -i huge /proc/meminfo

Применение, плюсы и минусы Плюсы: меньше накладных расходов на управление памятью, стабильнее работа больших баз данных и аналитических систем. Минусы: крупные страницы требуют непрерывных блоков памяти, что усложняет управление и может приводить к фрагментации. На практике HugePages чаще всего включают для PostgreSQL, ClickHouse, JVM-сервисов и других систем, активно обходящих большие массивы данных. Вывод Страницы задают структуру памяти, TLB ускоряет доступ, а HugePages дают прирост там, где объёмы RAM велики и обращений много. LinuxCamp | #storage

📘 На Stepik вышел курс — «DevOps-инженер: От основ до продакшена»  Уже пишете код или администрируете серверы и хотите перейти на следующий уровень? Этот курс поможет уверенно войти в DevOps. • Полный путь от Linux и сетей до Kubernetes: Docker, Git, GitLab CI/CD, Terraform, Ansible, Prometheus и Grafana • Практика на реальных кейсах: настраиваем пайплайн, контейнеризацию и инфраструктуру кодом, выкатываем сервисы • 180+ интерактивных заданий с автопроверкой — конфиги, манифесты прямо в браузере, в любое удобное время • Итоговый pet-project: к финалу курса у вас будет рабочая инфраструктура с контейнерами, CI/CD и мониторингом 🎓 Сертификат по завершении — добавьте его в резюме или профиль LinkedIn 🚀 Прокачайте DevOps с пользой и удовольствием. Начните уже сегодня и получите скидку 25%, которая действительна в течение 48 часов 👉 Пройти курс на Stepik

Ну признавайтесь, каждый пацан при первом касании с Linux резко начинает верить в свои хакерские навыки и возможность "на раз" Пентагон ломануть 😎 LinuxCamp | #memes

Зачем вообще нужен swap Swap - это место, куда ядро может выгружать редко используемые анонимные страницы, чтобы освободить ОЗУ под действительно нужные данные и файловый кеш. Проверить состояние памяти и подкачки можно так:

free -h
cat /proc/swaps

Что бывает без swap Если swap отключен, анонимная память не имеет резервного хранилища. Ядро начинает выдавливать файловый кеш и чаще читать данные с диска. Система может подлагивать даже без формального OOM, а при резком росте нагрузки процессы быстрее попадают под OOM-killer. Можно отключить вот так (только для тестов!!!):

sudo swapoff -a
free -h

Как swap улучшает работу системы При умеренной нагрузке swap позволяет убрать в подкачку старые, почти неиспользуемые данные процессов. Освободившаяся RAM идёт под кеш файловой системы, что уменьшает реальные обращения к диску. Балансом управляет параметр vm.swappiness:

cat /proc/sys/vm/swappiness        # посмотреть
sudo sysctl vm.swappiness=40       # временно изменить

ZRAM и Zswap ZRAM создаёт в ОЗУ сжатое блочное устройство и используется как быстрый swap. Zswap сжимает страницы перед записью в обычный swap и уменьшает объём дисковых операций. Оба механизма полезны на системах с медленным диском или небольшим объёмом памяти:

# Пример включения ZRAM вручную
sudo modprobe zram
echo 2G | sudo tee /sys/block/zram0/disksize
sudo mkswap /dev/zram0 && sudo swapon /dev/zram0

Вывод Можно улучшить поведение системы под нагрузкой задав небольшой, но ненулевой swap, настроив vm.swappiness под свои диски и сценарии, а при необходимости использовать ZRAM/Zswap для уменьшения дискового I/O. LinuxCamp | #swap

«Штурвал 2.12»: кластер K8s за 15 минут 2 декабря в 11:00: next-next-next инсталляция кластера из GUI: ребята из «Лаборатории Числитель» покажут новый релиз «Штурвал 2.12». В программе: ◾развёртывание «Штурвала» с нуля с новым инсталлятором; ◾обзор основных изменений: новый инсталлятор, обновленный UI создания кластера, развёртывание на OpenStack с нативными балансерами и Let's Encrypt, поддержка Cinder CSI и Ubuntu 24.04. Для кого вебинар: DevOps-инженеров и архитекторов, разработчиков, специалистов служб эксплуатации. Зарегистрироваться

ZFS: файловая система, которая работает иначе Что делает ZFS особенной ZFS - это не просто файловая система, а целый стек: менеджер томов + RAID + CoW + проверки целостности + снапшоты. Она не похожа на ext4, XFS или Btrfs по внутреннему устройству. Dnode вместо inode В ZFS нет классических inode. ZFS использует dnode - динамический объект, который создаётся по мере необходимости. Количество файлов не ограничено заранее. Пока в пуле есть место, ZFS может создавать новые dnode. Посмотреть пул:

zpool status

Посмотреть ФС:

zfs list

Copy-on-Write ZFS не перезаписывает данные. Любое изменение → новая копия блока → обновление ссылок. Это защищает от порчи данных и позволяет делать быстрые снапшоты. Снапшот:

zfs snapshot tank/home@today

Контрольные суммы Каждый блок данных хранится с checksum. Если блок повреждён, ZFS его обнаружит и попробует восстановить (если есть зеркало/RAID). Проверка целостности:

zpool scrub tank

Сжатие и дедупликация ZFS умеет прозрачное сжатие:

zfs set compression=zstd tank/data

Дедупликация есть, но дорого стоит по памяти. RAID в коробке RAID - это способ объединить несколько дисков в одну систему так, чтобы увеличить скорость, защитить данные от выхода диска из строя или и то и другое сразу. В ZFS RAID встроен прямо в файловую систему. RAID1/5/6/10/50 доступны "из коробки". Не нужен LVM, mdadm, dm-crypt. Вывод ZFS выигрывает там, где важнее всего надёжность и контроль над данными. Уникальный набор инструментов, который точно пригодится, особенно в больших системах и там где важна надежность. LinuxCamp | #file_system

Мем про дикое облако хорош, но ситуация страшная – может зависнуть в самый неподходящий момент. Специалисты “Облакотеки” давно “приручили” облака, и рассказывают другим, как это сделать, в своем канале. Кучевые АйТи — канал для DevOps, сисадминов, архитекторов, техлидов. Для тех, кто принимает технические или бизнесовые решения в ИТ-сфере. А вообще мы постим для всех, кто хочет разбираться в облачных технологиях: S3, vGPU, кубах и т.д. Читайте в канале: – Что будет с импортозамещением, если завтра снимут санкции? – Чем грозит нехватка мощностей для ЦОДов? – Зачем вообще нужны облачные ПК? – Облака Шредингера: как реально чувствует себя российский рынок SaaS? ➡️ Подписаться t.me/oblakoteka

Что такое Docker context Docker context определяет, куда отправляются команды docker и docker compose. Контекст может быть локальным или удалённым. Удалённый контекст использует подключение по SSH. Создание и переключение контекстов Создать удалённый контекст:

docker context create prod --docker "host=ssh://user@server"

Посмотреть доступные контексты:

docker context ls

Переключиться на нужный:

docker context use prod

Где выполняются команды После переключения любая команда:

docker ps
docker compose up -d
docker compose down

выполняется на удалённом сервере, но файлы из текущей локальной директории не копируются на сервер. Docker Engine на сервере получает только API-команды, но не получает ваши файлы. Ограничения при работе с compose Если в compose-файле есть:

build: .
volumes:
  - .:/app

удалённый Docker Engine не сможет найти эти пути, потому что это ваш локальный каталог, который не существует на сервере. Чтобы запуск через context работал, нужно использовать образы:

image: myapp:latest

или заранее скопировать проект на сервер и запускать compose через SSH:

ssh user@server
cd /project
docker compose up -d

Важное про docker compose up --build Команда, выполненная локально:

docker compose up --build

не передаёт ваш проект на сервер и не пересобирает его там. Для удалённого Docker Engine ваш каталог недоступен. Вывод Docker context только указывает, какой Docker Engine обслуживает ваши команды. Он не синхронизирует директории, не копирует файлы, не выбирает проект по имени папки на вашей машине. LinuxCamp | #docker #devops

🔥OS DevConf 25 powered by GigaChat — конференция про разработку системного ПО, ядра Linux и open source. Один день, 500 участников, 20+ докладов, 3 трека — концентрат практического опыта, знаний и инструментов, готовых к внедрению сразу по возвращению в офис. И, конечно, мега-возможности для нетворкинга с коллегами и экспертами сообщества! Что будем обсуждать? -Инструменты и примеры отладки, виртуализации, оптимизации производительности -Практический опыт оптимизации сетевых решений с DPDK -Эффективные методы безопасной разработки ядра Linux -Реальные кейсы создания драйверов на Rust -Все про GPU, NPU, ASIC и как запускать AI на железе под Linux и не только. Как AI встраивается в современную разработку -Современные подходы к разработке системного и embedded ПО Участие бесплатное, но количество мест ограничено — зарегистрируйтесь прямо сейчас 💻 #реклама О рекламодателе

EXT4 vs XFS vs Btrfs — коротко и по делу Ext4: стабильная классика Работает предсказуемо, стоит по умолчанию почти везде. Но нет CoW (Copy-on-Write), снапшотов, сжатия, дедупликации и менеджера томов. На больших дисках тратит много места на служебные структуры. Проверка раздела:

fsck.ext4 /dev/sdX
tune2fs -l /dev/sdX

Хорошо подходит если нужен простой, надёжный вариант без излишков - рабочие станции, обычные сервера, любые дефолтные сценарии. XFS: скорость и параллелизм Максимальная производительность на больших файлах и высокой параллельности. Не умеет уменьшать размер раздела и не имеет современного функционала вроде снапшотов или сжатия. Инфа о разделе:

xfs_info /dev/sdX

Подойдет, когда важны большие объёмы и скорость - базы данных, file storage, сервисы с тяжёлыми нагрузками. Btrfs: современный функционал Система нового поколения: CoW, снапшоты, субтомы, встроенный RAID, сжатие, дедупликация, контрольные суммы. Гибкая и функциональная, но более требовательная к настройкам и дисциплине работы. Нужно быть аккуратней с данными, потому что есть мнение, что она все еще нестабильна. Статистика по разделу:

btrfs filesystem df /mnt

Лучше использовать, если нужны снапшоты, откаты, экономия места, встроенный RAID и контроль целостности - dev-сервера, домашние машины, контейнерные среды, CI/CD. LinuxCamp | #file_system