LinuxCamp | DevOps

Быстрая работа с json и yaml прямо в терминале Иногда нужно быстро вытащить нужный параметр из конфигурации, проверить значение в json-ответе api или подправить yaml-файл, не открывая редактор. Делать это вручную неудобно, особенно в скриптах и автоматизации. Здесь помогают jq и yq - это лёгкие утилиты, которые умеют разбирать, фильтровать и менять данные прямо в терминале. Установка: jq легко ставится из стандартных репозиториев, и после этого можно сразу работать с json:

sudo apt install jq

С yq важно не путать версию на Go с устаревшей на Python, у них разные возможности. Быстрее всего взять готовый бинарник с официального репозитория:

sudo wget https://github.com/mikefarah/yq/releases/latest/download/yq_linux_amd64 -O /usr/local/bin/yq
sudo chmod +x /usr/local/bin/yq

Как использовать? jq читает данные из файла или из пайпа, что удобно, когда работаешь с api. Например, чтобы вытащить значение поля name из json:

jq '.name' config.json

Если внутри массив, можно пройти по каждому элементу и взять только нужные значения. Такой приём часто используют для вытаскивания id:

jq '.[].id' data.json

yq делает то же самое с yaml и к тому же понимает json. Если нужно узнать, какой образ используется в docker-compose.yml:

yq '.services.app.image' docker-compose.yml

Менять файлы тоже просто, добавляем -i и задаём новое значение, например, меняем порт:

yq -i '.services.app.ports[0] = "8080:80"' docker-compose.yml

Полезно помнить, что оба инструмента можно комбинировать с grep, awk и другими утилитами, а yq умеет работать с вложенными yaml-файлами, что упрощает правку сложных конфигов kubernetes. Вывод: С помомью jq и yq можно автоматизировать множество рутинных задач: от чтения конфигов в ci/cd до быстрой правки параметров без открытия редактора. Такой подход экономит время и позволяет обрабатывать данные прямо в командной строке, без лишних инструментов. LinuxCamp | #utils

Командная строка больше не будет пугать

«Открываю терминал — и зависаю...»

«Смотрю туториалы, но в голове каша»

«Хочу примеры, которые реально встречаются в работе»

Знакомо? Этот курс — для вас. Что в нём ценного: ☑️ Практики больше, чем теории — будете работать, а не просто слушать ☑️ От первого запуска Linux до самостоятельного администрирования серверов ☑️ Разберём ошибки, чтобы больше их не повторять ☑️ В конце — уверенная работа в Linux и сертификат в портфолио

«Когда открыл курс, понял, за что плачу. Это система, с практикой, поддержкой и глубоким погружением. На ***пике за 3 000₽ — даже рядом не стояло» 

Кому подойдёт? 👉 Новичкам, которые боятся командной строки 👉 Самоучкам, у которых в голове хаос 👉 Тем, кому не хватает практики и уверенности  👉 Тем, кто хочет стартовать в DevOps  ❗️За 58 часов теории и 41 час практики вы наведёте порядок в знаниях.  Посмотрите пример занятий на сайте курса «Администрирование Linux» и присоединяйтесь к нам 25 августа 📌

Прикольный сервис по разбору команд Наткнулся тут в ленте на ExplainShell (интерактивный разборщик команд Linux) и решил мельком глянуть. Работает он так: вбиваешь команду целиком, и получаешь объяснение, что конкретно делает каждый аргумент или оператор оболочки. Работает на базе ~30k man-страниц из Ubuntu. Также является открытым решением (ссылка на Github). Мб кому-то будет интересно залезть внутрь и посмотреть реализацию. Под капотом у него: Python, NLTK, Flask и d3.js. Конечно, в эпоху GPT юзкейс этого сервиса минимален... Но если нужно, допустим, убедиться в корректности оператора и лень открывать man в ручную, можно использовать.

Сори за перезалив 🗣

LinuxCamp | #services

Прикольный сервис по разбору команд Наткнулся тут в ленте на ExplainShell (интерактивный разборщик команд Linux) и решил мельком глянуть. Работает он так: вбиваешь команду целиком, и получаешь объяснение, что конкретно делает каждый аргумент или оператор оболочки. Работает на базе ~30k man-страниц из Ubuntu. Также является открытым решением (ссылка на Github). Мб кому-то будет интересно залезть внутрь и посмотреть реализацию. Под капотом у него: Python, NLTK, Flask и d3.js. Конечно, в эпоху GPT юзкейс этого сервиса минимален... Но если нужно, допустим, убедиться в корректности оператора и лень открывать man в ручную, можно использовать. LinuxCamp | #services

В России можно посещать IT-мероприятия хоть каждый день: как оффлайн, так и онлайн Но где их находить? Как узнавать о них раньше, чем когда все начнут выкладывать фотографии оттуда? Переходите на канал IT-Мероприятия России. В нём каждый день анонсируются мероприятия со всех городов России 📆 в канале размещаются как онлайн, так и оффлайн мероприятия; 👩‍💻 можно найти ивенты по любому стеку: программирование, frontend-backend разработка, кибербезопасность, дата-аналитика, osint, devops и другие; 🎙 разнообразные форматы мероприятий: митапы с коллегами по цеху, конференции и вебинары с известными опытными специалистами, форумы и олимпиады от важных представителей индустрии и многое другое А чтобы не искать по разным форумам и чатам новости о предстоящих ивентах: 🚀 IT-мероприятия России — подписывайся и будь в курсе всех предстоящих мероприятий!

Минимальная настройка мониторинга контейнеров в терминале Иногда нужно быстро оценить, что происходит с контейнерами: какие из них под нагрузкой, сколько памяти занято, нет ли узких мест по I/O. Утилита ctop показывает это в реальном времени и позволяет сразу управлять контейнерами без переключения на другие команды. Установка: Свежая версия ctop работает и с cgroup v2, поэтому ставим бинарник напрямую из репозитория проекта.

sudo install -m 0755 -d /usr/local/bin

curl -L https://github.com/bcicen/ctop/releases/download/v0.7.7/ctop-0.7.7-linux-amd64 -o /tmp/ctop

sudo install -m 0755 /tmp/ctop /usr/local/bin/ctop

ctop -v

Использование: Чтобы просмотреть ресурсы всех контейнеров на локальном хосте, достаточно выполнить одну команду:

ctop

В интерфейсе можно переключаться между контейнерами стрелками, останавливать или перезапускать их, а также открывать логи прямо оттуда. Если нужно подключиться к удалённому Docker, можно указать адрес перед запуском:

DOCKER_HOST=tcp://remote-host:2375 ctop

Для тех, кто не хочет ставить бинарник на хост, есть запуск из контейнера:

docker run --rm -ti \
  -v /var/run/docker.sock:/var/run/docker.sock:ro \
  quay.io/vektorlab/ctop:latest

Чем отличается от docker stats: docker stats тоже показывает ресурсы, но только в виде списка с метриками. В ctop всё представлено в виде интерактивной таблицы с сортировкой, поиском, фильтрацией и возможностью управлять контейнерами прямо из интерфейса. Это удобнее, когда нужно не просто увидеть цифры, а быстро действовать, не выходя из одной программы. Вывод: С помощью ctop можно в пару команд получить наглядную картину по всем контейнерам, переключаться между хостами и при необходимости управлять ими прямо из терминала. Такой способ полезен как при мониторинге и отладке, так и при повседневной работе с Docker. LinuxCamp | #utils #devops #docker #bymaga

Торвальдс снова агрессирует Вы уже 100% видели эту новость, но давайте и у меня будет. «Мусор», который «активно делает мир худшим местом для жизни» — так Линус Торвальдс вчера ответил на код инженера Google, присланный в рамках обновления поддержки RISC-V в ядре Linux. Он добавил, что коду инженера Google «самое место в мусорке». Как вы уже догадались, данный коммит был отклонен. Короче, желаю вам активно прокачивать софт скиллы, чтобы ваши комментарии не репостил кажды первый IT паблик) LinuxCamp | #news

KDE Plasma 6.4.4 Всем любителям окружения KDE Plasma посвящается) Вышел неплохой релиз. Что исправили и доработали в версии 6.4.4? KWin (оконный менеджер) — Теперь, для плагина лупы, правильно устанавливает начальный уровень масштабирования, так что больше не возникнет неловких проблем при первом запуске. — Реже возникают "зависания" при работе с несколькими мониторами. — Внесено множество исправлений, включая улучшенное поведение перетаскивания на прокручиваемых рабочих столах. — Более стабильное редактирование виджетов панели для языков с письмом справа налево. Discover (центр приложений) — Discover стал надежнее в управлении удаленными источниками Flatpak. — Теперь он не "задумывается" по 5 минут при проверке обновлений. — Исправлены ошибки, из-за которых иногда не отображались доступные программы. А так же исправили: — Улучшена совместимость с новыми видеодрайверами (особенно для NVIDIA). — Сетевой плагин System Monitor больше не опережает события, объявляя данные для процессов, которые еще не полностью загружены. ➡️ Подробнее про обновление читать ТУТ 🔥 Давайте, по приколу: все, кто использует KDE, ставьте пламя LinuxCamp | #news

«Штурвал 2.11»: упрощенная установка, новые логи и дашборды   Ребята из «Лаборатории Числитель» выкатили новый релиз «Штурвала» — платформы управления кластерами Kubernetes — и зовут на обзор, чтобы показать все самое важное:   ▪️Новый графический инсталлятор с поддержкой Cluster API, что позволяет легко разворачивать кластеры управления даже джунам; ▪️Замена OpenSearch на интегрированное в платформу решение VictoriaLogs; ▪️Обновленный дашборд неймспейса: больше информации, меньше путаницы; ▪️Новый дашборд доступности компонентов для упрощения мониторинга состояния кластеров; ▪️Новый Cluster API провайдер к VMware vCloud Director. Когда: 12 августа, 11:00 мск   Регистрируйтесь и готовьте свои вопросы!

Автоматическая защита SSH от перебора Fail2ban - утилита для автоматической блокировки ip-адресов, с которых идёт много неудачных попыток подключения по ssh. Она нужна, когда сервер доступен напрямую по порту 22 и авторизация по SSH открыта во внешний интернет без vpn. Установка:

sudo apt install fail2ban

По умолчанию fail2ban готов к работе сразу после установки. Чтобы убедиться, что он запущен и будет стартовать автоматически при перезагрузке системы, можно выполнить:

sudo systemctl enable --now fail2ban

Базовая настройка: Основные параметры fail2ban находятся в конфигурационном файле. Чтобы его изменить, сначала создайте копию стандартного файла, так безопаснее и проще для управления:

sudo cp /etc/fail2ban/jail.conf /etc/fail2ban/jail.local

Затем отредактируйте файл:

sudo nano /etc/fail2ban/jail.local

В самом верху задаются базовые настройки: сколько времени держать IP заблокированным (bantime), за какой промежуток времени подсчитывать неудачные попытки (findtime), и после скольких попыток банить (maxretry). Например:

[DEFAULT]
ignoreip = 127.0.0.1
bantime  = 3600
findtime = 600
maxretry = 5

Здесь fail2ban будет банить IP на 1 час (3600 секунд), если за последние 10 минут (600 секунд) с него было 5 неудачных попыток входа. Отдельно включается защита SSH:

[sshd]
enabled = true
port = ssh
logpath = %(sshd_log)s

После внесения изменений нужно перезапустить fail2ban, чтобы они вступили в силу:

sudo systemctl restart fail2ban

Для проверки текущего состояния защиты SSH используется:

sudo fail2ban-client status sshd

Эта команда покажет, сколько IP-адресов сейчас заблокировано и сколько всего попыток было зафиксировано. Вывод: Использовать fail2ban рекомендуется вместе с другими подходами к защите сервера: строгой авторизацией только по ключам, изменением стандартного порта SSH, ограничением доступа с помощью firewall и регулярными обновлениями системы. LinuxCamp | #utils

Как найти процесс, который грузит сеть? В случае когда соединение начинает тормозить, а ты не понимаешь, кто именно грузит сеть. Может, какой-то скрипт что-то качает? Или случайно оставил curl в фоне? В таких случаях хочется просто одной командой увидеть, какой процесс активнее всех гоняет трафик. Для этого есть простая, но очень удобная утилита - nethogs. Она показывает, какой процесс сколько трафика использует в реальном времени. Интерфейс у неё похож на top, только вместо нагрузки на CPU - сетевой трафик. Установка:

sudo apt install nethogs

Использование: Запустить её можно вообще без параметров:

sudo nethogs

В этом случае она попытается определить интерфейс автоматически. Часто этого достаточно. Если ты точно знаешь, через какой интерфейс идёт трафик, чаще всего это eth0, но может быть ens18, enp0s3, wlan0, зависит от системы и типа подключения, то можешь указать его явно:

sudo nethogs eth0

После запуска ты увидишь список процессов, которые что-то скачивают или отдают. Указывается имя процесса, путь до исполняемого файла, пользователь, и скорость входящего/исходящего трафика. Всё обновляется в реальном времени, можно наблюдать за сетевой активностью прямо на лету. Если не уверен, какой интерфейс использовать, глянь список всех с помощью команды:

ip a

Команда покажет список всех интерфейсов. Обычно нужный - это тот, где есть IP-адрес из подсети (например, 192.168.*.* или 10.*.*.*), и видно state UP. Вывод: Так можно удобно на сервере быстро понять, кто шумит. Или локально, если подозреваешь, что какая-то программа активно лезет в интернет. nethogs не показывает домены, IP-адреса или порты, а только процессы и их скорость. Но для локальной отладки этого обычно хватает с головой. LinuxCamp | #utils

Миллионер-айтишник в 24 года? Знакомьтесь — это Влад, ему 24, и он программист без высшего образования.. IT и программирование — это ниша, которая никогда не умрет и в которой нет потолка ! ~ Думаешь это сложно? Я и тебя научу зарабатывать в IT и растить себя как высококлассного специалиста мирового уровня! Не веришь? Забирай бесплатные материалы в моем канале 👇 https://t.me/+MMmAAZcbyXEyNzky

Особенно обидно, когда windows раздел случайно затирается 🗣 LinuxCamp | #memes

Закрываем Docker-порты правильно Даже если ты настроил ufw и открыл порты только на 22, 433 и 80, у тебя все равно сервисы docker могут торчать наружу. Это происходит потому что docker напрямую управляет iptables/nftables, вставляя свои правила до UFW, поэтому опубликованные порты могут быть доступны, даже если UFW их не показывает. Почему это небезопасно: Если ты запускаешь контейнер так:

docker run -p 8080:80 …

Или в docker-compose у тебя:

  ports:
    - "8080:80"

То Docker сам открывает порт всему интернету (0.0.0.0), даже если в ufw status его нет. Это значит, что любой человек из сети может достучаться до твоего контейнера и ufw это не остановит - Docker обходит его фильтры. Как правильно защитить контейнер: Лучше всего конечно вообще не открывать порт наружу, если в этом нет нужды. Безопасный вариант (локальный доступ):

docker run -p 127.0.0.1:8080:80 …

либо в docker-compose.yml:

  ports:
    - "127.0.0.1:8080:80"

Так сервис будет доступен только внутри сервера. Подходит для проксирования через nginx, который проксирует наружу, скрытых API и внутренних утилит, ssh-туннелей или VPN. Вариант с открытым портом контейнера: Если все-таки нужно по какой-то причине поднять контейнер на 0.0.0.0, то лучше закрыть эти порты с помощью правил. Docker поддерживает специальную цепочку DOCKER-USER, где ты можешь сам прописать фильтры:

# Разрешаем уже установленные соединения
sudo iptables -I DOCKER-USER -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT

# Разрешаем только нужный порт (например, 8080)
sudo iptables -I DOCKER-USER -p tcp --dport 8080 -j ACCEPT

# Всё остальное режем
sudo iptables -A DOCKER-USER -j DROP

Важно: правила читаются сверху вниз, поэтому разрешающие вставляем перед правилом DROP. Проверка:

ss -lntp | grep 8080     # Слушает ли порт

Если вывод пуст - порт больше не слушает «снаружи». Вывод: Docker по умолчанию открывает всё наружу, даже если UFW говорит, что порты закрыты. Если не нужен внешний доступ, не публикуй порты или публикуй на 127.0.0.1. Если доступ нужен - используй DOCKER-USER, чтобы жёстко ограничить доступ к нужным портам. LinuxCamp | #devops #docker #bymaga

В России можно посещать IT-мероприятия хоть каждый день: как оффлайн, так и онлайн Но где их находить? Как узнавать о них раньше, чем когда все начнут выкладывать фотографии оттуда? Переходите на канал IT-Мероприятия России. В нём каждый день анонсируются мероприятия со всех городов России 📆 в канале размещаются как онлайн, так и оффлайн мероприятия; 👩‍💻 можно найти ивенты по любому стеку: программирование, frontend-backend разработка, кибербезопасность, дата-аналитика, osint, devops и другие; 🎙 разнообразные форматы мероприятий: митапы с коллегами по цеху, конференции и вебинары с известными опытными специалистами, форумы и олимпиады от важных представителей индустрии и многое другое А чтобы не искать по разным форумам и чатам новости о предстоящих ивентах: 🚀 IT-мероприятия России — подписывайся и будь в курсе всех предстоящих мероприятий!

Релиз отечественного дистрибутива РЕД ОС 8 и 7 Все же в курсе про примерную ОС РЕД?) Так вот, разрабы «РЕД СОФТ» радуют нас новыми апдейтами. Произошел выпуск РЕД ОС 8.0.2 и 7.3.6 с ядрами Linux 6.12.21 и 6.1.128, обновленным ПО (Zabbix, Docker, PostgreSQL), улучшенным дизайном KDE, MATE, GNOME 46. Что нового в РЕД ОС 8? — Обновленные ядра: исправлены уязвимости, улучшена производительность, наложены патчи безопасности, закрывающие более 1500 CVE. — Обновленный дизайн графических окружений: в РЕД 8 обновлены темы оформления для KDE и MATE, изменен стиль экранов входа и блокировки. Окружение GNOME обновлено до версии 46. Итого: обновления обеспечивают повышенную безопасность, улучшенную производительность и современный интерфейс. Детальнее ознакомиться можно по ссылке. LinuxCamp | #news

🔥 Успех в IT = скорость + знания + окружение Здесь ты найдёшь всё это — коротко, по делу и без воды. Пока другие ищут, где “подглядеть решение”, ты будешь использовать самые передовые инструменты! 🖥Все о Linux: t.me/linuxacademiya 🖥 ИИ: t.me/ai_machinelearning_big_data 🖥 Python: t.me/pythonl 🖥 Хакинг: t.me/linuxkalii 🖥 C++ t.me/cpluspluc 🖥 Docker: t.me/DevopsDocker 🖥 Devops: t.me/DevOPSitsec 🖥 Data Science: t.me/data_analysis_ml 🖥 SQL: t.me/sqlhub 🖥 Javascript: t.me/javascriptv 🖥 C#: t.me/csharp_ci 🖥 Java: t.me/javatg 🖥 Базы данных: t.me/db_tg 👣 Go: t.me/Golang_google 📚 Книги ит: t.me/programming_books_it 💼 Вакансии для джунов: t.me/vacancy

autossh — чтобы SSH-туннели не отваливались Обычный "ssh -L" рвётся: сеть пропала, ноут ушёл в сон — туннель умер. Тулза autossh следит за соединением и сам перезапускает его. Незаменим для баз, Grafana, внутренних API — всего, что должно «всегда работать». Установка:

sudo apt install autossh

Быстрый старт: Достаточно заменить привычную команду ssh -L на autossh, добавив пару опций. Например, вместо:

ssh -L 5432:localhost:5432 user@111.111.111.111

Пишем:

autossh -M 0 -fN -L 5432:localhost:5432 user@111.111.111.111

Параметры тут важны. Флаг "-fN" означает запуск в фоне без запуска удалённой команды. Флаг "-M 0" отключает echo-порт, чтобы не мешал, — вместо него autossh будет использовать настройки keep-alive из SSH-конфига. Надёжность через keep-alive: Чтобы autossh действительно знал, когда туннель умер, нужно включить keep-alive. Добавьте в "~/.ssh/config":

Host *
  ServerAliveInterval 30
  ServerAliveCountMax 3

Теперь SSH будет каждые 30 секунд отправлять пинг на сервер. Если три пинга подряд не получат ответа, соединение считается мёртвым - и autossh запустит его заново. Примеры из практики: Обратный туннель (если сервер стоит за NAT или роутером):

autossh -M 0 -fN -R 2222:localhost:22 user@111.111.111.111

На VPS теперь можно выполнить ssh -p 2222 localhost — и попасть внутрь домашнего сервера, как будто он сам подключился. SOCKS-прокси с автопереподключением:

autossh -M 0 -fN -D 1080 user@111.111.111.111

Выставляете localhost:1080 в браузере - и получаете надёжный прокси, который не развалится при первой же потере Wi-Fi. Автозапуск с systemd: Если туннель нужен всегда (например, при старте сервера) — стоит обернуть autossh в systemd-сервис:

# /etc/systemd/system/db-tunnel.service

[Unit]
Description=Persistent SSH tunnel to prod DB
After=network-online.target
Wants=network-online.target

[Service]
User=deploy
ExecStart=/usr/bin/autossh -M 0 -N -L 5432:localhost:5432 deploy@db-host
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

Активировать можно одной командой:

sudo systemctl enable --now db-tunnel.service

Теперь туннель поднимется при загрузке сервера и будет перезапущен, если вдруг упадёт. Вывод: autossh незаметный, но жизненно важный инструмент. Просто заменяешь ssh на autossh, и туннель больше не рвётся. Настроил один раз - и забыл, что раньше ты делал это вручную. LinuxCamp | #utils

🔥 Вакансии в команду разработчиков YADRO: Получите оффер этим летом! 🚀 Хотите писать код, который становится основой для продуктов и новых технологических решений? YADRO — лидер российской инженерной индустрии — расширяет команды разработки BIOS/BMC. 📅 У вас будет возможность присоединиться к команде, которая создаёт ПО UEFI (BIOS) и BMC для серверов, систем хранения данных и телеком-оборудования. Мы работаем с проектами открытого исходного кода — EDK2 и OpenBMC — и влияем на развитие всей индустрии. Кого мы ищем? Ведущих и старших разработчиков — разработка встроенного ПО для серверов — от архитектуры BMC до работы с UEFI и OpenBMC: 1️⃣ TeamLead разработки OpenBMC. 2️⃣ Ведущего разработчика интерфейсов встраиваемых систем (Linux/OpenBMC). 3️⃣ Ведущего разработчика C++ (Linux/OpenBMC). 4️⃣ Старшего C разработчика (BIOS/UEFI). QA-инженеров (ручное и автоматизированное тестирование) — тестирование встроенного ПО, автоматизация процессов и улучшение качества наших платформ: 1️⃣ Инженер по верификации и ручному тестированию встроенного ПО (QA) 2️⃣ Инженер по автоматизации тестирования / Automation QA 3️⃣ Старший инженер по автоматизации аппаратного тестирования / Embedded AQA Почему YADRO? ➡️ Распределённая команда — работайте удалённо или в офисах в Москве, СПб, Нижнем Новгороде, Екатеринбурге и Минске. ➡️ Работа с уникальными проектами, влияющими на жизнь миллионов пользователей. ➡️ Реальный карьерный рост: как вертикальный, так и горизонтальный. ➡️ Возможность работать с талантливыми инженерами и напрямую влиять на развитие технологий. 💙 Присоединяйтесь к YADRO и становитесь частью масштабных проектов!

Этому вашему виндовсу "что в лоб что по лбу". Линуха никого не щадит) LinuxCamp | #memes