LinuxSkill - Сводки с прода и Шпаргалки

💾 Потерял данные? Вот скрипт, который этого не допустит Привет, хранитель данных! Делаешь бэкапы вручную? Пора автоматизировать! Готовый bash-скрипт архивирует важные директории и отправляет на удалённый сервер. Настрой раз и спи спокойно. Скрипт backup.sh

#!/bin/bash

backup_dirs=("/etc" "/home" "/boot")
dest_dir="/backup"
dest_server="server1"
backup_date=$(date +%b-%d-%y)

echo "Starting backup of: ${backup_dirs[@]}"

for i in "${backup_dirs[@]}"; do
    sudo tar -Pczf /tmp/$i-$backup_date.tar.gz $i
    if [ $? -eq 0 ]; then
        echo "$i backup succeeded."
    else
        echo "$i backup failed."
    fi
    scp /tmp/$i-$backup_date.tar.gz $dest_server:$dest_dir
    if [ $? -eq 0 ]; then
        echo "$i transfer succeeded."
    else
        echo "$i transfer failed."
    fi
done

sudo rm /tmp/*.gz
echo "Backup is done."

Как работает скрипт Переменные: - backup_dirs — массив директорий для бэкапа - dest_dir — куда складывать на удалённом сервере - dest_server — имя/IP целевого сервера - backup_date — дата в имени архива Процесс: 1. Архивирует каждую директорию в tar.gz 2. Отправляет по scp на удалённый сервер 3. Проверяет успешность каждого шага 4. Удаляет локальные временные архивы Пример работы

kabary@handbook:~$ ./backup.sh
Starting backup of: /etc /home /boot
/etc backup succeeded.
etc-Aug-30-20.tar.gz 100% 1288KB 460.1KB/s   00:02
/etc transfer succeeded.
/home backup succeeded.
home-Aug-30-20.tar.gz 100% 2543KB 547.0KB/s   00:04
/home transfer succeeded.
/boot backup succeeded.
boot-Aug-30-20.tar.gz 100%  105MB 520.2KB/s   03:26
/boot transfer succeeded.
Backup is done.

Автоматизация через cron Добавь в crontab для ежедневного запуска в 3 ночи:

0 3 * * * /home/user/backup.sh >> /var/log/backup.log 2>&1

💡 Совет: настрой SSH-ключи для scp без пароля, иначе скрипт не сработает в cron. Результат: автоматические бэкапы критически важных данных каждую ночь. Никакой рутины, полная автоматизация. ____________________ Дополнительный материал: 🧠 - От первого контейнера до мощного Swarm: Путешествие Docker в мире DevOps 🧠 - Углубляемся в безопасность Linux: Специальные режимы и их мощь! 🧠 - Разгадываем тайны команды "Apropos": Ваш ключ к миру Linux Man Pages #Linux_Mastery #bash #backup #automation #sysadmin #scripts

💥 SSH-туннель: доступ к закрытым портам за минуту Привет, мастер удалённого доступа! База данных спрятана за файрволом? Веб-приложение доступно только локально? Автор за 17 минут показывает полный цикл работы с SSH: от создания ключей до магии проброса портов! 🌐 Источник: https://youtu.be/ #ssh #security #tunnel #linux #networking #video

Последние дни регистрации на MTC Engineer Hack — хакатон на стыке инженерии и ИТ от МТС. Реши технический кейс онлайн и пройди в финал. Призовой фонд — 500 000 рублей. Лучшие участники смогут получить приглашение на стажировку в МТС по ускоренной процедуре. Регистрируйся до 1 октября: https://cnrlink.com/mtsengineerhacklinskill 🎯 Для кого: молодые инженеры, выпускники и студенты инженерных вузов 💻 Формат: онлайн-тур + офлайн-финал в Москве 👤 Участие: индивидуальное Приглашаем всех, кто интересуется телеком-отраслью, хочет прокачать навыки в инженерии и попробовать себя в задачах МТС. Будет отлично, если ты DevOps, сетевой инженер-разработчик, аппаратный разработчик или радиоинженер. C 3 по 5 октября пройдёт онлайн-этап: участники готовят кейс по своему профилю. 11 октября — встреча финалистов на площадке, где эксперты компании: → Помогут разобраться в деталях. → Поддержат участников на каждом этапе. → Дадут советы по доработке решений. Что тебя ждёт на хакатоне: 🔺 Задачи, близкие к реальной работе инженеров МТС: от проектирования до оптимизации сетей. 🔺 Возможность познакомиться с экспертами компании и показать им свои решения. 🔺 Практика, которая позволит почувствовать себя частью технологической команды МТС. 🔺 Офлайн-финал в Москве: живое общение и защита проектов. Билеты и проживание оплатят организаторы. 🔺 Мерч в подарок для финалистов. Регистрация открыта до 1 октября включительно: https://cnrlink.com/mtsengineerhacklinskill Реклама. ПАО «МТС». ИНН 7740000076

❓ Что делает эта команда?

$  cpulimit -l 30 dd if=/dev/zero of=/dev/null &

Не гугли — напиши в комментах 👇 #linux #cpulimit #вопрос

📉 Диагностика производительности в Linux: с чего начать? Если top, iotop, perf, uptime и vmstat вызывают только лёгкую тревогу, а не понимание — это видео для тебя. Разбираем, как анализировать ресурсы, собирать метрики, строить флеймграфы и не ловить фантомные баги при помощи методики Брендона Грега. 🌐 Источник: https://www.youtube.com/watch?v=bGqdRyXWPP0 #linux #performance #diagnostics #devops #monitoring

🎥 Вебинар по Linux: "Linux Monitoring: как отслеживать и анализировать производительность" ☝️ На вебинаре вы узнаете: - Основные категории мониторинга: ресурсы, процессы, сеть, логи - Инструменты для мониторинга в Linux: top, htop, iostat, vmstat, sar, netstat, dstat - Как собирать и анализировать метрики с помощью системных и сторонних инструментов 💪 В результате вебинара вы: - Научитесь собирать и анализировать ключевые метрики системы - Сможете выявлять узкие места и потенциальные проблемы заранее - Попробуете комбинировать разные инструменты для комплексного мониторинга ⏰ Все участники вебинара получат специальные условия на полное обучение курса "Administrator Linux. Professional" 👉 Для участия зарегистрируйтесь: https://otus.pw/MLfcw/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

❓ Что делает эта команда?

ar [OPTIONS] archive_name member_files

Не гугли — напиши в комментах 👇 #linux #bash #useradd #devops #вопрос

🔥 Fstab блокирует загрузку? Переходи на systemd Привет, мастер монтирования! Облачные провайдеры давно используют systemd для управления дисками в твоих виртуалках. Я однажды чуть не потерял данные, не зная этого. 👉 Показываю, как systemd заменяет fstab и почему это лучше #Linux_Mastery #systemd #mount #linux #devops #storage

🔧 Устанавливаем полноценный Linux на MacBook с M1 Можно ли жить на Linux, если у тебя MacBook с Apple Silicon? Автор проверяет это вживую: Fedora AArch64, KDE, Steam, Docker, OBS — всё на голом железе без виртуалок. 👨‍💻 Что в видео: — Установка Linux с нуля на Mac M1 — Автомонтирование, Steam, Docker, OBS — Что работает, что нет (Thunderbolt, USB 4, Touch ID) — Настройки для игр, DevOps и реального использования 🌐 Источник: https://www.youtube.com/live/riKVQjbO-nU?si=8bOjeM8RVXdX88A2 #linux #macbook #fedora #asahi #arm64 #devops

🎥 Вебинар по Linux: «Введение в Git: основы работы с системой контроля версий» ☝️ На вебинаре вы узнаете: - Что такое Git и зачем он нужен системным администраторам и разработчикам - Основные команды для работы с репозиториями - Как создавать коммиты, отслеживать изменения и управлять историей проекта - Типовые сценарии использования Git в повседневной работе 💪 В результате вебинара вы: - Научитесь создавать репозитории и управлять ими - Сможете отслеживать и сохранять изменения в проектах - Попробуете основные команды Git на практике - Поймёте, как Git помогает в командной работе и администрировании 🎁 Все участники вебинара получат специальные условия на полное обучение курса «Administrator Linux. Basic» 👉 Для участия зарегистрируйтесь: https://otus.pw/zuSJ/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

❓ Что делает эта команда?

adduser --disabled-login [OPTIONS] user

Не гугли — напиши в комментах 👇 #linux #bash #useradd #devops #вопрос

❓⚙️ Хотите понять, почему ломается репликация и как построить устойчивую архитектуру MySQL? На открытом уроке от OTUS вы узнаете, как выявлять слабые места, следить за здоровьем системы и предотвращать ошибки. ☝️ Мы разберём реальные практики мониторинга, восстановления после сбоев и настройки устойчивых сценариев репликации. Эти знания нужны DevOps-инженерам, системным администраторам и разработчикам, которые отвечают за бесперебойную работу сервисов. ⏰ Урок пройдёт 23 сентября в 20:00 МСК в преддверие старта курса «Инфраструктура высоконагруженных систем». Все участники получат индивидуальное предложение на обучение. 👉 Для участия зарегистрируйтесь: https://otus.pw/MpVJ/ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🔥 Как я ускорил поиск с 10 секунд до миллисекунд Привет, цифровой архитектор! Твой поиск по базе тормозит как трактор в болоте? Пользователи ждут результаты вечность, а ты не знаешь, как это починить? Сейчас покажу реальное решение. 📍 Таймкоды видео: 00:00 — Введение в Elasticsearch 02:05 — Почему обычный поиск тормозит 05:49 — Основные понятия: индексы, документы, запросы 07:09 — Установка через Docker 08:23 — Базовые команды GET, PUT, POST 10:51 — Добавление и обновление документов 14:19 — Настройка поиска и ранжирование 18:29 — Реальный пример: веб-приложение на Spring Boot 25:43 — Тестирование и результаты 🚀 Попробуй настроить у себя и сравни скорость! 🌐 Источник: https://youtu.be/vxE1aGTEnbE?si=1tTdg2QASMGfF6f_ ____________________ Дополнительный материал: 🧠 - От простого до грандиозного: Путешествие Kubernetes в мире контейнеризации 🧠 - Linux Mastery: Управление разрешениями каталогов с помощью chmod 🧠 - Станьте мастером управления пользователями и группами в Linux с помощью команд adduser и addgroup #Linux_youtube #Elasticsearch #DevOps #Search #Docker #Performance #Database

⚡ SS: находим атакующих за 30 секунд Эй, ловец сетевых пакетов! Netstat устарел, в новых дистрибутивах его нет. Пора привыкать к SS. Делюсь рабочими командами и трюком, как запомнить ключи через слово "тулуп". Базовые команды SS Все открытые порты (запомни как "тулуп"):

# ss -tulnp

Проверка unix-сокетов:

# ss -l | grep .sock

Все unix-сокеты (но вывод перегружен):

# ss -ax

Активные соединения

# ss -ntu

Поиск атакующих — практика Подсчёт соединений с каждого IP:

# ss -ntuH | awk '{print $6}' | grep -vE 127.0.0.1 | \
  cut -d: -f1 | sort | uniq -c | sort -n | sed 's/^[ \t]*//'

Только IP с более 30 соединениями:

# ss -ntuH | awk '{print $6}' | grep -vE 127.0.0.1 | \
  cut -d: -f1 | sort | uniq -c | sort -n | sed 's/^[ \t]*//' | \
  awk '{if ($1 > 30) print$2}'

Общее количество активных соединений:

# ss -ntuH | awk '{print $6}' | grep -vE 127.0.0.1 | wc -l

Все соединения (не только активные):

# ss -ntua

Применение на практике Получил список подозрительных IP? Отправляй их в: - fail2ban - ipset - nftables И блокируй атакующих автоматически! Минус SS: в узком терминале вывод расползается. Приходится разворачивать окно на весь экран, в отличие от компактного netstat. Лайфхак: "tulnp" = "тулуп". Глупо звучит, но реально помогает запомнить ключи навсегда. 💡 Итог: SS неудобнее netstat визуально, но работает быстрее и есть везде по умолчанию. Пора переучиваться. ____________________ Дополнительный материал: 🧠 - От Knoppix до MX Linux: Путешествие Debian-базированных Дистрибутивов 🧠 - Управление файлами и каталогами как профи 🧠 - Ваш путеводитель по командам Adduser и Addgroup в Linux #Linux_Mastery #linux #terminal #networking #security #ddos

🔧 История команд исчезает? Вот решение Привет, хранитель команд! Бесит, когда нужная команда не сохранилась в history? На всех своих серверах первым делом настраиваю правильное хранение истории. Делюсь проверенными настройками для ~/.bashrc. Мгновенное сохранение команд

PROMPT_COMMAND='history -a'

Команда сохраняется сразу после ввода, а не при выходе из сессии. Метки времени для команд

export HISTTIMEFORMAT='%F %T '

Теперь видно когда выполнялась команда: 2024-09-25 16:39:30 Увеличение размера истории

export HISTSIZE=10000

Вместо дефолтных 500 команд — храним 10000. Хватает с запасом. Исключение мусорных команд

export HISTIGNORE="ls:history:w:htop:pwd:top:iftop"

Эти команды не засоряют историю. Пробел = команда не сохраняется

export HISTCONTROL=ignorespace

Поставил пробел перед командой — она не попадёт в историю. Применение настроек

# source ~/.bashrc

Проверка параметров

# export | grep -i hist

Для всех пользователей Создай файл /etc/profile.d/history.sh с этими настройками — применится для всех. Поиск по истории Быстрый поиск: Ctrl+R и начинай вводить команду. Повторное Ctrl+R — следующее совпадение. Мой способ через grep:

# history | grep 'apt install'

⚠️ Опасный подвох HISTIGNORE История из жизни: htop в исключениях → перезагрузил сервер командой reboot → зашёл обратно → запустил htop → закрыл → нажал стрелку вверх для повтора → там reboot (htop не сохранился!) → Enter на автомате → сервер ушёл в ребут 🤦 Мораль: осторожнее с исключениями и стрелкой вверх! 💡 Итог: правильная настройка history экономит часы при поиске той самой команды, которую вводил месяц назад. ____________________ Дополнительный материал: 🧠 - Btrfs: Революция Файловых Систем в Мире Linux 🧠 - Станьте мастером привилегий в Linux: Всё о sudo и su 🧠 - Docker Swarm & GitLab: Ускоряем Деплой Проектов с Шифрованием Секретов #Linux_Mastery #linux #terminal #bash #productivity #sysadmin

🔍 Как объединить логи всех контейнеров в одном месте Привет, укротитель логов! Вчера в комментах подсказали инструмент logdy — теперь смотрю все логи через браузер. Один бинарник, никаких зависимостей. Показываю все режимы работы. Установка за 10 секунд

# curl https://logdy.dev/install.sh | sh

## Простой режим — один лог

# tail -f /var/log/syslog | logdy --ui-ip=0.0.0.0

Или так:

# logdy --ui-ip=0.0.0.0 follow /var/log/syslog

Открывай http://твой-ip:8080 — логи в браузере! Логи Docker контейнера

# docker logs 761965fa13b2 --follow | logdy --ui-ip=0.0.0.0

Объединение нескольких контейнеров Запускаем logdy в режиме сокетов:

# logdy --ui-ip=0.0.0.0 socket 8123 8124

Направляем логи каждого контейнера:

# docker logs d20339949095 --follow | logdy forward 8123
# docker logs 761965fa13b2 --follow | logdy forward 8124

Теперь все логи в одном интерфейсе с фильтрацией по источнику! Для локальной разработки

# node app.js | logdy

В VS Code: Ctrl+Shift+P → "Simple Browser: Show" → http://localhost:8080 API режим с токеном Запускаем с API:

# logdy --ui-ip=0.0.0.0 --api-key=secrettoken

Отправляем логи через curl:

curl --location --request POST 'http://1.2.3.4:8080/api/log' \
--header 'Authorization: Bearer secrettoken' \
--header 'Content-Type: application/json' \
--data '{"logs": [{"log": "this is a log message as a string" }],"source":"machine identifier"}'

Режим stdin для пайпов

# logdy stdin

Фишки logdy: - Парсит JSON логи автоматически - Разбивает на колонки - Фильтрация и поиск в реальном времени - Защита паролем через ключи запуска - Экспорт логов 💡 Где выручает: - Отладка микросервисов - Мониторинг нескольких контейнеров - Быстрый просмотр логов без SSH - Демо для заказчика Итог: один инструмент покрывает 90% задач с логами. Особенно круто для Docker-окружения. ____________________ Дополнительный материал: 🧠 - Путешествие LXD: Как Контейнеры LXD Переопределили Виртуализацию 🧠 - Удаление файлов и каталогов без стресса 🧠 - Создание Docker Образов и Магия Сетей: От Одиночных Узлов до Docker Swarm #Linux_Mastery #logs #devops #docker #monitoring #tools