Bash Советы

🔐 Как найти файлы с открытыми правами (777) - быстро и просто! Иногда на сервере появляются файлы и каталоги с правами 777, что представляет угрозу безопасности. Найдём их одной командой:

find / -type f -perm 0777 2>/dev/null

📁 А если нужно проверить директории:

find / -type d -perm 0777 2>/dev/null

🔍 Пояснение: / - путь, где искать (можно заменить на /var, /home и т.д.) -type f / -type d — искать только файлы или директории -perm 0777 - права доступа 2>/dev/null - убираем лишние ошибки (например, от Permission denied) 💡 Лучше запускать от root для полной картины. 📲 Мы в MAX 👉@bash_srv

🔁 Циклический мониторинг статуса сервиса с логированием Иногда нужно следить за работой сервиса в режиме реального времени и при сбое — сразу зафиксировать проблему. Вот простой скрипт, который будет каждые 30 секунд проверять статус сервиса и писать лог при ошибке:

#!/bin/bash

SERVICE="nginx"
LOGFILE="/var/log/${SERVICE}_monitor.log"
INTERVAL=30

while true; do
    if ! systemctl is-active --quiet "$SERVICE"; then
        echo "$(date '+%Y-%m-%d %H:%M:%S') ❌ $SERVICE is down" >> "$LOGFILE"
        # можно добавить уведомление (например, через телеграм-бота или почту)
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S') ✅ $SERVICE is running" >> "$LOGFILE"
    fi
    sleep "$INTERVAL"
done

📌 Скрипт можно добавить в screen или tmux сессию и запустить на сервере - он будет вести лог доступности нужного сервиса. 🛡️ Подходит для мониторинга nginx, mysql, sshd и других системных демонов. 📲 Мы в MAX 👉@bash_srv

🔥Проверка доступности списка хостов с логированием времени ответа Иногда нужно быстро проверить, какие из серверов в списке живы, и сколько времени уходит на ответ. Вот простой скрипт на Bash:

#!/bin/bash

HOSTS_FILE="hosts.txt"
LOG_FILE="ping_log.txt"

while read -r host; do
    if [[ -n "$host" ]]; then
        START=$(date +%s%3N)
        ping -c 1 -W 1 "$host" &> /dev/null
        STATUS=$?
        END=$(date +%s%3N)
        TIME=$((END - START))

        if [[ $STATUS -eq 0 ]]; then
            echo "$(date '+%Y-%m-%d %H:%M:%S') - $host is UP (response time: ${TIME}ms)" | tee -a "$LOG_FILE"
        else
            echo "$(date '+%Y-%m-%d %H:%M:%S') - $host is DOWN" | tee -a "$LOG_FILE"
        fi
    fi
done < "$HOSTS_FILE"

📄 Файл hosts.txt должен содержать список IP или доменов — по одному в строке. 🛠 Удобно использовать для мониторинга парка серверов или диагностики проблем с сетью. 📲 Мы в MAX 👉@bash_srv

⚡Ускоряем работу с логами через Bash Часто приходится искать ошибки в огромных логах? Вот удобный однострочник, который найдёт все строки с ошибками за последние N минут:

grep "$(date --date='5 min ago' '+%b %_d %H:%M')" /var/log/syslog | grep -i "error"

🔹 Замените 5 на нужное количество минут. 🔹 Работает для логов, где стандартный формат даты (%b %_d %H:%M), например /var/log/syslog, /var/log/auth.log. 🔹 Ключ -i делает поиск нечувствительным к регистру. ✅ Теперь вы всегда увидите самые свежие ошибки без пролистывания тысяч строк! 📲 Мы в MAX 👉@bash_srv

📂 Быстрое создание структуры директорий в Linux Иногда нужно быстро создать целую структуру папок. Вручную - долго. На помощь приходит mkdir с флагом -p:

mkdir -p /var/www/project/{css,js,images,fonts}

✅ Этот однострочник создаст папки css, js, images, fonts внутри /var/www/project, даже если родительские директории ещё не существуют. Фишка: можно создавать вложенные структуры сразу:

mkdir -p /opt/data/{logs/{nginx,mysql},backups/{daily,weekly}}

Это создаст: - /opt/data/logs/nginx - /opt/data/logs/mysql - /opt/data/backups/daily - /opt/data/backups/weekly Полезно, если нужно быстро подготовить окружение для проекта 🚀 📲 Мы в MAX 👉@bash_srv

🚀 Bash-скрипт для автоматического обновления всех пакетов на сервере с уведомлением на почту Иногда важно не только обновить все пакеты, но и быть в курсе, что именно произошло. Пойдем на шаг дальше! 👨‍💻

#!/bin/bash

# Настройки
EMAIL="admin@example.com"
HOSTNAME=$(hostname)

# Обновляем пакеты
apt update && apt upgrade -y > /tmp/update-log.txt

# Отправляем лог на почту
mail -s "[$HOSTNAME] Отчет об обновлении пакетов" "$EMAIL" < /tmp/update-log.txt

# Убираем временный файл
rm -f /tmp/update-log.txt

✅ Скрипт: - Обновляет пакеты через apt. - Сохраняет лог в /tmp/update-log.txt. - Отправляет лог на указанный e-mail. - Очищает за собой мусор. ⚙️ Чтобы отправка писем работала, убедись, что установлен пакет mailutils:

sudo apt install mailutils

💬 Используй cron, чтобы выполнять этот скрипт автоматически каждую неделю или каждый день:

0 3 * * 1 /path/to/update_script.sh

📲 Мы в MAX 👉@bash_srv

🚀 Подборка полезных IT каналов в Max Системное администрирование, DevOps 📌 https://max.ru/i_odmin Все для системного администратора https://max.ru/bash_srv Bash Советы https://max.ru/sysadminof Книги для админов, полезные материалы https://max.ru/i_odmin_book Библиотека Системного Администратора https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др. https://max.ru/tipsysdmin Типичный Сисадмин Excel лайфхак 📌 https://t.me/Excel_lifehack Excel лайфхак Английский с нуля 🇬🇧 https://max.ru/UchuEnglish 1C разработка 📌 https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://max.ru/cpp_lib Библиотека C/C++ разработчика Программирование Go📌 https://max.ru/golang_lib Библиотека Go (Golang) разработчика Программирование React📌 https://max.ru/react_lib React Программирование Python 📌 https://max.ru/python_of Python академия. https://max.ru/BookPython Библиотека Python разработчика Java разработка 📌 https://max.ru/bookjava Библиотека Java разработчика GitHub Сообщество 📌 https://max.ru/githublib Интересное из GitHub Базы данных (Data Base) 📌 https://max.ru/database_info Все про базы данных Фронтенд разработка 📌 https://max.ru/frontend_1 Подборки для frontend разработчиков Библиотеки 📌 https://max.ru/programmist_of Книги по программированию https://max.ru/proglb Библиотека программиста https://max.ru/bfbook Книги для программистов Программирование 📌 https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 Шутки программистов 📌 https://max.ru/itumor Шутки программистов Защита, взлом, безопасность 📌 https://max.ru/thehaking Канал о кибербезопасности https://max.ru/xakkep_1 Хакер Free Книги, статьи для дизайнеров 📌 https://max.ru/odesigners Статьи, книги для дизайнеров Математика 📌 https://max.ru/Pomatematike Канал по математике https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике Вакансии 📌 https://max.ru/progjob Вакансии в IT Мир технологий 📌 https://max.ru/mir_teh Канал для любознательных Бонус 📌 https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга https://max.ru/mockva_life Свежие новости Москвы https://max.ru/piterspb Питер Новости: Санкт-Петербург / СПБ / ДТП

🚀 Bash совет дня: Удаление старых логов по дате 🧹 Если логи со временем забивают диск, пора автоматизировать их очистку! Вот простой однострочник на Bash, который удалит все файлы старше 7 дней в указанной директории:

find /var/log/myapp/ -type f -mtime +7 -name "*.log" -exec rm -f {} \;

🔍 Разбор: /var/log/myapp/ - путь к директории с логами -type f - только файлы -mtime +7 - старше 7 дней -name "*.log" - только .log файлы -exec rm -f {} \; - удаляем файлы 📅 Можно добавить в cron и забыть о ручной чистке логов навсегда! Пример строки в crontab, чтобы запускалось каждый день в 2:00 ночи:

0 2 * * * find /var/log/myapp/ -type f -mtime +7 -name "*.log" -exec rm -f {} \;

💡 Совет: замените /var/log/myapp/ на свою директорию. 📲 Мы в MAX 👉@bash_srv

📦 Онлайн-мониторинг логов с выделением ошибок Следить за логами в реальном времени — это круто, но ещё круче, когда ошибки выделяются цветом! Вот как это сделать:

tail -f /var/log/syslog | grep --color=always -Ei "error|fail|critical|warning"

🔍 Разбор: - tail -f — следим за логом в реальном времени - grep --color=always — подсвечиваем совпадения - -Ei — игнорируем регистр и используем расширенные регулярки - "error|fail|critical|warning" — ключевые слова для ловли проблем 🎨 Удобно для быстрого визуального анализа, особенно когда логов много! 💡 Можно адаптировать под свои ключевые слова и логи. 📲 Мы в MAX 👉@bash_srv

🔍 Регулярки на каждый день: как найти строки, содержащие IP-адреса Иногда нужно выцепить IP-адреса из логов или текста. Ниже я написал регулярку, которая найдёт IPv4 -адреса:

\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b

💡 Пример использования с grep:

grep -Eo '\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b' access.log

🎯 Что делает эта регулярка: - \b — граница слова (чтобы не цеплять лишнее); - (?:[0-9]{1,3}\.){3} — три группы чисел от 0 до 999, за которыми идёт точка; - [0-9]{1,3} — последняя четвёртая группа; - Вся конструкция — это "что-то вроде 192.168.1.1". 🧠 Минус: она не валидирует значения (например, 999.999.999.999 тоже пройдёт). Но для быстрой фильтрации из логов — идеально. 💪 А ата уже фильтрует только реальные IP!

\b((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}
(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b

📲 Мы в MAX 👉@bash_srv

🔍 Поиск строк с IP-адресами в логах Иногда нужно быстро найти все IP-адреса в лог-файле, например, чтобы отследить активность пользователей или подозрительную активность. Вот как это можно сделать с помощью grep и регулярки:

grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔧 Разбор команды: - -Eo — используем расширенные регулярные выражения и выводим только совпадения - ([0-9]{1,3}\.){3}[0-9]{1,3} — регулярка для IPv4-адресов - sort | uniq -c — считаем, сколько раз встречается каждый IP - sort -nr | head — выводим топ 10 по количеству 📊 Это простой способ быстро узнать, кто чаще всего стучится к вашему серверу. 📲 Мы в MAX 👉@bash_srv

🎯 Bash-совет дня: быстрое сравнение файлов по хэшу Иногда нужно убедиться, что два файла идентичны. Вместо diff, который сравнивает содержимое построчно, проще сравнить их контрольные суммы. Вот удобная однострочная команда:

[ "$(sha256sum file1 | awk '{print $1}')" = "$(sha256sum file2 | awk '{print $1}')" ] && echo "✅ Файлы одинаковые" || echo "❌ Файлы разные"

📌 Пояснение: - sha256sum — создаёт SHA-256 хэш от файла. - awk '{print $1}' — достаёт только сам хэш (без имени файла). - [...] && ... || ... — условие в стиле bash: если хэши совпадают — выводим "файлы одинаковые", иначе — "разные". 🔥 Подходит для проверки резервных копий, дистрибутивов и любых бинарников. 📲 Мы в MAX 👉@bash_srv

🖥 Скрипт Bash для для проверки производительности системы в реальном времени, а также для сбора статистики использования за определенное время.

#!/bin/bash
# автор: https://t.me/bash_srv
# This script monitors CPU and memory usage

while :
do 
  # Get the current usage of CPU and memory
  cpuUsage=$(top -bn1 | awk '/Cpu/ { print $2}')
  memUsage=$(free -m | awk '/Mem/{print $3}')

  # Print the usage
  echo "CPU Usage: $cpuUsage%"
  echo "Memory Usage: $memUsage MB"
 
  # Sleep for 1 second
  sleep 1
done

📲 Мы в MAX 👉@bash_srv

🎥 Вебинар: Память в Linux. Cache, swap, dirty pages На вебинаре вы узнаете: - Почему пустая оперативная память — это выброшенные на ветер ресурсы, а не повод для гордости. - Как бездумный сброс кэша через команду drop_caches убивает производительность приложений. - Почему OOM Killer игнорирует системные приоритеты и убивает процессы исключительно на основе баллов oom_score. - Какую глупость вы совершаете, искренне считая swappiness параметром процента свободной памяти для свопирования. В результате вебинара вы: - Перестанете паниковать при 90-процентной загрузке кэша и наконец-то доверитесь механизмам ядра Linux. - Сможете жестко настроить лимиты грязных страниц через sysctl для защиты дисков от тормозов при сбросе данных. - Уясните суть анонимного кэша и перестанете ловить краши процессов из-за параноидального отключения swap. - Научитесь глубоко траблшутить подсистему памяти нативно из консоли без установки мусорных сторонних утилит. 🧠 Открытый урок проходит в преддверии старта курса «Администратор Linux. Продвинутый уровень» 👉 Для участия зарегистрируйтесь: https://vk.cc/cYLEa9 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🖥 Bash скрипт проверки существования файла, каталога, пользователя Проверка существования файла:

?
if ! [ -f /path/to/file ]; then
echo 'No file'
fi

Проверка существования директории:

if ! [ -d /path/directory/ ]; then
echo 'No directory'
fi

Проверка существования пользователя:

grep "username:" /etc/passwd >/dev/null
if [ $? -ne 0 ]; then
echo 'No username found'
fi

📲 Мы в MAX 👉@bash_srv

🖥 Bash скрипт перекодировки всех файлов в директории

#!/bin/bash
#=====================================
# скрипт изменения кодировки файлов.
#=====================================
# суть для одного файла: iconv -f Исходная_кодировка -t В_какую_кодировку > выходной_файл
# CONFIG:
TYPES="*.txt"; # на случай поиска по расширению. напр. "*.log"
FROM='cp1251'; # из какой кодировки.
TO='utf8'; # в какую кодировку.
FILEPREFIX='.utf8'; # к названию перекодированного файла добавится.
 
# START:
if [ -z $1 ]
then
        echo "Encoding all $TYPES in directory From $FROM To $TO";
        echo "use $0 /Path_to_recoding_directory/"; echo;
        exit 1;
else
        echo "Encoding all $TYPES in directory $1 From $FROM To $TO";
        echo;
        find $1 -name "$TYPES" -type f -print0|while read -d '' SOURCE; do
                echo "========== SOURCE: $SOURCE FROM: $FROM TO: $TO ==========";
                cat "$SOURCE"|iconv -f $FROM -t $TO > "$SOURCE$FILEPREFIX";
                wait;
        done;
        exit 0;
fi
# end

📲 Мы в MAX 👉@bash_srv

В чем разница между объявлением переменной export VAR="VALUE" и VAR="VALUE" в bash? В bash (и других оболочках Unix) разница между командами export VAR="VALUE" и VAR="VALUE" связана с областью видимости переменной: 1. VAR="VALUE": - Это обычное объявление переменной в текущей оболочке (сессии). - Переменная VAR будет доступна только внутри текущей сессии, и не будет передаваться дочерним процессам, запущенным этой сессией. - Например, если вы запустите новую команду или скрипт из текущей оболочки, VAR не будет доступна в этом дочернем процессе. 2. export VAR="VALUE": - Команда export делает переменную VAR доступной для всех дочерних процессов текущей оболочки. - То есть, VAR будет установлена и доступна не только в текущей сессии, но и во всех процессах, запущенных из этой сессии. - Это полезно, когда необходимо передать значение переменной в другие программы или скрипты, запущенные из текущей оболочки. Для примера

# Присвоение переменной без export
VAR="Hello"
bash -c 'echo $VAR'  # Ничего не выведет, так как VAR не экспортирована

# Присвоение переменной с export
export VAR="Hello"
bash -c 'echo $VAR'  # Выведет "Hello", так как VAR экспортирована

Таким образом, export используется для того, чтобы переменная была доступна в дочерних процессах, тогда как обычное присвоение без export ограничивает переменную только текущей сессией. 📲 Мы в MAX 👉@bash_srv

🧹 Автоматическая очистка логов старше N дней Если логи разрастаются, а места становится всё меньше — пора автоматизировать их очистку! Вот простой способ удалить файлы старше, скажем, 14 дней:

find /var/log -type f -name "*.log" -mtime +14 -exec rm -f {} \;

🔧 Объяснение: - /var/log — каталог с логами (можно заменить на нужный путь); - -type f — только файлы; - -name "*.log" — ищем только .log-файлы; - -mtime +14 — которым больше 14 дней; - -exec rm -f {} — удаляем. 🛡️ Сухой запуск перед удалением:

find /var/log -type f -name "*.log" -mtime +14

Так ты увидишь, что будет удалено, прежде чем запускать rm. 📌 Добавь в cron, чтобы забыть о рутине навсегда. 📲 Мы в MAX 👉@bash_srv

⚠️ Хватит плодить хрупкие скрипты и оставлять дыры для троянов. Пора писать пуленепробиваемый инфраструктурный код. 🎥 Приглашаем на вебинар - Продвинутый Bash На вебинаре вы узнаете: - Связка set -euo pipefail навсегда исключит тихое проглатывание ошибок и потерю данных в конвейерах. - Нативные подстановки Bash заменят тысячи ресурсоемких вызовов sed и сэкономят CPU. - Регулярный мониторинг системных профилей защитит продакшен от перехвата команд троянами. - Грамотный перехват сигналов через trap обеспечит безопасное сворачивание процессов при сбоях. В результате вебинара вы: - Замените многоуровневые костыли лаконичной логикой на базе ассоциативных массивов. - Исключите утечки глобальных переменных через жесткую изоляцию областей видимости в функциях. - Внедрите нативную построчную трассировку скриптов вместо примитивного дебага echo-принтами. - Начнете напрямую пробрасывать переменные окружения в SystemD-юниты для надежного старта сервисов. 🧠 Открытый урок проходит в преддверии старта курса «Администратор Linux. Продвинутый уровень» 👉 Для участи зарегистрируйтесь: https://vk.cc/cYnpiY Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🚀 Bash-совет дня: Быстрый мониторинг TCP/UDP портов Иногда нужно оперативно узнать, какие порты слушает сервер и какие подключения активны. Вот простой однострочник, который поможет:

sudo ss -tunlp

📌 Пояснение ключей: - -t — TCP - -u — UDP - -n — не разрешать имена хостов и портов (быстрее) - -l — только слушающие сокеты - -p — показать PID и имя процесса 🔍 Хочешь отсортировать по порту или найти конкретный? Добавь grep:

sudo ss -tunlp | grep 8080

🎯 Альтернатива на случай, если нет ss:

sudo netstat -tunlp

Полезно для отладки фаервола, проверки работы сервисов или просто для уверенности, что сервер не слушает ничего лишнего 😉 📲 Мы в MAX 👉@bash_srv