Bash Советы

📦 Онлайн-мониторинг логов с выделением ошибок Следить за логами в реальном времени — это круто, но ещё круче, когда ошибки выделяются цветом! Вот как это сделать:

tail -f /var/log/syslog | grep --color=always -Ei "error|fail|critical|warning"

🔍 Разбор: - tail -f — следим за логом в реальном времени - grep --color=always — подсвечиваем совпадения - -Ei — игнорируем регистр и используем расширенные регулярки - "error|fail|critical|warning" — ключевые слова для ловли проблем 🎨 Удобно для быстрого визуального анализа, особенно когда логов много! 💡 Можно адаптировать под свои ключевые слова и логи. 📲 Мы в MAX 👉@bash_srv

🔍 Регулярки на каждый день: как найти строки, содержащие IP-адреса Иногда нужно выцепить IP-адреса из логов или текста. Ниже я написал регулярку, которая найдёт IPv4 -адреса:

\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b

💡 Пример использования с grep:

grep -Eo '\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b' access.log

🎯 Что делает эта регулярка: - \b — граница слова (чтобы не цеплять лишнее); - (?:[0-9]{1,3}\.){3} — три группы чисел от 0 до 999, за которыми идёт точка; - [0-9]{1,3} — последняя четвёртая группа; - Вся конструкция — это "что-то вроде 192.168.1.1". 🧠 Минус: она не валидирует значения (например, 999.999.999.999 тоже пройдёт). Но для быстрой фильтрации из логов — идеально. 💪 А ата уже фильтрует только реальные IP!

\b((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}
(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b

📲 Мы в MAX 👉@bash_srv

🔍 Поиск строк с IP-адресами в логах Иногда нужно быстро найти все IP-адреса в лог-файле, например, чтобы отследить активность пользователей или подозрительную активность. Вот как это можно сделать с помощью grep и регулярки:

grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔧 Разбор команды: - -Eo — используем расширенные регулярные выражения и выводим только совпадения - ([0-9]{1,3}\.){3}[0-9]{1,3} — регулярка для IPv4-адресов - sort | uniq -c — считаем, сколько раз встречается каждый IP - sort -nr | head — выводим топ 10 по количеству 📊 Это простой способ быстро узнать, кто чаще всего стучится к вашему серверу. 📲 Мы в MAX 👉@bash_srv

🎯 Bash-совет дня: быстрое сравнение файлов по хэшу Иногда нужно убедиться, что два файла идентичны. Вместо diff, который сравнивает содержимое построчно, проще сравнить их контрольные суммы. Вот удобная однострочная команда:

[ "$(sha256sum file1 | awk '{print $1}')" = "$(sha256sum file2 | awk '{print $1}')" ] && echo "✅ Файлы одинаковые" || echo "❌ Файлы разные"

📌 Пояснение: - sha256sum — создаёт SHA-256 хэш от файла. - awk '{print $1}' — достаёт только сам хэш (без имени файла). - [...] && ... || ... — условие в стиле bash: если хэши совпадают — выводим "файлы одинаковые", иначе — "разные". 🔥 Подходит для проверки резервных копий, дистрибутивов и любых бинарников. 📲 Мы в MAX 👉@bash_srv

🖥 Скрипт Bash для для проверки производительности системы в реальном времени, а также для сбора статистики использования за определенное время.

#!/bin/bash
# автор: https://t.me/bash_srv
# This script monitors CPU and memory usage

while :
do 
  # Get the current usage of CPU and memory
  cpuUsage=$(top -bn1 | awk '/Cpu/ { print $2}')
  memUsage=$(free -m | awk '/Mem/{print $3}')

  # Print the usage
  echo "CPU Usage: $cpuUsage%"
  echo "Memory Usage: $memUsage MB"
 
  # Sleep for 1 second
  sleep 1
done

📲 Мы в MAX 👉@bash_srv

🎥 Вебинар: Память в Linux. Cache, swap, dirty pages На вебинаре вы узнаете: - Почему пустая оперативная память — это выброшенные на ветер ресурсы, а не повод для гордости. - Как бездумный сброс кэша через команду drop_caches убивает производительность приложений. - Почему OOM Killer игнорирует системные приоритеты и убивает процессы исключительно на основе баллов oom_score. - Какую глупость вы совершаете, искренне считая swappiness параметром процента свободной памяти для свопирования. В результате вебинара вы: - Перестанете паниковать при 90-процентной загрузке кэша и наконец-то доверитесь механизмам ядра Linux. - Сможете жестко настроить лимиты грязных страниц через sysctl для защиты дисков от тормозов при сбросе данных. - Уясните суть анонимного кэша и перестанете ловить краши процессов из-за параноидального отключения swap. - Научитесь глубоко траблшутить подсистему памяти нативно из консоли без установки мусорных сторонних утилит. 🧠 Открытый урок проходит в преддверии старта курса «Администратор Linux. Продвинутый уровень» 👉 Для участия зарегистрируйтесь: https://vk.cc/cYLEa9 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🖥 Bash скрипт проверки существования файла, каталога, пользователя Проверка существования файла:

?
if ! [ -f /path/to/file ]; then
echo 'No file'
fi

Проверка существования директории:

if ! [ -d /path/directory/ ]; then
echo 'No directory'
fi

Проверка существования пользователя:

grep "username:" /etc/passwd >/dev/null
if [ $? -ne 0 ]; then
echo 'No username found'
fi

📲 Мы в MAX 👉@bash_srv

🖥 Bash скрипт перекодировки всех файлов в директории

#!/bin/bash
#=====================================
# скрипт изменения кодировки файлов.
#=====================================
# суть для одного файла: iconv -f Исходная_кодировка -t В_какую_кодировку > выходной_файл
# CONFIG:
TYPES="*.txt"; # на случай поиска по расширению. напр. "*.log"
FROM='cp1251'; # из какой кодировки.
TO='utf8'; # в какую кодировку.
FILEPREFIX='.utf8'; # к названию перекодированного файла добавится.
 
# START:
if [ -z $1 ]
then
        echo "Encoding all $TYPES in directory From $FROM To $TO";
        echo "use $0 /Path_to_recoding_directory/"; echo;
        exit 1;
else
        echo "Encoding all $TYPES in directory $1 From $FROM To $TO";
        echo;
        find $1 -name "$TYPES" -type f -print0|while read -d '' SOURCE; do
                echo "========== SOURCE: $SOURCE FROM: $FROM TO: $TO ==========";
                cat "$SOURCE"|iconv -f $FROM -t $TO > "$SOURCE$FILEPREFIX";
                wait;
        done;
        exit 0;
fi
# end

📲 Мы в MAX 👉@bash_srv

В чем разница между объявлением переменной export VAR="VALUE" и VAR="VALUE" в bash? В bash (и других оболочках Unix) разница между командами export VAR="VALUE" и VAR="VALUE" связана с областью видимости переменной: 1. VAR="VALUE": - Это обычное объявление переменной в текущей оболочке (сессии). - Переменная VAR будет доступна только внутри текущей сессии, и не будет передаваться дочерним процессам, запущенным этой сессией. - Например, если вы запустите новую команду или скрипт из текущей оболочки, VAR не будет доступна в этом дочернем процессе. 2. export VAR="VALUE": - Команда export делает переменную VAR доступной для всех дочерних процессов текущей оболочки. - То есть, VAR будет установлена и доступна не только в текущей сессии, но и во всех процессах, запущенных из этой сессии. - Это полезно, когда необходимо передать значение переменной в другие программы или скрипты, запущенные из текущей оболочки. Для примера

# Присвоение переменной без export
VAR="Hello"
bash -c 'echo $VAR'  # Ничего не выведет, так как VAR не экспортирована

# Присвоение переменной с export
export VAR="Hello"
bash -c 'echo $VAR'  # Выведет "Hello", так как VAR экспортирована

Таким образом, export используется для того, чтобы переменная была доступна в дочерних процессах, тогда как обычное присвоение без export ограничивает переменную только текущей сессией. 📲 Мы в MAX 👉@bash_srv

🧹 Автоматическая очистка логов старше N дней Если логи разрастаются, а места становится всё меньше — пора автоматизировать их очистку! Вот простой способ удалить файлы старше, скажем, 14 дней:

find /var/log -type f -name "*.log" -mtime +14 -exec rm -f {} \;

🔧 Объяснение: - /var/log — каталог с логами (можно заменить на нужный путь); - -type f — только файлы; - -name "*.log" — ищем только .log-файлы; - -mtime +14 — которым больше 14 дней; - -exec rm -f {} — удаляем. 🛡️ Сухой запуск перед удалением:

find /var/log -type f -name "*.log" -mtime +14

Так ты увидишь, что будет удалено, прежде чем запускать rm. 📌 Добавь в cron, чтобы забыть о рутине навсегда. 📲 Мы в MAX 👉@bash_srv

⚠️ Хватит плодить хрупкие скрипты и оставлять дыры для троянов. Пора писать пуленепробиваемый инфраструктурный код. 🎥 Приглашаем на вебинар - Продвинутый Bash На вебинаре вы узнаете: - Связка set -euo pipefail навсегда исключит тихое проглатывание ошибок и потерю данных в конвейерах. - Нативные подстановки Bash заменят тысячи ресурсоемких вызовов sed и сэкономят CPU. - Регулярный мониторинг системных профилей защитит продакшен от перехвата команд троянами. - Грамотный перехват сигналов через trap обеспечит безопасное сворачивание процессов при сбоях. В результате вебинара вы: - Замените многоуровневые костыли лаконичной логикой на базе ассоциативных массивов. - Исключите утечки глобальных переменных через жесткую изоляцию областей видимости в функциях. - Внедрите нативную построчную трассировку скриптов вместо примитивного дебага echo-принтами. - Начнете напрямую пробрасывать переменные окружения в SystemD-юниты для надежного старта сервисов. 🧠 Открытый урок проходит в преддверии старта курса «Администратор Linux. Продвинутый уровень» 👉 Для участи зарегистрируйтесь: https://vk.cc/cYnpiY Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🚀 Bash-совет дня: Быстрый мониторинг TCP/UDP портов Иногда нужно оперативно узнать, какие порты слушает сервер и какие подключения активны. Вот простой однострочник, который поможет:

sudo ss -tunlp

📌 Пояснение ключей: - -t — TCP - -u — UDP - -n — не разрешать имена хостов и портов (быстрее) - -l — только слушающие сокеты - -p — показать PID и имя процесса 🔍 Хочешь отсортировать по порту или найти конкретный? Добавь grep:

sudo ss -tunlp | grep 8080

🎯 Альтернатива на случай, если нет ss:

sudo netstat -tunlp

Полезно для отладки фаервола, проверки работы сервисов или просто для уверенности, что сервер не слушает ничего лишнего 😉 📲 Мы в MAX 👉@bash_srv

🚀 Подборка полезных IT каналов в Max Системное администрирование, DevOps 📌 https://max.ru/i_odmin Все для системного администратора https://max.ru/bash_srv Bash Советы https://max.ru/sysadminof Книги для админов, полезные материалы https://max.ru/i_odmin_book Библиотека Системного Администратора https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др. https://max.ru/tipsysdmin Типичный Сисадмин Excel лайфхак 📌 https://t.me/Excel_lifehack Excel лайфхак 1C разработка 📌 https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://max.ru/cpp_lib Библиотека C/C++ разработчика Программирование Go📌 https://max.ru/golang_lib Библиотека Go (Golang) разработчика Программирование React📌 https://max.ru/react_lib React Программирование Python 📌 https://max.ru/python_of Python академия. https://max.ru/BookPython Библиотека Python разработчика Java разработка 📌 https://max.ru/bookjava Библиотека Java разработчика GitHub Сообщество 📌 https://max.ru/githublib Интересное из GitHub Базы данных (Data Base) 📌 https://max.ru/database_info Все про базы данных Фронтенд разработка 📌 https://max.ru/frontend_1 Подборки для frontend разработчиков Библиотеки 📌 https://max.ru/programmist_of Книги по программированию https://max.ru/proglb Библиотека программиста https://max.ru/bfbook Книги для программистов Программирование 📌 https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 Шутки программистов 📌 https://max.ru/itumor Шутки программистов Защита, взлом, безопасность 📌 https://max.ru/thehaking Канал о кибербезопасности https://max.ru/xakkep_1 Хакер Free Книги, статьи для дизайнеров 📌 https://max.ru/odesigners Статьи, книги для дизайнеров Математика 📌 https://max.ru/Pomatematike Канал по математике https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике Вакансии 📌 https://max.ru/progjob Вакансии в IT Мир технологий 📌 https://max.ru/mir_teh Канал для любознательных Бонус 📌 https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга https://max.ru/mockva_life Свежие новости Москвы https://max.ru/piterspb Питер Новости: Санкт-Петербург / СПБ / ДТП

🚀 Очистка кэша пакетного менеджера APT Иногда кэш пакетов APT разрастается и занимает лишнее место. Ниже написал простой скрипт, который поможет автоматизировать очистку и освободить дисковое пространство 💾

#!/bin/bash

# Очищаем кэш APT
echo "🧼 Очистка кэша APT..."
sudo apt clean
sudo apt autoclean

# Удаляем неиспользуемые пакеты
echo "🗑 Удаление неиспользуемых пакетов..."
sudo apt autoremove -y

# Отчёт о свободном месте
echo "📊 Свободное место после очистки:"
df -h /

📌 Как использовать: 1. Сохрани как clean_apt.sh 2. Сделай исполняемым: chmod +x clean_apt.sh 3. Запускай по необходимости или добавь в cron 📲 Мы в MAX 👉@bash_srv

🧠 Логи — Самые частые IP-адреса в access.log Когда нужно быстро понять, кто чаще всего лупит по серверу — вот простой однострочник:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔍 Что делает: 1. awk '{print $1}' — вытаскивает IP из первой колонки. 2. sort и uniq -c — считает повторы. 3. sort -nr | head — выводит топ-10 по частоте. 📊 Вывод будет примерно такой:

  152 192.168.1.10
  103 203.0.113.45
   87 172.16.0.5

🔥 Подходит для NGINX, Apache и других web-логов с классическим форматом. 📲 Мы в MAX 👉@bash_srv

📌 Регулярки - ищем email-адреса в тексте Если необходимо быстро вытащить email-адреса из логов или текстов, скрипт ниже для вас.

grep -Eo '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'

Примеры использования:

cat файл.txt | grep -Eo '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'

Оно находит валидные email'ы вроде: - support@domain.com - test.user+admin@sub.domain.co ⚙️ Флаг -o в grep выводит только совпадения, без строк целиком. 📲 Мы в MAX 👉@bash_srv

🚀 Подборка полезных IT каналов в Max Системное администрирование, DevOps 📌 https://max.ru/i_odmin Все для системного администратора https://max.ru/bash_srv Bash Советы https://max.ru/sysadminof Книги для админов, полезные материалы https://max.ru/i_odmin_book Библиотека Системного Администратора https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др. https://max.ru/tipsysdmin Типичный Сисадмин Excel лайфхак 📌 https://t.me/Excel_lifehack Excel лайфхак 1C разработка 📌 https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://max.ru/cpp_lib Библиотека C/C++ разработчика Программирование Go📌 https://max.ru/golang_lib Библиотека Go (Golang) разработчика Программирование React📌 https://max.ru/react_lib React Программирование Python 📌 https://max.ru/python_of Python академия. https://max.ru/BookPython Библиотека Python разработчика Java разработка 📌 https://max.ru/bookjava Библиотека Java разработчика GitHub Сообщество 📌 https://max.ru/githublib Интересное из GitHub Базы данных (Data Base) 📌 https://max.ru/database_info Все про базы данных Фронтенд разработка 📌 https://max.ru/frontend_1 Подборки для frontend разработчиков Библиотеки 📌 https://max.ru/programmist_of Книги по программированию https://max.ru/proglb Библиотека программиста https://max.ru/bfbook Книги для программистов Программирование 📌 https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 Шутки программистов 📌 https://max.ru/itumor Шутки программистов Защита, взлом, безопасность 📌 https://max.ru/thehaking Канал о кибербезопасности https://max.ru/xakkep_1 Хакер Free Книги, статьи для дизайнеров 📌 https://max.ru/odesigners Статьи, книги для дизайнеров Математика 📌 https://max.ru/Pomatematike Канал по математике https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике Вакансии 📌 https://max.ru/progjob Вакансии в IT Мир технологий 📌 https://max.ru/mir_teh Канал для любознательных Бонус 📌 https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга https://max.ru/mockva_life Свежие новости Москвы https://max.ru/piterspb Питер Новости: Санкт-Петербург / СПБ / ДТП

Отключаем историю Bash (~/.bash_history) 🔒Отключение истории в текущей сессии Просто обнуляем переменные истории:

unset HISTFILE
export HISTSIZE=0
export HISTFILESIZE=0

💥 После этого Bash не будет сохранять историю вообще. Даже после выхода из сессии. 🧼 Стереть историю прямо сейчас

history -c    # очистить историю из памяти
> ~/.bash_history  # стереть файл истории

🔁 Отключить навсегда (для пользователя) Добавь в ~/.bashrc или ~/.bash_profile:

export HISTFILE=
export HISTSIZE=0
export HISTFILESIZE=0

📌 После перезапуска оболочки история вестись не будет. 🧙 Дополнительно (опционально) Чтобы Bash не пытался писать историю на выходе:

unset HISTFILE
trap "" EXIT

💡Без истории сложнее откатить действия, иногда это нужно. 📲 Мы в MAX 👉@bash_srv

🚀 Утилита timeout: автоматическое завершение зависших команд Когда ты запускаешь какую-то команду, и она может зависнуть - это беда. Особенно в скриптах. На помощь приходит утилита timeout из пакета coreutils. Пример использования:

timeout 30s ./backup.sh

Эта команда завершит ./backup.sh, если она не завершится за 30 секунд. Можно задать время в секундах (s), минутах (m), часах (h) и даже днях (d). Что произойдёт при превышении тайм-аута? По умолчанию timeout отправляет сигнал SIGTERM, а через 5 секунд - SIGKILL, если процесс всё ещё жив. Изменение сигнала:

timeout -s SIGINT 10s ./script.sh

Проверка кода возврата:

if timeout 5s ./some_command; then
  echo "Успешно"
else
  echo "Команда завершена по таймауту или с ошибкой"
fi

📲 Мы в MAX 👉@bash_srv

🛡 Проверка SSL-сертификатов с помощью Bash Иногда нужно быстро проверить срок действия SSL-сертификата удалённого сайта. Вот удобный однострочник на Bash, который покажет дату окончания действия сертификата:

echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \
| openssl x509 -noout -dates | grep notAfter

📆 Чтобы получить только оставшиеся дни до окончания:

end_date=$(echo | openssl s_client -servername example.com -connect example.com:443 2>/dev/null \
| openssl x509 -noout -enddate | cut -d= -f2)

end_ts=$(date -d "$end_date" +%s)
now_ts=$(date +%s)
echo "Осталось дней: $(( (end_ts - now_ts) / 86400 ))"

🔒 Полезно для автоматического мониторинга или проверки перед продлением сертификатов! 📲 Мы в MAX 👉@bash_srv