Bash Советы

🔥 Открытый урок «Terraform: как работать с ним через GitLab». 🗓 11 декабря в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «CI/CD на основе GitLab». На вебинаре разберем: ✔️ Как использовать Terraform для управления инфраструктурой как кодом (IaC). ✔️ Настройку CI/CD-процессов в GitLab для работы с Terraform. ✔️ Лучшие практики разграничения окружения и управления конфигурацией. Кому будет полезно: - DevOps-лидам, управляющим инфраструктурой и CI/CD. - Архитекторам, разрабатывающим стратегии инфраструктурной автоматизации. - Инженерам, внедряющим Terraform в рабочие процессы. Что вы получите: - Понимание, Terraform-модули для работы через GitLab. - Понимание, настройка и оптимизация пайплайнов CI/CD . - Практические советы по безопасному и эффективному управлению инфраструктурой . 🔗 Ссылка на регистрацию: https://vk.cc/cRY37f Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔁 Циклический мониторинг статуса сервиса с логированием Иногда нужно следить за работой сервиса в режиме реального времени и при сбое — сразу зафиксировать проблему. Вот простой скрипт, который будет каждые 30 секунд проверять статус сервиса и писать лог при ошибке:

#!/bin/bash

SERVICE="nginx"
LOGFILE="/var/log/${SERVICE}_monitor.log"
INTERVAL=30

while true; do
    if ! systemctl is-active --quiet "$SERVICE"; then
        echo "$(date '+%Y-%m-%d %H:%M:%S') ❌ $SERVICE is down" >> "$LOGFILE"
        # можно добавить уведомление (например, через телеграм-бота или почту)
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S') ✅ $SERVICE is running" >> "$LOGFILE"
    fi
    sleep "$INTERVAL"
done

📌 Скрипт можно добавить в screen или tmux сессию и запустить на сервере - он будет вести лог доступности нужного сервиса. 🛡️ Подходит для мониторинга nginx, mysql, sshd и других системных демонов. 📲 Мы в MAX 👉@bash_srv

🔥Проверка доступности списка хостов с логированием времени ответа Иногда нужно быстро проверить, какие из серверов в списке живы, и сколько времени уходит на ответ. Вот простой скрипт на Bash:

#!/bin/bash

HOSTS_FILE="hosts.txt"
LOG_FILE="ping_log.txt"

while read -r host; do
    if [[ -n "$host" ]]; then
        START=$(date +%s%3N)
        ping -c 1 -W 1 "$host" &> /dev/null
        STATUS=$?
        END=$(date +%s%3N)
        TIME=$((END - START))

        if [[ $STATUS -eq 0 ]]; then
            echo "$(date '+%Y-%m-%d %H:%M:%S') - $host is UP (response time: ${TIME}ms)" | tee -a "$LOG_FILE"
        else
            echo "$(date '+%Y-%m-%d %H:%M:%S') - $host is DOWN" | tee -a "$LOG_FILE"
        fi
    fi
done < "$HOSTS_FILE"

📄 Файл hosts.txt должен содержать список IP или доменов — по одному в строке. 🛠 Удобно использовать для мониторинга парка серверов или диагностики проблем с сетью. 👉@bash_srv

⚡Ускоряем работу с логами через Bash Часто приходится искать ошибки в огромных логах? Вот удобный однострочник, который найдёт все строки с ошибками за последние N минут:

grep "$(date --date='5 min ago' '+%b %_d %H:%M')" /var/log/syslog | grep -i "error"

🔹 Замените 5 на нужное количество минут. 🔹 Работает для логов, где стандартный формат даты (%b %_d %H:%M), например /var/log/syslog, /var/log/auth.log. 🔹 Ключ -i делает поиск нечувствительным к регистру. ✅ Теперь вы всегда увидите самые свежие ошибки без пролистывания тысяч строк! 👉@bash_srv

📂 Быстрое создание структуры директорий в Linux Иногда нужно быстро создать целую структуру папок. Вручную - долго. На помощь приходит mkdir с флагом -p:

mkdir -p /var/www/project/{css,js,images,fonts}

✅ Этот однострочник создаст папки css, js, images, fonts внутри /var/www/project, даже если родительские директории ещё не существуют. Фишка: можно создавать вложенные структуры сразу:

mkdir -p /opt/data/{logs/{nginx,mysql},backups/{daily,weekly}}

Это создаст: - /opt/data/logs/nginx - /opt/data/logs/mysql - /opt/data/backups/daily - /opt/data/backups/weekly Полезно, если нужно быстро подготовить окружение для проекта 🚀 👉@bash_srv

🎥 Вебинар по Linux: Введение в Docker: контейнеры, изоляция и первые шаги. На вебинаре вы узнаете: - Чем контейнеризация отличается от виртуализации и почему Docker стал стандартом. - Как устроены контейнер, образ и Docker Engine. - Как запустить и управлять контейнерами с помощью базовых команд docker run, ps, exec, stop). - Как использовать Docker Hub и скачивать готовые образы. В результате вебинара вы: - Разберётесь в ключевых понятиях Docker. - Научитесь запускать и управлять контейнерами. - Сможете использовать готовые образы для своих тестовых окружений. - Поймёте, куда двигаться дальше в изучении контейнерных технологий. 🎁 Все участники вебинара получат специальные условия на полное обучение курса "Administrator Linux. Professional" 👉 Для участия зарегистрируйтесь: https://vk.cc/cRv1Ar Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🚀 Bash-скрипт для автоматического обновления всех пакетов на сервере с уведомлением на почту Иногда важно не только обновить все пакеты, но и быть в курсе, что именно произошло. Пойдем на шаг дальше! 👨‍💻

#!/bin/bash

# Настройки
EMAIL="admin@example.com"
HOSTNAME=$(hostname)

# Обновляем пакеты
apt update && apt upgrade -y > /tmp/update-log.txt

# Отправляем лог на почту
mail -s "[$HOSTNAME] Отчет об обновлении пакетов" "$EMAIL" < /tmp/update-log.txt

# Убираем временный файл
rm -f /tmp/update-log.txt

✅ Скрипт: - Обновляет пакеты через apt. - Сохраняет лог в /tmp/update-log.txt. - Отправляет лог на указанный e-mail. - Очищает за собой мусор. ⚙️ Чтобы отправка писем работала, убедись, что установлен пакет mailutils:

sudo apt install mailutils

💬 Используй cron, чтобы выполнять этот скрипт автоматически каждую неделю или каждый день:

0 3 * * 1 /path/to/update_script.sh

👉@bash_srv

🚀 Хотите ускорить разработку и автоматизировать рутинные процессы? 🦾 CI/CD — это то, что превращает долгие релизы в один клик. А GitLab — инструмент, который позволит выстроить этот процесс без лишней боли. 💡 На курсе «CI/CD на основе GitLab» вы научитесь развертывать GitLab и GitLab Runner, настраивать пайплайны любой сложности, интегрировать Ansible, Docker и Kubernetes, а также внедрять лучшие практики безопасности. Всё это на актуальной версии и в формате живых лекций с практикой. 🎯 Вы будете понимать, как построить эффективный workflow, настроить автоматическую доставку кода, тестирование и деплой. После курса вы сможете уверенно работать с CI/CD в реальных проектах и говорить на одном языке с DevOps-инженерами. ➡️ Пройдите вступительное тестирование и присоединяйтесь к группе: https://vk.cc/cRpmHf Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🚀 Bash совет дня: Удаление старых логов по дате 🧹 Если логи со временем забивают диск, пора автоматизировать их очистку! Вот простой однострочник на Bash, который удалит все файлы старше 7 дней в указанной директории:

find /var/log/myapp/ -type f -mtime +7 -name "*.log" -exec rm -f {} \;

🔍 Разбор: /var/log/myapp/ - путь к директории с логами -type f - только файлы -mtime +7 - старше 7 дней -name "*.log" - только .log файлы -exec rm -f {} \; - удаляем файлы 📅 Можно добавить в cron и забыть о ручной чистке логов навсегда! Пример строки в crontab, чтобы запускалось каждый день в 2:00 ночи:

0 2 * * * find /var/log/myapp/ -type f -mtime +7 -name "*.log" -exec rm -f {} \;

💡 Совет: замените /var/log/myapp/ на свою директорию. 👉@bash_srv

📦 Онлайн-мониторинг логов с выделением ошибок Следить за логами в реальном времени — это круто, но ещё круче, когда ошибки выделяются цветом! Вот как это сделать:

tail -f /var/log/syslog | grep --color=always -Ei "error|fail|critical|warning"

🔍 Разбор: - tail -f — следим за логом в реальном времени - grep --color=always — подсвечиваем совпадения - -Ei — игнорируем регистр и используем расширенные регулярки - "error|fail|critical|warning" — ключевые слова для ловли проблем 🎨 Удобно для быстрого визуального анализа, особенно когда логов много! 💡 Можно адаптировать под свои ключевые слова и логи. 👉@bash_srv

🔍 Регулярки на каждый день: как найти строки, содержащие IP-адреса Иногда нужно выцепить IP-адреса из логов или текста. Ниже я написал регулярку, которая найдёт IPv4 -адреса:

\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b

💡 Пример использования с grep:

grep -Eo '\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b' access.log

🎯 Что делает эта регулярка: - \b — граница слова (чтобы не цеплять лишнее); - (?:[0-9]{1,3}\.){3} — три группы чисел от 0 до 999, за которыми идёт точка; - [0-9]{1,3} — последняя четвёртая группа; - Вся конструкция — это "что-то вроде 192.168.1.1". 🧠 Минус: она не валидирует значения (например, 999.999.999.999 тоже пройдёт). Но для быстрой фильтрации из логов — идеально. 💪 А ата уже фильтрует только реальные IP!

\b((25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\.){3}
(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)\b

👉@bash_srv

🎯 Bash-совет: Найти и удалить все .DS_Store файлы на сервере (или любые другие "мусорные" файлы) Файлы .DS_Store автоматически создаются macOS и часто попадают на серверы при деплое. Они бесполезны и могут мешать. Вот простой скрипт для их поиска и удаления:

#!/bin/bash

# Каталог, в котором ищем (по умолчанию текущий)
DIR="${1:-.}"

echo "🔍 Ищу .DS_Store файлы в: $DIR"

find "$DIR" -name '.DS_Store' -type f -print -delete

echo "🧹 Удаление завершено."

📌 Можно адаптировать под удаление Thumbs.db, __MACOSX или других ненужных артефактов. ✅ Используй как утилиту перед деплоем или в CI/CD. 👉@bash_srv

🔍 Поиск строк с IP-адресами в логах Иногда нужно быстро найти все IP-адреса в лог-файле, например, чтобы отследить активность пользователей или подозрительную активность. Вот как это можно сделать с помощью grep и регулярки:

grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head

🔧 Разбор команды: - -Eo — используем расширенные регулярные выражения и выводим только совпадения - ([0-9]{1,3}\.){3}[0-9]{1,3} — регулярка для IPv4-адресов - sort | uniq -c — считаем, сколько раз встречается каждый IP - sort -nr | head — выводим топ 10 по количеству 📊 Это простой способ быстро узнать, кто чаще всего стучится к вашему серверу. 👉@bash_srv

🎯 Bash-совет дня: быстрое сравнение файлов по хэшу Иногда нужно убедиться, что два файла идентичны. Вместо diff, который сравнивает содержимое построчно, проще сравнить их контрольные суммы. Вот удобная однострочная команда:

[ "$(sha256sum file1 | awk '{print $1}')" = "$(sha256sum file2 | awk '{print $1}')" ] && echo "✅ Файлы одинаковые" || echo "❌ Файлы разные"

📌 Пояснение: - sha256sum — создаёт SHA-256 хэш от файла. - awk '{print $1}' — достаёт только сам хэш (без имени файла). - [...] && ... || ... — условие в стиле bash: если хэши совпадают — выводим "файлы одинаковые", иначе — "разные". 🔥 Подходит для проверки резервных копий, дистрибутивов и любых бинарников. 👉@bash_srv

🖥 Скрипт Bash для для проверки производительности системы в реальном времени, а также для сбора статистики использования за определенное время.

#!/bin/bash
# автор: https://t.me/bash_srv
# This script monitors CPU and memory usage

while :
do 
  # Get the current usage of CPU and memory
  cpuUsage=$(top -bn1 | awk '/Cpu/ { print $2}')
  memUsage=$(free -m | awk '/Mem/{print $3}')

  # Print the usage
  echo "CPU Usage: $cpuUsage%"
  echo "Memory Usage: $memUsage MB"
 
  # Sleep for 1 second
  sleep 1
done

👉@bash_srv

🖥 Bash скрипт проверки существования файла, каталога, пользователя Проверка существования файла:

?
if ! [ -f /path/to/file ]; then
echo 'No file'
fi

Проверка существования директории:

if ! [ -d /path/directory/ ]; then
echo 'No directory'
fi

Проверка существования пользователя:

grep "username:" /etc/passwd >/dev/null
if [ $? -ne 0 ]; then
echo 'No username found'
fi

👉@bash_srv

🖥 Bash скрипт перекодировки всех файлов в директории

#!/bin/bash
#=====================================
# скрипт изменения кодировки файлов.
#=====================================
# суть для одного файла: iconv -f Исходная_кодировка -t В_какую_кодировку > выходной_файл
# CONFIG:
TYPES="*.txt"; # на случай поиска по расширению. напр. "*.log"
FROM='cp1251'; # из какой кодировки.
TO='utf8'; # в какую кодировку.
FILEPREFIX='.utf8'; # к названию перекодированного файла добавится.
 
# START:
if [ -z $1 ]
then
        echo "Encoding all $TYPES in directory From $FROM To $TO";
        echo "use $0 /Path_to_recoding_directory/"; echo;
        exit 1;
else
        echo "Encoding all $TYPES in directory $1 From $FROM To $TO";
        echo;
        find $1 -name "$TYPES" -type f -print0|while read -d '' SOURCE; do
                echo "========== SOURCE: $SOURCE FROM: $FROM TO: $TO ==========";
                cat "$SOURCE"|iconv -f $FROM -t $TO > "$SOURCE$FILEPREFIX";
                wait;
        done;
        exit 0;
fi
# end

👉@bash_srv

В чем разница между объявлением переменной export VAR="VALUE" и VAR="VALUE" в bash? В bash (и других оболочках Unix) разница между командами export VAR="VALUE" и VAR="VALUE" связана с областью видимости переменной: 1. VAR="VALUE": - Это обычное объявление переменной в текущей оболочке (сессии). - Переменная VAR будет доступна только внутри текущей сессии, и не будет передаваться дочерним процессам, запущенным этой сессией. - Например, если вы запустите новую команду или скрипт из текущей оболочки, VAR не будет доступна в этом дочернем процессе. 2. export VAR="VALUE": - Команда export делает переменную VAR доступной для всех дочерних процессов текущей оболочки. - То есть, VAR будет установлена и доступна не только в текущей сессии, но и во всех процессах, запущенных из этой сессии. - Это полезно, когда необходимо передать значение переменной в другие программы или скрипты, запущенные из текущей оболочки. Для примера

# Присвоение переменной без export
VAR="Hello"
bash -c 'echo $VAR'  # Ничего не выведет, так как VAR не экспортирована

# Присвоение переменной с export
export VAR="Hello"
bash -c 'echo $VAR'  # Выведет "Hello", так как VAR экспортирована

Таким образом, export используется для того, чтобы переменная была доступна в дочерних процессах, тогда как обычное присвоение без export ограничивает переменную только текущей сессией. 👉@bash_srv

🧹 Автоматическая очистка логов старше N дней Если логи разрастаются, а места становится всё меньше — пора автоматизировать их очистку! Вот простой способ удалить файлы старше, скажем, 14 дней:

find /var/log -type f -name "*.log" -mtime +14 -exec rm -f {} \;

🔧 Объяснение: - /var/log — каталог с логами (можно заменить на нужный путь); - -type f — только файлы; - -name "*.log" — ищем только .log-файлы; - -mtime +14 — которым больше 14 дней; - -exec rm -f {} — удаляем. 🛡️ Сухой запуск перед удалением:

find /var/log -type f -name "*.log" -mtime +14

Так ты увидишь, что будет удалено, прежде чем запускать rm. 📌 Добавь в cron, чтобы забыть о рутине навсегда. 👉@bash_srv

🚀 Bash-совет дня: Быстрый мониторинг TCP/UDP портов Иногда нужно оперативно узнать, какие порты слушает сервер и какие подключения активны. Вот простой однострочник, который поможет:

sudo ss -tunlp

📌 Пояснение ключей: - -t — TCP - -u — UDP - -n — не разрешать имена хостов и портов (быстрее) - -l — только слушающие сокеты - -p — показать PID и имя процесса 🔍 Хочешь отсортировать по порту или найти конкретный? Добавь grep:

sudo ss -tunlp | grep 8080

🎯 Альтернатива на случай, если нет ss:

sudo netstat -tunlp

Полезно для отладки фаервола, проверки работы сервисов или просто для уверенности, что сервер не слушает ничего лишнего 😉 👉@bash_srv