BashTex | Linux
Open in Telegram
Авторский канал для тех, кто хочет глубже погрузиться в мир Linux. Подойдет для разработчиков, системных администраторов и DevOps Реклама: @dad_admin
Show more2 496
Subscribers
+124 hours
-17 days
-1530 days
Posts Archive
2 496
ethtool -S: что скрывают счётчики сетевой карты
Иногда сеть начинает терять пакеты, но
ping показывает нормальную задержку, а интерфейс остаётся в состоянии UP.
Проблема может быть не в маршрутизации, а на уровне самой сетевой карты. Для диагностики пригодятся счётчики драйвера, которые показывает ethtool.
▪️Смотрим статистику интерфейса
sudo ethtool -S eth0
В выводе могут встречаться:
• rx_errors - ошибки при приёме пакетов;
• rx_dropped - отброшенные входящие пакеты;
• tx_errors - ошибки при передаче;
• tx_dropped - отброшенные исходящие пакеты.
Названия и набор счётчиков зависят от драйвера и оборудования.
▪️Проверяем, растут ли ошибки
Одного снимка статистики недостаточно. Важно сравнить значения через определённый интервал:
sudo ethtool -S eth0 > /tmp/net-before
sleep 10
sudo ethtool -S eth0 > /tmp/net-after
diff -u /tmp/net-before /tmp/net-after
Если счётчики ошибок увеличиваются, проблема воспроизводится именно в этот период.
▪️Сопоставляем с общей статистикой
ip -s link show dev eth0
Здесь можно увидеть RX/TX-пакеты, ошибки и drops на уровне сетевого интерфейса.
Если растут rx_missed_errors или счётчики переполнения буферов, стоит проверить нагрузку на интерфейс, очереди приёма и возможности сетевой карты.
▪️Важный нюанс
Не каждый drop означает неисправность сетевой карты. Пакеты могут отбрасываться ядром, драйвером, из-за переполнения очередей или правил фильтрации.
Поэтому ethtool -S лучше использовать вместе с ip -s link, ss и tcpdump, а не делать вывод по одному счётчику.
BashTex 📱 #linux #network
BashTex 📱 #bash #linux2 496
getconf: как узнать системные ограничения без поиска в /proc
В Linux многие ограничения зависят от файловой системы, архитектуры и настроек окружения.
Например, максимальная длина имени файла или размер страницы памяти.
Вместо поиска этих значений по разным файлам можно использовать
getconf.
▪️Проверяем ограничения файловой системы
Например, узнаем максимальную длину имени файла:
getconf NAME_MAX /tmpНа многих файловых системах результат будет:
255Это ограничение длины одного компонента имени в байтах, а не полного пути. А команда:
getconf PATH_MAX /tmpпокажет значение ограничения длины пути для указанного расположения, если система его определяет. ▪️Узнаём размер страницы памяти
getconf PAGE_SIZEНа большинстве современных x86-64 систем результат:
4096Размер страницы важен при работе с
mmap(), управлении памятью и анализе page faults.
▪️Проверяем системные параметры
Например, количество доступных процессоров:
getconf _NPROCESSORS_ONLNИ разрядность указателей:
getconf LONG_BITЭто удобно в скриптах, которые должны адаптироваться к разным системам без жёстко заданных значений. ▪️Почему это важно Многие скрипты предполагают, что размер страницы всегда 4096 байт, а имя файла может содержать не больше 255 символов. Но такие значения не универсальны.
getconf позволяет получать системные параметры через стандартные интерфейсы POSIX и реализации libc, вместо того чтобы полагаться на предположения.
BashTex 📱 #bash #linux2 496
prlimit: как изменить лимиты процесса без перезапуска
Иногда приложение начинает выдавать Too many open files или не может создать новый процесс. Причина может быть в ограничениях ресурсов, которые Linux устанавливает для каждого процесса.
Обычно их проверяют через ulimit, но есть нюанс: эта команда работает с текущей оболочкой и её дочерними процессами. А что делать, если приложение уже запущено?
▪️Смотрим лимиты процесса
Для начала проверим ограничения конкретного PID:
cat /proc/1234/limits
Здесь можно увидеть лимиты на количество открытых файлов, размер стека, адресное пространство и другие ресурсы.
Например:
Max open files 1024 1048576Первое число — мягкий лимит, второе — жёсткий. ▪️Меняем лимит без перезапуска Утилита prlimit позволяет изменить ограничения уже работающего процесса:
sudo prlimit —pid 1234 —nofile=8192:8192
Теперь процесс сможет открыть до 8192 файловых дескрипторов, если другие ограничения этому не помешают.
Проверим результат:
prlimit —pid 1234 —nofile▪️А если нужно ограничить новую программу? Можно задать лимиты прямо при запуске:
prlimit —nofile=512:512 — ./worker
Программа получит ограничения ещё до начала выполнения.
Это удобно для тестирования поведения приложения при нехватке ресурсов.
▪️Важный нюанс
Мягкий лимит можно повышать только до жёсткого. Для увеличения жёсткого лимита обычно требуется CAP_SYS_RESOURCE.
И ещё: prlimit меняет ограничения процесса, но не исправляет причину их достижения. Если приложение постоянно теряет дескрипторы, увеличение nofile лишь отсрочит проблему.
BashTex 📱 #bash #linux2 496
setpriv: как запустить программу с ограниченными привилегиями
Иногда нужно проверить, как приложение работает без root-прав или с ограниченным набором Linux capabilities.
Создавать отдельный контейнер ради этого необязательно.
В Linux есть утилита setpriv, которая позволяет изменить привилегии процесса непосредственно перед запуском команды.
▪️Запуск от другого пользователя
Например, запустим команду от пользователя nobody:
sudo setpriv —reuid=nobody \
—regid=nogroup \
—clear-groups \
id
Здесь —reuid меняет UID, —regid — GID, а —clear-groups удаляет дополнительные группы.
В отличие от su, утилита не запускает отдельную оболочку для переключения пользователя.
▪️Ограничиваем capabilities
Даже процесс с UID 0 может обладать разными наборами привилегий.
Например, уберём возможность обходить обычные проверки прав доступа:
sudo setpriv \
—bounding-set=-dac_override,-dac_read_search \
—inh-caps=-all \
—ambient-caps=-all \
sh -c ‘grep Cap /proc/self/status’
Здесь изменяется bounding set - набор capabilities, которые процесс и его потомки могут получить при последующих execve().
Но это не означает, что у процесса немедленно исчезли все текущие привилегии.
▪️Запрещаем получение новых привилегий
Ещё одна полезная возможность:
setpriv —no-new-privs ./appФлаг no_new_privs запрещает процессу получать дополнительные привилегии через execve(), например благодаря setuid-бинарникам или файловым capabilities. При этом уже имеющиеся права не отзываются. ▪️Где это полезно setpriv удобен для тестирования сервисов, проверки прав доступа и запуска отдельных утилит с ограничениями. Но полноценной песочницей он не является: не изолирует файловую систему, сеть или процессы. Для этого нужны дополнительные механизмы Linux. BashTex 📱 #bash #linux
2 496
comm: как сравнить два списка без циклов и grep
Допустим, у вас есть два списка серверов, пользователей или установленных пакетов.
Нужно понять, какие записи появились, какие исчезли, а какие остались без изменений.
Обычно для этого пишут цикл или используют несколько команд grep. Но в Linux есть утилита comm, которая делает всё сразу.
▪️Сравниваем два файла
Создадим два списка:
printf ‘%s\n’ nginx redis postgres > old.txt
printf ‘%s\n’ nginx redis docker > new.txt
Перед сравнением их нужно отсортировать:
sort old.txt -o old.txt
sort new.txt -o new.txt
Теперь выполним:
comm old.txt new.txtРезультат разделён на три колонки: строки только из первого файла, только из второго и общие для обоих. ▪️Как получить только различия Например, узнать, какие записи появились:
comm -13 old.txt new.txtРезультат:
docker
А какие исчезли:
comm -23 old.txt new.txtПолучим:
postgresЕсли нужны только совпадения:
comm -12 old.txt new.txt▪️Сравнение без временных файлов В Bash можно использовать process substitution:
comm -3 \
<(sort old.txt) \
<(sort new.txt)
Ключ -3 скрывает общие строки и оставляет только различия.
▪️Практический сценарий
Например, сравнить список установленных пакетов до и после обновления:
dpkg-query -W -f=‘${binary:Package}\n’ \
| sort > packages-before.txt
После обновления:
dpkg-query -W -f=‘${binary:Package}\n’ |
sort |
comm -13 packages-before.txt -
Так можно быстро увидеть новые пакеты. Но изменения версий существующих пакетов этот способ не покажет.
Главное условие работы comm - оба входных списка должны быть отсортированы одинаковым способом. Иначе результат может оказаться некорректным.
BashTex 📱 #bash #linux2 496
timeout: как остановить команду, которая выполняется слишком долго
Иногда скрипт запускает внешнюю программу, но не знает, сколько времени она будет работать.
Например, сетевой запрос может зависнуть, а резервное копирование - остановиться из-за проблем с диском.
В GNU coreutils для таких случаев есть timeout.
▪️Ограничиваем время выполнения
Допустим, команда должна завершиться за пять секунд:
timeout 5s ./backup.sh
Если время истечёт, timeout отправит процессу сигнал SIGTERM.
По умолчанию команда получает возможность корректно завершиться: закрыть файлы, освободить ресурсы и выполнить обработчики сигналов.
▪️А если процесс игнорирует SIGTERM?
Можно добавить принудительное завершение:
timeout -k 3s 10s ./worker
Через 10 секунд timeout отправит SIGTERM.
Если процесс не завершится, ещё через 3 секунды последует SIGKILL.
При этом даже SIGKILL не гарантирует немедленного завершения процесса, застрявшего в непрерываемом ожидании внутри ядра.
▪️Как определить превышение времени
Обычный timeout возвращает код 124, если время истекло и не использован режим сохранения статуса:
timeout 5s ./task.sh
status=$?
if (( status == 124 )); then
echo “Превышено время выполнения”
fi
Если команда завершилась самостоятельно, timeout обычно возвращает её код завершения.
▪️Можно сохранить исходный статус
Для этого есть ключ:
timeout —preserve-status 5s ./task.sh
Но здесь важно учитывать, что при превышении времени результат уже не обязательно будет равен 124.
timeout полезен для автоматизации, где одна зависшая команда не должна останавливать весь сценарий. Особенно при работе с внешними сервисами, сетевыми утилитами и периодическими заданиями.
BashTex 📱 #bash #linux2 496
readlink -f vs realpath: как получить настоящий путь к файлу
В Linux один и тот же файл может быть доступен через разные пути. Например, через символическую ссылку, относительный путь или цепочку каталогов с ...
Из-за этого простое сравнение строк не всегда показывает, обращаемся ли мы к одному объекту.
▪️Как работает readlink -f
Допустим, создадим ссылку:
ln -s /var/log/syslog current.log
Теперь выполним:
readlink -f current.log
Команда раскроет символическую ссылку и выведет канонический абсолютный путь:
/var/log/syslog
При этом readlink -f обрабатывает также . и .. в компонентах пути.
▪️Чем отличается realpath
Утилита realpath решает похожую задачу:
realpath ./logs/../current.log
Но у неё есть дополнительные режимы.
Например, получить относительный путь:
realpath —relative-to=/var /var/log/syslog
Результат:
log/syslogЭто удобно, когда скрипт должен строить пути относительно определённого каталога. ▪️Что делать с несуществующими файлами По умолчанию GNU realpath допускает отсутствие последнего компонента пути, но остальные должны существовать. Если нужно обработать путь, которого ещё нет:
realpath -m /tmp/newdir/report.txt
Ключ -m позволяет канонизировать путь даже при отсутствии его компонентов.
▪️Почему это важно
Такие команды полезны для скриптов резервного копирования, работы с символическими ссылками и нормализации путей.
Но есть ограничение: канонический путь не гарантирует, что файл останется тем же самым. Между проверкой и использованием символическую ссылку могут заменить.
Поэтому readlink -f и realpath подходят для обработки путей, но не заменяют безопасное открытие файлов на уровне системных вызовов.
BashTex 📱 #bash #linux2 496
posix_fadvise(): как подсказать Linux, что файл больше не нужен
Linux активно использует page cache: прочитанные с диска данные остаются в оперативной памяти, чтобы при следующем обращении не загружать их заново.
Но иногда приложение заранее знает, что файл будет прочитан только один раз. Для таких случаев существует
posix_fadvise().
▪️Как работает механизм
Программа может передать ядру подсказку о характере доступа:
posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);Здесь
SEQUENTIAL сообщает, что данные будут читаться последовательно.
Linux может использовать эту информацию для настройки readahead - предварительного чтения следующих блоков файла.
▪️Какие ещё есть режимы
Например:
POSIX_FADV_RANDOM POSIX_FADV_WILLNEED POSIX_FADV_DONTNEED
RANDOM уменьшает или отключает файловый readahead.
WILLNEED сообщает, что данные скоро понадобятся, и может инициировать их предварительную загрузку.
DONTNEED позволяет сообщить ядру, что указанный диапазон больше не нужен в page cache.
▪️Можно попробовать без написания программы
В Linux есть утилита fadvise из пакета util-linux:
fadvise -a dontneed backup.tar
Она передаёт ядру подсказку об освобождении кешированных страниц файла.
Но это не принудительная очистка: ядро может сохранить часть страниц, особенно если они изменены и ещё не записаны на диск.
▪️Почему это полезно
Представим сервер, который регулярно обрабатывает огромные архивы. После чтения данные остаются в page cache и могут вытеснять более полезный кеш других приложений.
POSIX_FADV_DONTNEED позволяет уменьшить такое влияние без глобального сброса кеша через drop_caches.
При этом posix_fadvise() не гарантирует ускорения: это рекомендации ядру, а не жёсткие команды управления памятью.
BashTex 📱 #bash #linux2 496
tee не только для логов: запись сразу в несколько потоков
Большинство используют tee только для сохранения вывода команды в файл:
command | tee output.log
Но возможности tee этим не ограничиваются. Он позволяет разветвлять поток данных и отправлять его сразу в несколько мест.
▪️Запись в несколько файлов
Например, сохранить один и тот же вывод сразу в два файла:
dmesg | tee kernel.log backup.log >/dev/null
Не нужно запускать команду дважды - tee сам продублирует поток.
▪️Логирование без потери вывода. Если скрипт должен писать лог, но при этом вывод оставаться в терминале:
./backup.sh | tee backup.log
Пользователь видит процесс выполнения, а лог сохраняется автоматически.
▪️Добавление вместо перезаписи. По умолчанию tee перезаписывает файл. Чтобы дописывать:
echo «Started» | tee -a app.log
Ключ -a работает так же, как >>
▪️Передача сразу в несколько команд. Вместе с process substitution можно построить разветвление потока:
journalctl -f \
| tee >(grep ERROR > errors.log) \
>(wc -l > count.txt) \
> /dev/null
Теперь один поток одновременно: фильтруется по ошибкам; подсчитывается; может использоваться в других обработчиках.Команда journalctl при этом запускается только один раз. 🤩 tee - это не просто инструмент для записи логов. Он позволяет строить конвейеры, где один источник данных обслуживает сразу несколько получателей. Это особенно полезно при анализе логов, мониторинге и автоматизации, когда дорого или невозможно повторно запускать исходную команду. BashTex 📱 #bash #linux
2 496
tee не только для логов: запись сразу в несколько потоков
Большинство используют tee только для сохранения вывода команды в файл:
command | tee output.log
Но возможности tee этим не ограничиваются. Он позволяет разветвлять поток данных и отправлять его сразу в несколько мест.
▪️Запись в несколько файлов
Например, сохранить один и тот же вывод сразу в два файла:
dmesg | tee kernel.log backup.log >/dev/null
Не нужно запускать команду дважды - tee сам продублирует поток.
▪️Логирование без потери вывода
Если скрипт должен писать лог, но при этом вывод оставаться в терминале:
./backup.sh | tee backup.log
Пользователь видит процесс выполнения, а лог сохраняется автоматически.
▪️Добавление вместо перезаписи
По умолчанию tee перезаписывает файл.
Чтобы дописывать:
echo «Started» | tee -a app.log
Ключ -a работает так же, как >>.
▪️Передача сразу в несколько команд
Вместе с process substitution можно построить разветвление потока:
journalctl -f \
| tee >(grep ERROR > errors.log) \
>(wc -l > count.txt) \
> /dev/null
Теперь один поток одновременно:
фильтруется по ошибкам;
подсчитывается;
может использоваться в других обработчиках.
Команда journalctl при этом запускается только один раз.
▪️Почему это важно
tee - это не просто инструмент для записи логов. Он позволяет строить конвейеры, где один источник данных обслуживает сразу несколько получателей. Это особенно полезно при анализе логов, мониторинге и автоматизации, когда дорого или невозможно повторно запускать исходную команду.
BashTex 📱 #bash #linux2 496
Kyonix: Ваши проекты. Наши мощности
Личный VPN за 2 минуты? Telegram-бот, работающий 24/7?
→ Всё это может работать бесперебойно на серверах от Kyonix.
Наши преимущества:
• Мощные серверы
• Cкорость до 1О Гбит/с
• Адаптивная защита от DDoS-атак
• Удобная панель управления
• Техническая поддержка 24/7
• Дата-центры в Европе
Запустите свой сервер уже сегодня:
kyonix.com / @kyonix_bot
2 496
O_PATH: как открыть файл, не получая доступ к его содержимому
Обычно open() используют, чтобы читать или изменять файл. Но в Linux можно получить файловый дескриптор, который не позволяет делать ни того, ни другого.
Для этого существует флаг O_PATH.
▪️Чем он отличается от обычного open()
Например, стандартное открытие файла:
int fd = open(«/var/log/app.log», O_RDONLY);Позволяет читать его содержимое через read(). А если указать:
int fd = open(«/var/log/app.log», O_PATH);Linux вернёт дескриптор, который ссылается на объект файловой системы, но не предоставляет доступ к его данным. Попытка выполнить:
read(fd, buf, sizeof(buf));закончится ошибкой EBADF. ▪️Зачем тогда нужен такой дескриптор С ним всё ещё можно выполнять некоторые операции над самим объектом. Например, получить информацию о файле:
struct stat st;
fstat(fd, &st);
Или использовать дескриптор каталога для открытия файлов относительно него.
Это удобно, когда программе нужно работать с расположением файлов, но не требуется читать содержимое самого каталога.
▪️Интересный пример с каталогом
Откроем каталог:
int dirfd = open(«/srv/data»,
O_PATH | O_DIRECTORY);
Теперь можно обратиться к файлу внутри него:
int fd = openat(dirfd,
«report.txt»,
O_RDONLY);
Здесь dirfd выступает точкой отсчёта для относительного пути.
При этом программа не обязана хранить абсолютный путь к файлу.
▪️Есть важный нюанс с правами
Для получения O_PATH-дескриптора не требуется право чтения самого конечного объекта.
Но права поиска на промежуточных каталогах всё равно проверяются.
И главное: O_PATH не позволяет обойти обычные проверки доступа. Если затем попытаться открыть файл через openat() для чтения, ядро проверит соответствующие права.
▪️Почему это важно
O_PATH разделяет две задачи: получить ссылку на объект файловой системы и получить доступ к его содержимому.
Это полезно для файловых менеджеров, контейнерных инструментов и программ, которые работают с каталогами и дескрипторами вместо постоянного разрешения абсолютных путей.
BashTex 📱 #bash #linux2 496
Работа с дескрипторами файлов через exec: FD 3, 4, логирование и контроль потоков
В Bash обычно работают только с stdin (0), stdout (1) и stderr (2). Но файловые дескрипторы на этом не заканчиваются - можно использовать FD 3, 4 и выше для более гибкого управления потоками.
▪️Базовая идея
Каждый процесс имеет таблицу файловых дескрипторов:
0 → stdin 1 → stdout 2 → stderrНо можно открыть дополнительные:
exec 3>debug.log
Теперь FD 3 пишет в файл debug.log.
▪️Разделение логов
Классический приём - разделить обычный вывод и отладку:
echo «normal output»
echo «debug info» >&3
Результат:
stdout остаётся чистым
debug уходит в отдельный файл
▪️Перенаправление команд через FD
Можно связать вывод команды с кастомным дескриптором:
exec 4< input.txt
Теперь FD 4 читает файл как поток.
Чтение:
read -u 4 line
echo «$line»
▪️Логирование через единый канал
Удобный паттерн - централизованный лог:
exec 3>>/var/log/myapp.log
log() {
echo «$(date ‘+%F %T’) $*» >&3
}
Теперь все логи идут через FD 3, без захламления stdout.
▪️Почему это лучше обычного >> везде
единая точка управления логированием
проще отключать/перенаправлять вывод
можно динамически менять файл логов через exec
▪️Закрытие дескрипторов
exec 3>&-
FD освобождается, файл больше не удерживается процессом.
▪️Где это реально используется
сложные Bash-скрипты с несколькими потоками данных
системы логирования без внешних библиотек
обработка нескольких входных источников одновременно
изоляция debug/production вывода
FD выше 2 - это недооценённый инструмент, который превращает Bash из набора команд в полноценную систему управления потоками.
BashTex 📱 #scripts #linux2 496
reflink vs обычное копирование: как создать копию файла за секунду
Представьте, что нужно скопировать файл размером 50 ГБ. Обычный cp будет читать данные и записывать их в новый файл, а значит, операция потребует времени и дополнительного места на диске.
Но некоторые файловые системы Linux умеют создавать копии почти мгновенно. Для этого используется механизм reflink.
▪️Как работает обычное копирование
При стандартном копировании создаётся новый файл, в который записываются данные исходного:
cp —reflink=never disk.img disk-copy.img
В результате два файла занимают отдельные блоки на диске.
Если исходный файл весит 50 ГБ, для полноценной копии обычно потребуется ещё примерно столько же места.
▪️Что меняет reflink
Попробуем другой вариант:
cp —reflink=always disk.img disk-copy.img
На файловых системах с поддержкой reflink, например Btrfs и XFS с включённой соответствующей возможностью, копирование может завершиться практически мгновенно.
Вместо дублирования содержимого файловая система создаёт новые метаданные, указывающие на уже существующие блоки данных.
Получается:
disk.img ───────┐
├── общие блоки
disk-copy.img ──┘
При этом файлы остаются независимыми.
▪️Что произойдёт при изменении копии
Допустим, мы изменили несколько мегабайт внутри disk-copy.img.
Файловая система использует Copy-on-Write: для изменяемых участков выделяются новые блоки, а неизменённые продолжают использоваться совместно.
Поэтому копия постепенно начинает занимать дополнительное место только по мере изменений.
▪️Как проверить экономию места
Создадим тестовый файл:
dd if=/dev/urandom of=test.img bs=1M count=100
cp —reflink=always test.img copy.img
Сравним логические размеры:
ls -lh test.img copy.img
А затем посмотрим использование пространства:
du -h test.img copy.imgВажно: du показывает учтённые блоки файлов, но не всегда корректно отражает физическую экономию от совместно используемых экстентов. Для точного анализа нужны инструменты конкретной файловой системы. ▪️Чем reflink отличается от hard link Hard link - это два имени одного inode. Изменение содержимого через одно имя видно и через другое. Reflink создаёт отдельный inode, поэтому изменения одного файла не меняют содержимое второго. Именно поэтому reflink удобен для быстрых копий виртуальных дисков, больших файлов и тестовых окружений. BashTex 📱 #bash #linux
2 496
hash: почему Bash запускает команду не из того каталога
Вы установили новую версию утилиты, проверили
$PATH, но Bash продолжает запускать старую. При этом в другом терминале всё работает правильно.
Причина может быть во встроенном механизме hash. Bash запоминает пути к уже найденным исполняемым файлам, чтобы не искать их заново при каждом запуске.
▪️Как Bash ищет команды
Когда вы вводите:
mytoolBash ищет подходящую команду. Если это внешняя программа, оболочка обычно проверяет каталоги из
$PATH по порядку.
После первого успешного поиска путь может попасть во внутреннюю хеш-таблицу.
Посмотреть её содержимое:
hashИли узнать сохранённый путь конкретной команды:
hash -t mytool
▪️Где возникает проблема
Допустим, утилита сначала находилась здесь:
/usr/bin/mytool
Затем вы установили новую версию в:
/usr/local/bin/mytool
Если Bash уже запомнил старый путь, он может продолжать использовать его, даже когда новая программа находится раньше в порядке поиска.
Это особенно заметно в долгоживущих сессиях.
▪️Как сбросить кеш
Удалить запись для одной команды:
hash -d mytool
Или очистить всю таблицу:
hash -rПосле этого Bash заново выполнит поиск внешней команды. Проверить все доступные варианты можно через:
type -a mytool
▪️Важный нюанс
При изменении $PATH Bash обычно сам очищает таблицу путей. Поэтому проблема чаще возникает, когда содержимое каталогов изменилось, а сама переменная осталась прежней.
Кроме того, hash не переопределяет shell-функции и встроенные команды Bash. Если имя занято функцией или alias, сначала нужно разобраться с порядком разрешения команд.
▪️Почему это важно
При обновлении утилит, переключении версий программ и диагностике окружения недостаточно проверить только $PATH.
Иногда Bash уже запомнил расположение исполняемого файла, и именно поэтому две одинаковые на первый взгляд сессии запускают разные версии программы.
BashTex 📱 #bash #linux2 496
Процесс открыл 50 тысяч файлов: как найти причину
Приложение работает несколько дней, а потом внезапно начинает выдавать
Too many open files. Перезапуск помогает, но через какое-то время ошибка возвращается.
Возможно, процесс постепенно накапливает файловые дескрипторы. Причём это не обязательно обычные файлы: FD используются для сокетов, каналов, eventfd и других объектов.
▪️Сколько дескрипторов открыто
Для начала узнаем PID процесса и посчитаем его FD:
ls -U /proc/$PID/fd | wc -l
Посмотреть установленный лимит:
grep 'Max open files' /proc/$PID/limits
Если количество FD постоянно растёт и приближается к лимиту, стоит выяснить, что именно процесс держит открытым.
▪️Смотрим, куда указывают дескрипторы
ls -l /proc/$PID/fd | head -30
В выводе могут встретиться:
15 -> /var/log/app.log 16 -> socket:[123456] 17 -> pipe:[123457] 18 -> anon_inode:[eventpoll]Это помогает понять, что накапливается: файлы, сетевые соединения, каналы или внутренние объекты ядра. ▪️Что показывает fdinfo Для каждого открытого дескриптора Linux хранит дополнительную информацию:
cat /proc/$PID/fdinfo/15
Например:
pos: 4096 flags: 0100002 mnt_id: 27 ino: 123456Здесь: •
pos - текущая позиция в файле.
• flags - флаги открытия и состояния FD в восьмеричном виде.
• mnt_id - идентификатор монтирования.
• ino - номер inode.
Для некоторых объектов появляются дополнительные поля.
Например, у epoll-дескриптора можно увидеть отслеживаемые FD, а у eventfd - значение счётчика.
▪️Как найти причину утечки
Если подозреваем обычные файлы, можно посмотреть, какие пути встречаются чаще всего:
ls -l /proc/$PID/fd |
awk -F ' -> ' 'NF > 1 {print $2}' |
sort | uniq -c | sort -nr | head
Если сотни или тысячи дескрипторов указывают на один лог, файл или сокеты, это уже хорошая зацепка.
Для наблюдения за ростом:
watch -n 2 "ls -U /proc/$PID/fd | wc -l"
▪️Важный нюанс
Большое количество FD само по себе не означает утечку. Например, прокси может обслуживать десятки тысяч соединений одновременно.
Проблема начинается, когда дескрипторы продолжают накапливаться после завершения соответствующих операций.
И ещё: /proc/PID/fdinfo показывает состояние дескрипторов, но не объясняет, какая функция их открыла. Для поиска конкретного участка кода могут понадобиться strace, eBPF или профилирование приложения.
BashTex 📱 #bash #linux