Bash Days | Linux | DevOps

💥 Настройка кластера Elasticsearch с нуля 27 апреля в 20:00 мск — бесплатный урок курса «Инфраструктура высоконагруженных систем» Хотите построить по-настоящему масштабируемый и отказоустойчивый поисковый кластер? На вебинаре разберём, как правильно организовать Elasticsearch, чтобы он стабильно работал под высокой нагрузкой и легко масштабировался. 📌 Что будет: — Архитектура Elasticsearch: шарды, реплики и их роль в распределении данных — Правильная конфигурация кластера для устойчивой и надёжной работы — Пошаговое добавление новой ноды и масштабирование без простоев — Основные ошибки при настройке кластера и как их избежать — Балансировка нагрузки и обеспечение отказоустойчивости хранения данных 👉 Регистрация открыта https://vk.cc/cWVydF Вебинар приурочен к старту курса «Инфраструктура высоконагруженных систем». Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Всем привет. Что мы все о bash да и bash. Надоело. Сегодня поговорим про awk. 🔤🔤🔤🔤🔤🔤🔤 Не много осталось админов, которые парсят текстовые логи. Вся молодежь и даже пОдростки перешли на JSON. Ну да, это удобно. Но иногда awk быстрее. Особенно на больших файлах и файлах и простых фильтрах. ㅤ Но я сегодня не в настроении устраивать холивар. При использовании логов очень часто возникает проблема — очень большое количество полей. А awk зачастую использует именно номер поля. Так вот, чтобы немного упростить задачу я написал маленький скрипт, который разбирает строку и нумерует поля. Это здорово экономит время. Сам скрипт:

#!/bin/awk -f
BEGIN{printf "INPUT field separator "
  getline
  FS=$0
  printf "INPUT test line\n"
  getline
  printf "\n\n"
  for (i=1;i<=NF;i++)print i, $i
}

Как обычно сохраняем fields.awk и делаем исполняемым:

chmod +x fields.awk
./fields.awk

Как это работает: 1. Сначала вводим разделитель. 2. Затем строчку лога и получаем разбивку по полям. Ввод разделителя нужен, потому что иногда уже внутри кода приходится использовать оператор split и другой разделитель. Да и логи бывают разных форматов. Рассмотрим такой пример:

<134>1 2026-04-17T16:51:47+03:00 OPNsense.internal filterlog 18074 - [meta sequenceId="2054702"] 111,,,4b75111111111111111111111111cb1d,eno1,match,block,in,4,0x0,,64,27367,0,DF,6,tcp,60,192.168.2.125,192.168.7.14,60248,22,0,S,1539242113,,65535,,mss;sackOK;TS;nop;wscale

В этом случае, если нужно одновременно вытащить и дату и IP с портами, проще в качестве основного разделителя использовать ",", а потом первое поле:

<134>1 2026-04-17T16:51:47+03:00 OPNsense.internal filterlog 18074 - [meta sequenceId="2054702"] 111

Здесь, если мы разбить по пробелам (split($1,f," ")), то f[2] будет содержать дату. Которую в свою очередь можно путем нехитрых манипуляций превратить в unuxtime, для удобства машинной обработки. Всем кода без багов. 🛠 #bash #linux — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

👉 Поднимите приватный инференс на выделенном железе В Selectel сделали поддержку видеокарт в управляемых кластерах Kubernetes на выделенных серверах. Теперь модели можно запускать на отдельном железе: стабильная производительность, изоляция данных и конфигурации под разные задачи. По стоимости — до 40% дешевле, чем использовать ускорители в облачных серверах. Попробуйте сами, на тест дают до 30 000 бонусных рублей: https://slc.tl/3vvcj Реклама. АО "Селектел". erid:2W5zFGHqZxm

Кажется, сейчас уже у всех есть свой зоопарк из облаков, on-prem и гибридных решений. Интересно, как это реально устроено у разных команд. Apple Hills Digital как раз проводит исследование по облачным решениям: смотрят, какие платформы используют, под какие задачи и как в итоге оценивают сервисы и поддержку. Можно пройти короткий скрининг (~3 минуты). Если подходите — откроется основная анкета (до 10 минут). Среди участников — розыгрыш iPhone* * Принимая участие в опросе Вы становитесь участником розыгрыша под наименованием «Если ты работаешь в IT, пройди опрос и выиграй iPhone 17 Pro». Информация об организаторе розыгрыша, сроках проведения, правилах проведения розыгрыша, количестве призов, сроках, месте, порядке получения призов размещена по ссылке

Твой сайт — решето! Или как не обосраться Недавно я показывал тебе как настроить свой собственный поисковый движок на SearXNG, ну так вот, нашел на просторах агрегатора, который собирает такие публичные поисковики в табличку. И по сути можно на чужих серверах устроить себе полноценный поиск по интернету. ㅤ Ссылка: https://searx.space/ Зачем? Ну к примеру нужно тебе что-то быстро анонимно поискать, а своё детище поднимать в хуй не упёрлось. Открываешь такой публичный поисковик и ебешь его в хвост и в гриву. Но естественно не забываем предварительно включить КВН или соксы. Для браузеров есть пиздатые плагины: Zero Omega и FoxyProxy.

Я пользуюсь первым, как-то более интуитивно понятно правила настраиваются, в отличие от второго. Но тут больше вкусовщина, возможно ты оверхед монстр и спокойно стихи на регулярках перед сном читаешь своему ребенку.

СТОП! Яж про другое… Пойдем дальше, на этом сайте я увидел рейтинги настройки серверов и вспомнил, когда я 100 лет назад поднимал инстанс с собственным mastodon сервером, я упарывался в безопасность и прям активно соблюдал эти рейтинги. Потом это всё забылось и сегодня решил проверить свой основной блог и мягко говоря прихуел. Мой социальный рейтинг по SSL был на уровне «D» — да вы батенька не девопс-инженер, вы пидор ебаный! Дела, дела! Надо это исправлять. Чё значит этот рейтинг? Сервис Mozilla Observatory смотрит не на код приложения, а на то, насколько правильно настроен твой сервер и заголовки безопасности.

A / A+ = всё настроено пиздато B / C = терпимо, но ты все равно долбаёб D / F = хуйня, переделать, серьёзные дыры, почти нет защиты

Кстати опять же пентестеры активно применяют это в своей работе, чтобы быстренько проверить безопасность конфигурации и по возможности найти лазейку к твоему шоколадному бекенду с последующим проникновением без вазелина. Если кратко — это линтер безопасности, а рейтинг всего лишь сводная оценка качества настроек и твоих компетенций. Основные категории проверки: 1. HTTP-заголовки безопасности 2. HTTPS и TLS 3. Cookies 4. Защита от известных атак Хули, давай это исправим, мне пришлось добавить такое в свою конфигурацию, чтобы добить рейтинг в более-менее вменяемую зону и получить заветную букву «B». Чтобы получить «A» мне придется немного перекроить работу с javascript, но пока мне лень. Собственно конфиг:

add_header Content-Security-Policy "default-src 'self'; script-src 'self' 'unsafe-inline' https:; style-src 'self' 'unsafe-inline'; img-src 'self' data: https:; frame-src 'self' https://video.bashdays.ru https://t.me; connect-src 'self' https://api.rss2json.com https://bashdayz.ru;" always;

add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload" always;

add_header X-Frame-Options "SAMEORIGIN" always;

add_header X-Content-Type-Options "nosniff" always;

add_header Referrer-Policy "strict-origin-when-cross-origin" always;

⚪ Это защита от XSS атак и внедрения чужого контента. Я прописал доверенные сайты с которыми работаю. Но узкой дыркой осталось «unsafe-inline», с помощью него я разрешил inline JS, чтобы мои статусы из mastodon корректно передавались. Вот эту штуку и нужно будет допилить, чтобы получить по ебалу рейтинг «A+». ⚪ Всегда используй протокол https, включая поддомены. ⚪ Предоставляет защиту от clickjacking, разрешает вставку сайта в iframe только с того же домена, но у меня уже это прописано в первом заголовке. Похуй, оставляем. Кстати он уже устаревший, но все еще используется. ⚪ Запрещает браузеру угадывать тип файла, например сервер отдал JS как text/plain, браузер мог бы «догадаться» и выполнить. Теперь хуй, ничего не выполнит. ⚪ Контролирует, что отправляется в Referer, хороший баланс приватности и аналитики. Если подытожить, получаем — грузи ресурсы только отсюда, не доверяй подозрительной хуйне, всегда используй https и не давай сайту быть встроенным куда попало. На этом собственно и всё, можешь пойти и проверить свои компетенции в настройке. Поделись в комментах своим социальным рейтингом, хоть позавидуем. 🛠 #security #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

А какие способы хитрой подмены файлов помимо mount --bind ты знаешь? ㅤ

echo first >first.txt
echo second >second.txt
ln -s first.txt second.txt

# Выведет: ln: cannot create symbolic link from 'first.txt' to 'second.txt': File exists

mount --bind first.txt second.txt
# А так работает.

cat second.txt
#Выведет first.

Наверное можно еще через cgroups замутить, или через eBPF понаделать хуки на системный вызов open, openat, туда же mount overlay... 🛠 #shitcode #bash — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

😁😆😁 Не забыть поздравить подписчиков и коллег с Пасхой

15 апреля на вебинаре поговорим о том, как с нуля построить разработку в облаке ⚫️Обсудим, зачем переносить разработку в облако, какие есть подводные камни ⚫️Подготовим базовую инфраструктуру и развернëм ключевые сервисы разработки ⚫️Соберём, протестируем и развернëм приложение в целевое окружение, оптимизируем раннеры для ускорения сборок ⚫️Настроим безопасность: доступы, секреты, шифрование ⚫️Подготовимся к продакшену и масштабированию ⚫️Ответим на ваши вопросы Присоединяйтесь! Узнайте, как с нуля построить и запустить инфраструктуру разработки в облаке MWS Cloud Platform. 📆 15 апреля в 14:00 (мск) Зарегистрироваться

Как превратить DNS-сервер в пушку для DDoS-атаки

Разбираем механику DNS Amplification атак и выясняем, почему использование ANY-запросов превращает твой сервер в инструмент для DDoS. Узнай, как работают векторы усиления трафика и как правильно настроить защиту на BIND и Unbound.

В DNS есть такая прикольная штука, как ANY запрос, его суть — выдать тебе сразу все DNS записи по нужному домену. ㅤ Запрос вида:

dig chklst.ru ANY

Я встречал много Bash скриптов, которые на этом запросе завязаны, да чё греха таить, вчера буквально обратился товарищ (малваря-аналитик) с запросом — всё пропало, не работает, ааааа!!!

dig chklst.ru ANY

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
; EDE: 21 (Not Supported): (Type ANY Queries not supported here, RFC8482)
;; QUESTION SECTION:

Хотя раньше всё работало из коробки и Bash скрипты вели себя предсказуемо. Но опять же, в зависимости от DNS сервера, результаты могли разница. Тебе могли отдать данные, которые в предыдущем запросе были совсем другими. Логично. Провайдеры рано или поздно приходят к этому, начинают блокировать подобные запросы. Всё это связано с дидос атаками. Погоды эти ANY запросы не делают, но создают большую проблему и головную боль. Основная проблема — DDoS amplification. Самый адекватный способ борьбы с этим — отключить всё нахуй и поломать возможный вектор атаки. Короче непредсказуемость ANY запроса это плохая практика. Запрос ANY никогда не был стандартизирован, как «получить всё». Читать продолжение: https://two.su/dzg0a 🛠 #security #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Диагностика проблем через контрольные суммы 🔤🔤🔤🔤🔤🔤🔤 Всем привет. ㅤ У меня на этой неделе случилась беда. На одной машине пользователя стала глючить 1с. Уже и кэши очищали, и машину перезагружали - глючит и все. Пало подозрение на повреждение самой 1с. Можно было бы просто переставить, и забыть. Но мне хотелось именно убедиться, что проблема на диске. Нужно просто рекурсивно сравнить два каталога по содержимому файлов. Каталог со старой установкой переименовал, поставил заново и начал сравнивать. Проще всего это сделать с помощью rsync:

rsync -ncrv /old1c /1c

-n (--dry-run) — только тестирование -c (--checksum) — по содержимому -r (--recursive) — рекурсивно -v (--verbose) — подробности Вот только ставить на клиентскую машину rsync ради одного сравнения, так себе идея. Да и если забыть ключик -n, можно убить данные. Решил сделать все костылями:

find  /old1c /1c -type f -printf "%f " -exec md5sum {} \; |
awk '{print $2,$1}'|sort |uniq -c|awk '$1%2'

-type f — только файлы -printf "%f " — печатаем basename -exec md5sum {} \; — для каждого файла вычисляем md5 |awk '{print $2,$1}' — сначала md5, потом файл (не принципиально, но красивее) |sort |uniq -c — на первой позиции - число уникальных записей. Без sort uniq не работает. |awk '$1%2' — печатаем только строки, с нечетным числом записей. Поскольку сравниваем два предположительно одинаковых каталога, то в идеале, файлы должны быть в четном количестве. Если у файлов c одинаковыми basename разная md5, то их число будет нечетным. В общем, как я и предполагал, нашлись файлы с разной контрольной суммой. Значит повреждение было на диске. Ну, и после переустановки 1с, проблема ушла. На самом деле проблема не такая редкая. Дело в дисках. Есть такая характеристика как Неисправимых ошибок чтения/прочитанных бит. Например, на wd blue 1E-14, на wd gold 1E-15, на SSD Micron 7450 MAX 1e-17. То есть серверный ssd в 1000 раз надежней, чем бюджетный hdd. Просто не всегда эти ошибки одинаково заметны. Кстати, rsync работает значительно быстрее. Если данных много — используйте его. Всем работы без багов. 🛠 #debug #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Инженеры перебрали... Linux-кейсов 🤩 23 апреля K2 Cloud и K2Тех проведут онлайн - митап — pебята будут разбирать реальные инженерные кейсы из практики про поломанный SSH, обновление ядер, поломку сети в ВМ и балансировщики с одинаковыми конфигами, но разными результатами. А ещё можно принести свой кейс на разбор и получить приз. Подробности и регистрация по ссылке.

Чтива вам нового написал 👉 https://two.su/3vqdm 🛠 #devops #dev #podman — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Observability: уровень, на котором уже нельзя просто мониторить Сценарий, который знаком многим: метрики есть, логи есть, трейсы есть, а ответ на вопрос почему все упало, все равно ищется руками и не быстро. Если это про вас — вы уже столкнулись с тем, где заканчивается просто мониторинг и начинается observability. В «404 секунды» — коротком ИТ-шоу для DevOps, SRE и всех, кто работает с продом — вышел выпуск как раз про это. Ровно 404 секунды сухо и по факту: - почему привычные подходы перестают работать в современных архитектурах - как перестать реагировать на симптомы и начать видеть причины - что делать с перегрузкой алертами, когда сигнал тонет в шуме В том числе разбирают, как такие задачи решаются на практике через платформы вроде Monium — когда метрики, логи и трейсы собираются в одном месте и помогают быстрее находить первопричину, а не просто фиксировать сбой. Подписаться и посмотреть можно на YouTube и VK, а послушать — в Яндекс Музыке.

Привет. А у тебя спина белая 🥳 Недавно упоминал в чатике про цикл статей которые я написал про Podman, лови следующую.

Рекомендую ознакомиться, столько интересного и неочевидного раскопал. Возможно это подтолкнет тебя к переезду с docker в podman.

Healthcheck инструментами Podman → https://two.su/3kcvf 🛠 #devops #dev — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

К чужому берегу лебеди да галки, а к нашему — хуи да палки. ㅤ С понедельничком ребят. Несу тебе очередную радость для ушей. На этот раз сборник музла из кейгенов/трейнеров/патчеров, который оформлен в виде удобного веб-плеера. Что прикольно, есть плагины для браузера, тыкаешь и оно играет. Для рабочего фона прям хорошо заходит, никакой долбёжки и выбивания их потока. Ссылка: https://two.su/8yp6o

А еще можно скачать нечто подобное с вебархива, там около 2х гигов, глядишь где-то сгодится.

🛠 #services #music — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Сисадмин, хочешь делать +30к в месяц? Партнерская программа Яндекс Браузера позволяет зарабатывать дополнительные деньги за то, что вы по факту и так делаете на работе. За каждого пользователя, которому вы установите приложения Яндекса, программа дает до 600 рублей — можно спокойно зарабатывать дополнительно 30к в месяц и даже больше. Никаких сложных схем: регистрируешься, используешь свою ссылку или QR-код при установке и получаешь вознаграждение. 👉Узнать подробные условия и начать зарабатывать

Цыганское лото: выиграл шляпу — проебал пальто. Кого бесит поисковик Duckduckgo, есть вполне достойная альтернатива, называется Startpage. ㅤ Преподносит себя как супер-пупер приватный из Нидерландов. Поисковик сам по себе делать нихуя не умеет, но получает результаты из гугла и бинга. И якобы скрывает твои поисковые запросы, данные, айпишники и т.п. Как это работает:

- Ты вводишь запрос - Startpage отправляет его в Google от своего имени - Убирает всё, что может тебя идентифицировать - Возвращает результат тебе

В итоге гугол «видит» не тебя, а startpage. А капчу за тебя решают бедолаги из стран третьего мира за миску супа и початок кукурузы. Насколько всё приватно? Ну на бумаге одно, по делу другое. Если на тебя ордер выпишут, то эта конторка выдаст все что есть на тебя с потрохами. С другой стороны так делают ВСЕ! Нахуй им заботиться о каком-то чёрте, если их бизнес в разы приоритетнее. Логично? Логично! Но как альтернатива Duckduckgo, работает вполне вменяемо. А если хочешь прям нормальную приватность и владеть самостоятельно всеми данными и запросами, то проще поднять свой подобный поисковик. А как это сделать, я уже писал тут. Такие дела, чё, изучай! 🛠 #services #security #privacy — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Готовые облачные сервисы позволяют ускорять разработку и тестирование новых приложений – факт. Однако не все данные можно выносить в публичное облако. Yandex B2B Tech выкатила новую инфраструктурную платформу, которая позволяет "перенести" облачные сервисы в закрытый корпоративный контур. Ее можно развернуть за часы и сразу получить уже преднастроенную инфраструктуру, которая объединяет все компоненты, необходимые для разработки и управления контейнерными и ИИ-приложениями. Уже интегрированы: базы данных, S3-хранилище, контейнерный оркестратор, IAM для контроля доступов, а также средства управления GPU и мониторинга. Без классического этапа «соберем все сами и будем поддерживать». Это возможность взять уже готовую инфраструктуру и уже на ней разрабатывать новые приложения. Решение разгружает команды разработчиков и позволяет быстрее релизить новые сервисы. Запросить демо платформы, а также записаться на индивидуальную консультацию с архитекторами платформы можно по ссылке.

Здрасти, кого не видел. Потыкал я короче хвалёный Warp Terminal в рамках автоматизации с гитом, кодом и инфраструктурой. Сюда не влезло, да и скудно тут с форматированием. Поэтому камон сюда читать → https://two.su/zvubi 🛠 #devops #dev — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Что происходит внутри инфраструктурных сервисов Yandex Cloud? Разработчики Yandex Cloud и Yandex Infrastructure расскажут об этом на встрече для разработчиков, архитекторов и инженеров 16 апреля. В программе вас ждут реальные технические варианты реализации и опыт нетривиальных решений разработчиков платформы: — Инфраструктура как код для управления оповещениями: и никаких проблем — Развёртывание в ритме танго: как мы заменили оркестрацию процесса установки «хореографией» — Как мы оптимизируем вывод больших языковых моделей: кэширование, время отклика и ресурсы графических ускорителей — Как мы строили собственную сеть доставки контента и через что нам пришлось пройти? — Как мы работаем с уязвимостями на примере современных аппаратных атак Участники смогут обсудить волнующие вопросы, варианты реализации и ошибки с разработчиками сервисов Yandex Cloud и другими участниками. Встреча пройдет офлайн в Москве и онлайн. Помимо экспертных докладов, офлайн участников ждут секретная техническая сессия и развлекательная программа, а онлайн-участников ждёт инженерное соревнование в прямом эфире Регистрируйтесь, чтобы послушать реальные истории от разработчиков, обменяться опытом и узнать, что скрыто под «капотом» инфраструктурных сервисов, а также какие планы у команды на будущее. 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog