Bash Days | Linux | DevOps

Решайте DevOps-, SRE- и FinOps-задачи с помощью облачного ИИ-помощника 💬 Большое обновление от Cloud.ru. Что нового: 1️⃣ Сразу несколько ВМ в разных конфигурациях

Теперь ИИ-помощник в облаке может создавать несколько виртуальных машин, а после управлять ими по команде. Например, добавлять или удалять диски, менять конфигурации и выполнять другие повседневные операции.

2️⃣ Три новых сценария

▶️

DevOps-агент

— может разворачивать и обслуживать PostgreSQL, Kafka, WordPress, GitLab и другие популярные сервисы по текстовому промпту.

▶️

SRE-агент

— настраивает мониторинг, алертинг и помогает разбирать инциденты.

▶️

FinOps-агент

— находит забытые или неиспользуемые ВМ и предлагает их удалить, чтобы исключить бессмысленные траты. А еще может показать топ дорогих ресурсов, позволяя сравнивать траты за разные периоды.

👉 Попробовать

Такс, S3 кластер на Garage в предыдущем посте мы с тобой сообразили, самое время накрутить обвесов и сделать всё по взрослому. Как ты любишь — без хуйни. ㅤ

Нежных сразу — нахуй, остальным велком.

Для начала установим балансировщик. То есть входная точка у кластер всегда будет одна, а дальше балансировщик будет раскидывать запросы по 3м нашим серверам в кластере. Если одна из нод пойдет по пизде, балансировщик это прозрачно разрулит и отдаст тебе файл в любом случае, даже без правки конфигов. Проверяем наш кластер:

docker exec -it garage-garage-1 /garage status

Работает. Дальше берем еще один сервер, который будет выступать балансировщиком. Для теста я создам в Selectel нищую виртуалочку и впихарю на нее haproxy. Устанавливаем haproxy:

apt install haproxy

Домен для кластера я буду использовать s3.linuxfactory.ru, соответственно во всяких rclone нужно будет прописать его в параметре endpoint. Правим конфиг /etc/haproxy/haproxy.cfg:

global
    log /dev/log local0
    maxconn 4096

defaults
    mode tcp
    timeout connect 5s
    timeout client  1m
    timeout server  1m
    option http-server-close  
  timeout http-request 10s  
  timeout queue 1m

frontend garage_front
    bind *:443 ssl crt /etc/ssl/garage.pem
    option http-buffer-request
    default_backend garage_back

backend garage_back
    balance roundrobin

    server node1 95.123.123.116:3900 check
    server node2 152.44.71.205:3900 check
    server node3 145.83.116.20:3900 check

Проверяем валидность конфиги:

haproxy -c -f /etc/haproxy/haproxy.cfg

Приучи себя всегда это делать, будь то nginx либо что-то другое. Однажды это спасет твою жопу от пенетрации.

Ага, хуй там плавал. Давай создадим SSL сертификат. Я конечно предпочитаю angie, чтобы он сам это сделал, но у нас haproxy, поэтому придется немного пострадать... Читать продолжение: https://two.su/aaahd 🛠 #devops #linux — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Митап для тех, кто управляет инфраструктурой Selectel собирает сисадминов и тех, кто управляет инфраструктурой на традиционный митап с живыми дискуссиями, интерактивом и нетворкингом. 📅 6 мая, 19:00 📍Санкт-Петербург + онлайн Поговорим про ИИ в управлении инфраструктурой , новые ИИ-инструменты и поделимся своими историями из жизни на открытом микрофоне. Смотрите программу и регистрируйтесь: https://slc.tl/3y9ke Реклама. ООО "Селектел-Лаб". erid:2W5zFHFBzob

Свой S3 или пошаговая настройка Garage Здрасти, здрасти. Теперь по выходным у меня полнейший «цифровой детокс», а причина этому — дача. Круче всякого спортзала прокачивает, а заодно прочищает голову. Физический труд всегда в почёте. ㅤ Ладно, это детали… сегодня будем поднимать собственный S3 и да, без хуйни вроде minio и ceph. А на помощь к нам приходит «Гараж», в котором мы и будем хранить наши «Вёдра». Garage ориентирован на маленький и средние кластера, домашние сервера и распределенные ноды. И да, он полностью в opensource и не просит денег. Для self-host пиздатейшее решений, да и морда есть из коробки. Я возьму 3 своих рандомных сервера и сделаю из них кластер. Сервера не пустые, на них что-то крутится и вертится, просто рядышком впендюрю еще одну хуёвинку. Почему именно 3 сервера? Кластерная классика, если один из серверов пойдёт по пизде, то 2 других соберут кворум и отдадут тебе твои данные. То есть тебе не нужно иметь заранее подготовленные машины, можно взять какойнить хлам и из него запилить кластер под бекапы. И всё это дело будет работать нативно через API S3.

Да, когда ты будешь заливать файлы в своё облако, данные будут реплицироваться на все 3 сервера. Поэтому сервера рекомендую держать в разных регионах или вообще у разных провайдеров. Например, если сгорит один дата центр, то ты не проебешь свои данные. Удобно и надёжно. Ну и смотри в сторону дискового места, если на одном сервере выделил 50 гигов под бакет, то на остальных серверах выдели столько же, чтобы не возникало коллизий.

Прицепом воткнем балансировщик нагрузки, чтобы по домену всё работало. И да, запускать будем в докере. Поехали настроим это безобразие. Демон докера надеюсь у тебя уже установлен, поэтому заострять внимание на этом не будем. Заходим на первый сервер и мутим мутки: Файл compose.yaml:

services:
  garage:
    image: dxflrs/garage:v2.3.0
    ports:
      - "3900:3900"  # S3 API
      - "3901:3901"  # RPC
      - "3902:3902"  # Web (optional)
      - "3903:3903"  # Admin API
    volumes:
      - ./garage.toml:/etc/garage.toml:ro
      - ./meta:/var/lib/garage/meta
      - ./data:/var/lib/garage/data

Думаю, вопросов не должно возникнуть. Банальный композник, порты я тебе все подписал. Версию гаража можешь глянуть в интернете, на момент написания статьи последняя v2.3.0. Да буква «v» тут важна и latest тут не канает. Читать продолжение: https://two.su/3qjfl 🛠 #devops #linux — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Как обеспечить стабильность баз данных при росте проекта и нагрузок ✨

База данных — это сердце приложения, но самостоятельное администрирование быстро превращает заботу о нем в рутину: постоянные обновления, бэкапы, мониторинг и работа с нагрузкой. С ростом проекта стандартных настроек уже не хватает, а риск просадок и простоев из-за ошибок в конфигурации становится выше.

На вебинаре 28 апреля эксперт Cloud.ru разберет, как передать обслуживание PostgreSQL управляемому сервису в облаке и настроить архитектуру Master/Replica для стабильной работы при высоких нагрузках. В программе:

▶️

сравнение managed- и self-hosted PostgreSQL;

▶️

ключевые метрики базы данных: на что обращать внимание в мониторинге, чтобы не доводить до инцидента;

▶️

настройка автоматического резервного копирования и политики восстановления данных;

▶️

реализация схемы разделения трафика на чтение и запись.

На демо покажут, как добавить в сервис поддержку нескольких реплик и разгрузить базу на чтении, и проведут нагрузочное тестирование, чтобы сравнить показатели до и после оптимизации. Зарегистрироваться

👉 Поднимите приватный инференс на выделенном железе В Selectel сделали поддержку видеокарт в управляемых кластерах Kubernetes на выделенных серверах. Теперь модели можно запускать на отдельном железе: стабильная производительность, изоляция данных и конфигурации под разные задачи. По стоимости — до 40% дешевле, чем использовать ускорители в облачных серверах. Попробуйте сами, на тест дают до 30 000 бонусных рублей: https://slc.tl/3vvcj Реклама. АО "Селектел". erid:2W5zFGHqZxm

💥 Настройка кластера Elasticsearch с нуля 27 апреля в 20:00 мск — бесплатный урок курса «Инфраструктура высоконагруженных систем» Хотите построить по-настоящему масштабируемый и отказоустойчивый поисковый кластер? На вебинаре разберём, как правильно организовать Elasticsearch, чтобы он стабильно работал под высокой нагрузкой и легко масштабировался. 📌 Что будет: — Архитектура Elasticsearch: шарды, реплики и их роль в распределении данных — Правильная конфигурация кластера для устойчивой и надёжной работы — Пошаговое добавление новой ноды и масштабирование без простоев — Основные ошибки при настройке кластера и как их избежать — Балансировка нагрузки и обеспечение отказоустойчивости хранения данных 👉 Регистрация открыта https://vk.cc/cWVydF Вебинар приурочен к старту курса «Инфраструктура высоконагруженных систем». Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Всем привет. Что мы все о bash да и bash. Надоело. Сегодня поговорим про awk. 🔤🔤🔤🔤🔤🔤🔤 Не много осталось админов, которые парсят текстовые логи. Вся молодежь и даже пОдростки перешли на JSON. Ну да, это удобно. Но иногда awk быстрее. Особенно на больших файлах и файлах и простых фильтрах. ㅤ Но я сегодня не в настроении устраивать холивар. При использовании логов очень часто возникает проблема — очень большое количество полей. А awk зачастую использует именно номер поля. Так вот, чтобы немного упростить задачу я написал маленький скрипт, который разбирает строку и нумерует поля. Это здорово экономит время. Сам скрипт:

#!/bin/awk -f
BEGIN{printf "INPUT field separator "
  getline
  FS=$0
  printf "INPUT test line\n"
  getline
  printf "\n\n"
  for (i=1;i<=NF;i++)print i, $i
}

Как обычно сохраняем fields.awk и делаем исполняемым:

chmod +x fields.awk
./fields.awk

Как это работает: 1. Сначала вводим разделитель. 2. Затем строчку лога и получаем разбивку по полям. Ввод разделителя нужен, потому что иногда уже внутри кода приходится использовать оператор split и другой разделитель. Да и логи бывают разных форматов. Рассмотрим такой пример:

<134>1 2026-04-17T16:51:47+03:00 OPNsense.internal filterlog 18074 - [meta sequenceId="2054702"] 111,,,4b75111111111111111111111111cb1d,eno1,match,block,in,4,0x0,,64,27367,0,DF,6,tcp,60,192.168.2.125,192.168.7.14,60248,22,0,S,1539242113,,65535,,mss;sackOK;TS;nop;wscale

В этом случае, если нужно одновременно вытащить и дату и IP с портами, проще в качестве основного разделителя использовать ",", а потом первое поле:

<134>1 2026-04-17T16:51:47+03:00 OPNsense.internal filterlog 18074 - [meta sequenceId="2054702"] 111

Здесь, если мы разбить по пробелам (split($1,f," ")), то f[2] будет содержать дату. Которую в свою очередь можно путем нехитрых манипуляций превратить в unuxtime, для удобства машинной обработки. Всем кода без багов. 🛠 #bash #linux — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

👉 Поднимите приватный инференс на выделенном железе В Selectel сделали поддержку видеокарт в управляемых кластерах Kubernetes на выделенных серверах. Теперь модели можно запускать на отдельном железе: стабильная производительность, изоляция данных и конфигурации под разные задачи. По стоимости — до 40% дешевле, чем использовать ускорители в облачных серверах. Попробуйте сами, на тест дают до 30 000 бонусных рублей: https://slc.tl/3vvcj Реклама. АО "Селектел". erid:2W5zFGHqZxm

Кажется, сейчас уже у всех есть свой зоопарк из облаков, on-prem и гибридных решений. Интересно, как это реально устроено у разных команд. Apple Hills Digital как раз проводит исследование по облачным решениям: смотрят, какие платформы используют, под какие задачи и как в итоге оценивают сервисы и поддержку. Можно пройти короткий скрининг (~3 минуты). Если подходите — откроется основная анкета (до 10 минут). Среди участников — розыгрыш iPhone* * Принимая участие в опросе Вы становитесь участником розыгрыша под наименованием «Если ты работаешь в IT, пройди опрос и выиграй iPhone 17 Pro». Информация об организаторе розыгрыша, сроках проведения, правилах проведения розыгрыша, количестве призов, сроках, месте, порядке получения призов размещена по ссылке

Твой сайт — решето! Или как не обосраться Недавно я показывал тебе как настроить свой собственный поисковый движок на SearXNG, ну так вот, нашел на просторах агрегатора, который собирает такие публичные поисковики в табличку. И по сути можно на чужих серверах устроить себе полноценный поиск по интернету. ㅤ Ссылка: https://searx.space/ Зачем? Ну к примеру нужно тебе что-то быстро анонимно поискать, а своё детище поднимать в хуй не упёрлось. Открываешь такой публичный поисковик и ебешь его в хвост и в гриву. Но естественно не забываем предварительно включить КВН или соксы. Для браузеров есть пиздатые плагины: Zero Omega и FoxyProxy.

Я пользуюсь первым, как-то более интуитивно понятно правила настраиваются, в отличие от второго. Но тут больше вкусовщина, возможно ты оверхед монстр и спокойно стихи на регулярках перед сном читаешь своему ребенку.

СТОП! Яж про другое… Пойдем дальше, на этом сайте я увидел рейтинги настройки серверов и вспомнил, когда я 100 лет назад поднимал инстанс с собственным mastodon сервером, я упарывался в безопасность и прям активно соблюдал эти рейтинги. Потом это всё забылось и сегодня решил проверить свой основной блог и мягко говоря прихуел. Мой социальный рейтинг по SSL был на уровне «D» — да вы батенька не девопс-инженер, вы пидор ебаный! Дела, дела! Надо это исправлять. Чё значит этот рейтинг? Сервис Mozilla Observatory смотрит не на код приложения, а на то, насколько правильно настроен твой сервер и заголовки безопасности.

A / A+ = всё настроено пиздато B / C = терпимо, но ты все равно долбаёб D / F = хуйня, переделать, серьёзные дыры, почти нет защиты

Кстати опять же пентестеры активно применяют это в своей работе, чтобы быстренько проверить безопасность конфигурации и по возможности найти лазейку к твоему шоколадному бекенду с последующим проникновением без вазелина. Если кратко — это линтер безопасности, а рейтинг всего лишь сводная оценка качества настроек и твоих компетенций. Основные категории проверки: 1. HTTP-заголовки безопасности 2. HTTPS и TLS 3. Cookies 4. Защита от известных атак Хули, давай это исправим, мне пришлось добавить такое в свою конфигурацию, чтобы добить рейтинг в более-менее вменяемую зону и получить заветную букву «B». Чтобы получить «A» мне придется немного перекроить работу с javascript, но пока мне лень. Собственно конфиг:

add_header Content-Security-Policy "default-src 'self'; script-src 'self' 'unsafe-inline' https:; style-src 'self' 'unsafe-inline'; img-src 'self' data: https:; frame-src 'self' https://video.bashdays.ru https://t.me; connect-src 'self' https://api.rss2json.com https://bashdayz.ru;" always;

add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload" always;

add_header X-Frame-Options "SAMEORIGIN" always;

add_header X-Content-Type-Options "nosniff" always;

add_header Referrer-Policy "strict-origin-when-cross-origin" always;

⚪ Это защита от XSS атак и внедрения чужого контента. Я прописал доверенные сайты с которыми работаю. Но узкой дыркой осталось «unsafe-inline», с помощью него я разрешил inline JS, чтобы мои статусы из mastodon корректно передавались. Вот эту штуку и нужно будет допилить, чтобы получить по ебалу рейтинг «A+». ⚪ Всегда используй протокол https, включая поддомены. ⚪ Предоставляет защиту от clickjacking, разрешает вставку сайта в iframe только с того же домена, но у меня уже это прописано в первом заголовке. Похуй, оставляем. Кстати он уже устаревший, но все еще используется. ⚪ Запрещает браузеру угадывать тип файла, например сервер отдал JS как text/plain, браузер мог бы «догадаться» и выполнить. Теперь хуй, ничего не выполнит. ⚪ Контролирует, что отправляется в Referer, хороший баланс приватности и аналитики. Если подытожить, получаем — грузи ресурсы только отсюда, не доверяй подозрительной хуйне, всегда используй https и не давай сайту быть встроенным куда попало. На этом собственно и всё, можешь пойти и проверить свои компетенции в настройке. Поделись в комментах своим социальным рейтингом, хоть позавидуем. 🛠 #security #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

А какие способы хитрой подмены файлов помимо mount --bind ты знаешь? ㅤ

echo first >first.txt
echo second >second.txt
ln -s first.txt second.txt

# Выведет: ln: cannot create symbolic link from 'first.txt' to 'second.txt': File exists

mount --bind first.txt second.txt
# А так работает.

cat second.txt
#Выведет first.

Наверное можно еще через cgroups замутить, или через eBPF понаделать хуки на системный вызов open, openat, туда же mount overlay... 🛠 #shitcode #bash — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

😁😆😁 Не забыть поздравить подписчиков и коллег с Пасхой

15 апреля на вебинаре поговорим о том, как с нуля построить разработку в облаке ⚫️Обсудим, зачем переносить разработку в облако, какие есть подводные камни ⚫️Подготовим базовую инфраструктуру и развернëм ключевые сервисы разработки ⚫️Соберём, протестируем и развернëм приложение в целевое окружение, оптимизируем раннеры для ускорения сборок ⚫️Настроим безопасность: доступы, секреты, шифрование ⚫️Подготовимся к продакшену и масштабированию ⚫️Ответим на ваши вопросы Присоединяйтесь! Узнайте, как с нуля построить и запустить инфраструктуру разработки в облаке MWS Cloud Platform. 📆 15 апреля в 14:00 (мск) Зарегистрироваться

Как превратить DNS-сервер в пушку для DDoS-атаки

Разбираем механику DNS Amplification атак и выясняем, почему использование ANY-запросов превращает твой сервер в инструмент для DDoS. Узнай, как работают векторы усиления трафика и как правильно настроить защиту на BIND и Unbound.

В DNS есть такая прикольная штука, как ANY запрос, его суть — выдать тебе сразу все DNS записи по нужному домену. ㅤ Запрос вида:

dig chklst.ru ANY

Я встречал много Bash скриптов, которые на этом запросе завязаны, да чё греха таить, вчера буквально обратился товарищ (малваря-аналитик) с запросом — всё пропало, не работает, ааааа!!!

dig chklst.ru ANY

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
; EDE: 21 (Not Supported): (Type ANY Queries not supported here, RFC8482)
;; QUESTION SECTION:

Хотя раньше всё работало из коробки и Bash скрипты вели себя предсказуемо. Но опять же, в зависимости от DNS сервера, результаты могли разница. Тебе могли отдать данные, которые в предыдущем запросе были совсем другими. Логично. Провайдеры рано или поздно приходят к этому, начинают блокировать подобные запросы. Всё это связано с дидос атаками. Погоды эти ANY запросы не делают, но создают большую проблему и головную боль. Основная проблема — DDoS amplification. Самый адекватный способ борьбы с этим — отключить всё нахуй и поломать возможный вектор атаки. Короче непредсказуемость ANY запроса это плохая практика. Запрос ANY никогда не был стандартизирован, как «получить всё». Читать продолжение: https://two.su/dzg0a 🛠 #security #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Диагностика проблем через контрольные суммы 🔤🔤🔤🔤🔤🔤🔤 Всем привет. ㅤ У меня на этой неделе случилась беда. На одной машине пользователя стала глючить 1с. Уже и кэши очищали, и машину перезагружали - глючит и все. Пало подозрение на повреждение самой 1с. Можно было бы просто переставить, и забыть. Но мне хотелось именно убедиться, что проблема на диске. Нужно просто рекурсивно сравнить два каталога по содержимому файлов. Каталог со старой установкой переименовал, поставил заново и начал сравнивать. Проще всего это сделать с помощью rsync:

rsync -ncrv /old1c /1c

-n (--dry-run) — только тестирование -c (--checksum) — по содержимому -r (--recursive) — рекурсивно -v (--verbose) — подробности Вот только ставить на клиентскую машину rsync ради одного сравнения, так себе идея. Да и если забыть ключик -n, можно убить данные. Решил сделать все костылями:

find  /old1c /1c -type f -printf "%f " -exec md5sum {} \; |
awk '{print $2,$1}'|sort |uniq -c|awk '$1%2'

-type f — только файлы -printf "%f " — печатаем basename -exec md5sum {} \; — для каждого файла вычисляем md5 |awk '{print $2,$1}' — сначала md5, потом файл (не принципиально, но красивее) |sort |uniq -c — на первой позиции - число уникальных записей. Без sort uniq не работает. |awk '$1%2' — печатаем только строки, с нечетным числом записей. Поскольку сравниваем два предположительно одинаковых каталога, то в идеале, файлы должны быть в четном количестве. Если у файлов c одинаковыми basename разная md5, то их число будет нечетным. В общем, как я и предполагал, нашлись файлы с разной контрольной суммой. Значит повреждение было на диске. Ну, и после переустановки 1с, проблема ушла. На самом деле проблема не такая редкая. Дело в дисках. Есть такая характеристика как Неисправимых ошибок чтения/прочитанных бит. Например, на wd blue 1E-14, на wd gold 1E-15, на SSD Micron 7450 MAX 1e-17. То есть серверный ssd в 1000 раз надежней, чем бюджетный hdd. Просто не всегда эти ошибки одинаково заметны. Кстати, rsync работает значительно быстрее. Если данных много — используйте его. Всем работы без багов. 🛠 #debug #devops — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Инженеры перебрали... Linux-кейсов 🤩 23 апреля K2 Cloud и K2Тех проведут онлайн - митап — pебята будут разбирать реальные инженерные кейсы из практики про поломанный SSH, обновление ядер, поломку сети в ВМ и балансировщики с одинаковыми конфигами, но разными результатами. А ещё можно принести свой кейс на разбор и получить приз. Подробности и регистрация по ссылке.

Чтива вам нового написал 👉 https://two.su/3vqdm 🛠 #devops #dev #podman — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog

Observability: уровень, на котором уже нельзя просто мониторить Сценарий, который знаком многим: метрики есть, логи есть, трейсы есть, а ответ на вопрос почему все упало, все равно ищется руками и не быстро. Если это про вас — вы уже столкнулись с тем, где заканчивается просто мониторинг и начинается observability. В «404 секунды» — коротком ИТ-шоу для DevOps, SRE и всех, кто работает с продом — вышел выпуск как раз про это. Ровно 404 секунды сухо и по факту: - почему привычные подходы перестают работать в современных архитектурах - как перестать реагировать на симптомы и начать видеть причины - что делать с перегрузкой алертами, когда сигнал тонет в шуме В том числе разбирают, как такие задачи решаются на практике через платформы вроде Monium — когда метрики, логи и трейсы собираются в одном месте и помогают быстрее находить первопричину, а не просто фиксировать сбой. Подписаться и посмотреть можно на YouTube и VK, а послушать — в Яндекс Музыке.

Привет. А у тебя спина белая 🥳 Недавно упоминал в чатике про цикл статей которые я написал про Podman, лови следующую.

Рекомендую ознакомиться, столько интересного и неочевидного раскопал. Возможно это подтолкнет тебя к переезду с docker в podman.

Healthcheck инструментами Podman → https://two.su/3kcvf 🛠 #devops #dev — 💬 Bashdays 📲 MAX 🌐 LF 🔵 Blog