Bash Days | Linux | DevOps

Как правильно хранить тяжелые файлы гит репах? Например, бинарники или что-то подобное. ㅤ Ответ очевидный и правильный — никак! В гитлабах/гитхаба/битбакетах установлены лимиты на размер отдельных файлов. Там что-то вроде 50 метров на файл дается. В принципе можно уложиться. Но нахуй надо. Прикинь у тебя пайплайн вытягивает репу размером с 10 гигабайт. И так каждую сборку. Гит репа должна быть тощей и дрищёвой. А всё тяжелое будь бобр-добр храни в s3 либо на других решениях. НО если очень хочется прям в гите держать. Для этого существует GIT LFS. Дословно — Large File Storage (дохуя большое файловой хранилище). У LFS уже свои лимиты в отличие от нативного git репозитория. И это LFS включен из коробки в гитлабах/гитхаба/битбакетах. Там уже размер файла может быть 1 гигабайт или что-то вроде того. В gitea тоже можно LFS через конфиг включить:

[server]  
LFS_START_SERVER = true  
LFS_ALLOW_PURE_SSH = true
  
[lfs]   
PATH = /home/gitea/data/lfs

Как этим пользоваться? Ставим к себе на машину:

apt-get install git-lfs
brew install git-lfs

Переходим в свой гит репозиторий и инициализируем:

cd /home/user/linuxfactory/infra
git lfs install

В папке /infra/roles/node_exporter/files у меня лежит бинарник node_exporter который весит 100 мегабайт На самом деле я хуй знает сколько он весит, это для примера. Помечаем его:

cd /infra/roles/node_exporter/files
git lfs track "node_exporter"

После этого в папке files появится файл .gitattributes. Это правила для этого файла, которые указывают чтобы node_exporter улетал в LFS. Внутри этот файл выглядит так:

node_exporter filter=lfs diff=lfs merge=lfs -text

И по итогу бинарник в репе станет ссылкой на настоящий бинарник в LFS. А еще можно вайлдкардами трекать:

git lfs track "*.jpg"

Ну а дальше, как обычно:

git add .
git commit -m "add lfs for node_exporter"
git push

Всё! Теперь твой большой файл аккуратно лежит в LFS, а в самом гит репозитории осталась лишь ссылка которая на этот файл ссылается. Мне тут пришлось партнерских постов на эту неделю понабрать, реинвестируем в развитие @gitgate, так что рекомендую включить баннерную слепоту и сильно не триггериться. Спасибо за понимание! Чтиво: про LFS можешь глянуть еще тут и тут. tags: #git #devops — 🔔 @bashdays➡️ @gitgate

❗️ Внимание! Открытый урок «Клиентская оптимизация веб-приложения» 23 января, 19:00 мск. 😱 Тесты скорости кричат: «слишком медленно»? Клиенты не хотят ждать? Узнайте, как ускорить приложение с минимальными усилиями, но максимальным результатом. На вебинаре: - разберём методы клиентской и серверной оптимизации; - проанализируем скорость и научимся её тестировать; - обсудим решения, которые внедряются за пару часов. ⭐️Спикер Николай Лавлинский — опытный разработчик, руководитель и преподаватель, кандидат экономических наук. 🚀 Участники урока получат скидку на большое обучение «Инфраструктура высоконагруженных систем». 👉 Регистрация для участия: https://vk.cc/cHrf5b Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Пишу очередной урок для LF и понадобилось мне нагенерить мусорного трафика в прометеус. Чтобы ребятам показать визуально как это будет выглядеть в графане. Тестировщикам (QA) кстати тоже эта хуйня отлично зайдет, хайлоад там устроить. ㅤ Для таких дел я обычно использую 2 утилиты.

1. Bombardier 2. Stress

Первая (Bombardier) отлично подходит для генерации паразитного http трафика.

bombardier -c 125 -n 10000000 http://localhost:8080

Вторая (Stress) можно нагрузить ядра процессора и позырить чо будет. Ну или над жестким диском надругаться или памятью.

stress --cpu 4
stress --hdd 100
stress --cpu 4 --vm 2 --io 1 --timeout 20

Ну а чтобы протестировать no space left on device просто генерим большой файлик удобным тебе способом. Установка элементарная:

apt install bombardier stress

Эти утилиты отлично подходят для тестирования разнообразных алертилок, к примеру alertmanager. Нагнал синтетических данных, получил соплю в графане, алертилка тригернулась и накричала в чатик. Отладил, задеплоил. Красота и удобно! Для этих дел есть еще всякие wrk, ab, hey и т.п. но с ними как-то у меня не сложилось. Такие дела, бери на вооружение, мож сгодится в хозяйстве. tags: #utilites #highload #qa — 🔔 @bashdays➡️ @gitgate

Мечтаете в будущем работать в IT и стать экспертом по веб-разработке? Если вам от 13 до 20 лет, вы уже знакомы с Go и уверенно работаете с Git — самое время подняться на новый уровень! 🚀 До 29 января вы можете присоединиться к бесплатной онлайн-программе по веб-разработке на Go. Занятия ведут эксперты Яндекс Лицея, которые каждый день разрабатывают сложные IT-решения. Они научат вас: 🔹 создавать микросервисы, 🔹 настраивать CI/CD, 🔹 разрабатывать и развертывать инфраструктуру. Специализация по Go длится всего 3 месяца, проходит онлайн и помогает освоить ключевые навыки разработки на практике. Набор открыт также на онлайн-программы по веб-разработке на Django, анализу данных, машинному обучению и большим данным. Подайте заявку прямо сейчас! 🚀

Тут как-то ребята интересовались как написать свою оболочку, что-то вроде своего Баш-беляш. Ну дак вот. ㅤ Нашел для тебя минималистичные исходники на «сиськах». Проект называется «psh» и он сейчас реально пока очень маленький. А это значит, тебе не составит труда просмотреть 10 сорцов и на их основе создать что-то своё. Ну конечно если ты немного шаришь за «сиськи». Хотя там и так всё на поверхности.

Если ты студент, можешь хорошо выебнуться своей длинной писькой перед преподами. И может тебя по телеку покажут, как когда-то создателя «BolgenOS» или антивируса Бабушкина.

➡️ Исходники тут / Демка тут ps: А есть еще такой проект: mysh tags: #utilites — 🔔 @bashdays➡️ @gitgate

По технической части я хуй знает чо те написать, поэтому закину свои меморисы (2021) на сон грядущий, прям из стола. Мало кто их видел. Как научиться договариваться. Часть 1. ㅤ Похуй насчет чего, с клиентом, руководителем, коллегами, тетей Зиной, котом, чайником. Погнали. Ты ебать интроверт, проще в одну харю чето сделаешь, чем привлечешь внешнюю помощь. Тебя нахуй пугают телефонные переговоры, ты рад, что пандемия и можно носить маску на пол еблища и никто не замечает твоего страха. К директору за повышением ты не ходишь, ссышь, сидишь и ждешь годами пока там сами решат тебе кинуть кусок. В магазине ты быстро покупаешь продукты и моментально съебываешься в свою нору. Если возникает какая-то коммунальная авария в твоей халупе, для тебя это конец света, так как очень некомфортно вызывать мастеров. Тебя можно описать тремя словами — Неуверенность. Смущение. Отчаяние. Короче я сам в такую пиздень как-то попал, ноги росли от перехода на удаленку. Да я и до удаленки себя некомфортно чувствовал, а уж в изоляции весь этот пиздец в тысячу раз усилился. В общем если все выше написанное про тебя, то я тебя обрадую — ни одна книга в мире тебе не поможет. Как поступает большинство людей, когда пытаются разобраться с проблемой? Правильно, начинают читать книжки и гуглить. Нахватавшись из книжек всяких советов по софт-скиллам и психологии, ты ебать такой идешь на переговоры, вроде и знаний до ебени матери уже получил, но чото нихуя не работает, ты снова засунул язык в жопу и мычишь. Тебя по-прежнему трясет, ничего не изменилось. Ты прочитал кучу говна, которая тебе никак не помогла. Встань щас и выкинь нахуй все эти книги, нехуй на них тратить время и деньги. Они не помогут тебе победить страх. А знаешь чо помогает? А вот чего — ходи регулярно на всякие встречи, выступай, комментируй, как-то проявляй себя, высказывай свое мнение, спорь. Чем больше у тебя будет таких встреч, тем быстрее у тебя пройдет страх. Твоя башка просто привыкнет к ситуации общения и ты уже не будешь так сильно бояться и ссаться в штанину. Сначала будет очень страшно, потом станет похуй. Понятно, что такие встречи отнимают много времени, но это единственный способ вернутся к нормальной жизни и стать здоровым человеком. Кстати есть еще один вариант. Можешь напиздярится в тряпки алкашкой. Но вариант такой себе. Страх пройдет, но могут быть побочки. Советовать этот вариант не буду. Тут сам решай. Все книги по переговорам и психологии общения, дадут тебе базовые знания и стратегические скиллы. К примеру как правильно что-то попросить, как задать вопрос, как ебнуть смешной анекдот. Грузить наукой не буду, все что ты читаешь в книгах остается у тебя в специальном разделе мозга (неокортекс). А вот боязнь попиздеть с людьми находится в зоне эмпатии. Эта зона появилась хуй знает когда давно, в ней заложены базовые знания, как ходить, срать, жрать. Вот и переговоры входят в эту зону. Поэтому чтобы научится разговаривать с людьми и не убегать со страху, нужно тренироваться. Тыж не сразу ходить научился, тренировался и научился, тут такой же принцип. Прочитав книгу «Как научится играть на гитаре», ты нихуя не научишься играть на гитаре, тебе нужна гитара и практика. Без тренировки, не разовьется мышечный навык.

Не знаю, писал ли я вторую часть, но если найду, закину!

tags: #рабочиебудни #memories — 🔔 @bashdays➡️ @gitgate

💪 Кластеры для профи: прокачай навыки и стань экспертом инфраструктуры! Думаешь, что репликация и кластеризация — одно и то же? На открытом уроке «Percona XtraDB Cluster (PXC): знакомство и настройка» 14 января в 19:00 мск разложим всё по полочкам, запустим кластер и покажем, как он работает на реальных примерах. 📝 Что будет на вебинаре: - разберём архитектурные различия PXC и репликации; - запустим и настроим полноценный рабочий кластер. Урок для системных администраторов и DBA, которые хотят освоить продвинутые инструменты и работать с высоконагруженными системами. ⭐️ Спикер Николай Лавлинский — опытный разработчик, руководитель и преподаватель, кандидат экономических наук. 🚀 Вебинар проходит в преддверии старта курса «Инфраструктура высоконагруженных систем». Участникам — скидка на обучение! 👉 Регистрация для участия: https://vk.cc/cH4zlG Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Вчера в посте пролетала строчка:

local0.* @log.bashdays.com:514

И тут как раз частый вопрос - чо за символ «собаки» перед названием сервера? Магии тут нет, символ «@» означает протокол передачи UDP. Надеюсь ты знаешь, что UDP не гарантирует доставку. Если сеть перегружена или приходят «сетевые ножницы», пакет может — проебаться. ㅤ Чтобы этого избежать, логичнее использовать TCP, в rsyslog это делается через двойную собаку.

local0.* @@log.bashdays.com:514

По итогу получаешь: - Подтверждение доставки (сервер подтверждает приём данных). - Повторную отправку пакетов, если они теряются. - Сохранение порядка доставки пакетов. Короче тут сам выбираешь что тебе важнее, либо скорость, либо надежность. Запоминаем: Раз «собака» = UDP Два «собака» = TCP Что чаще применяют? UDP, но если логи прям критичные то TCP, нет серебряной пули, всё зависит от конкретной ситуации. Но тут речь не про это, а про «собак». Такие дела. tags: #linux #monitoring — 🔔 @bashdays➡️ @gitgate

🐧 Что общего между Linux и Санта Клаусом? Они оба работают за кадром.Ты не видишь, как Санта доставляет подарки или Linux поддерживает сервера, но без них магия исчезает. Санта Клаусом стать не получится, но магию Linux вы точно освоите на бесплатном практикуме Linux от Rebrain. Неважно, кто вы, опытный инженер или новичок: вас ждут задания разной сложности, которые помогут понять свой уровень и определить дальнейший путь в освоении Linux. 🔹 Что входит в программу: подключение к виртуальной машине по SSH и работа с ней: создание файлов, запись данных установка веб-серверов nginx и Apache работа с конфигурацией установленного ПО, проверка статуса программ ↘️ Начните практикум бесплатно: https://clck.ru/3FTPoo Реклама. ООО "РЕБРЕИН". ИНН 7727409582 erid: 2Vtzqxh3hAD

Последний вагон. Напоминалка короче, для тех кто упустил момент или только что вышел из НГ комы. 1. Акция на LF заканчивается 12.01 (5000р 2500р), вписаться здесь. Если бот не отвечает — напиши ему /start 2. Бесплатный курс по Bash от Tagd стартует 11.01, вписать здесь. 3. Завтра снова пятница. По всем вопросам можешь писать сюда: @linuxfactorybot

Какие проблемы решает Observability? ▶️Выявление аномалий в работе кластера ▶️Мониторинг сетевой активности и предотвращение сбоев ▶️Обеспечение соответствия политик безопасности ▶️Снижение времени простоя за счет быстрого устранения инцидентов ▶️Упрощение эксплуатации сложных систем с минимальными затратами 16 января в 19:00 приглашаем вас на бесплатный вебинар «Observability и k8s: полный контроль над инфраструктурой и сервисами» от учебного центра Слёрм. ✅ Рассмотрим внутренние инструменты k8s, связанные с безопасностью и отладкой работы кластера ✅ Так же посмотрим на инструменты, полезные для понимания работы больших систем без необходимости внедрения большого кол-ва изменений в сервисы, написанные на разных языках и фреймворках Эксперты встречи: 🔴Виталий Лихачёв, SRE в крупном голландском тревелтехе 🔴Кирилл Борисов, SRE в VK Когда: 16 января в 19:00 мск Регистрация на вебинар — через бота 👈👈 Реклама ООО «Слёрм» ИНН 3652901451

Такс, пора выходить из новогодней комы и включаться в работу. При манипуляции с логами, ты можешь столкнуться с какими-то непонятными local0 – local7. Чо эт ваще такое? ㅤ Это «Фасилити»… Ладно, это что-то вроде категорий в которые можно завернуть свои логи и потом уже по ним грепать.

Суть этих категорий — не смешивать выхлоп пользовательских программ с системными логами.

Системные логи это: auth, daemon, mail, kern и т.д. Эти штуки ты можешь встретить например при настройке rsyslog конфига. Рассмотрим пример:

import syslog

syslog.openlog(ident="BashDays", facility=syslog.LOG_LOCAL0)
syslog.syslog(syslog.LOG_INFO, "Привет из local0")

Не проверял, но суть ты поймешь. Здесь я завернул логи приложения в категорию local0. И теперь могу открыть этот local0 и обрабатывать как мне нужно. Например, закинуть его в эластик:

local0.* @log.bashdays.com:514

Ну или обработать локально в файл:

local0.* /var/log/local0.log

Так же можно завернуть необходимую группу приложений в эту категорию и отделить ее от системных логов. Практика использования

local0: логи веб-сервера local1: для docker контейнеров local2: логи бекапов local3: логи крон скриптов local4–local7: резервные

Такие вот пироги. Ничо в этом сложного нет. Просто категории для изоляции, гибкости и скалируемости. Изучай! tags: #linux #monitoring — 🔔 @bashdays➡️ @gitgate

Нашел на просторах пиздатый генератор реверс-шелов, разнообразие способов просто зашкаливает. ㅤ Мастхевная штука для пентестеров и тех, кто подобными штуками увлекается. Ну и чисто ради любопытства можно просто позырить. Забирай, пригодится: https://www.revshells.com/

По реверс-шелам у меня есть отдельный пост с подробным мануалом.

🎄 Ну и еще раз с Наступающим! Нарезали салатиков? tags: #utilites #linux #security — 🔔 @bashdays➡️ @gitgate

Я тут щас чет подумал — а что бы я хотел сейчас получить от Деда блядь Мороза? ㅤ Понятно дело — здоровье, но так нельзя, нужно что-то материальное. Ну ладно, раньше я мечтал про блок жвачек «черепашки-ниндзя» те самые с карточками которые были, либо жвачки с вкладышами маленьких денег разных стран. Потом я мечтал об электро-гитаре, даже самой уёбищной, палке-металки. Потом я перестал делать ставки на Деда блядь Мороза и стал рвать жопу и закрывать свои базовые потребности. Жвачки, гитары и т.п. Но сейчас? Если представить что ничего этого не было — чтобы я хотел получить на Новый Год? Новую педальку с дисторшеном и квакалку? Очередной оффер на 500к в месяц? Палку-ебалку? Да нее… Из материального я бы хотел получить на НГ от Деда блядь Мороза — НИХУЯ! Потому что, не нужно на кого-то надеяться и чего-то ждать. Нужно самим делать вещи и закрывать свои потребности. Ты сам себе Дед блядь Мороз! Сказка с дедом отличная, возможно работает на мажорах у которых всё уже с рождения готово и хуй во рту, но для рядовых посетителей этого мира эта сказка работает наоборот. К чему это я, если ничо не радует — порадуй себя сам, будь сам Дедом блядь Морозом в своем 127.0.0.1 периметре. Порадуй себя тем, что у тебя есть. Я хуй знает зачем это написал, просто реально не знаю чего бы я хотел чтобы мне насрали положи под елочку. Всёж есть, кроме здоровья. Ну и вопрос, или нет… Короче напиши в комменты чтобы ты хотел получить материального на НГ и возможно это каким-то хреном сбудется. Квартиры и машины не в счет, это банально. Всех обнял, с Наступающим 🎄 tags: #рабочиебудни — 🔔 @bashdays➡️ @gitgate

А мы с вами ребят могучие! Итоги года подводить такое себе, но скажу без хуйни — спасибо тебе что читаешь, делишься своим мнением в чатике да и вообще. Без тебя ничего бы не получилось. Короче спасибо и с наступающим! Здоровья, тебе и твоим близким, всё остальное — хуйня! Как сказал Дима в @gitgate — Личная благодарность всем кто участвовал и помогал! Вы все молодцы и красавчики и красавицы! По мере возможностей в каникулы буду подгонять годноту, но ничего не обещаю, рекламных интеграций вроде нет, максимум про Linux Factory буду загонять, шоб ты акцию не просрал и не ждал майских, не обессудь. С Наступающим ребят, всего тебе самого хорошего, искренне! 🥳 ❤️ С уважением ко всем, Шубин Роман Олегович Кстати самый топовый пост Not again за год тут И еще мне Selectel прислал всетаки НГ коробочку, моё почтение, зря я ныл в чатике, отдельно потом напишу покажу. Спасибо!

Злые боты, дырявый Linux — и другие страшилки года Чем запомнился 2024-й год в кибербезе? В подкасте "Смени пароль!" обсуждаем самые громкие события и тренды: массовые сбои систем безопасности, взрывающиеся пейджеры, развал сообщества Open Source и атаки с помощью искусственного интеллекта. А также — как мы будем защищаться от фальшивых персонажей, можно ли ботам воспитывать детей, и когда наконец работа ИБ-эксперта станет такой же рутиной, как работа электрика. Ссылка на подкаст Подпишитесь на телеграм-канал, чтобы не пропустить анонс следующего сезона!

Просто напомню. Для получения уникальных значений файла служит программа uniq. Беда в том, что она работает только с отсортированными данными. 🔤🔤🔥🔤🔤🔤🔤

sort "filename"|uniq

ㅤ Я уже также приводил конструкцию на awk которая извлекает из файла уникальные значения, но без требования сортировки:

awk '!a[$0]++' $RF

Она основана на использовании ассоциативных массивов, у которых ключ (текстовый индекс) всегда уникален.

Алгоритм описан здесь.

Я подумал, что на bash такое тоже можно реализовать, ведь в bash тоже есть ассоциативные массивы. Да, конечно не так изящно, и уж, конечно, не быстро. Но зато чистый bash. Но может кому-то пригодится. Приведу сразу все примеры:

#!/bin/bash

clear
declare RF="./rnd_file.txt"
:> $RF # создали файл 10000 значений
# в диапазоне 0-4 
for i in {1..10000};do
  echo $(($SRANDOM%5))>>$RF
done

echo '#results'
echo '#sort|uniq'
sort $RF|uniq

echo '#uniq on AWK'
awk '!a[$0]++' $RF

echo '#uniq on #BASH'
declare -A A=
cat $RF |
  while read -e rec;do
    ((A["$rec"]++)) || echo "$rec"
  done

#results
#sort|uniq
#0
#1
#2
#3
#4
#uniq on AWK
#1
#2
#4
#0
#3
#uniq on #BASH
#1
#2
#4
#0
#3

Напомню, что алгоритм на awk/bash держит весь массив уникальных значений в памяти, поэтому при больших файлах ее может потребоваться много. Хотя при реализации на bash, Вы скорее умрете от старости, чем закончится память :-) tags: #bash #linux — 🔔 @bashdays➡️ @gitgate

🌟 Тест для профессионалов Linux 🌟 Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на курсе — «Administrator Linux. Professional» За 7 месяцев курса вы научитесь решать 3 глобальные задачи - Освоение гибкого управления Linux-системами. - Навыки создания и изменения RAID-массивов. - Управление логическими томами и профессиональная работа с системными ресурсами. - Практика написания баш-скриптов и применение методологии Infrastructure as Code. Тест займет всего 20 минут вашего времени! 👉 ПРОЙТИ ТЕСТ — https://vk.cc/cGpnC3 💣 Пройдете тест, получите скидку на курс, и доступ к бесплатным урокам курса. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru