Библиотека девопса | DevOps, SRE, Sysadmin

Ситуация: переезжаете на другой сервер, перетащили проект в zip архиве, распаковали, а сам zip не удалили. И теперь любой кто узнает имя архива, сможет его скачать. Ну, или, как часто бывает в распространенных движках, есть всем известная папка, где могут находиться эти бэкапы. Руками имена файлов никто не подбирает, для этого есть специальный софт, который просто брутфорсит по словарю всевозможные пути и если получает статус 200, то скачивает. Как с этим бороться? Ничего не бэкапить в папки проекта, удалять промежуточные файлы если что-то переносили, настраивать политики nginx чтобы 403 отдавал и прочее. Есть еще способ. Злоумышленник якобы находит бэкап, получает статус 200 и начинает его скачивать. Естественно это не бэкап, а специально подготовленный файл большого размера. Причем такой файл отдается специально с пониженной скоростью и санкциями. Маловероятно, что злоумышленник — это человек. В основном сбором бигдаты занимается автоматизированный софт. Устанавливается на уже скомпрометированные машины, с которых осуществляется сканирование каталогов на наличие плохо лежащих файлов. Настроим такую штуку на примере nginx Добавляем в nginx конфиги:

location ~* "^/(new|old|bkup|tmp|temp|upload|ftp|sql|file|www|drupal|joomla|wordpress|x|user|admin|a|b|r|rezerv|arch|arx|111|archive|auth|backup|clients|com|dat|dump|engine|files|home|html|index|master|media|my|mysql|old|site|sql|website|wordpress)\.tar.gz$" {
    access_log /var/log/nginx/pitfall.log;
    default_type application/zip;
    root /var/www/project/files/backup;
    rewrite ^(.*)$ /backup break;
    max_ranges 0;
    limit_rate 4k;
    limit_conn addr 1;
}

# а это в секцию http
limit_conn_zone $binary_remote_addr zone=addr:10m;

Указываем список на что будем реагировать. Ограничиваем скорость, ограничиваем число потоков, запрещаем докачку. Создаем файл заглушку размером 1ГБ, этого вполне хватит. Но можно сделать и больше.

dd if=/dev/zero of=/var/www/project/files/backup bs=1G count=1

Теперь если кто-то попытается вытянуть бэкап — будет страдать.

🧜‍♂️🧜‍♂️ SRE глубокое погружение в Linux Page Cache Крутая серия статей про кэш. Знания теории и инструментов необходимы для каждого SRE и может помочь как в обычных и рутинных повседневных задачах, так и в экстренном дебаге. Лучшее понимание тем приводит к: 🔹 более точному планированию емкости и расчету лимита контейнера; 🔹 улучшению навыков отладки и исследования приложений, использующих память и диск; 🔹 созданию безопасного и предсказуемого времени выполнения для специальных задач, связанных с памятью и/или IO-bound ad-hoc (например: сценарии резервного копирования и восстановления, однострочные rsync и т.д.). Продолжение здесь #туториал

#memes

🤔🤔 Не все логи одинаковы полезны: 3 истории из жизни При эксплуатации систем АСУ ТП возникают ситуации, когда написанная подрядчиком диагностика АРМа формирует аварийные сообщения в исторический журнал, после которых и начинаются данные расследования. Так как системы написаны и сделаны очень давно, то о никаких Grafana/Prometheus/Zabbix речь идти не может, плюс всё это работает на серверах/АРМах времён ввода в эксплуатацию. А чем старее оборудование, тем за каждый мегабайт оперативной памяти и процент нагрузки процессора идёт жёсткая борьба. Без логирования для расследования отказов никуда не деться, но и сами логи могут быть причиной аварийных сообщений. Продолжение здесь #туториал

#дайджест инструментов DevOps, на которые стоит обратить внимание ✅ Backstage — это опенсорсный инструмент, созданный Spotify и принятый CNCF. Он с легкостью создает и настраивает порталы разработчиков. ✅ Argo Rollouts — делает возможными расширенные стратегии развертывания в Kubernetes (blue-green, canary и др.). Построен как контроллер Kubernetes и использует Custom Resource Definitions (CRD). ✅ Flagger — обеспечивает автоматизированное и контролируемое управление релизами, используя прогрессивные методы доставки и легко интегрируясь со средами Kubernetes для обеспечения более безопасного и надежного развертывания программного обеспечения. ✅ Loki — очень экономичная и простая в эксплуатации система агрегации журналов. ✅ External Secrets Operator — оператор Kubernetes, который интегрирует внешние системы управления безопасностью, такие как AWS Secrets Manager, HashiCorp Vault, Google Secrets Manager, Azure Key Vault, IBM Cloud Secrets Manager, CyberArk Conjur и многие другие.

🧑‍🎓✍️ Открытый практикум DevOps by Rebrain: Ментальная модель Kafka Время проведения: 15 Февраля (Четверг) в 19:00 по МСК Программа: 🔹Теория поможет составить ментальную модель Kafka 🔹Практика — попробовать инструмент в действии и получить набор готовых конфигураций для применения их в своих лабораторных и тестовых средах на работе Кто ведёт? Глеб Гончаров — Юнит-лид в СберМаркете Регистрация тут #мероприятие

🏔 Эпикфейл: карьера катится к чертям 🤦‍♂️ У всех нас случались провалы в карьере, о которых не хочется распространяться. Неловкий момент на собеседовании, провал проекта из-за глупой ошибки, конфликт с начальством — такие ситуации хочется поскорее забыть. Однако часто именно они дают нам самые ценные уроки и закаляют как профессионалов. 📝 Поделитесь своей историей карьерного провала в нашем новом опросе и расскажите, к чему он привел в итоге. Быть может, эта ошибка позволила вам пересмотреть свой путь и выбрать более подходящую профессию? А может, вы сделали правильные выводы и сейчас добились успеха? 👉 Поделиться историей

Напишите политику для AWS S3 бакета, которая разрешает доступ только с определенных IP адресов. { "Id": "AllowFromSourceIP", "Version": "2012-10-17", "Statement": [ { "Sid": "SourceIP", "Action": "s3:*", "Effect": "Deny", "Resource": [ "arn:aws:s3:::demo-bucket", "arn:aws:s3:::demo-bucket/*" ], "Condition": { "NotIpAddress": { "aws:SourceIp": [ "11.11.11.11/32", "22.22.22.22/32" ] } }, "Principal": "*" } ] }

💪💪 Bash Scripting on Linux Крутой и обширный курс по Bash Scripting научит вас всему, что вам нужно знать для написания эффективных сценариев bash в Linux. Все начинается с некоторых вводных концепций, каждый видос основывается на предыдущем. К концу курса вы сможете писать свои собственные сценарии для bash. Подойдет для начинающих линуксоводов. #видео

🤔🤔 Квоты в Kubernetes: очевидные, менее очевидные и совсем не очевидные Разберетесь, как работают квоты в Kubernetes. Там есть немало граблей. Чем квоты хороши, что у них под капотом, в каких задачах используются и почему нужны даже в среде single-tenant Читаем тут #почитать

Ситуация: есть большой проект на php, в нем миллион файлов и папок. Есть некий файл с какой-то выгрузкой, который генерится по крону и куда-то складывается. Знаем точно, что он складывается как раз в тот большой проект с миллионом файлов. Но не знаем как называется сам файл и где конкретно он сохраняется. Задача: найти местоположение файла с выгрузкой, узнать как называется этот файл и убедиться что файл вообще пытается создаться после запуска крона. Нет документации, нет контактов с разработчиками, нет НИЧЕГО у кого можно что-то узнать. Лазить по каждой папке — это долго, find — не продуктивно, в данном случае. Ставим пакет inotify-tools и создаем скрипт.

inotifywait -r -m -e create /var/www/project | while read line; do
    echo "Created: $line"
done

inotify-tools - это набор утилит командной строки для мониторинга файловой системы в реальном времени на основе inotify, механизма ядра Linux, который позволяет приложениям реагировать на изменения файлов, каталогов или метаданных в файловой системе.

Получилось что-то на подобии снифера, который будет рекурсивно перехватывать события создания файла/папки и выводить нужную информацию на экран. Проще говоря, как только в папках с проектом что-то создастся, оно сообщит и покажет, то что создалось. Запускаем скрипт. В соседней вкладке запускаем команду, которая генерит файл с выгрузкой и ждем. Получаем такую запись:

Created: /var/www/project/core/modx/var/tmp CREATE 1C_b2b_prices.csv

inotify-tools очень крутая штука и может мониторить не только создание файлов, но и кучу еще всего. При должном подходе, можно свой собственный мониторинг собрать, выгружать в prometheus и в grafana рисовать. А еще есть клевая вещь — incrond, с помощью неё можно запустить какую-нибудь утилиту, если в каком-то каталоге появился новый файл или произойдет другое событие. Например, можно дернуть обработчик этого файла, сделать резервную копию, или тегнуть в телеграм. Вариантов масса.

incrond (inotify cron daemon) — это демон для Linux, который обеспечивает возможность запуска задач (команд или скриптов) в ответ на события файловой системы, используя механизм inotify. Он подобен стандартному демону cron, но вместо использования времени он реагирует на изменения файлов и каталогов.

✨ Отус приглашает 15 февраля в 20:00 мск на бесплатный вебинар «Роль Apache Kafka в логировании». Вебинар является частью продвинутого онлайн-курса "Observability: мониторинг, логирование, трейсинг". ➡ Регистрация на вебинар: https://otus.pw/mmHa/ ❓ На вебинаре мы разберём: - роль брокера в Kafka; - как Kafka интегрируется в общую систему сбора данных; - индексы в Kafka; - взаимодействие с общим стеком логирования. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Erid 2VtzqxZ4nsa

#memes

Приведите основные типы DNS записей и расскажите, для чего они используются. A — запись соответствия с IPv4 адресом; AAAA — запись соответствия с IPv6 адресом; CNAME — запись соответствия другому доменному имени; MX — адресная запись, указывающая на почтовый сервер домена; NS — адресная запись указывающая на DNS-резолверы, отвечающие за данный домен; TXT — произвольная текстовая запись в домене, часто используется для верификации принадлежности домена.

#дайджест репозиториев для DevOps-а ◾ Dive — инструмент для изучения образов Docker, помогающий анализировать содержимое образов для их дальнейшей оптимизации ◾ Kubernetes The Hard Way — пошаговое руководство по настройке кластеров Kubernetes с нуля, позволяющее получить глубокое представление о внутреннем устройстве Kubernetes ◾ GoReleaser — проект позволяет легко и быстро создавать deb пакеты ◾ awesome-prometheus — список ресурсов, инструментов и интеграций с Prometheus ◾ Molecule — фреймворк для тестирования кода инфраструктуры с помощью Ansible, помогающий в разработке и проверке ролей и плейбуков

Jib Jib создает оптимизированные образы Docker и OCI для ваших приложений Java без Docker и лишних хлопот. Он доступен в виде плагинов для Maven и Gradle, а также в виде библиотеки Java. Цели 👉 Jib разделяет приложение на несколько слоев, отделяя зависимости от классов. Не нужно ждать, пока Docker перестроит все Java-приложение — просто разверните измененные слои. 👉 При перестройке образа контейнера с тем же содержимым всегда создается один и тот же образ. 👉 Создайте образ Docker из Maven или Gradle и переносите. Больше не нужно создавать Dockerfiles и вызывать docker build/push.

📺 FOSDEM — бесплатное мероприятие для разработчиков ПО, где они могут встретиться, поделиться идеями и сотрудничать. Каждый год тысячи разработчиков свободного ПО со всего мира собираются на мероприятии в Брюсселе. Регистрация не нужна 👍 👉 Некоторые записи первого дня доступны по тут (выбираем трек, затем тему в нём) 👉 Трансляция доступна по ссылке #видео

erid: LjN8JxxUG Поднимите виртуальные руки те, кому интересен мир DevSecOps! Нашли для вас канал, где хранится всё самое полезное и актуальное по теме. Например: ◼️ Нюансы проверки подписи в Kubernetes ◼️ Инструменты для поиска секретов ◼️ CI/CD Security ◼️ Анализ рисков ИБ для ресурсов K8s ◼️ Информация о том, что происходит «под капотом» создания пода Авторы DevSecOps Talks каждый день делятся крутыми подборками, статьями и best practices из области DevSecOps. Например, недавно они «откопали» разбор прохождения заданий, связанных с обеспечением безопасности CI/CD систем на базе проекта «CI/CD Goat».  ✅ Ссылку на ресурс ищите в этом посте и подписывайтесь на ребят.

#memes

Если сложить все эти числа, то получится обычное число 42. Число и число…

echo $((7 + 14 + 21))

Со времен появления проекта GNU (GNU's Not Unix) это число имело для них какой-то потаённый смысл. К примеру, если в редакторе vi/vim ввести:

:help 42

Увидим нечто странное:

Вelection, the selection will be used unmodified. When there is a selection but you click outside of it, the selection is removed. There is a separate popup menu for each mode. Thus there are never grey items like in the normal menus. What is the meaning of life, the universe and everything? 42 Douglas Adams, the only person who knew what this question really was about is now dead, unfortunately. So now you might wonder what the meaning of death is... Next chapter: usr_43.txt Using filetypes Copyright: see manual-copyright vim:tw=78:ts=8:noet:ft=help:norl:

Но это всего лишь цитата из книги английского писателя Дугласа Адамса «Автостопом по галактике». Где супер компьютер Deep Thought дал ответ на главный вопрос жизни, вселенной и всего остального. И этот ответ был 42.

Все логично, число 42 стало символом для сообщества фанатов научной фантастики и часто упоминается в шутках и широко используется в поп-культуре. Существует теория заговора, называемая «42-ой теорией заговора», которая исходит из идеи, что число 42 имеет глубокий смысл или тайное значение, скрытое правительствами или другими могущественными организациями. Хотя такие теории заговора могут быть увлекательными, важно отметить, что число 42 не обладает никаким таинственным или сверхъестественным значением в реальном мире. Оно просто является элементом фольклора, шуток и культурных отсылок, и не имеет каких-либо серьезных конспирологических подоплек. А вы читали/смотрели «Автостопом по галактике»?