Библиотека девопса | DevOps, SRE, Sysadmin

#дайджест инструментов для кластера K8s ♦️ Prometheus: мониторинг и оповещения для Kubernetes, обеспечение безопасности в облаке путем обнаружения нерегулярного трафика или активности, которые потенциально могут перерасти в атаку. ♦️ Cyclops: развертывание приложений за пару кликов. Преобразует сложные файлы конфигурации в form-based UIs, устраняя необходимость ручной настройки и взаимодействия из командной строки. ♦️ Keda: расширяет возможности собственных решений для автоматического масштабирования Kubernetes за счет масштабирования модулей на основе внешних событий или триггеров. ♦️ Karpenter: поддерживает функцию консолидации, активно перемещая модули и заменяя узлы более дешевыми версиями для снижения затрат на кластер. ♦️ Velero: создает моментальные снимки ресурсов и данных кластера и сохраняет их в поставщиках хранилища объектов, таких как AWS S3, Google Cloud Storage или Azure Blob Storage.

💪💪 Запуск проекта в Kubernetes за 60 минут: инструменты, GitLab, Terraform В материале рассматривается пример CI/CD-пайплайна, который собирает разбитое на два микросервиса CRUD-приложение, пушится в платформенный реджистри и деплоится в Kubernetes. Читать #туториал

🦖🦖 Prodzilla Prodzilla — это современный синтетический инструмент мониторинга, написанный на Rust. Он ориентирован на тестирование сложного пользовательского прода. Поддерживает цепочки запросов к конечным точкам, передачу значений из одного ответа в другой запрос, проверку соответствия ответов ожидаемым и вывод предупреждений через webhooks. Он также предоставляет API, который позволяет просматривать результаты в формате json и запускать тесты вручную. Работает менее, чем с 5 МБ оперативки и доступен для бесплатного размещения на Shuttle. long-term фичи: 🔹 Уменьшение расхождения и дублирования кода между blackbox, сквозным тестированием и возможностью наблюдения в рабочей среде 🔹 Избегание ситуаций, когда документированное поведение системы устарело или поведение системы в конкретных ситуациях совершенно неизвестно 🔹 Упрощение тестирования в рабочей среде #полезный_софт

#memes

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы #️⃣C# Книги для шарпистов | C#, .NET, F# Библиотека шарписта — полезные статьи, новости и обучающие материалы по C# Библиотека задач по C# — код, квизы и тесты Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel ☁️DevOps Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps Вакансии по DevOps & SRE Библиотека задач по DevOps — код, квизы и тесты Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования 🐘PHP Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста — полезные статьи, новости и обучающие материалы по Python Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Книги для дата сайентистов | Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Книги для Go разработчиков Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Книги для C/C++ разработчиков Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие профильные каналы Библиотека фронтендера Библиотека мобильного разработчика Библиотека хакера Библиотека тестировщика 💼Каналы с вакансиями Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 🤖Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook * 🔸Instagram * * Организация Meta запрещена на территории РФ

Ситуация: переезжаете на другой сервер, перетащили проект в zip архиве, распаковали, а сам zip не удалили. И теперь любой кто узнает имя архива, сможет его скачать. Ну, или, как часто бывает в распространенных движках, есть всем известная папка, где могут находиться эти бэкапы. Руками имена файлов никто не подбирает, для этого есть специальный софт, который просто брутфорсит по словарю всевозможные пути и если получает статус 200, то скачивает. Как с этим бороться? Ничего не бэкапить в папки проекта, удалять промежуточные файлы если что-то переносили, настраивать политики nginx чтобы 403 отдавал и прочее. Есть еще способ. Злоумышленник якобы находит бэкап, получает статус 200 и начинает его скачивать. Естественно это не бэкап, а специально подготовленный файл большого размера. Причем такой файл отдается специально с пониженной скоростью и санкциями. Маловероятно, что злоумышленник — это человек. В основном сбором бигдаты занимается автоматизированный софт. Устанавливается на уже скомпрометированные машины, с которых осуществляется сканирование каталогов на наличие плохо лежащих файлов. Настроим такую штуку на примере nginx Добавляем в nginx конфиги:

location ~* "^/(new|old|bkup|tmp|temp|upload|ftp|sql|file|www|drupal|joomla|wordpress|x|user|admin|a|b|r|rezerv|arch|arx|111|archive|auth|backup|clients|com|dat|dump|engine|files|home|html|index|master|media|my|mysql|old|site|sql|website|wordpress)\.tar.gz$" {
    access_log /var/log/nginx/pitfall.log;
    default_type application/zip;
    root /var/www/project/files/backup;
    rewrite ^(.*)$ /backup break;
    max_ranges 0;
    limit_rate 4k;
    limit_conn addr 1;
}

# а это в секцию http
limit_conn_zone $binary_remote_addr zone=addr:10m;

Указываем список на что будем реагировать. Ограничиваем скорость, ограничиваем число потоков, запрещаем докачку. Создаем файл заглушку размером 1ГБ, этого вполне хватит. Но можно сделать и больше.

dd if=/dev/zero of=/var/www/project/files/backup bs=1G count=1

Теперь если кто-то попытается вытянуть бэкап — будет страдать.

🧜‍♂️🧜‍♂️ SRE глубокое погружение в Linux Page Cache Крутая серия статей про кэш. Знания теории и инструментов необходимы для каждого SRE и может помочь как в обычных и рутинных повседневных задачах, так и в экстренном дебаге. Лучшее понимание тем приводит к: 🔹 более точному планированию емкости и расчету лимита контейнера; 🔹 улучшению навыков отладки и исследования приложений, использующих память и диск; 🔹 созданию безопасного и предсказуемого времени выполнения для специальных задач, связанных с памятью и/или IO-bound ad-hoc (например: сценарии резервного копирования и восстановления, однострочные rsync и т.д.). Продолжение здесь #туториал

#memes

🤔🤔 Не все логи одинаковы полезны: 3 истории из жизни При эксплуатации систем АСУ ТП возникают ситуации, когда написанная подрядчиком диагностика АРМа формирует аварийные сообщения в исторический журнал, после которых и начинаются данные расследования. Так как системы написаны и сделаны очень давно, то о никаких Grafana/Prometheus/Zabbix речь идти не может, плюс всё это работает на серверах/АРМах времён ввода в эксплуатацию. А чем старее оборудование, тем за каждый мегабайт оперативной памяти и процент нагрузки процессора идёт жёсткая борьба. Без логирования для расследования отказов никуда не деться, но и сами логи могут быть причиной аварийных сообщений. Продолжение здесь #туториал

#дайджест инструментов DevOps, на которые стоит обратить внимание ✅ Backstage — это опенсорсный инструмент, созданный Spotify и принятый CNCF. Он с легкостью создает и настраивает порталы разработчиков. ✅ Argo Rollouts — делает возможными расширенные стратегии развертывания в Kubernetes (blue-green, canary и др.). Построен как контроллер Kubernetes и использует Custom Resource Definitions (CRD). ✅ Flagger — обеспечивает автоматизированное и контролируемое управление релизами, используя прогрессивные методы доставки и легко интегрируясь со средами Kubernetes для обеспечения более безопасного и надежного развертывания программного обеспечения. ✅ Loki — очень экономичная и простая в эксплуатации система агрегации журналов. ✅ External Secrets Operator — оператор Kubernetes, который интегрирует внешние системы управления безопасностью, такие как AWS Secrets Manager, HashiCorp Vault, Google Secrets Manager, Azure Key Vault, IBM Cloud Secrets Manager, CyberArk Conjur и многие другие.

🧑‍🎓✍️ Открытый практикум DevOps by Rebrain: Ментальная модель Kafka Время проведения: 15 Февраля (Четверг) в 19:00 по МСК Программа: 🔹Теория поможет составить ментальную модель Kafka 🔹Практика — попробовать инструмент в действии и получить набор готовых конфигураций для применения их в своих лабораторных и тестовых средах на работе Кто ведёт? Глеб Гончаров — Юнит-лид в СберМаркете Регистрация тут #мероприятие

🏔 Эпикфейл: карьера катится к чертям 🤦‍♂️ У всех нас случались провалы в карьере, о которых не хочется распространяться. Неловкий момент на собеседовании, провал проекта из-за глупой ошибки, конфликт с начальством — такие ситуации хочется поскорее забыть. Однако часто именно они дают нам самые ценные уроки и закаляют как профессионалов. 📝 Поделитесь своей историей карьерного провала в нашем новом опросе и расскажите, к чему он привел в итоге. Быть может, эта ошибка позволила вам пересмотреть свой путь и выбрать более подходящую профессию? А может, вы сделали правильные выводы и сейчас добились успеха? 👉 Поделиться историей

Напишите политику для AWS S3 бакета, которая разрешает доступ только с определенных IP адресов. { "Id": "AllowFromSourceIP", "Version": "2012-10-17", "Statement": [ { "Sid": "SourceIP", "Action": "s3:*", "Effect": "Deny", "Resource": [ "arn:aws:s3:::demo-bucket", "arn:aws:s3:::demo-bucket/*" ], "Condition": { "NotIpAddress": { "aws:SourceIp": [ "11.11.11.11/32", "22.22.22.22/32" ] } }, "Principal": "*" } ] }

💪💪 Bash Scripting on Linux Крутой и обширный курс по Bash Scripting научит вас всему, что вам нужно знать для написания эффективных сценариев bash в Linux. Все начинается с некоторых вводных концепций, каждый видос основывается на предыдущем. К концу курса вы сможете писать свои собственные сценарии для bash. Подойдет для начинающих линуксоводов. #видео

🤔🤔 Квоты в Kubernetes: очевидные, менее очевидные и совсем не очевидные Разберетесь, как работают квоты в Kubernetes. Там есть немало граблей. Чем квоты хороши, что у них под капотом, в каких задачах используются и почему нужны даже в среде single-tenant Читаем тут #почитать

Ситуация: есть большой проект на php, в нем миллион файлов и папок. Есть некий файл с какой-то выгрузкой, который генерится по крону и куда-то складывается. Знаем точно, что он складывается как раз в тот большой проект с миллионом файлов. Но не знаем как называется сам файл и где конкретно он сохраняется. Задача: найти местоположение файла с выгрузкой, узнать как называется этот файл и убедиться что файл вообще пытается создаться после запуска крона. Нет документации, нет контактов с разработчиками, нет НИЧЕГО у кого можно что-то узнать. Лазить по каждой папке — это долго, find — не продуктивно, в данном случае. Ставим пакет inotify-tools и создаем скрипт.

inotifywait -r -m -e create /var/www/project | while read line; do
    echo "Created: $line"
done

inotify-tools - это набор утилит командной строки для мониторинга файловой системы в реальном времени на основе inotify, механизма ядра Linux, который позволяет приложениям реагировать на изменения файлов, каталогов или метаданных в файловой системе.

Получилось что-то на подобии снифера, который будет рекурсивно перехватывать события создания файла/папки и выводить нужную информацию на экран. Проще говоря, как только в папках с проектом что-то создастся, оно сообщит и покажет, то что создалось. Запускаем скрипт. В соседней вкладке запускаем команду, которая генерит файл с выгрузкой и ждем. Получаем такую запись:

Created: /var/www/project/core/modx/var/tmp CREATE 1C_b2b_prices.csv

inotify-tools очень крутая штука и может мониторить не только создание файлов, но и кучу еще всего. При должном подходе, можно свой собственный мониторинг собрать, выгружать в prometheus и в grafana рисовать. А еще есть клевая вещь — incrond, с помощью неё можно запустить какую-нибудь утилиту, если в каком-то каталоге появился новый файл или произойдет другое событие. Например, можно дернуть обработчик этого файла, сделать резервную копию, или тегнуть в телеграм. Вариантов масса.

incrond (inotify cron daemon) — это демон для Linux, который обеспечивает возможность запуска задач (команд или скриптов) в ответ на события файловой системы, используя механизм inotify. Он подобен стандартному демону cron, но вместо использования времени он реагирует на изменения файлов и каталогов.

✨ Отус приглашает 15 февраля в 20:00 мск на бесплатный вебинар «Роль Apache Kafka в логировании». Вебинар является частью продвинутого онлайн-курса "Observability: мониторинг, логирование, трейсинг". ➡ Регистрация на вебинар: https://otus.pw/mmHa/ ❓ На вебинаре мы разберём: - роль брокера в Kafka; - как Kafka интегрируется в общую систему сбора данных; - индексы в Kafka; - взаимодействие с общим стеком логирования. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru Erid 2VtzqxZ4nsa

#memes

Приведите основные типы DNS записей и расскажите, для чего они используются. A — запись соответствия с IPv4 адресом; AAAA — запись соответствия с IPv6 адресом; CNAME — запись соответствия другому доменному имени; MX — адресная запись, указывающая на почтовый сервер домена; NS — адресная запись указывающая на DNS-резолверы, отвечающие за данный домен; TXT — произвольная текстовая запись в домене, часто используется для верификации принадлежности домена.

#дайджест репозиториев для DevOps-а ◾ Dive — инструмент для изучения образов Docker, помогающий анализировать содержимое образов для их дальнейшей оптимизации ◾ Kubernetes The Hard Way — пошаговое руководство по настройке кластеров Kubernetes с нуля, позволяющее получить глубокое представление о внутреннем устройстве Kubernetes ◾ GoReleaser — проект позволяет легко и быстро создавать deb пакеты ◾ awesome-prometheus — список ресурсов, инструментов и интеграций с Prometheus ◾ Molecule — фреймворк для тестирования кода инфраструктуры с помощью Ansible, помогающий в разработке и проверке ролей и плейбуков