Библиотека девопса | DevOps, SRE, Sysadmin

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥 Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы ☕ Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾 Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🧠 C++ Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻 Другие профильные каналы Библиотека фронтендера Библиотека шарписта Библиотека Go разработчика Библиотека мобильного разработчика Библиотека хакера Библиотека питониста Библиотека devops’a Библиотека пхпшника 💼 Каналы с вакансиями Вакансии по питону, Django, Flask Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии по C#, .NET, Unity Вакансии по Go Вакансии по PHP, Symfony, Laravel Вакансии по DevOps & SRE Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности

Статусы выхода в bash Каждая программа в linux возвращает некий статус, был ли успех по завершению или возникла ошибка. Этими статусами можно управлять в bash скриптах для вывода ошибок. Статус выхода, это целое число от 0-255: 0 — успешное завершение команды/программы, остальные — ошибки. Например, если программа не найдена ни в одном из путей $PATH либо ее вообще нет в системе, то оболочка вернет 127 код ошибки. Ну а если команда/программа найдена, но не является исполняемой (chmod +x), то мы получим код 126 (Permission denied). Как отловить код выхода из программы/скрипта Существует зарезервированная переменная «$?», которая хранит в себе код выхода. # date # echo $? 0 0 — команда отработала успешно. # proglib # echo $? 127 Вернулся код 127 — не удалось найти программу с именем proglib. Имея эту информацию, можно строить гибкую логику в скриптах и обрабатывать эксепшены. Чтобы сохранить код в обычную переменную, делаем так: #/bin/bash date code=$? echo "exit code : ${code}" Теперь в переменной code будет храниться код завершения. Даже если запустить следом другие команды, в переменной code будет лежать предыдущий код выхода. Рассмотрим ситуацию с логикой: #!/bin/bash date code=$? if test $code -eq 0 then echo "success" else echo "failed" fi test - предназначена для проверки типа файла и сравнения чисел и строк. Возвращает код возврата 0 (истина) или 1 (ложь) в зависимости от вычисления выражения. Выражения могут быть как унарными, так и бинарными. Если команда date вернет 0 (-eq - означает равно), скрипт завершится со статусом 0 = success, во всех других статусах мы получим failed. Рассмотрим пример: #!/bin/bash date time exit 1 echo "hello" После запуска, выполнятся две команды date и time, затем всё завершится с кодом 1 не передав управление команде echo. Применения exit очень удобно для дебага, работает как breakpoints, вставляем exit где нужно завершить скрипт и вся оставшаяся логика не выполняется. #гайд

🥷😎 История одной системы резервного копирования пользовательских данных Когда речь заходит о пользовательских данных в информационных системах, всегда возникают вопросы: как хранить и как сохранить? Ответ на первый вопрос. В стеке под слой хранения постоянных пользовательских данных используются объектное S3 хранилище MinIO и базы данных PostgreSQL. В MinIO в основном, хранятся небольшие файлы, документы, 3D и ЦИМ модели (модель, представляющая в цифровом виде физические, функциональные и прочие характеристики объекта), а в PostgreSQL — связи, облака точек моделей и другие данные. Оперативные данные хранятся в Redis/KeyDB и RabbitMQ. Ответ на второй вопрос «как сохранить?», зависит от нескольких факторов: 🔹 требований к надежности ИС 🔹 требований заказчика 🔹 возможностей реализации Дальнейшие подробности вы найдете тут

Единый вход AWS, Terraform и Terragrunt При локальной работе с AWS CLI или с Terraform или Terragrunt вам потребуется действующая конфигурация AWS для авторизации взаимодействия со службами AWS. Рекомендуется использовать такие функции, как единый вход (SSO) и управление доступом на основе ролей (RBAC), при использовании вашей учетной записи в качестве участника для взаимодействия со службами AWS. Использование SSO гарантирует, что вы не храните постоянный ключ доступа и секретный ключ доступа и что срок службы ваших сеансов ограничен. Использование наборов разрешений (форма RBAC) гарантирует, что вы создаете роли только с минимально необходимыми разрешениями для соответствующих учетных записей и принимаете их при необходимости. Это один из аспектов применения принципа наименьших привилегий (PoLP). В этом руководстве вам понадобится учетка на IAM Identity Center. Еще, хорошо бы, чтобы был доступ к одной или нескольким учеткам, использующим permission sets. В этом руководстве будет описан доступ по крайней мере к двум учетным записям с использованием одного и того же логина. Код из гайда доступен тут Подробнее #гайд

Наведение порядка в коде Terraform с помощью for_each Terraform стал незаменимым инструментом для управления инфраструктурой, и имеет на борту такую функцию, как for_each. Этот мощный мета-аргумент позволяет динамически создавать несколько экземпляров ресурсов на основе карт или наборов. 🔹 Использование for_each дает несколько преимуществ 🔹 Динамическое создание ресурсов 🔹 Предсказуемые и стабильные идентификаторы ресурсов 🔹 Простое удаление без сюрпризов 🔹 Data-driven конфигурация 🔹 Конфиг более краткий и понятный 🔹 Детальный контроль над жизненным циклом ресурсов Подробнее #гайд

Запуск и настройка своего собственного Linux сервера Если вы занимаетесь тестированием, программированием или администрированием, у вас точно возникнет ситуация, когда вы сможете ограничиться запуском кода только у себя на ПК. А еще, существуют всякие инструменты, с которыми хочется поиграться, которые невозможно установить на локальном компе или нужен именно сервер. Для облегчения вашей участи, мы нашли вам видос, который поможет понять, как это делается и повторить в любой вариации; что нужно учитывать и прочее. Содержание: 05:34 Выбираем облачную платформу 08:36 Создание сервера 30:52 Настройка SSH 35:45 Подключение к серверу 43:41 Две базовые Linux команды #туториал

😎 Очередной #дайджест полезных статей по DevOps: 🔹 Manjaro GNOME — история о переход с Windows на Linux 🔹 Как стать DevOps-ом в 2023 — дорожная карта от опытного админа 🔹 Автоматическое масштабирование Kubernetes: Как использовать автомасштабировщик Kubernetes — рассматриваются такие методы: горизонтальный модуль автоматического масштабирования, вертикальный модуль автоматического масштабирования и кластерный автоскалер 🔹 Cloud-hypervisor — это опенсорсный Virtual Machine Monitor (VMM), работающий поверх KVM и Microsoft MSHV. 🔹 Пирамида отказоустойчивости системы — принципы устойчивого проектирования для создания систем, которые могут лучше противостоять нагрузкам и сбоям

🔥А потом у них сетевой кабель не подключен о петель полный офис... 😂😂😂

На просторах наткнулись, на что-то, типа дорожной карты дебаггинга в Kubernetes. Она подходит не для любой задачи, которая может возникнуть, и не получится ее применять во всех кейсах, но почерпнуть полезности из разных веток можно 100%. Вот версия карты в хорошем качестве. #туториал

🐳🐳🚟 Улучшаем модульность Docker Compose с помощью include Предлагаем рассмотреть функцию, доступную в Compose версии 2.20.0 и в версии Docker Desktop 4.22, а именно атрибут include, который делает файлы Compose модульными и пригодными для повторного использования. Расширение файла Compose Docker Compose позволяет повторно использовать существующий файл Compose, используя механизм extends. Этот атрибут позволяет обратиться к другому файлу Compose и выбрать службу, которую необходимо использовать в приложении, с возможностью переопределения атрибутов. services: database: extends: file: ../commons/compose.yaml service: db Это хорошее решение пока вам нужен только один сервис, и вы знаете о его внутренних деталях настройки. Но когда нужно повторно использовать конфиг, а вы не знаете о скрытых зависимостях, такой вариант не подходит. Проблема merge Compose файлов Еще одна опция — смержить набор Compose-файлов . Docker Compose принимает набор файлов, мержит и перезаписывает определение службы, чтобы создать модель приложения. Для примера, от лица одной команды, определим файл Compose для сервиса. Создадим образ из Dockerfile и установим среду в env-файл: services: database: builld: . env-file: - ./db.env Теперь от лица другой команды создадим веб-приложение, для которого требуется доступ к базе данных: services: webapp: depends_on: - database Все хорошо, пока не попытаться смержить: docker compose -f compose.yaml -f ../database/compose.yaml. Относительные пути, заданные вторым файлом Compose, будут разрешены не так, как было задумано, а из локального рабочего каталога, и приложение не будет работать должным образом. Повторное использование Флаг include был введен именно для этой цели. Он позволит включить весь файл Compose в модель приложения, точно так же, как вы бы выполнили copy/paste. Единственное отличие — он будет управлять ссылками на относительные пути, и файл Compose будет проанализирован так, как ожидается, запускаясь из исходного местоположения. Эта возможность значительно упрощает повторное использование кода другой команды без необходимости знать точные детали. include: ../database/compose.yaml services: webapp: depends_on: - database Здесь команда разработчиков инфраструктуры подготовила файл Compose для управления БД, возможно, включающий некоторые реплики, веб UI для проверки данных, тома для сохранения данных и прочее. #гайд

🤔🤔 Что за двойное тире? ssh root@proglib.io -- Двойное тире означает «флаги командной строки». Оно указывает ssh или другой команде не пытаться анализировать то, что следует после параметров. Двойное тире обрабатывается не оболочками bash/zsh/csh/sh/fish и т.п., а средствами самих программ, но НЕ всех. Есть такая команда: ssh root@proglib.io -- command1 --arg1 --arg2 Приведенный выше синтаксис указывает ssh не пытаться анализировать параметры arg1 и arg2 после символа «--». Это гарантирует, что команда command1 примет arg1 и arg2 в качестве аргументов командной строки и выполнится на удаленном сервере. Рассмотрим другие примеры. Например, не получится просмотреть файл с именем --file или -f используя команду cat: cat --file cat -f Ошибка! cat: unrecognized option --file/f. Передадим двойное тире: cat -- --file cat -- -f А так все хорошо. Повторим: rm --file — получим ошибку rm -- '--file' — а вот это сработает Ну а чтобы передать параметры в rm, делаем так: rm -v -i -- '--file' rm -f -v -i -- '-f' Но, не все команды умеют работать с двойным тире. Например, команда echo, на все попытки подружить её с двойным тире, просто-напросто провалятся: /usr/bin/echo -- -n echo -- --test выведется это: -- -n -- --test #туториал

Частенько приходится помогать кому-то или самому что-то в табличке накидать, и в упор не помнишь какой-то ерунды. Пожалуйте, шпаргалку подвезли😂😉 В ролике автор разберет 10 самых частых проблем, о которых стоит знать, как начинающему, так и продвинутому пользователю Excel. Содержание: 00:41 Как посчитать в Excel 02:54 Операции с датами и числами 04:38 Объединенные ячейки 05:59 Удаление структуры 09:33 Анализ больших таблиц 12:05 Смешанные данные 13:17 Удаление дубликатов 15:11 Ограничение по вводу 17:53 Защита данных 20:16 Работа с цветом #гайд

😎 Очередной #дайджест полезных статей по DevOps: 🔹 История создания и обзор программы для простого построения DevOps отчётов — построение таблицы отчётов в едином HTML‑файле для удобства пересылки по почте 🔹 Kubernetes gateway API v0.8.0: поддержка Service Mesh — выпуск посвящен подготовке Gateway API к предстоящему выпуску версии 1.0, в котором HttpRoute, Gateway и GatewayClass будут переведены в GA 🔹 Автоматизация инфраструктуры Azure для High Availability Web Hosting на Ansible — преимущества автоматизации и настройки инфраструктуры на примере создания платформы, которую можно настроить в соответствии со своими потребностями 🔹 Keycloak. Админский фактор и запрет аутентификации — два кейса по работе с правами доступа на веб-ресурс с дополнительным фактором аутентификации и аутентификации определенной группы пользователей 🔹 Сервис Amazon для Apache Flink, переименованный из Amazon Kinesis Data Analytics — про улучшения в настройке и интеграции data sources или destinations с минимум кода

🏃🏃 Как ворваться в DevOps Зачем нужен DevOps 🧑‍🎓 Всё, что ни делается, — делается либо ради бизнеса, либо ради людей, либо ради того и другого. При этом есть вещи, которые не приносят ценности никому: ➖ ошибки в коде ➖ ошибки при ручном развертывании сервисов ➖ долгое выяснение проблем на продуктиве ➖ рутинная работа, которой можно избежать. Инструменты и реализация DevOps-практик 🧑‍🏫 Хороший инженер должен понимать, что бизнесу важен time-to-market, эксплуатации важно уметь поддерживать этот инструмент, а безопасникам — чтобы безопасность была безопасной. Для этого нужно ходить по конференциям, посматривать на такие отчеты, как State of DevOps, Technology Radar. Как ворваться в DevOps Как правило, в DevOps приходят либо с разработки, либо с эксплуатации, хотя бывает и с инфобеза — в DevOps идут с какими-то базовыми знаниями. Если вам нравится докапываться до сути вещей, нравятся инженерные задачи, а в детстве вы разбирали куклу барби, то вы на верном пути😂 Истинный инженер всегда пытается разобраться во всём и всё улучшить. Разумеется, всё знать нельзя, и какое-то знание может быть основным, а какие-то — смежными (T-shape-инженер — как раз про это). Подробнее #гайд