Библиотека девопса | DevOps, SRE, Sysadmin

#вопросы_с_собеседования Что такое docker и какие инструменты linux лежат в основе? Для чего он используется? Docker базируется на технологиях: 🔸 namespaces — обеспечивает изоляцию (например, можно айдишники процессов разместить в разных контейнерах) 🔸 cgroups — позволяет управлять группой процессов, и управлять их ресурсами 🔸 capabilities — позволяет дать некоторые рут привелегии процессам или исполняемым файлам. Например, изменить UID процесса на 0, или дать возможность монтировать файловые системы. 🔸 overlay namespaces — (overlayFS, overlay2-драйвер) - файловая система, которая умеет работать "слоями". Не сохранять каждый раз новые файлы, а наслаивать один слой на другой, тем самым экономя место на диске и время создания контейнера. А вот докер — это уже штука, которая всеми этими технологиями рулит, удобным для нас образом. Компоненты докера: 🔻 Docker Daemon — тот самый Container Engine; запускает контейнеры. 🔻 Docker CLI — утилита по управлению Docker. 🔻 Dockerfile — инструкция по тому, как собирать образ. 🔻 Image — образ, из которого раскатывается контейнер. 🔻 Container 🔻 Docker registry — хранилище образов. На Docker_host работает Docker daemon и запускает контейнеры. Client — передаёт команды: собери образ, скачай образ, запусти контейнер. Docker daemon ходит в registry и выполняет их. Docker-клиент может обращаться и локально (к юникс-сокету), и по TCP с удалённого хоста. Docker daemon (демон) — это серверная часть, работающая на хост-машине: скачивает образы и запускает из них контейнеры, создаёт сеть между контейнерами, собирает логи. Когда мы говорим «создай образ», этим тоже занимается демон. Docker CLI — клиентская часть Docker, консольная утилита для работы с демоном. Может работать не только локально, но и по сети.

Шпаргалка по командной строке CMD SETX - утилита для создания системных переменных SFC - проверка и восстановление системных файлов Windows SHARE - просмотр, создание и удаление разделяемых в локальной сети ресурсов SHUTDOWN - выключение или перезагрузка компьютера SLEEP - задержка по времени в пакетном файле SLMGR - управление лицензированием программного обеспечения Windows SORT - сортировка строк в текстовом файле START - запуск приложения или командного файла STORDIAG - диагностика системы хранения данных в Windows 10 SUBST - назначение (отмена назначения) каталогу буквы диска SxSTrace - диагностическое средство трассировки компонент системы SYSTEMINFO - отображение информации о системе TAKEOWN - изменение владельца файла или каталога TAR - архивирование данных архиватором tar в Windows 10 TASKKILL - завершение процессов на локальной или удаленной системе. TASKLIST - отображение списка выполняющихся приложений и служб Windows TIME - отображение и установка системного времени TELNET - telnet-клиент Windows TFTP - TFTP-клиент Windows TIMEOUT - задержка в пакетных файлах TITLE - изменение заголовка окна CMD.EXE TRACERT - трассировка маршрута к удаленному узлу TREE - отображение структуры каталога в графическом виде TSCON - подключение к сессии удаленного рабочего стола (RDP). TSDISCON - отключение сессии удаленного рабочего стола (RDP). TSKILL - завершение процессов, адаптированное для среды сервера терминалов (RDP). TYPE - вывод на экран содержимого текстового файла TypePerf - вывод сведений о производительности на экран или в журнал TZUTIL - управление часовыми поясами в среде Windows VER - отображение версии операционной системы VERIFY - управление режимом проверки записываемых файлов VOL - вывод данных метки тома VSSADMIN - администрирование службы теневого копирования томов. W32TM - управление службой времени Windows WAITFOR - организация обмена сигналами между компьютерами WBADMIN - управление резервным копированием и восстановлением в Windows WEVTUTIL - управление событиями в Windows WHERE - определение места расположения файлов WHOAMI - вывод имени текущего пользователя WINDIFF - сравнение содержимого файлов WinMgmt - обслуживание инструментария управления Windows (WMI) WINRM - удаленное управление Windows из командной строки WINRS - удаленная командная строка (Remote Shell) WINSAT - средство проверки производительности Windows WMIC - выполнение команды WMI в командной строке WSCollect - получить CAB-файл с копиями журналов Windows 10 на рабочем столе Wscript - сервер сценариев Windows с графическим интерфейсом WSL - выполнение команд Linux и конфигурирование параметров подсистемы Windows для Linux (WSL) в Windows 10 WSLconfig - конфигурирование параметров подсистемы Windows для Linux (WSL) в Windows 10 XCOPY - копирование файлов и папок

🤔✏️ Обзор одноцелевых дистрибутивов Linux Многие из тех, кто устанавливает дистрибутив Linux для одной-единственной цели, например, для работы с контейнерами, предпочитают развёртывание по принципу «поставил и забыл». На конференции FOSDEM 2023, состоявшейся в Брюсселе, было представлено несколько проектов из разряда таких «минимальных дистрибутивов Linux». Все они — Fedora CoreOS, Ubuntu Core, openSUSE MicroOS и Bottlerocket OS — решают такие задачи по-своему. Из выступлений на FOSDEM можно составить интересную перспективу, демонстрирующую, в чём эти проекты отличаются на уровне применяемых подходов. Изучить дистрибутивы #гайд

✍️😎 Пишем Ansible-модули для управления разными системами хранения данных через Swordfish Большинство современных систем хранения данных (СХД) предоставляют REST API для управления ими, включая настройку, конфигурирование, выполнение различных команд, получение логов, работу с пользователями и т.д. В зависимости от производителя СХД REST API могут отличаться друг от друга. Если вы используете несколько разных систем, их одновременная поддержка становится проблемой: нужно учитывать многообразие протоколов, интерфейсов, команд и способов взаимодействия с API. О Swordfish и преимуществах спецификации Swordfish — это стандарт управления хранилищами данных, разработанный SNIA (Storage Networking Industry Association). Эта организация объединяет производителей и пользователей СХД с целью разработки и поддержки отраслевых стандартов и технологий хранения данных. Swordfish предоставляет богатый функционал для управления ресурсами хранилищ данных, конфигурации и мониторинга систем, поддерживает механизмы аутентификации и авторизации для обеспечения безопасности. Спецификация Swordfish призвана решить большое количество проблем с универсальностью управления СХД в современной инфраструктуре, а за развитием и улучшением стандарта стоит активное сообщество. Продолжение тут #туториал

#memes Джун и его первая задача 😂😂

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

#вопросы_с_собеседования Что такое контейнеризация? Чем она отличается от виртуализации? При виртуализации машины создаются с помощью гипервизора и все аппаратные составляющие создаются через него. Затем на него накатываются операционные системы. Соответственно, ресурсы машины будут уходить на поддержание работы запущенной операционной системы. При контейнеризации аппаратные ресурсы выделяются с помощью ядра операционной системы, и изолируются пространством имен. Следовательно, они потребляют меньше ресурсов, и быстрее пересоздаются.

Как инженеру и разработчику усилить резюме? Изучить востребованный инструмент Apache Kafka! Начните знакомство с ним на бесплатном практическом уроке от Евгения Непомнящего – разработчика в IT Sense. 💻На вебинаре: - узнаете про особенности Kafka и ее устройство; - познакомитесь с основными утилитами; - рассмотрите базовое API для работы с Kafka. Занятие пройдёт 23 января в 20:00 мск и будет приурочено к старту курса «Apache Kafka». Программа доступна в рассрочку! 👉Регистрируйтесь прямо сейчас, чтобы принять участие в открытом уроке и получить запись: https://clck.ru/37mrWC Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

🤔 Очередной #дайджест для DevOps-ов ↘️ Stack Lifecycle Deployment — опенсорсный проект, определяющий и управляющий полным жизненным циклом ресурсов, используемых в облаке ↘️ Управление несколькими средами в Terraform — создание каталога для каждой среды и организацию кода инфраструктуры в этих каталогах ↘️ Демистификация OOM Killer в Kubernetes — отслеживание проблем с памятью ↘️ Б значит не Безумие, а Безопасность — кибербезопасность сейчас в тренде, безопасность инфраструктуры и ПО, располагаемого в ней, тоже — об этом и пойдет речь ↘️ 10 советов по управлению крупными инцидентами — просмотрите логи, поковыряйте мониторинг, обратитесь в службу поддержки и т. д.

🤔❓ Как добавить, использовать и обновить .terraform.lock.hcl без боли В Terraform 1.4.0 были внесены изменения, которые нарушают прежнее непреднамеренное поведение. Раньше моно было игнорировать lockfile и использовать кэшированных провайдеров, если ограничения версий в коде соответствовали локальному кэшу. Начиная с версии 1.4.0, Terraform всегда проверяет lockfile перед тем, как зайти в каталог кэша. На практике это означает, что если вы проигнорируете файл блокировки или полностью удалите его, Terraform запустит полный init, независимо от того, что находится в вашем TF_CACHE_DIR или в каталоге .terraform. Более подробно читайте здесь #гайд

Чем отличается StatefulSet от Deployment? Deployment — ресурс Kubernetes предназнваенный для развертывания приложения без сохранения состояния. При использовании PVC все реплики будут использовать один и тот же том, и ни один из них не будет иметь собственного состояния. StatefulSet — поддерживают состояние приложений за пределами жизненного цикла отдельных модулей pod, например для хранилища. Используется для приложений с отслеживанием состояния, каждая реплика модуля будет иметь собственное состояние и будет использовать свой собственный том.

#memes

🤨🤨 Чем отличается su от sudo? su «substitute user» — заменить пользователя sudo «substitute user and do» — подменить пользователя и выполнить su требует пароль целевой учетной записи, на кого переключаемся. sudo требует пароль текущего пользователя и запускает от его имени команды, которым требуются права суперюзера. Например, мы сидим под пользователем user и хотим войти под John:

user@dev:/$ su john

Будет запрошен пароль, нужно ввести пароль именно от учетной записи john, а не от user. А вот пример с sudo:

user@dev:/$ sudo -u john whoami

А здесь нужно ввести пароль от учетной записи user, а не от John или рута. Но для этого случая сперва необходимо добавить пермишены для пользователя user в файл /etc/sudoers.

user ALL=(ALL:ALL) ALL

Редактировать этот файл можно по средствам команды visudo. А свалидировать конфиг можно командой visudo -c. Редактирование этого файла через visodu хорошо тем, что если вы допустите ошибку, то при сохранении, оно сообщит о ней.

А для чего нужен дефис после su? Для очистки переменных и чтобы пользоваться чистой оболочкой при переключении на другого пользователя. Авторизуемся под пользователем user и экспортируем переменную:

ssh user@pc
export a="test"

Теперь у пользователя user есть переменная "a" которая = test. Переключаемся на пользователя John и смотрим переменную "a"

su john
echo $a

Вывелась строчка test. То есть все что мы задали под user, перекочевало в оболочку john. А теперь добавим дефис:

su - john
echo $a

Переменная $a больше не выводится. Чистая оболочка. Кстати с этим дефисом часто косячат и потом долго не могут понять в чем причина. Переменные вроде были заданы, а потом куда-то пропали.

su (с дефисом) — сначала переключается пользователь, а затем запускается shell, зачищаются все переменные.

su (без дефиса) — переключает пользователя, оставляя переменные окружения старого пользователя.

У sudo есть подобные ключи -s -i

user@pc:/$ sudo -s

Запустится оболочка с правами root

user@pc:/$ sudo -i

Запустится оболочка, но уже с чтением файлов root/.profile/.bashrc и т.п. Можно попробовать добавить экспорт переменной в .profile, сделать sudo -s/-i и увидеть что с ключом -i переменная выведется на экран.

По сути sudo -i = команде sudo su -. Но обычно за sudo su - в приличных местах можно получить по шапке. Это плохая практика! Так как это порождает дополнительный процесс и больше гемора с набором самой команды.

MinIO Multi-Node Multi-Drive Объектное хранилище — название отражает принцип работы, хранение данных в виде объектов с уникальным индексом. Автор расcкажет о своем опыте работы с одним из них, а конкретно о MinIO, из‑за достаточно простой установки, настройки и не плохого функционала. Есть несколько вариантов инсталляции MinIO: ➖ Single‑Node Single‑Drive ➖ Single‑Node Multi‑Drive ➖ Multi‑Node Multi‑Drive Далее кратко о первых двух и подробно о последнем варианте. #почитать

#memes

🍊Подборка лучших статей «Библиотеки программиста» за декабрь: сохраняй в заметки, чтобы не пропустить #самыйсок 🏖️ Чек лист идеального отдыха: 5 психологических техник расслабления 📈 Обзор рынка труда в ИТ: III квартал 2023 года 🔟🏢 ТОП-10 российских IT-работодателей 🤖🔤 Азбука SQL в примерах. Часть 1. Создаем базу данных и первую таблицу 🏆 Самые популярные языки программирования 2023 🌎 ТОП-10: рейтинг лучших зарубежных работодателей в IT 🐍❤️🙏 Путь к мечте: как инвалидность не помешала стать разработчиком и продолжить борьбу за здоровье 🧠🧩 Зачем айтишнику психолог? 😺🐙✅ Как разобраться в Git: краткая инструкция для джунов 🎄🎁 10 абсурдных подарков программисту на Новый год ✍️ Почему отсутствие технической документации убьёт ваш проект?

🤔 Очередной #дайджест для DevOps-ов ♦️ Terraform module — Self-Hosted масштабируемые GitHub Actions на AWS ♦️ Рекомендации по масштабированию внедрения AWS SDK в вашей организации — стратегии и лучшие практики для ускорения внедрения CDK в вашей организации ♦️ 8 Лучших советов и хитростей по Docker — VirtioFS, Docker Build cache и прочее ♦️ Bitwarden в действии — автоматизация смены ключей и паролей для AWS ♦️ hadolint — интеллектуальный компоновщик Dockerfile, который помогает создавать Docker-образы

🧑‍🎓🧑‍🎓 Лекторий по SRE: Примеры сбоев Плавное введение в тематику SRE. Реальные примеры сбоев, которые повлияли на работу целых компаний, и как с этими сбоями работали. Это целый курс по теории SRE. Пока там 14 видосов от основ, до детектирования и устранения сбоев, построения отказоустойчивых систем и прочего. В общем — классная вещь! 👍 #туториал

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы #️⃣C# Библиотека шарписта Библиотека задач по C# — код, квизы и тесты Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel ☁️DevOps Библиотека devops’а Вакансии по DevOps & SRE Библиотека задач по DevOps — код, квизы и тесты Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования 🐘PHP Библиотека пхпшника Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие профильные каналы Библиотека фронтендера Библиотека мобильного разработчика Библиотека хакера Библиотека тестировщика 💼Каналы с вакансиями Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 🤖Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook * 🔸Instagram * * Организация Meta запрещена на территории РФ