Библиотека девопса | DevOps, SRE, Sysadmin

🚀 Обновление GitLab 17.8 Недавно вышла новая версия GitLab 17.8, рассказываем что нового в ней появилось: 🔒 Защищенные контейнерные репозитории. Теперь они доступны в GitLab, что позволяет устанавливать строгие правила доступа для управления контейнерными образами. 📊 Отслеживание экспериментов с моделями машинного обучения. Для специалистов по данным теперь доступна функция отслеживания экспериментов с ML-моделями. Она позволяет логировать параметры, метрики и артефакты непосредственно в GitLab, упрощает доступ к экспериментальным данным и обеспечивать их сохранность в рамках GitLab. 📋 Список деплоев, связанных с релизом. Теперь на странице релиза можно увидеть все связанные деплои. 🏃‍♂️ Хостинг раннеров на Linux, Теперь доступен для пользователей GitLab Dedicated 🖇 Подробнее об обновлениях читайте в официальном анонсе 🐸Библиотека devops'a #новость

⚙️ Azure DevOps: инструменты, которые ускоряют разработку Azure DevOps предлагает мощный набор инструментов для автоматизации CI/CD, управления кодом, тестирования и мониторинга. Что входит в Azure DevOps ⭐ Azure Repos — репозитории Git с продвинутыми инструментами для командной работы. ⭐ Azure Pipelines — CI/CD-конвейеры для автоматической сборки, тестирования и деплоя. ⭐ Azure Boards — таск-менеджер с поддержкой Scrum, Kanban и Agile-методологий. ⭐ Azure Test Plans — платформа для автоматизированного и ручного тестирования. ⭐ Azure Artifacts — безопасное хранилище зависимостей: NuGet, npm, Maven. Почему Azure DevOps ✅ Полная экосистема: код → сборка → тест → деплой → мониторинг. ✅ Поддержка гибридных облаков (Azure, AWS, GCP, On-prem). ✅ Интеграция с GitHub, Docker, Kubernetes, Terraform, Ansible. ✅ Подходит как для стартапов, так и для энтерпрайза. 📎 Подробнее про Azure-стек в статье 🐸Библиотека devops'a

📚 Менеджер пакетов нового поколения для Linux GNU Guix — это менеджер пакетов для систем GNU/Linux, разработанный для предоставления пользователям большего контроля над их системой и облегчения их воспроизведения и развертывания на одном или нескольких устройствах. Особенности GNU Guix: ➖ Транзакционные обновления и откаты: возможность безопасно обновлять и при необходимости возвращаться к предыдущим версиям пакетов. ➖ Воспроизводимые сборки: обеспечение идентичности программных сред при повторной сборке, что особенно важно для научных исследований и разработки. ➖ Управление пакетами без привилегий суперпользователя: пользователи могут устанавливать и управлять пакетами независимо друг от друга без необходимости в административных правах. ➖ Поддержка профилей для каждого пользователя: каждый пользователь может иметь собственный набор установленных пакетов и конфигураций, не влияя на других. Кроме того, GNU Guix предоставляет тысячи пакетов, доступных в виде предварительно собранных бинарных файлов, включая рабочие среды, приложения, системные инструменты и языки программирования. ➡️ Официальный сайт проекта 🐸Библиотека devops'a

Доклады, нетворкинг и облачные технологии — всё на K2 Cloud Conf. Ребята из K2 Cloud сделали свою конференцию, где поделятся всем про облака: как подключаться к ним без компромиссов в безопасности, автоматизировать процессы с помощью PaaS, а также расскажут о новом типе сетевых дисков – всё это и не только! Встречаемся 4-го марта. Подробности и регистрация по ссылке

🔍 KICS – безопасность для Infrastructure as Code Keeping Infrastructure as Code Secure (KICS)– это инструмент, предназначенный для автоматического сканирования инфраструктуры как кода (IaC) на наличие уязвимостей и ошибок конфигурации. ➖ Как работает KICS KICS анализирует конфигурационные файлы Terraform, Kubernetes, Docker, CloudFormation, Ansible и выявляет потенциальные угрозы, такие как: • Открытые порты или ненадёжные сетевые настройки • Отсутствие аутентификации и некорректное управление доступом • Использование небезопасных облачных сервисов и параметров • Несоответствие стандартам безопасности: CIS, NIST, GDPR ➖ Как запустить KICS Для сканирования достаточно выполнить команду:

docker run -v $(pwd):/path checkmarx/kics scan -p /path

➖ Ключевые особенности KICS • Поддержка множества языков IaC: Terraform, Helm, JSON, YAML • Интеграция в CI/CD-пайплайны: GitHub Actions, GitLab CI/CD, Jenkins. • Быстрая установка и запуск — можно использовать через Docker или бинарный файл. • Огромная база правил — более 2000 проверок на соответствие требованиям безопасности. Ручной аудит конфигураций — это долго и дорого. KICS выполняет анализ автоматически, позволяя разработчикам сосредоточиться на создании кода 🐸Библиотека devops'a

⚙️ Какой workflow выбрать в Terraform HashiCorp предлагает три основных подхода к управлению запусками Terraform в HCP Terraform: UI/VCS-ориентированный, CLI-ориентированный и API-ориентированный. 1️⃣ UI/VCS-ориентированный рабочий процесс Этот метод является наиболее интуитивным и подходит для большинства пользователей. HCP Terraform интегрируется с основными системами контроля версий (VCS), такими как GitHub или Bitbucket. При подключении репозитория к рабочей области HCP Terraform автоматически регистрирует вебхуки. Каждый раз при внесении новых коммитов в связанную ветку репозитория HCP Terraform автоматически инициирует запуск Terraform. 2️⃣ CLI-ориентированный рабочий процесс Этот подход позволяет использовать стандартные инструменты командной строки Terraform для выполнения запусков в HCP Terraform. Он особенно полезен для локальной разработки и тестирования, предоставляя возможность быстро вносить изменения и проверять их перед интеграцией. . 3️⃣ API-ориентированный рабочий процесс Этот метод предоставляет максимальную гибкость и предназначен для опытных пользователей, которым требуется интеграция Terraform с другими системами или автоматизация процессов. В API-ориентированном рабочем процессе рабочие области не связаны напрямую с репозиторием VCS. Вместо этого внешние инструменты, такие как системы CI/CD, отвечают за определение изменений в конфигурации и инициирование запусков через API HCP Terraform. 📎 Подробнее в блоге HashiCorp 🐸Библиотека devops'a

🛠 Эффективный Terraform Один из ключевых принципов — модули конфигурации. Разделение инфраструктуры на переиспользуемые модули сокращает дублирование кода и упрощает поддержку общих компонентов Важным аспектом работы с Terraform является удалённое хранение состояния. Использование AWS S3 или HashiCorp Consul, вместе с механизмами блокировки, позволяет избежать конфликтов при одновременной работе нескольких специалистов. Еще одна неотъемлемая практика — обязательное выполнение команды terraform plan перед применением изменений. Планирование позволяет увидеть, какие изменения будут внесены, и выявить возможные ошибки на ранней стадии. 📎 Подробности с примерами в источнике 🐸Библиотека devops'a

🐸Библиотека devops'a #мем

⚙️ Подпишись на нашу еженедельную email-рассылку, чтобы быть в курсе последних открытий и тенденций в мире бэкенда. В еженедельных письмах ты найдешь: ● Языки программирования и фреймворки для бэкенда ● Архитектура и проектирование серверных приложений ● Базы данных и управление данными ● Безопасность и защита данных ● Облачные технологии и DevOps ● API и интеграции ● Тестирование и отладка ● Инструменты и утилиты для бэкенд-разработчиков ● Лучшие практики и паттерны проектирования 👉Подписаться👈

🔄 Обновление Git Недавно вышла новая версия Git — 2.48. В этом обновлении представлены улучшения и исправления, направленные на повышение производительности и удобства использования. Ниже некоторые изменения: ➖ Поддержка системы сборки Meson: git теперь поддерживает систему сборки Meson -- современную альтернативу существующим системам на основе Makefile, Autoconf и CMake. Meson предлагает понятную синтаксическую структуру, поддержку различных ОС, компиляторов и IDE. ➖ Улучшенные проверки целостности пакетов: теперь при выполнении операций fetch с использованием пакетов возможна полная проверка с помощью механизма fsck. ➖ Оптимизация работы с reftable: благодаря повторному использованию внутренних итераторов при чтении случайных ссылок удалось повысить производительность, особенно при создании множества ссылок в одной транзакции. ➖ Поддержка миграции reflog: инструмент git refs migrate теперь поддерживает миграцию reflog между различными форматами хранения ссылок. ➖ Оптимизация фильтрации ссылок: подсистема ref-filter, используемая в командах git for-each-ref, git branch и git tag, была оптимизирована для работы с большим количеством ссылок. 🖇 Подробности о релизе 🐸Библиотека devops'a #новость

👻 Ghostty 1.1.0: обзор обновления Вчера вышла версия Ghostty 1.1.0 — кроссплатформенного терминала с аппаратным ускорением и нативным интерфейсом Изменения в версии 1.1.0: ➖ Поддержка серверных декораций окон на Linux: теперь Ghostty поддерживает серверные декорации окон для композиторов, которые их поддерживают, из-за чего он выглядит более нативно в различных окружениях рабочего стола. ➖ «Выполнимые» горячие клавиши: добавлен новый префикс performable для горячих клавиш. Этот префикс указывает, что горячая клавиша должна потреблять ввод только в том случае, если действие выполняется. Например, комбинация ctrl+c будет работать как копирование только при наличии текста для копирования; в противном случае она будет передана в оболочку для прерывания процесса. ➖ Улучшения альфа-смешивания на macOS: альфа-смешивание теперь выполняется в цветовом пространстве P3 по умолчанию, что снижает затемнение вокруг краев текста и соответствует внешнему виду нативных приложений macOS. ➖ Улучшения терминала на macOS: быстрый терминал теперь корректно работает с нативными полноэкранными окнами, изменениями рабочих пространств во время его открытия, виджетами IME, левыми/правыми доками и другими элементами. 📎 Почитать про обновление 🐸Библиотека devops'a #новость

☢️ Как не попасть в токсичную компанию: чек-лист для айтишника C офферами от Сбера, Вконтакте, Яндекса и других айтишных гигантов все понятно — это стабильные компании, работать в которых мечтают многие. Но вот что делать, если вас зовут работать в ноунейм-компанию, при этом предлагают з/п сильно выше рынка, полную удаленку и 100500 «плюшек»? Рассказываем, как проверить будущего работодателя и не оказаться в компании-однодневке с невыплатами зарплаты и токсичной культурой. 👉 Читать статью

▶️⚙️ Кроссплатформенные CI/CD-процессы с Docker При разработке CI/CD-процессов возникает проблема несовместимости между разными платформами. Конфигурации, работающие в одной среде, могут некорректно работать в другой. Docker решает эту проблему, создавая единое окружение, в котором можно запускать сборки и тестирование без зависимости от используемой CI/CD-системы. Для быстрого старта можно использовать шаблон:

git clone https://github.com/mathio/awesome-action-starter.git my-action
cd my-action

➡️ Подробное руководство доступно по ссылке 🐸Библиотека devops'a

🛠 Стратегии развертывания в DevOps Развертывание нового кода требует точности и продуманного подхода. Ошибки приводят к сбоям, потере данных, недоступности сервисов. • Rolling-обновления исключают downtime, позволяя постепенно вводить изменения. • Blue-Green Deployment снижает вероятность отказа, задействуя резервную среду. • Canary Deployment позволяет протестировать обновления на ограниченной группе, свести к минимуму возможные проблемы. ➡️ Про вышеописанные и другие стратегии развёртывания рекомендуем прочитать статью 🐸Библиотека devops'a

Офер в Яндекс для опытных бэкендеров за два дня 15–16 февраля приглашаем бэкендеров с опытом работы от пяти лет получить офер в Яндекс через multitrack за 2 дня. Достаточно пройти несколько технических секции 15 февраля, чтобы уже 16-го получить офер и выбрать три команды, к которым вам было бы интересно присоединиться. Как правило, за несколько собеседований сложно понять, подходит ли вам команда и наоборот. Multitrack позволит вам поработать в трёх разных командах Яндекса и выбрать подходящую. Вы сможете погрузиться в рабочие процессы, познакомиться с будущими коллегами и понять, с какими задачами и технологиями хотите работать. Узнать подробности и зарегистрироваться.

⚡️ Если вы вдруг забыли: у нас можно купить рекламу Библиотека программиста — медиа с миллионной аудиторией из IT-сферы. Что у нас есть: • 60+ телеграм-каналов по разным IT-направлениям, от Python до DevOps • 25 000 daily active users на сайте, который поможет усилить продвижение • Возможность сделать нативную интеграцию, виральный пост и не только За айтишной аудиторией — к нам 😏 По вопросам рекламы пишите сюда → @proglib_adv

🤖 Разворачиваем DeepSeek на Amazon Недавно компания DeepSeek представила AI-модель DeepSeek-R1, которая сопоставима с передовыми западными аналогами, но при этом экономична и открыта для сообщества. Развертывание этой модели на Amazon EC2 предоставляет разработчикам гибкость и масштабируемость для интеграции мощных AI-функций в свои приложения. Основные шаги развертывания DeepSeek-R1 на Amazon EC2: 1️⃣ Создание IAM роли: в AWS Management Console создайте роль для EC2 с необходимыми правами доступа, включая AmazonS3FullAccess и AmazonSSMManagedInstanceCore. 2️⃣ Настройка EC2 экземпляра: запустите экземпляр EC2 с Amazon Linux 2, выбрав тип g4dn.xlarge, настройте сеть и создайте группу безопасности, разрешающую HTTP и HTTPS трафик. 3️⃣ Подключение через SSM: используйте AWS Systems Manager для подключения к экземпляру без необходимости в открытых SSH-портах. 4️⃣ Установка драйверов NVIDIA и Docker: установите необходимые драйверы для GPU и настройте Docker для работы с NVIDIA. 5️⃣ Развертывание Ollama и модели DeepSeek-R1: установите Ollama Server и загрузите модель DeepSeek-R1-Distill-Qwen-14B для обработки AI-запросов. 6️⃣ Настройка Application Load Balancer: создайте балансировщик нагрузки для обеспечения доступа к веб-интерфейсу Ollama, что позволит взаимодействовать с моделью через браузер. 📎 Подробнее читайте в статье

✅ Выбираем базу данных правильно Когда речь заходит о типах баз данных, часто вспоминают SQL и NoSQL. Однако мир баз данных гораздо шире. Рассмотрим некоторые из них: 1️⃣ Иерархические базы данных Структурируют данные в виде древовидной иерархии, где каждая запись имеет одну родительскую и множество дочерних. 2️⃣ Сетевые базы данных — расширяют иерархическую модель, позволяя каждой записи иметь несколько родительских и дочерних записей. 3️⃣ Объектно-ориентированные базы данных — интегрируют принципы объектно-ориентированного программирования, позволяя хранить данные в виде объектов. 4️⃣ Мультимодельные базы данных — поддерживают несколько моделей данных, позволяя использовать различные подходы к хранению и обработке информации в рамках одной системы. 📎 Про остальные типы данных и их особенности — в статье 🐸Библиотека devops'a

🐧 Мониторинг Linux: ключевые инструменты Для мониторинга производительности Linux через терминал существует множество инструментов, которые предоставляют подробную информацию о состоянии системы.  🛠 Например, htop предоставляет интерактивный интерфейс для наблюдения за процессами, nmon фокусируется на детальном анализе ресурсов, iftop специализируется на мониторинге сетевой активности, а btop сочетает в себе удобный интерфейс с расширенными функциями управления процессами. Для более подробного обзора этих и других инструментов вы можете ознакомиться с видео: ➡️ Смотреть видео 🐸Библиотека devops'a #смотреть

🛠 OpenTofu 1.9.0: краткий обзор В версии 1.9.0 OpenTofu представил ряд долгожданных функций, значительно повышающих эффективность и гибкость управления инфраструктурой: ➖ Итерация провайдеров с помощью for_each: Упрощает многорегиональные развертывания, устраняя необходимость дублирования конфигураций. ➖ Флаг -exclude: позволяет исключать определенные ресурсы из операций plan и apply, повышая гибкость управления инфраструктурой. ➖ Улучшения ранней оценки: OpenTofu теперь запрашивает необходимые переменные на ранних этапах, повышая точность и эффективность конфигураций. ➖ Улучшения шифрования: введена опция encrypted_metadata_alias для явного задания идентификатора, сохраняемого с зашифрованными данными, что упрощает управление ключами и метаданными. ➖ Улучшения производительности: Внесены значительные оптимизации, особенно заметные при работе с большими графами и множеством подмодулей. 🐸Библиотека devops'a #обновление