Библиотека девопса | DevOps, SRE, Sysadmin

🗃 Как хранятся данные в Redis: RDB vs AOF Когда речь заходит о персистентности данных в Redis, используются два основных механизма: • RDB (Redis Database Backup) – снимки базы в определённые моменты времени. • AOF (Append Only File) – журнал, записывающий все изменения в базе. ➖ Как работает RDB Раз в заданный интервал времени Redis делает снимок всех данных и сохраняет его в файл. Одним из главных плюсов RDB является быстрое восстановление после аварии — загрузка данных идёт значительно быстрее, чем при использовании AOF. Основной минус RDB — потенциальная потеря данных. Если сервер неожиданно упадёт между созданием снимков, все изменения, сделанные после последнего сохранения, будут утеряны. ➖ Как работает AOF Каждый запрос, изменяющий данные записывается в лог. Основное преимущество AOF — минимальная потеря данных. В зависимости от настроек можно записывать изменения каждую секунду или в реальном времени. Файл AOF занимает больше места на диске, так как содержит историю всех операций. Восстановление из AOF занимает больше времени по сравнению с RDB, так как необходимо последовательно выполнить все записанные команды. Делитесь в комментариях где бы использовали каждый метод? 👇 🐸Библиотека devops'a

Самые полезные каналы для программистов в одной подборке! Сохраняйте себе, чтобы не потерять 💾 🔥Для всех Библиотека программиста — новости, статьи, досуг, фундаментальные темы Книги для программистов IT-мемы Proglib Academy — тут мы рассказываем про обучение и курсы Азбука айтишника — здесь мы познаем азы из мира программирования 🤖Про нейросети Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка Библиотека нейротекста | ChatGPT, Gemini, Bing Библиотека нейровидео | Sora AI, Runway ML, дипфейки Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion #️⃣C# Книги для шарпистов | C#, .NET, F# Библиотека шарписта — полезные статьи, новости и обучающие материалы по C# Библиотека задач по C# — код, квизы и тесты Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel ☁️DevOps Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps Вакансии по DevOps & SRE Библиотека задач по DevOps — код, квизы и тесты Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования 🐘PHP Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP Вакансии по PHP, Symfony, Laravel Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по PHP — код, квизы и тесты 🐍Python Библиотека питониста — полезные статьи, новости и обучающие материалы по Python Вакансии по питону, Django, Flask Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Python — код, квизы и тесты ☕Java Книги для джавистов | Java Библиотека джависта — полезные статьи по Java, новости и обучающие материалы Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Java — код, квизы и тесты Вакансии для java-разработчиков 👾Data Science Книги для дата сайентистов | Data Science Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Data Science — код, квизы и тесты Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту 🦫Go Книги для Go разработчиков Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по Go — код, квизы и тесты Вакансии по Go 🧠C++ Книги для C/C++ разработчиков Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++ Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования Библиотека задач по C++ — код, квизы и тесты Вакансии по C++ 💻Другие каналы Библиотека фронтендера Библиотека мобильного разработчика Библиотека хакера Библиотека тестировщика Вакансии по фронтенду, джаваскрипт, React, Angular, Vue Вакансии для мобильных разработчиков Вакансии по QA тестированию InfoSec Jobs — вакансии по информационной безопасности Библиотека разработчика игр | Gamedev, Unity, Unreal Engine 📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈 Также у нас есть боты: Бот с IT-вакансиями Бот с мероприятиями в сфере IT Мы в других соцсетях: 🔸VK 🔸YouTube 🔸Дзен 🔸Facebook * 🔸Instagram * * Организация Meta запрещена на территории РФ

🐳 Как Docker управляет процессами В Docker каждый контейнер работает как изолированная среда, но процессы внутри него управляются немного иначе, чем в обычной системе. Как работают процессы в контейнере: ➖ PID 1 – главный процесс контейнера. Если он завершается, контейнер тоже останавливается ➖ Команда docker exec создает новый процесс, но он не является дочерним PID 1 ➖ В отличие от стандартных Linux-систем, PID 1 в контейнере не обрабатывает сигналы от дочерних процессов, что может привести к зависшим процессам Если контейнер работает с несколькими процессами, их управление может стать проблемой. Например, неправильная обработка сигналов SIGTERM может привести к тому, что фоновые процессы не завершатся корректно. Как избежать проблем • Используйте инициализатор процессов: tini или dumb-init • Корректно обрабатывайте сигналы завершения • Следите за жизненным циклом процессов внутри контейнера ➡️ Подробнее про жизнь контейнеров 🐸Библиотека devops'a

🏗 🔨 Как не сломать продакшен: 8 основных паттернов распределенных систем Разработка распределённых систем сопряжена с множеством вызовов: от управления состоянием и взаимодействия сервисов до обработки отказов и масштабирования. Чтобы упростить решение этих задач, инженеры используют проверенные временем архитектурные паттерны. В статье рассматриваются ключевые шаблоны, помогающие строить надёжные и эффективные распределённые системы. ➡️ Читать статью 🐸Библиотека devops'a

🔧 Как избежать катастроф в продакшене LGTM Stack даёт полный контроль над логами, метриками и трассировками, помогая выявлять и устранять проблемы до того, как их заметят пользователи Что входит в LGTM Stack 🔹 Grafana. Визуализация данных, удобные дашборды, алерты. 🔹 Loki. Сбор и поиск логов, фильтрация ошибок. 🔹 Prometheus. Хранение метрик (CPU, запросы, задержки). 🔹 Tempo. Трассировка запросов, выявление узких мест. Как это настроить 👀 Подробный разбор с кодом и инструкциями — в видео 🐸Библиотека devops'a

Этот чит-лист поможет быстро сравнить ключевые сервисы AWS, Azure, Google Cloud и Oracle Cloud 🐸Библиотека devops'a #шпаргалки

🔑 Ключ к статической аутентификации JSON Web Token (JWT) — это инструмент для безопасной передачи информации между клиентом и сервером. 🛠 Как устроен JWT JWT состоит из трех частей: 1. Header — содержит тип токена и алгоритм подписи. 2. Payload — включает данные пользователя и утверждения (claims). 3. Signature — обеспечивает защиту от подделки, создается с помощью секретного ключа. Симметричная или асимметричная подпись ➖Симметричная подпись использует один общий секретный ключ. Это просто, но менее безопасно. ➖ Асимметричная подпись работает с парой ключей (приватный и публичный), что повышает безопасность. О чем важно помнить • Безопасность: не храните секретные ключи в коде. • Срок действия: ограничивайте TTL токенов. • Шифрование: используйте HTTPS, чтобы избежать утечек. 📎 Подробности в источнике 🐸Библиотека devops'a

🚀 Разбираем Node Affinity в Kubernetes Node Affinity — это механизм, который позволяет задавать гибкие правила для размещения подов, основываясь на метках узлов. В отличие от nodeSelector, он поддерживает мягкие (preferred) и жёсткие (required) правила 🛠 Как это работает: В Kubernetes есть два ключевых типа правил: 1️⃣ requiredDuringSchedulingIgnoredDuringExecution — жёсткие требования, под не будет запущен, если узел не соответствует правилам. 2️⃣ preferredDuringSchedulingIgnoredDuringExecution — мягкие предпочтения, Kubernetes попытается запустить под на узле, который соответствует описанию предпочтений, но если такого нет, выберет любой свободный. Пример YAML-манифеста:

apiVersion: v1
kind: Pod
metadata:
  name: gpu-app
spec:
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: "gpu"
            operator: "In"
            values:
            - "true"
  containers:
  - name: app
    image: my-gpu-app

Этот под будет запускаться только на узлах, у которых есть метка gpu=true. 📄 Подробнее в документации 🐸Библиотека devops'a

Возможность для всех, кто работает с Linux и хочет прокачаться. K2 Cloud запускает программу обучения: погружение в DevOps + прокачка в Linux. Если пройдешь на программу — трудоустраивают и платят зарплату, пока учишься. Обучение с практикой, лабораторными и под контролем экспертов из K2 Cloud. Курс проходит онлайн, в Москве можно учиться гибридно с посещением офиса. Подробности тут.

📈 IT-найм 2025: почему сеньоры будут на вес золота, а джуны — без работы? Времена «мастеров на все руки» в IT подходят к концу. Работодатели все чаще отдают предпочтение кандидатам с опытом работы на конкретном стеке и с продолжительным опытом в конкретной отрасли, будь то финтех, е-ком, ритейл, фудтех и т. д. Все потому, что рынок требует специалистов с глубоким пониманием специфики отрасли, способных решать задачи в рамках строгих ограничений. Рассказываем, какие специалисты будут востребованы в 2025 году и как ими стать. 👉 Читать статью

🤨 OpenTelemetry, Jaeger и Prometheus: контроль микросервисов Логи могут сказать, что случилась ошибка, но не скажут, где она произошла. OpenTelemetry, Jaeger и Prometheus вместе дают полный контроль. Что делает каждый инструмент: ➖ OpenTelemetry. Универсальный инструмент для сбора, обработки и экспорта трассировок, метрик и логов. ➖ Jaeger. Система распределённой трассировки, которая помогает анализировать путь запросов через систему. ➖ Prometheus. Мощный инструмент для сбора метрик и мониторинга сервисов в реальном времени. Для чего используются: 1. Смотреть, как запросы проходят через микросервисную архитектуру 2. Сократить время поиска и устранения сбоев 3. Объединить трассировки, логи и метрики для полной картины Связка OTEL + Jaeger + Prometheus – это must-have для команд, работающих с микросервисами. ➡️ Посмотреть реализацию стека 🐸Библиотека devops'a

🧩 Что такое Service Discovery Service Discovery — это механизм автоматического обнаружения сервисов внутри распределённой системы. По сути, это динамическая телефонная книга, которая позволяет сервисам взаимодействовать без жёстко заданных адресов. 🛠 Как это работает 1. Каждый сервис регистрируется в реестре сервисов при запуске. 2. Регулярно отправляет сигналы keep-alive, подтверждая свою работоспособность. 3. Другие сервисы запрашивают реестр, чтобы узнать, где находится нужный им сервис. Способы настройки реестра 1️⃣ Клиентское обнаружение. Клиент сам запрашивает реестр и выбирает нужный сервис. 2️⃣ Серверное обнаружение. Клиент делает запрос на балансировщик нагрузки, который сам перенаправляет его на рабочий экземпляр сервиса. ➡️ Подробнее про Service Discovery 🐸Библиотека devops'a

🌟 Какие вебинары вам действительно нужны Привет, девопсы! 👋 Мы готовим новые вебинары и хотим сделать их максимально полезными для вас. Это поможет нам не только создавать актуальный контент, но и развивать проект, находя новые точки контактов для вас. Ваши ответы дадут нам понимание, какие темы и форматы действительно важны, а также помогут сделать вебинары интереснее и продуктивнее. Заполнение займет всего пару минут, а нам это очень поможет! Спасибо, что участвуете в нашем развитии! 💙 👉 Пройти опрос

🛠 Работа с API без браузера Существует множество инструментов, которые упрощают взаимодействие с API из командной строки. Вот некоторые из них: ➖ HTTPie: HTTP-клиент с простым синтаксисом, облегчающий отправку HTTP-запросов и просмотр ответов. ➖ jq: инструмент для обработки JSON-данных, позволяющий фильтровать, форматировать и преобразовывать JSON прямо в терминале. ➖ curl: популярная утилита для передачи данных с использованием различных протоколов, часто используемая для взаимодействия с веб-API. ➖ gron: инструмент, преобразующий JSON в плоский формат, что упрощает поиск и обработку данных с помощью стандартных команд Unix. 👀 Подробнее про эти и несколько других инструментов 🐸Библиотека devops'a

🐳 DeepSeek-R1 — очередной значительный шаг в развитии ИИ. Для сообщества ML-разработчиков и исследователей этот релиз важен по двум причинам: 👉 Это модель с открытыми весами, имеющая уменьшенные, дистиллированные версии. 👉 Она использует и анализирует метод обучения, который позволяет воспроизвести модель рассуждений, подобную OpenAI o1. Разберемся, как происходило обучение DeepSeek-R1: https://proglib.io/sh/SwVUWXrFN3

🔐 Как извлекать SSL/TLS-сертификаты без OpenSSL Certificate Ripper — это инструмент командной строки, который позволяет извлекать сертификаты без OpenSSL, автоматически сохранять их и даже работать через прокси. ➖ Что умеет Certificate Ripper 1. Извлечение сертификатов с любого сервера. 2. Отсутствие зависимости от OpenSSL — не нужно устанавливать дополнительные утилиты. 3. Поддержка формата PEM и PKCS12 — удобное сохранение сертификатов. 4. Работа через прокси — если вам нужно извлекать сертификаты в корпоративной сети. 5. Массовое извлечение — можно получить сертификаты сразу с нескольких серверов одной командой. 6. Совместимость с macOS, Linux и Windows. ➖ Простые примеры использования Вывести сертификат в консоль:

crip print --url=https://github.com

Сохранить сертификат в PKCS12-хранилище:

crip export pkcs12 --url=https://github.com --destination=/path/to/directory

Массовое извлечение сертификатов с нескольких URL:

crip export pkcs12 \
  --url=https://google.com \
  --url=https://github.com \
  --url=https://stackoverflow.com

📎 Подробнее о возможностях инструмента 🐸Библиотека devops'a

🐳 Новая версия Docker Desktop Docker выпустил версию Docker Desktop 4.38, представив ряд новых функций и улучшений. Ключевые обновления: ➖ Интеграция с AI Agent: теперь разработчики могут использовать AI Agent непосредственно в Docker Desktop. ➖ Многоузловой Kubernetes: добавлена поддержка развертывания и управления многоузловыми кластерами Kubernetes. ➖ Bake в GA: функция Bake достигла статуса General Availability. 🖇 Подробнее в блоге Docker 🐸Библиотека devops'a

🏗 Разбираем Prometheus Prometheus позволяет управлять мониторингом без сложных конфигураций. Давайте разберёмся, какие компоненты обеспечивают его работу и как они взаимодействуют. Компоненты Prometheus ➖ Prometheus Server. Основной компонент, который собирает, обрабатывает и хранит метрики в базе временных рядов. ➖Time-Series Database. Специальное хранилище, в котором данные индексируются по времени и меткам, что позволяет быстро выполнять сложные запросы. ➖ Scraper. Сервер запрашивает данные у приложений, баз данных и других сервисов, которые предоставляют метрики в формате Prometheus. ➖Query & API Layer. Поддержка языка запросов Prometheus PromQL, API-интерфейсов и интеграция с внешними инструментами. Что делает Prometheus • Запрашивает метрики у целевых сервисов • Хранит данные в базе • Выполняет аналитические запросы через PromQL • Передаёт данные в Grafana для визуализации • Настраивает оповещения через Alertmanager Отличительная особенность – Prometheus использует pull-модель, а не push. ➡️ Подробнее про архитектуру Prometheus 🐸Библиотека devops'a

🐳 Настройка Keycloak в Docker Keycloak это open-source identity provider с поддержкой OIDC, OAuth 2.0 и SAML для управления пользователями, ролями и авторизацией Запускаем Keycloak в Docker:

docker run -p 8080:8080  \ 
    -e KC_BOOTSTRAP_ADMIN_USERNAME=admin \
    -e KC_BOOTSTRAP_ADMIN_PASSWORD=admin \
    quay.io/keycloak/keycloak:26.1.1 start-dev

Эта команда запускает Keycloak, открытый на локальном порту 8080, и создаёт начального администратора с именем пользователя admin и паролем admin. Что нужно сделать после запуска 1️⃣ Создать новый Realm — пространство пользователей 2️⃣ Добавить клиента, например, my-app 3️⃣ Настроить редиректы (куда возвращать пользователей после логина) 4️⃣ Генерировать клиентский секрет и подключить его в коде приложения ➡️ Подробнее про настройку в официальном гайде 🐸Библиотека devops'a

🌐 API Gateway: что это и зачем нужно API Gateway — это промежуточный сервис, который принимает запросы от клиентов и направляет их к нужным сервисам или микросервисам. ➖ Как работает API Gateway Когда мобильное приложение, браузер или другой сервис отправляет запрос, API Gateway: 1️⃣ Принимает запрос от клиента. 2️⃣ Определяет, куда его направить — в один сервис или сразу в несколько. 3️⃣ Добавляет авторизацию, логику маршрутизации и другие проверки. 4️⃣ Отправляет запрос в нужный сервис и получает ответ. 5️⃣ Форматирует и возвращает ответ клиенту. Он абстрагирует сложность backend-архитектуры, позволяя клиентам взаимодействовать, не зная о внутренних сервисах, их местоположении и способах обработки данных ➖ Популярные API Gateway • AWS API Gateway – сервис от Amazon для управления REST и WebSocket API. • Kong API Gateway – мощное open-source решение с плагинами. • Traefik – API Gateway и балансировщик нагрузки для Kubernetes. • NGINX – можно использовать как API Gateway для маршрутизации трафика. 🐸Библиотека devops'a