Библиотека девопса | DevOps, SRE, Sysadmin

💡 Как избежать катастрофы при переходе на PostgreSQL: руководство по спасению базы данных Переход на PostgreSQL — это не просто замена одного инструмента другим. Неправильный подход может привести к потере данных, снижению производительности и длительным простоям. Особенно это касается хранимых процедур: различия между PL/pgSQL и языками, такими как PL/SQL или T-SQL, могут вызывать ошибки, которые сложно обнаружить заранее. Если вы хотите узнать, как избежать этих проблем, правильно спланировать переход и не потерять производительность, ознакомьтесь с важными советами и готовыми решениями, которые сделают миграцию безопасной и эффективной. 🚀 🔗 Читать статью 🔗 Зеркало

#мем

🔄 Поллинг или вебхуки: что лучше подойдет для вашего приложения Существует множество технологий обмена данными — WebSockets, SSE, gRPC, брокеры сообщений — однако специфика и ограничения некоторых проектов заставляют разработчика сделать выбор между поллингом и вебхуками. Разберем преимущества и недостатки этих методов. 👉 Статья

🎉 Розыгрыш от Proglib Academy и DigitalRazor! С 27 ноября по 27 декабря у вас есть шанс не только прокачать свои навыки, но и выиграть ПК при покупке любого курса Академии! 🎁 Призы для участников акции: – Игровой ПК DigitalRazor ProGaming – VIP-пакет курса Proglib Academy 💡 Как принять участие? Купите любой курс Proglib Academy с 27 ноября по 27 декабря и получите шанс выиграть мощный ПК. Приобретите технику DigitalRazor — участвуйте в розыгрыше VIP курса. 📅 Вместе с DigitalRazor мы создали спецпредложение -50% на курсы до 30 ноября, чтобы вы могли начать обучение на более выгодных условиях. Выбрать курс

🌐🌀 Kubernetes Node Problem Detector: как отслеживать и решать проблемы узлов в кластере Поддержание стабильности Kubernetes-кластера — одна из ключевых задач DevOps-инженера. Чтобы вовремя обнаруживать и устранять проблемы с узлами, Google разработали Node Problem Detector (NPD). Этот инструмент интегрируется с Kubernetes и помогает автоматически выявлять неисправности узлов, такие как сбои оборудования, перегрузки или системные ошибки. Node Problem Detector — это агент, который: * Отслеживает проблемы на уровне операционной системы (например, ошибки ядра, падения процессов). * Собирает метрики и логи, позволяя быстро диагностировать сбои. * Обновляет статус узлов в Kubernetes, чтобы подсказать, какие из них нуждаются в ремонте или замене. * Отправляет уведомления во внешние системы мониторинга, такие как Prometheus или Stackdriver. 🛠️Как настроить? * Установить DaemonSet: Node Problem Detector разворачивается на всех узлах кластера как DaemonSet. * Настроить конфигурацию: Можно задать правила для обнаружения конкретных типов проблем. Например, мониторинг системных логов для поиска определённых сообщений об ошибках. * Интеграция с Kubernetes: Проблемы автоматически отражаются в статусе узлов (NodeCondition), что позволяет оркестратору учитывать их при планировании подов. * Отправка данных в Prometheus, Grafana или другие системы для удобного отслеживания. 📎 Подробнее про пошаговую настройку NPD в источнике

⚡️ Напоминаем: у нас можно (и нужно) купить рекламу → Более 60 телеграм-каналов по всем направлениям IT → Почти 1,2 миллиона аудитории → Собственное медиа и сайт с DAU 25 000 — можем усилить продвижение → Классные email-рассылки → И, конечно же, крутые контент-менеджеры, которые сделают нативную интеграцию/придумают виральный пост/реализуют любые контентные предпочтения Для заказа пишите сюда: @proglib_adv

📔 Database Gateway: удобный инструмент для безопасного доступа к базам данных На платформе Reddit пользователь поделился своим проектом под названием Database Gateway. Этот инструмент предназначен для безопасного и централизованного управления доступом к производственным базам данных, а также для выполнения строго контролируемых запросов. 🛠️ Ключевые функции: * Определение правил доступа на уровне экземпляров, таблиц и столбцов. * Пользователи входят в систему с помощью OpenID Connect. * Возможность выполнения запросов к нескольким экземплярам PostgreSQL через единый интерфейс. * Безопасное выполнение одобренных запросов и просмотр результатов через веб-интерфейс * Сохранение результатов запросов для последующего доступа или экспорта. Как это работает: * Пользователи проходят аутентификацию через OIDC. * ACL (списки контроля доступа) регулируют доступ к конкретным экземплярам, таблицам и столбцам.https://github.com/kazhuravlev/database-gateway * Одобренные запросы выполняются, а результаты хранятся в безопасной среде. 📎 Подробнее ознакомиться с проектом и поддержать его можно в официальном репозитории.

Контейнеры — отличный способ связать и запустить приложения. В производственной среде необходимо управлять контейнерами, которые запускают приложения, и гарантировать отсутствие простоев. Например, если контейнер выходит из строя, необходимо запустить другой контейнер. Не было бы проще, если бы такое поведение обрабатывалось системой? Вот тут Kubernetes приходит на помощь! Kubernetes дает фреймворк для гибкой работы распределенных систем. Он занимается масштабированием и обработкой ошибок в приложении, предоставляет шаблоны развертывания и многое другое. На курсе «Эксплуатация и разработка в Kubernetes» от Яндекс Практикума за 3 месяца вы освоите навыки, которые помогут работать с более сложными продуктами, и сможете повысить свой уровень как специалист. Наш курс не про базу работы с Kubernete, а про комплексное погружение в инструмент. С Kubernetes вы увеличите свою ценность на рынке труда, сможете обосновать повышение или найти место с более интересными проектами и привлекательной зарплатой. На hh.ru 4 000+ вакансий с упоминанием этой системы оркестрации. Cамое главное — никаких давно снятых видео и длинных лекций. Теория и практика проходят в интерактивном учебнике в удобном темпе без жёстких дедлайнов! А воркшопы с опытными разработчиками, рассказывающими о лучших практиках и разбирающими сложные кейсы, можно смотреть в записи, если вы не успеваете их посетить. 👉 Начните учиться бесплатно уже сейчас!

🌐🛠️ HCP Vault Dedicated: Новые возможности для DevOps-инженеров Компания HashiCorp выпустила обновление для HCP Vault Dedicated, добавив ключевые функции, которые облегчают управление секретами, повышают устойчивость инфраструктуры и упрощают автоматизацию процессов. Что изменилось? ✅ Синхронизация секретов (Secrets Sync): Теперь секреты можно автоматически синхронизировать между облачными провайдерами, исключая ручные действия и снижая риски ошибок. ✅ Кросс-региональное аварийное восстановление (Cross-Region DR): Поддержка репликации данных между регионами в рамках одного облака позволяет обеспечить достойный уровень доступности и минимизировать время простоя. ✅ Поддержка протокола EST в PKI (EST PKI): Новый протокол упрощает автоматизацию управления сертификатами, особенно для больших масштабируемых систем, таких как IoT. 📎 Узнать больше о новых функциях и применении можно в официальном блоге HashiCorp.

🌐 В обсуждении на Reddit поднят вопрос, могут ли системные инженеры стать хорошими DevOps-специалистами. Некоторые утверждают, что навыки системного администрирования, такие как управление инфраструктурой и мониторинг, могут быть полезны в DevOps. Однако другие считают, что для успешной работы в DevOps требуется больше знаний в области автоматизации, разработки и CI/CD. ❓ А как вы относитесь к этому? Могут ли системные инженеры успешно адаптироваться к роли DevOps-инженера? Пишите свои мысли в комментарии! #интерактив

⚛️🔀 Эффективная многопоточность в Node.js: как использовать Atomics Представь, что несколько человек пытаются писать в одном блокноте одновременно — получится каша. То же самое происходит, когда несколько потоков в программе пытаются работать с одними данными. Не паникуй — сейчас разберемся, как Atomics помогает держать все под контролем! 👉 Читать статью 👉 Зеркало

🚀 Docker Desktop 4.36 — главные обновления 🔥 Docker продолжает радовать пользователей улучшениями, которые делают работу ещё удобнее и эффективнее! В версии 4.36 появились крутые фишки: 🚢 Новые функции для корпоративных пользователей: * Поддержка авторизации для нескольких организаций — переключение между командами стало проще. * Массовая установка Docker Desktop на macOS с помощью PKG-инсталлятора. * Управление настройками через Admin Console — централизованно и без лишних усилий. 🛠️ 🚢 Enhanced Container Isolation (ECI): * Контейнеры теперь могут монтировать Docker socket благодаря новым настройкам. * Поддержка подстановочных знаков для тегов образов — меньше рутины для администраторов. 👨‍💻 🚢 Оптимизация для WSL 2: * Быстрее, надёжнее, мощнее. Обновления WSL 2 улучшают производительность Docker Desktop. ⚡ 📎 Подробнее об этих и других улучшениях читайте в официальном блоге Docker

Что будет, если DigitalRazor объединится с Proglib Academy? Правильно! Новый розыгрыш. Условия: Подпишитесь на DigitalRazor; Подпишитесь на «Библиотеку программиста»; Нажмите кнопку «Участвовать» под этим постом. Призы: 1-е место: 27-дюймовый монитор; 2, 3 и 4-е место: сертификат номиналом 20 000 рублей на ИТ-курсы от Proglib Academy; 5-е место: геймерская клавиатура + коврик на выбор. Призы разыграем 1 декабря в 20:00 (МСК). Доставка призов возможна только по городам России и Белоруссии. Proglib Academy создаёт онлайн-курсы для программистов, помогает получить востребованные навыки и построить успешную карьеру в IT. Игровые компьютеры и рабочие станции DigitalRazor — это качественная сборка, топовое железо и эффектный дизайн. Регламент розыгрыша

🔥 Argo CD в действии: простой способ управлять приложениями в Kubernetes Коротко и по делу о том, как с помощью Argo CD автоматизировать управление состоянием кластера через GitOps. Полезно для тех, кто работает с Kubernetes и хочет упростить процесс. 📌 Что внутри? * Установка и настройка Argo CD. * Декларативный подход к развёртыванию приложений. * Мониторинг и устранение отклонений от желаемого состояния. * Быстрые откаты и управление версиями. * Лайфхаки по безопасности для работы в продакшене. 🔗 Полный текст в источнике

🤖🤖 Как работает OOM Killer в Linux и как его настроить OOM (Out-Of-Memory) в Linux возникает, когда система исчерпывает память (RAM и swap). Для предотвращения зависания ядро запускает OOM Killer, который завершает процессы, освобождая ресурсы. Как выбирается жертва? OOM Killer оценивает процессы по «весу» (OOM Score). Это значение зависит от: 🎯 Объема памяти: больше памяти — выше риск. 🎯 Приоритета (OOM Adjust Score): значение от -1000 (процесс защищен) до +1000 (максимальный риск). 🎯 Системной важности: критические процессы (например, демоны) убиваются реже Настройка OOM Killer Для настройки используйте /proc/[PID]/oom_score_adj. Например:

echo -1000 > /proc/1234/oom_score_adj

Как избежать OOM? Мониторинг памяти: используйте htop, free. Swap: проверьте, что он настроен (swapon -s). 🛠️ Настройка ядра: параметр vm.overcommit_memory: - 0 (по умолчанию) — баланс между памятью и swap. - 2 — запрещает выделение памяти без ресурсов.

echo 2 > /proc/sys/vm/overcommit_memory

🛠️ cgroups: ограничьте память для групп процессов:

echo 1G > /sys/fs/cgroup/memory/limit_in_bytes

🛠️ ulimit: задайте ограничения:

ulimit -m [лимит в KB]

OOM Killer защищает систему от сбоев, но важно его настроить, чтобы предотвратить завершение критически важных процессов. Используйте мониторинг, настройку ядра и ограничения ресурсов, чтобы минимизировать риски. #гайд

Хочешь проверить себя и узнать, насколько ты прокачан в разработке? Тест для айтишников, чтобы проверить знания. Отличный способ отвлечься и сравнить результаты с друзьями! 👉 Пройти

🚫🤖 Защита сайта от индексации через HAProxy и Kubernetes Если вы хотите защитить свой сайт от индексации поисковыми системами, HAProxy Ingress Controller в Kubernetes предоставляет простой и эффективный способ это сделать. 🔧 Как это работает? С помощью аннотаций в Ingress-ресурсе Kubernetes можно настроить файл robots.txt, который блокирует доступ к вашему сайту для поисковых ботов. 📋 Ключевые шаги: - Добавьте аннотации в ваш Ingress-ресурс для указания пути к файлу robots.txt. - Настройте файл так, чтобы он включал директивы Disallow для всех поисковых ботов. - Перезапустите Ingress Controller, чтобы изменения вступили в силу. 💡 Кому это полезно? Этот подход идеально подходит для защиты тестовых или внутренних сред, предотвращая утечку данных и нежелательную индексацию. 🌐 Узнайте больше о настройке: читайте статью

🌐 Как спроектировать масштабируемую и безопасную облачную архитектуру? Современные приложения требуют гибкости, надёжности и безопасности. Облачно-ориентированная архитектура решает эти задачи с помощью микросервисов, контейнеризации (например, Docker) и оркестрации (Kubernetes). 🔑 Основные принципы: - Масштабируемость: Автоскейлинг, разделение нагрузки. - Надёжность: Репликация данных, автоматическое восстановление. - Безопасность: Zero Trust, шифрование данных. - Производительность: Кэширование , оптимизация запросов, мониторинг. - Используйте различные инструменты для CI/CD, автоматизации, мониторинга и управления. Подробнее о подходах и инструментах: статья. 💡

🎯 PerfectScale: Оптимизация Kubernetes на новом уровне Управление Kubernetes-кластерами может быть сложным, но PerfectScale предлагает инструменты, которые делают процесс проще и эффективнее. 🔧 PodFit — автоматическая настройка и масштабирование подов. Инструмент помогает избежать переплат за неиспользуемые ресурсы и повышает стабильность системы. ⚙️ InfraFit — рекомендации по оптимальной конфигурации узлов и ресурсов. Это позволяет выявить «пустые» мощности и сэкономить на инфраструктуре. 📈 Интеграция с ClusterAutoscaler и Karpenter делает масштабирование более умным, а поддержка GPU помогает приложениям с интенсивными вычислениями работать быстрее. В совокупности, PerfectScale становится незаменимым помощником для DevOps-команд, стремящихся сделать свои Kubernetes-кластеры более эффективными, стабильными и экономичными. 🌐 Подробнее в оригинале

🎯 Новая платформа для специалистов по платформенной инженерии PlatformEngineering — это новый ресурс, созданный для платформенных инженеров, DevOps-специалистов, архитекторов облачных решений и технических лидеров, которые занимаются разработкой, внедрением и оптимизацией внутренних платформ. 📚 Вот подборка статей, которые стоит прочитать: «Survey Surfaces Higher Platform Engineering Success Rates» Исследование, показывающее, как внедрение платформенной инженерии повышает эффективность команд. «Pulumi Extends Ability to Manage Kubernetes Infrastructure» О новых возможностях Pulumi для управления Kubernetes. «Metrics that Matter: Enhancing Efficiency of Platform Engineering» Какие метрики важны для улучшения работы внутренней платформы? «From Automation to Ecosystems: Five Key Steps on the Road to Platform Engineering» Пять ключевых шагов для успешного перехода к платформенной инженерии. #дайджест