DevOps

Решение проблем, вызванных Out Of Memory (OOM) Killer в Linux Узнайте, как события Out Of Memory создавали проблемы для нашей команды и как мы их решали. События Out of memory (OOM) часто встречаются в среде Linux, когда есть программы, занимающие много памяти. Redpanda - одна из таких программ, поскольку она использует библиотеку Seastar, которая пытается использовать все аппаратное обеспечение до предела. Существует специальная функциональность ядра, называемая Out Of Memory Killer (OOM Killer), которая помогает поддерживать работоспособность Linux-машин, убивая самый большой процесс с наименьшим приоритетом. OOM Killer может распознавать и учитывать процессы, которые имеют ограничения в Linux cgroups. Если вы не указываете входные параметры, Redpanda считывает доступную аппаратную память и выделяет не менее 1,5 Гб для операционной системы (ОС), а остальное делит поровну для каждого ядра машины, чтобы максимизировать эффективность работы распределителя памяти Seastar. Если Redpanda запущена вместе с другими программами, операционной системе Linux может не хватить памяти. https://redpanda.com/blog/solve-out-of-memory-killer-events #devops #девопс Подпишись 👉@i_DevOps

Вебинар «Kubernetes для разработчиков: как вывести свою карьеру на новый уровень в 2024?» 18 января в 19:00 Cлёрм проведёт открытый вебинар для всех, кто давно присматривается к Kubernetes, но не знает, с чего начать и как разобраться в этой горе технологий. Спикер — Виталий Лихачёв, Senior Software Engineer в Avito. Встретимся с ним, чтобы обсудить: ➡️Что такое Kubernetes? ➡️Какие у него возможности и принципы работы? ➡️ Какие ошибки на старте работы с Kubernetes встречаются чаще всего? А зачем вообще разработчику Kubernetes? You build it, you own it. Чем крупнее компания, тем больше вероятность, что мы встретим DevOps-подходы, где команды разработки сами отвечают за мониторинг, деплой и надежность своих сервисов и продуктов. Как Docker стал стандартом для разработки и деплоя, так и Kubernetes становится стандартом для развертывания больших проектов. Разработчик, работающий с Kubernetes, пишет более надёжные и стабильные сервисы и становится крайне привлекательным кандидатом на собеседованиях при прочих равных 🙂 Вебинар бесплатный, но нужна регистрация на нашем сайте ⬅️ До встречи ✨ Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2VtzqvZdDPs

Лучшие практики мониторинга статических веб-приложений Статические сайты в настоящее время являются популярным решением для многих легких веб-приложений, таких как корпоративные сайты, блоги, сайты объявлений о работе и хранилища документации. В статической веб-архитектуре страницы генерируются и предварительно рендерятся во время сборки из файлов разметки и обычно кэшируются в сети доставки контента (CDN) для эффективной доставки. Это позволяет командам экономить на управлении серверами и обеспечивает быструю загрузку страниц. https://www.datadoghq.com/blog/static-web-application-monitoring-best-practices/ #devops #девопс Подпишись 👉@i_DevOps

Автоматизация AWS SSO с помощью Terraform Использование Terraform для автоматизации установки и настройки ресурсов SSO, упрощения управления пользователями и повышения уровня безопасности. https://medium.com/cloud-native-daily/automate-aws-sso-using-terraform-2f219a45c16f #devops #девопс Подпишись 👉@i_DevOps

⚡️ Отус приглашает 15 января в 20:00 мск, на бесплатный вебинар «Подход: Иинфраструктура как код (Infrastructure as Code)» Вебинар пройдет в рамках онлайн-курса "DevOps практики и инструменты". Курс доступен в рассрочку на специальных условиях. 🎙 На вебинаре мы разберём: 1. Что такое инфраструктура как код 2. История развития методологии 3. Инструменты подхода 4. Краткое введение в концепцию GitOps ➡️ Регистрация на вебинар: https://vk.cc/ctNSUB ❗️ Вебинар будет построен на основе интерактивных дискуссий, демонстраций и упражнений, а также предоставит возможность задать вопросы и обсудить наболевшие темы. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Анализ энергозависимой памяти на узле Google Kubernetes Engine В компании Spotify мы используем контейнерные рабочие нагрузки на производстве по всей организации в пяти регионах, где наши основные продакшены находятся в Google Kubernetes Engine (GKE) на Google Cloud Platform (GCP). Если мы обнаруживаем подозрительное поведение наших рабочих нагрузок, мы должны иметь возможность быстро проанализировать его и определить, не произошло ли что-то вредоносное. Сегодня мы используем коммерческие решения для мониторинга, но также проводим собственные исследования, чтобы найти варианты и альтернативные методы. https://engineering.atspotify.com/2023/06/analyzing-volatile-memory-on-a-google-kubernetes-engine-node/ #devops #девопс Подпишись 👉@i_DevOps

Потеря в пути: отладка потерянных пакетов из-за отрицательной длины заголовка Ранее я писал о создании сетевых балансировщиков нагрузки с планировщиком maglev, который мы используем для входа в наши кластеры Kubernetes. На момент написания этой заметки мы использовали инкапсуляцию Foo-over-UDP с виртуальными интерфейсами, по одному для каждой версии интернет-протокола на каждом рабочем узле. Чтобы сократить трудозатраты на управление узлами-директорами трафика, мы недавно перешли на использование встроенной поддержки инкапсуляции в IP Virtual Server (IPVS). К нашему удивлению, вместо плавного перехода мы наблюдали значительное снижение пропускной способности и отказы в выполнении API-запросов. В этом посте я расскажу о наблюдаемом эффекте, поиске первопричины в течение нескольких недель и окончательном решении проблемы. https://blog.cloudflare.com/lost-in-transit-debugging-dropped-packets-from-negative-header-lengths #devops #девопс Подпишись 👉@i_DevOps

Подборка Telegram каналов для программистов Системное администрирование 📌 https://t.me/tipsysdmin Типичный Сисадмин (фото железа, было/стало) https://t.me/sysadminof Книги для админов, полезные материалы https://t.me/i_odmin Все для системного администратора https://t.me/i_odmin_book Библиотека Системного Администратора https://t.me/i_odmin_chat Чат системных администраторов https://t.me/i_DevOps DevOps: Пишем о Docker, Kubernetes и др. https://t.me/sysadminoff Новости Линукс Linux https://t.me/tikon_1 Новости высоких технологий, науки и техники💡 https://t.me/mir_teh Мир технологий (Technology World) https://t.me/rust_lib Полезный контент по программированию на Rust https://t.me/golang_lib Библиотека Go (Golang) разработчика https://t.me/itmozg Программисты, дизайнеры, новости из мира IT. https://t.me/phis_mat Обучающие видео, книги по Физике и Математике https://t.me/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 https://t.me/nodejs_lib Подборки по Node js и все что с ним связано https://t.me/ruby_lib Библиотека Ruby программиста 1C разработка 📌 https://t.me/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://t.me/cpp_lib Библиотека C/C++ разработчика https://t.me/cpp_knigi Книги для программистов C/C++ https://t.me/cpp_geek Учим C/C++ на примерах Программирование Python 📌 https://t.me/pythonofff Python академия. Учи Python быстро и легко🐍 https://t.me/BookPython Библиотека Python разработчика https://t.me/python_real Python подборки на русском и английском https://t.me/python_360 Книги по Python Rus Java разработка 📌 https://t.me/BookJava Библиотека Java разработчика https://t.me/java_360 Книги по Java Rus https://t.me/java_geek Учим Java на примерах GitHub Сообщество 📌 https://t.me/Githublib Интересное из GitHub Базы данных (Data Base) 📌 https://t.me/database_info Все про базы данных Мобильная разработка: iOS, Android 📌 https://t.me/developer_mobila Мобильная разработка https://t.me/kotlin_lib Подборки полезного материала по Kotlin Фронтенд разработка 📌 https://t.me/frontend_1 Подборки для frontend разработчиков https://t.me/frontend_sovet Frontend советы, примеры и практика! https://t.me/React_lib Подборки по React js и все что с ним связано Разработка игр 📌 https://t.me/game_devv Все о разработке игр Вакансии 📌 https://t.me/sysadmin_rabota Системный Администратор https://t.me/progjob Вакансии в IT Чат программистов📌 https://t.me/developers_ru Библиотеки 📌 https://t.me/book_for_dev Книги для программистов Rus https://t.me/programmist_of Книги по программированию https://t.me/proglb Библиотека программиста https://t.me/bfbook Книги для программистов https://t.me/books_reserv Книги для программистов БигДата, машинное обучение 📌 https://t.me/bigdata_1 Data Science, Big Data, Machine Learning, Deep Learning Программирование 📌 https://t.me/bookflow Лекции, видеоуроки, доклады с IT конференций https://t.me/coddy_academy Полезные советы по программированию QA, тестирование 📌 https://t.me/testlab_qa Библиотека тестировщика Шутки программистов 📌 https://t.me/itumor Шутки программистов Защита, взлом, безопасность 📌 https://t.me/thehaking Канал о кибербезопасности https://t.me/xakep_1 Статьи из "Хакера" Книги, статьи для дизайнеров 📌 https://t.me/ux_web Статьи, книги для дизайнеров Английский 📌 https://t.me/UchuEnglish Английский с нуля Математика 📌 https://t.me/Pomatematike Канал по математике Excel лайфхак📌 https://t.me/Excel_lifehack

10 лучших инструментов для мониторинга срока действия, валидности и изменения SSL-сертификатов Чтобы помочь вам начать работу, мы составили список из 10 лучших инструментов для мониторинга SSL-сертификатов на предмет действительности, истечения срока действия и изменений. https://sematext.com/blog/ssl-certificate-monitoring/ #devops #девопс Подпишись 👉@i_DevOps

🔥 Ваш цифровой компас в мире IT! 🧭 RECURA – это образовательные материалы, курсы, книги, полезные лайфхаки для Linux и Bash, актуальные новости из мира технологий, разработки и информационной безопасности. Подпишись - @recura_tech

DevToys Швейцарский армейский нож для разработчиков. DevToys помогает выполнять повседневные задачи разработки, такие как форматирование JSON, сравнение текста и тестирование RegExp. Нет необходимости использовать множество ненадежных веб-сайтов для выполнения простых задач с вашими данными. Благодаря функции Smart Detection DevToys может определить, какой инструмент лучше использовать для данных, скопированных в буфер обмена Windows. Компактное наложение позволяет сохранить небольшой размер приложения поверх других окон. Можно использовать несколько экземпляров приложения одновременно. https://github.com/veler/DevToys #devops #девопс Подпишись 👉@i_DevOps

Автоматизация создания оповещений 🚨 с помощью управляемого конфигурацией импорта Terraform в Google Cloud ☁️ В этой статье я расскажу вам о концепции импорта, управляемого конфигурацией Terraform. Мы рассмотрим, что он собой представляет, какие преимущества дает и как эффективно использовать его в Google Cloud Platform (GCP). Чтобы продемонстрировать его практическое применение, мы воспользуемся примером, показывающим создание оповещений. https://medium.com/google-cloud/automating-alert-creation-with-terraform-config-driven-import-in-google-cloud-%EF%B8%8F-1c9093ddd79f #devops #девопс Подпишись 👉@i_DevOps

Топ 4 лучших типа сервисов Kubernetes в одной диаграмме. 🔹 ClusterIP ClusterIP - это стандартный и наиболее распространенный тип службы. Kubernetes назначает сервису ClusterIP внутренний IP-адрес кластера. Это делает службу доступной только в пределах кластера. 🔹 NodePort Это позволяет вывести сервис за пределы кластера, добавив общекластерный порт поверх ClusterIP. Мы можем запросить сервис по NodeIP:NodePort. 🔹 LoadBalancer Этот способ раскрывает сервис извне, используя балансировщик нагрузки облачного провайдера. 🔹 ExternalName Сопоставляет службу с доменным именем. Обычно это используется для создания службы в Kubernetes для представления внешней базы данных. #devops #девопс Подпишись 👉@i_DevOps

OpenCost Инструмент мониторинга затрат с открытым исходным кодом для Kubernetes и облачных вычислений OpenCost предоставляет командам наглядную информацию о текущих и прошлых расходах и распределении ресурсов Kubernetes и облачных сред. Эти модели обеспечивают прозрачность расходов в средах Kubernetes, поддерживающих множество приложений, команд, отделов и т. д. Они также обеспечивают прозрачность расходов на облачные вычисления у различных провайдеров. OpenCost был первоначально разработан и открыт компанией Kubecost. Этот проект объединяет в себе спецификацию, а также реализацию на языке Golang этих подробных требований. https://github.com/opencost/opencost #devops #девопс Подпишись 👉@i_DevOps

🎅Хо-хо-хо! Хотите стать Linux-администратором или DevOps-инженером? Linux — одна из самых распространенных ОС в мире, знание базовых возможностей и умение обращаться с Linux может значительно усилить возможности в карьерном росте! 🌲OTUS-сосулька запустил акцию на подготовительный курс «Linux для начинающих». Сейчас этот курс доступен всего за 10 руб. вместо обычных 7000 руб! ➡️ Записаться на курс: https://vk.cc/ctwzsU Что из себя представляет курс? — 3 модуля с видеолекциями — Комплексные знания по основам Linux — Можно учиться в любом месте, где есть доступ в интернет — Закрепление знаний с помощью тестов Наш спикер – Андрей Буранов, эксперт по UNIX-вселенной в компании Mail.Ru Group. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Preevy Это инструмент с интерфейсом командной строки (CLI), предназначенный для упрощения процесса создания эфемерных сред предварительного просмотра из Docker-приложений. Интегрируйте Preevy в свой CI-поток для развертывания Pull Requests в качестве предварительных окружений, используя существующего облачного провайдера или кластер Kubernetes. https://github.com/livecycle/preevy #devops #девопс Подпишись 👉@i_DevOps

👍С юбилеем нас! Открыт набор на 10 поток «Kubernetes База» от Слёрм Стартуем 17 января Это глубокий базовый курс, в котором осветили ключевые моменты для начала работы с K8s. После занятий вы сможете войти в проект, где активно используют Kubernetes. Вы поймете, как настраивать кластер и запускать через него приложения. Знакомьтесь с нашими спикерами, фрагменты видеоуроков курса: 📎 Марсель Ибраев, System Engineer, G42 Cloud о том, как автоматизировать получение и продление сертификатов для сайта в кластере (фрагмент видеоурока из темы 8 ) 📎 Сергей Бондарев, архитектор Southbridge о подготовке серверов для установки кластера с помощью Kubespray (фрагмент видеоурока из темы 3) 📎 Павел Селиванов, архитектор Yandex Cloud объясняет устройство плейбука Kubespray (фрагмент видеоурока из темы 4) До встречи в январе! Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545 Erid: 2Vtzqx6WTto

Создание сквозного конвейера MLOps с помощью Open-source инструментов MLOps с открытым исходным кодом: TL;DR Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML. Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов. Rus https://habr.com/ru/companies/itsumma/articles/782020/ Eng https://medium.com/infer-qwak/building-an-end-to-end-mlops-pipeline-with-open-source-tools-d8bacbf4184f #devops #девопс Подпишись 👉@i_DevOps

Развертывание приложения-клона YouTube с помощью DevSecOps и общей библиотеки Jenkins https://mrcloudbook.hashnode.dev/deploying-a-youtube-clone-app-with-devsecops-and-jenkins-shared-library #devops #девопс Подпишись 👉@i_DevOps

✨ Как правильно тестировать инфраструктуру с помощью инструментов DevOps? OTUS приглашает 26 декабря, в 20.00 МСК на бесплатный вебинар «Руководство по тестированию инфраструктуры»! Вебинар пройдет в рамках онлайн-курса "DevOps практики и инструменты". Курс доступен в рассрочку на специальных условиях. 🎙️ На уроке вы узнаете: 1. Значение тестирования инфраструктуры в контексте DevOps методологии 2. Основные методы тестирования 3. Инструменты для автоматизации тестирования 4. Практические примеры проведения тестирования ➡️ Регистрация на вебинар: https://vk.cc/ctqYIP После вебинара вы получите полное представление о том, как правильно и эффективно тестировать инфраструктуру при помощи современных DevOps практик и инструментов. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru