DevOps FM

Почтовый сервер с нуля. Часть 2 Создание почтового сервера — нетривиальная задача, которая требует внимания к деталям. Если вы хотите создать надёжный и эффективный почтовый сервер, который будет успешно функционировать и обслуживать пользователей, то вам поможет эта серия статей. Михаил, DevOps-инженер из Nixys, продолжает свой рассказ про создание почтового сервера с чистого поля. Во второй части он покажет, как его настроить с помощью PostfixAdmin, Dovecot и RainLoop. А ещё в тексте вы найдёте немного экзотики, а именно best practices по Dovecot. Приятного чтения! #Хабр #статья_Nixys #devops #почтовыйсервер

👩‍💻 Всем понедельничный DevOps! Подготовили для вас подборку полезных инструментов. nxs-data-anonymizer – инструмент для анонимизации баз данных PostgreSQL и MySQL/MariaDB/Percona. dive – утилита для анализа образов Docker. Поможет вам узнать содержимое слоев и уменьшить размер образа Docker/OCI. Flox – это виртуальная среда и менеджер пакетов в одной тулзе. С её помощью вы можете создать столько сред разработки, сколько вам нужно, быстро синхронизировать их и совместно использовать даже на разных архитектурах. KubeStalk – мощный инструмент для выявления уязвимостей в кластерах Kubernetes и внешних инструментах, используемых для управления ими.

🔥 Ollama в действии: запуск и настройка своего ChatGPT локально и в Kubernetes Сегодня разбираем решения для локальной работы с LLM-ками. Возможно, вы задумывались об аналоге ChatGPT у себя в компании, или вам он нужен прямо на домашнем ПК, или как умный помощник для детей. С новой статьей вы сможете развернуть Ollama локально и в Kubernetes. Статью написал новый автор Core 24/7, Абдухаликов Асир.

Сегодня среда, наши DevOps-чуваки. Держите дайджест. 🟡 Вышел релиз ядра Linux 6.9. Новая версия включает более 15 тысяч исправлений от 2106 разработчиков. Что нового? Например, ускорили процесс сканирования маршрутов с истекшим временем жизни, перевели файловые системы efs, qnx4 и coda на использование нового API монтирования разделов, а в DM добавили новый обработчик dm-vdo. Это лишь малая часть обновлений. Изучить все вы можете по этой ссылке. ⚫️ Зарелизили Docker Desktop 4.30. Исправили много ошибок (к примеру, теперь, когда Docker Desktop находится в режиме экономии ресурсов, docker stats--no-stream не зависает), добавили поддержку прокси-серверов SOCKS5 и улучшили безопасность Enhanced Container Isolation (ECI) при выполнении команд docker build в контейнерах без root-доступа. Ещё больше нововведений — здесь. 🟡 На InfoQ разобрали кейс недавнего перехода Elastic на MFA — многофакторную аутентификацию. ⚫️ В своём блоге HashiCorp рассказали, как использовать Vault в качестве CA для выдачи кратковременных Code signing сертификатов в GitHub Actions воркфлоу. 🟡 На Medium вышел обзор 10 лучших инструментов для управления кластерами Kubernetes. Эти тулзы упростят и автоматизируют рутинные задачи, повысят безопасность и помогут эффективно мониторить ресурсы и проводить диагностику неисправностей. В конце статьи вас ждёт приятный бонус: автор делится, как выбрать инструмент, который подойдёт именно вам.

Чек-лист по разработке облачных приложений. Часть 1 Станислав Тибекин, CEO компании Nixys, опубликовал перевод первой части огромного чек-листа по разработке облачного приложения. В этой статье уделяется внимание бизнес-требованиям. Вы узнаете, что нужно учесть при разработке приложения, чтобы обеспечить отказоустойчивость, масштабируемость и непрерывность бизнеса.

Привет! Собрали и упаковали для вас подборку релизов и публикаций. 🟡 Зарелизили Traefik 3.0. Разработчики ориентировались на концепцию cloud native: новая версия поддерживает WebAssembly (Wasm), OpenTelemetry и Kubernetes Gateway API. Появились заметные изменения в синтаксисе (к примеру, HostHeader был заменён на Host) и добавилась поддержка HTTP/3, SPIFFE и Tailscale. Посмотреть все улучшения можно здесь. А вот тут представлен гайд по миграции с v2 на v3. ⚫️ Ещё один свежий релиз — Azure DevOps Server 2022.2. Из новых функций: теперь можно обойти выполнение проверок "Approvals", "Business Hours", "Invoke Azure Function" и "Invoke REST API". Также добавили роль администратора на environments-hub уровне, что значительно облегчило управление средами. Если хочется узнать больше о новых фичах, то вам сюда. А чтобы скачать новую версию, перейдите по этой ссылке. 🟡 На Speedscale вышел полезный обзор инструментов для захвата и анализа сетевого трафика Kubernetes. Разобрали tcpdump, Wireshark, TShark, Kubeshark, Postman и много других тулзов. ⚫️ Percona поделились, как ускорить выполнение некоторых повторяющихся задач в PostgreSQL с помощью \gexec. 🟡 Разработчики nxs-backup дают возможность поучаствовать в развитии новых фич и проводят опрос. Если вы уже бэкапируете свои данные с помощью этого инструмента — проголосуйте за интересную и полезную вам фичу. А если нет — это как раз повод начать своё знакомство с возможностями nxs-backup :)

🖖 Всем понедельничный DevOps! 👩‍💻 Сегодня принесли вам подборку лучших практик по работе с Terraform. Из рекомендаций: - используйте для линтинга такие инструменты, как terraform fmt и terraform validate; - более осознанно и внимательно именуйте переменные; - передавайте секреты, устанавливая переменные среды с помощью TF_VAR и отмечая ваши конфиденциальные переменные с помощью Sensitive = true.

🧑‍💻 Пятничное чтиво на канале DevOps FM Конец марта 2024 года. Разработчик Microsoft Андерс Фройнд находит бэкдор в популярном пакете XZ Utils. Оказалось, что проблема затрагивает большинство основных дистрибутивов Linux и не только. Сам бэкдор получает 10 баллов из 10 возможных по шкале CVSS (идентификатор CVE-2024-3094). 🗂 Эван Бохс детально восстановил хронологию инцидента и показал, как Цзя Тан (Jia Tan, также известный под ником JiaT75) воплотил в жизнь тщательно продуманный план атаки. 🖖 Команда DevOps FM желает приятных выходных, а тем, кто работает или дежурит – спокойных рабочих смен без серьёзных алертов!

🖖 Всем DevOps! Дайджест интересных новостей и полезных статей уже здесь. 🟡 Вышел релиз Git v2.45. Главным нововведением этой версии стал reftable — новый вид хранения ссылок Git в двоичном формате. Кстати, код в бэкенде reftable, который создаёт новые файлы таблиц, лучше работает с фреймворком tempfile: после сбоев не остаётся мусора. Ещё одно важное обновление: появилась совместимость SHA1 и SHA256 для репозиториев. Посмотреть полный список улучшений можно здесь. ⚫️ IBM приобретают HashiCorp за $6,4 млрд.

Мы продолжим создавать продукты и услуги как HashiCorp и будем работать как подразделение внутри IBM Software. Присоединившись к IBM, продукты HashiCorp станут доступны гораздо более широкой аудитории, что позволит нам обслуживать гораздо больше пользователей и клиентов. Для наших клиентов и партнеров такое объединение позволит нам пойти дальше, чем отдельной компании,

заявил Армон Дадгар, соучредитель HashiCorp. Предполагается, что сделку компании завершат к концу этого года. О возможности возвращения продуктов HashiCorp на открытую лицензию пока ничего не известно. 🟡 На Medium вышла подборка из 7 хаков для работы с Kubernetes. Из советов: - используйте механизм API Priority and Fairness для распределения входящих запросов API по различным уровням приоритета; - упростите управление множественными и сложными Kubernetes-конфигурациями с помощью технологии Kustomize, который работает в тандеме с kubectl. Про эти и другие хитрости читайте вот тут.

It's just a joke, bro 👩‍💻 Сегодня хотим поделиться шуточными репозиториями, которые поднимут вам настроение в эту пятницу. No Code — проект от Келси Хайтауэра из Google, ставший классикой. Лучший способ написать надёжное и безопасное приложение — это вовсе его не писать и не разворачивать. volkswagen позволит вам расслабиться и забыть о переживаниях, связанных с неудачами во время тестирования ПО. volkswagen заметит выполнение тестов на CI-сервере и, автоматически снизив количество ошибок до приемлемого уровня, обеспечит их успешное прохождение. Profit! Если вам захочется побыть немного отвественнее, то плагин git-self-blame позволит вам взять на себя вину за код, который вы не даже писали. useless — это коллекция скриптов самоуничтожения. Сборник вдохновлён принципам работы бесполезной машины. 🧑‍💻 А есть ли у вас любимые репозитории-шутки? Делитесь ими в комментариях.

Это база: нюансы работы с Redis. Часть 2 Пётр, DevOps-инженер компании Nixys, продолжает свой обзор Redis. Эта статья — подробное руководство по базовой репликации Redis, из которого вы узнаете, как настроить эту БД на высокий уровень отказоустойчивости. А ещё в конце вас ждёт бонус в виде разбора атаки на Redis через H2Miner, из-за которой можно полностью потерять данные на инстансе Redis. 🖖 Приятного чтения!

📆 Сегодняшняя среда — особенная. Она дальше от конца рабочей недели, чем обычно. Но зато наш дайджест уже на ваших экранах. 🟡 Ровно неделю назад вышел долгожданный релиз Kubernetes v1.30: Uwubernetes — “the cutest release to date”. Выпуск включает в себя 10 новых фич, 18 в beta-статусе и 17, которые уже признаны стабильными (к примеру, автоматическое масштабирование модуля на основе контейнерных ресурсов и трассировка сервера API). Kubernetes v1.30 доступен для скачивания на GitHub. UwU ♥️ ⚫️ DataDog опубликовали результаты собственного исследования о состоянии индустрии DevSecOps. Выяснили, что сервисы, написанные на Java, наименее безопасны чем те, что написаны на других языках. А ещё определили, что чем меньше размер образа контейнера, тем меньше в нём уязвимостей (скорее всего из-за того, что он содержит меньше сторонних библиотек). Посмотреть все выводы исследования можно тут. 🟡 На Faun вышла статья, в которой сравнили Zabbix и Grafana. В ней вы найдёте анализ их функциональных возможностей, пользовательских интерфейсов, возможностей оповещения, конфигурируемости и моделей ценообразования. Если сейчас перед вами стоит подобный выбор, то руководство придётся как нельзя кстати. ⚫️ 30 апреля в 18:00 по МСК состоится ClickHouse 24.4 Community Call. Алексей Миловидов, — создатель, соучредитель и технический директор ClickHouse, — расскажет о релизе и покажет живые демо-версии. В конце выступления он и ещё парочка гостей ответят на вопросы зрителей о новом выпуске ClickHouse. Зарегистрироваться на комьюнити-колл можно здесь.

🖖 Всем понедельничный DevOps! ✉️ Мы запустили собственную email-рассылку о DevOps и CI/CD. Что вы найдёте в наших письмах? 1) Эксклюзивные лонгриды на техническую тематику. Как на Хабре, только короче; 2) Понятные чек-листы и туториалы, которыми можно пользоваться; 3) Чил-аут контент с капелькой креатива.  Пишем редко, но с душой и по делу. Отбираем только полезные для вашей работы темы. Прислушаемся, если вам захочется чего-то более специального. 👩‍💻 После подтверждения подписки вам на ящик сразу упадёт письмо с лучшими практиками по Kubernetes.  Нажмите сюда, чтобы подписаться. Будем рады каждому подписчику.

🎙 Пятничный подкаст в эфире DevOps FM 👩‍💻 Брет, Нирмал и Лукас Фиттл обсудили историю и возможности Postgres. Как запускать PostgreSQL в контейнерах (и нужно ли вообще это делать) и как анализировать производительность этой СУБД? Как взаимодействуют PostgreSQL и K8s? Об этом и многом другом – в 156 эпизоде подкаста DevOps and Docker Talk. Желаем приятного прослушивания! Тем, кто отдыхает – хороших выходных, а тем, кто работает – спокойных дежурных смен без серьёзных алертов!

🖖 Всем DevOps! Деплоим дайджест интересных релизов, новостей и статей за прошедшую неделю. 🟡 HashiCorp зарелизили Terraform v1.8.0. Теперь стандартные встроенные функции — не единственные: поставщики могут реализовывать свои функции в рамках языка конфигурации Terraform. Синтаксис для вызова:

provider::<provider_name>::<function_name>([arguments]). Посмотреть все обновления новой версии Terraform можно здесь. ⚫️ GitLab анонсировали список критических изменений, которые будут представлены в версии 17.0. Чтобы избежать неприятных сюрпризов, советуем дополнительно ознакомиться со списком устаревших функций и заранее подготовиться к глобальным переменам. Напомним, что GitLab v17.0 выйдет 16 мая. 🟡 Docker опубликовали результаты отчёта Docker AI Trends Report 2024. Если кратко:

Из опрошенных используют ИИ в работе в основном для кодирования (33% респондентов), написания документации (29%), исследований (28%), написания тестов (23%), устранения неполадок/отладки (21%) и команд CLI (20%). Интересно, что, несмотря на широкое использование и в целом положительное отношение к ИИ, 45% респондентов уверены, что ИИ слишком разрекламирован.

Подобные исследования помогают команде Docker улучшать собственные инструменты и поддерживать сообщество пользователей в использовании всего потенциала ИИ в разработке ПО. Так, например, появился Docker AI, который был анонсирован в октябре 2023 года. Он упрощает интеграцию AI/ML и позволяет разработчикам развёртывать полный стек GenAI всего в несколько кликов. ⚫️ На DevOps.com вышел гайд по миграции платформы мониторинга на стек с открытым исходным кодом. Статья без воды, советы базовые. Всё, как мы любим.

📱 Опрос о DevOps на аутсорсе Одни компании спокойно делегируют DevOps-процессы на аутсорс; другие не готовы доверить DevOps сторонним исполнителям. Множество тонкостей и нюансов влияют на этот выбор. Наши коллеги по цеху KazDevOps проводят исследование о DevOps-услугах на аутсорсе. В центре их внимания – критерии отбора аутсорс-компании и причины, по которым бизнес решает DevOps-задачи только инхаус. ❔ Принять участие в опросе могут DevOps-инженеры, тим- и техлиды, CEO и CTO, а также те, кто так или иначе сталкивается с DevOps. Каждый голос помогает индустрии развиваться. Чтобы пройти опрос, нажмите сюда.

🫥 В этот понедельник принесли вам несколько лучших практик по работе с сетью в Docker 1) Сегментируйте сети. Используйте методы сетевой изоляции (настройте iptables правила). Сегментация сети позволит вам изолировать контейнеры, контролировать доступы и защищать конфиденциальные рабочие нагрузки. Даже если контейнер будет скомпрометирован, действия злоумышленника будут ограничены только этим контейнером; вся остальная система будет под защитой. 2) Используйте DNS для обнаружения сервисов. Внутренний DNS Docker преобразует имена контейнеров в IP-адреса в одной сети, что значительно упрощает обнаружение сервисов. 3) Обезопасьте связь. Используйте зашифрованные overlay-сети для конфиденциальных приложений, особенно при работе на нескольких докер-хостах.

👉 Жизнь – это игра, и ты в ней – девопсер Любите ролевые игры? Тогда вы точно по адресу. Нашли для вас стратегическую RolePlay из мира DevOps. В DevOpsDream вы почувствуете себя IT-директором одной из трёх компаний — стартапа, среднего или крупного бизнеса. Ваша цель — улучшить процесс разработки ПО и не потонуть среди моря конкурентов. Вашу работу будут оценивать по четырём показателям:

1) Люди – насколько работоспособна и счастлива ваша команда. 2) Производительность — насколько быстро и легко можно адаптировать ваши услуги под реалии рынка. 3) Удовлетворенность клиентов – отражение того, как эти изменения влияют на ваших клиентов. 4) Стабильность – показатель надёжности вашей компании.

Чтобы победить, вам нужно достичь баланса в этих показателях. Фактически DevOpsDream — это обучающий мини-курс, который в игровой форме научит вас лучшим практикам управления в сфере DevOps. Чтобы начать играть, нажмите сюда. 🖖 Желаем приятной игры, хороших выходных и спокойных дежурных смен!

Привет! Принесли вам подборку свежих новостей и статей: 🟡 Вышел релиз Dockerfile v1.7.0. Добавили два новых флага: --parents в инструкцию COPY для копирования файлов с сохранением структуры родительских каталогов и --exclude, который используется в инструкциях COPY и ADD для применения фильтра к копируемым файлам. А ещё Dockerfile стал лучше проверять порядок этапов и возвращать nice errors с трассировкой стека в случае, если этапы расположены в неправильном порядке. Примеры применения этих и других новых фич можно посмотреть здесь. ⚫️ Grafana Labs анонсировала Grafana 11.0 и Loki 3.0. Что появится нового? Grafana: новые источники данных (Falcon LogScale, Looker, Pagerduty и SumoLogic); более быстрый анализ первопричин с помощью Explore Metrics; новая функция оповещений, которая включает в себя подключение правил оповещений непосредственно к точкам контакта, улучшенное управление Terraform и более детальный контроль доступа. Loki: ускорение запросов с помощью фильтров Блума; поддержка Distributed режима; обновлённая документация. 🟡 В блоге GitLab вышла подборка из 10 главных хаков для эффективной навигации по платформе DevSecOps и улучшения работы в команде. Из советов: • применяйте ярлыки, меняйте исполнителей или обновляйте этапы для нескольких задач одновременно; • добавляйте «+» или «+s» в конец URL-адреса GitLab для того, чтобы ваши коллеги видели прогресс по задачам без перехода на другие страницы; • визуализируйте идеи и рабочие процессы прямо на wiki-страницах с помощью простых в создании диаграмм. ⚫️ Зарелизили nxs-backup 3.4.0. Теперь при запуске нового процесса бэкапирования в момент, пока старый не завершён, nxs-backup выдаёт ошибку, тем самым предупреждая пользователя о незавершенном процессе копирования. nxs-backup — это простой и удобный инструмент резервного копирования для создания и доставки бэкапов, совместимый с дистрибутивами GNU/Linux. Код проекта распространяется под лицензией GPLv3. Установить инструмент можно тут.

🖖 Всем DevOps! Magnit Tech приглашает на Observability Meetup. Спикеры из Magnit Tech, Ozon, МТС и Hilbert Team выступят с полезными докладами по тематикам распределенного трейсинга, алертинга, мониторинга и визуализации данных. 🗓 17 апреля, среда. Начало в 18:00 по мск, сбор гостей с 17:30 📍 Оффлайн в московском офисе Магнита в БЦ Большевик. Метро Белорусская, Ленинградский проспект, 15, стр 10, 2 этаж. ▶️ Трансляция будет на YouTube-канале Magnit Tech Доклады и расписание 18:05–18:45 Как внедрить распределенную трассировку на open source инструментах Спикер: Алексей Колосков, Lead DevOps в Hilbert Team 18:45–19:25 Трассировка: как приручить 200 тысяч спанов в секунду при помощи Grafana Tempo и искать трейсы за 3 секунды Спикер: Сергей Будников, ведущий инженер DevOps в Magnit Tech 19:25–20:05 Alerts-Registry. Одно место управления алертами Спикер: Анна Гобрусева, руководитель команды инструментов мониторинга Ozon 20:05–20:45 Мониторинг под ключ Спикер: Андрей Кречетов, ведущий инженер DevOps в МТС 20:45–22:00 Афтепати с едой и нетворкинг 👉 Чтобы принять участие, вам нужно зарегистрироваться