DevOps Deflope News

По этому поводу неплохо будет вспомнить прошлогоднюю статью от инженеров Etsy, подробно разбирающую процесс постмортемов в их компании: http://amp.gs/8B9V, а также их php-сервис morgue, предназначенный для удобного восстановления последовательности событий аварии: http://amp.gs/8B9U

Пост-мортем (разбор причин аварии, действий по ее устранению, а также обсуждение того, что можно улучшить в системе для того, чтобы проблема не повторилась) недавнего получасового отключения Stack Overflow. Вкратце: неоптимальный регексп вызвал высокую нагрузку на CPU (ReDoS - Regular expression Denial of Service), из-за чего главная страница сайта, на которой и срабатывал этот регексп, оказалась недоступна, а load balancer, проверяющий доступность бэкенда только через доступность главной страницы отключил весь бэкенд целиком. http://amp.gs/8BVs

Ребята из 2ГИС опубликовали на Хабре хороший сборник трюков, помогающих облегчить работу с Github: от способа быстрого получения публичного ключа пользователя до небольшого мануала по консольному клиенту Hub. http://amp.gs/8Bzs

Подробнейший туториал по настройке auto-scaling EC2 инстансов с помощью Ansible. В репозитории содержатся примеры кода с детализированным объяснением каждого шага. http://amp.gs/8p6T

Обучающий портал http://amp.gs/8pQK опубликовал курс по оркестрации в Docker 1.12. http://amp.gs/8pQu Помимо докера, есть курсы по Kubernetes, Jenkins, Terraform, Mesos и куче другого софта, всего около 40 курсов. Сами курсы бесплатные, не очень глубокие, но могут пригодиться тем, кто только начинает разбираться во всей этой кухне. Монетизироваться ребята собираются, судя по всему, через платные углубленные воркшопы.

На highscalability.com опубликовали конспект выступления Melissa Binde, директора Storage SRE Google на GCP NEXT. Большой текст о том, как организована работа инженеров Google для достижения максимальной доступности сервисов. http://amp.gs/8pnn

Ладно, вернемся к нашему девопсу. Arun Gupta из Couchbase написал статью про мониторинг Docker контейнеров. В ней описываются как простые средства (docker stats и docker api), так и сложные утилиты, такие как cAdvisor и энтерпрайзный Docker Universal Control Plane. http://amp.gs/8ppc

Университет в Суонси присвоил Алану Коксу почетную степень доктора Computer Science за его вклад в развитие Linux. http://amp.gs/8pZh

Европейская комиссия (исполнительный орган Евросоюза) проведет аудит безопасности вебсервера Apache и менеджера паролей Keepass. Аудит будет проводиться в рамках пилотного проекта EU-FOSSA, и при успехе пилота можно будет ожидать аудита большего числа программных продуктов силами государственных институтов Евросоюза. http://amp.gs/8pmL

Вдогонку к новости про Prometheus. Ссылка на пару Grafana-дашбордов для мониторинга Docker-контейнеров с помощью стека Prometheus+cAdvisor+Grafana: http://amp.gs/8Zgf

Вышел Prometheus 1.0. Релиз направлен на стабилизацию API и UI, авторы обещают отсутствие кардинальных изменений в API на протяжении всех релизов ветки 1.x этой системы мониторинга. http://amp.gs/8Zvl

Chanwit Kaewkasi, контрибьютор Docker Swarm и специалист по Large-Scale Software Engineering планирует провести масштабный тест нового Swarm'а, запустив 2000 нод по всему миру. Тест планируется запустить 22 июля, в 18:00 по Москве. Если вы хотите поучаствовать, отпишитесь в PR к этому Github репозиторию: http://amp.gs/8Zyv

Adrian Colyer написал обзор Ambry - распределенного медиахранилища, используемого в LinkedIn. Ambry позволяет хранить объекты различного размера, от нескольких килобайт до десятков гигабайт, поддерживает partitioning, балансировку нагрузки и распределение по нескольким датацентрам. http://amp.gs/8mHj GitHub: http://amp.gs/8mH8

Если вам мало компиляции Go в исполняемый файл, то вот вам AtmanOS - набор патчей и дополнительных файлов для Go, позволяющий компилировать код на этом языке в Unikernel'ы и затем запускать их под Xen. http://amp.gs/8miS

Найдена уязвимость httpoxy, связазанная с небезопасным использованием переменной окружения HTTP_PROXY в CGI приложениях. Ей подвержено большое количество библиотек, написанных на PHP, Python и Go. На самом деле, багу уже более 15 лет, в разное время его фиксили в Perl, curl, Ruby и недавно вновь обнаружили сразу в целом ряде программ. Суть уязвимости заключается в том, что CGI можно передать переменную окружения HTTP_PROXY извне, через HTTP-заголовок, перенаправив тем самым исходящие запросы сервера через эту прокси. http://amp.gs/8mqP

Аwslabs зарелизили первую версию Chalice - serverless микрофреймфорка на Python для AWS. Фреймворк использует Flask-подобный синтаксис и позволяет писать и деплоить приложения, использующие Amazon API Gateway и AWS Lambda. http://amp.gs/8mIK

Чек-лист требований к Docker'у в продакшн-окружении от Ian Miell, автора книги Docker in Practice. Статья содержит важные моменты касательно настройки registry, параметров образов, безопасности и инфраструктуры. http://amp.gs/8t6q

Небольшая компания Containous выпустила первую стабильную(1.0.0) версию своего продукта traefik. Traefik это современный HTTP reverse proxy и балансировщик нагрузки для микросервисных архитектур. Основные его фичи: автоматическая zero-time реконфигурация на основании данных из Swarm, Mesos/Marathon, Kubernetes, Consul, Etcd, Zookeeper, поддержка websocket и http/2, webui dashboard для просмотра состояния и статистических данных(показывает количество ошибок того или иного вида). http://amp.gs/8tQC

Статья от инженеров из Uber с описанием μDeploy - их программы для деплоя микросервисов. Содержит неплохой перечень требований к подобного рода системам. http://amp.gs/8tMG

Matthew Bates из jetstack.io опубликовал обзор нововведений в вышедшем (http://amp.gs/8taO) полторы недели назад Kubernetes 1.3, по тем или иным причинам мало упоминавшихся в новостях. В списке присутствуют улучшения в kubectl (автодополнение, возможность обновления образа для деплоя, просмотр статуса update rollout), сборщик мусора, seccomp профили для контейнеров и подов, init-таски для выполнения перед запуском контейнеров. http://amp.gs/8taN