DevOps Deflope News

Дмитрий Франк опубликовал неплохую шпаргалку по Docker (к сожалению, не затронуты команды оркестрации, но вы всегда можете послать Pull Request). http://amp.gs/8C4z

DevOps Library выпустили (и планируют продолжить углубляться в тему) большой курс по Jenkins. Курс представляет собой цикл видео и текстовых мануалов, разбирающий тот или иной аспект этой CI системы. Итоговой целью курса является подготовка слушателей к CCJPE (Certified CloudBees Jenkins Platform Engineer). Также на их сайте есть обзорные уроки по ELK, Vagrant, Docker, и, внезапно, SaltStack. http://amp.gs/8CE6

Let’s Encrypt анонсировали полную поддержку IPv6. http://amp.gs/8Cg1

Casey Bisson из Joyent написал полезную статью про хранение данных в рамках stateless инфраструктуры. Из важных моментов стоит отметить рассказ о том, как привести MySQL к stateless. http://amp.gs/8xFV

Вышел Docker 1.12. Важные новшества по сравнению с предыдущей версией: Оркестрация. Появились команды swarm для управления кластером, node для управления нодами и service для деплоя контейнеров в кластер; В Dockerfile добавлены директивы HEALTHCHECK и SHELL, для проверки приложений и задания дефолтной оболочки соответственно; Серьезные улучшения в сетевой части: MacVlan драйвер перестал быть экспериментальным, добавлен load-balancing, добавлено шифрование к overlay-сетям. http://amp.gs/8x2p

Вышел Apache Mesos 1.0. Mesos - это платформа для управления кластером, позволяющая запускать распределенные приложения, абстрагируясь от вычислительных ресурсов отдельных машин, а также динамически управлять их размещением. Система горизонтально масштабируется вплоть до нескольких тысяч узлов. Поддерживается работа с Hadoop, MPI, Hypertable и Spark. Особенности новой версии: Новый HTTP API, упрощающий создание фреймворков для работы с Mesos; Унифицированная система работы с контейнерами, позволяющая запускать Docker/Appc контейнеры без непосредственного обращения к docker engine или rkt; Механизм изоляции контейнеров (предложенная проектом CoreOS спецификация CNI - Container Network Interface). С ее помощью контейнерам можно выделять адресное пространство и подключать их к разным типам IP-сетей; Поддержка использования Nvidia GPU в качестве ресурсов для унифицированных Mesos-контейнеров; Добавлена авторизация и аутентификация для многих методов API; Добавлена поддержка Windows (пока в статусе бета). Новость в блоге Apache Foundation: http://amp.gs/8xZ5 Полный Changelog (осторожно, очень много текста): http://amp.gs/8xZQ;a=blob_plain;f=CHANGELOG;hb=1.0.0

Нидерландская компания DutchCoders собрала все AWS API в удобную таблицу с возможностью поиска и фильтрации: http://amp.gs/8xmr Аналогичная таблица есть и для EC2 инстансов: http://amp.gs/8xmO

Инженеры из Confluent написали пару статей про работу с Kafka Streams (библиотеки для stream processing, способной в ряде случаев заменить Apache Spark, обзорный пост можно прочитать здесь: http://amp.gs/8xIg). Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4 Безопасность Kafka Streams: http://amp.gs/8xI9

Ребята из Substrakt выложили в открытый доступ свою утилиту для генерации LetsEncrypt сертификатов для Heroku. http://amp.gs/8G6m

На канале Badoo Development опубликовали видео докладов с прошедшей в июне DevConf 2016 https://www.youtube.com/playlist?list=PL3xVZC4USRNSwvepfo1BGOP5KWx6h9-vp

В блоге Deis (Heroku-подобный open source PaaS на базе Kubernetes) опубликовали разбор работы хранилища образов, volumes, механизма copy-on-write и различных storage drivers. Материал не сильно глубокий, но будет очень полезен тем, кто только начинает разбираться с Docker. http://amp.gs/8Gn8

Вышел в свет Dependency CI - сервис для проверки зависимостей ваших проектов. Dependency CI интегрируется в Github workflow и осуществляет контроль за лицензиями используемых в проекте библиотек. Также он умеет находить неподдерживаемые (deprecated и unmaintained) библиотеки и зависимости с уязвимостями. http://amp.gs/8Gpo

Перепроверьте настройки своих Docker Registry. Специалист по безопасности avicoder "хакнул" инфраструктуру Vine (сервис для загрузки коротких видео, куплен Twitter) и получил доступ к docker-образам компании, содержащим, в том числе, и исходный код сервиса. Ну, хакнул - это конечно громко сказано. Выяснилось, что инженеры Vine попросту не закрыли публичный доступ к своему registry, и тот был свободно доступен по публичному адресу в интернете. В итоге все кончилось хорошо - registry прикрыли, avicoder получил 10000$ по bug bounty. http://amp.gs/8GmP

Компания Galactic Fog анонсировала Gestalt, фреймворк для деплоя serverless приложений в DC/OS кластер. Поддерживаются приложения, написанные на .Net, Javascript, Java, Scala, Ruby и Python. http://amp.gs/8ngE

Цикл из двух статей от инженеров Uber про их технологический стек. Часть первая, про платформу: http://amp.gs/8nPk Часть вторая, про приложения и маркетплейс: http://amp.gs/8nPe

Те, у кого нет лишних нескольких тысяч долларов на Ansible Tower, могут попробовать опенсорсную альтернативу: ansible-semaphore (http://amp.gs/8nee). Несмотря на 1000 звезд на гитхабе, информации об этом продукте в сети крайне мало, удалось найти только вот эту статью: http://amp.gs/8ne7

Вышел Ansible Tower 3 (http://amp.gs/8nfW) - enterprise решение для управления инфраструктурой. Tower предоставляет веб-интерфейс для Ansible, позволяющий просматривать отчеты о деплое, разграничивать доступ к разным частям инфраструктуры и управлять заданиями и нодами прямо из браузера. Среди новшеств отмечается: более удобная система прав и ролей, встроенный механизм нотификаций в Slack, HipChat, PagerDuty, Twilio, IRC и на почту, интеграция с Red Hat Satellite и Red Hat CloudForms. http://amp.gs/8nfL

В Slack-чате сообщества hangops_ru поделились ссылкой на список постмортемов крупных компаний: http://amp.gs/8Bij

Отличная статья от мейнтейнера www.devopsbookmarks.com про ряд заблуждений, которые могут привести вас к тому самому состоянию over-engineering'а в вашем проекте, которое мы все всегда стараемся избежать. http://amp.gs/8BUH

Проект #DockerSwarm2000, о котором мы писали несколько дней назад (http://amp.gs/8BRZ) закончился успешно. Ребята объединили 2384 ноды в один огромный Swarm-кластер и запустили на нем почти сто тысяч контейнеров. http://amp.gs/8BRm