DevOps Deflope News

Netflix открыли код vizceral - компоненты для визуализации потоков траффика на уровне сервисов, серверов и датацентров. http://amp.gs/8hr7

Вышла запись Syscast Podcast с главой core team Ansible James Cammarata. Поговорили о push/pull сценариях работы, поглощении Ansible Red Hat'ом, сравнении с другими системами управления конфигурациями и многом другом. http://amp.gs/8hds

Github представили свою утилиту для MySQL online schema migration - gh-ost. От аналогов она отличается отсутствием использованиz триггеров, легковесностью, возможностью приостановить миграцию, а также менять ее параметры на лету. http://amp.gs/8yii

Docker запустили свой подкаст - Dockercast. Вести его будет John Willis - один из авторов DevOps Cafe Podcast. Анонс в блоге Docker: http://amp.gs/8ysT Ссылка на RSS: http://amp.gs/8ysz

Еще пара материалов с разбором проблем PostgreSQL, приведшим к миграции Uber на MySQL. Дискуссия между разработчиками PostgreSQL в их рассылке: http://amp.gs/8yAc И отдельный пост от Simon Riggs, одного из разработчиков PostgreSQL: http://amp.gs/8yA6

Вслед за новым Apache Mesos вышла новая версия DC/OS - операционной системы, позволяющей взаимодействовать с кластером машин как с единой системой. Основные новшества: UI Marathon интегрирован в основной UI DC/OS, теперь не надо лезть в дебри интерфейса, чтобы увидеть Marathon таски; Добавлен Metronome - фреймворк для запуска задач по расписанию. Он заменяет Chronos, который, при желании, все равно можно поставить из Universe; Появилась возможность выделять IP для контейнеров и создавать изолированные виртуальные сети; Упрощена установка dcos cli-утилиты. Теперь она поставляется в виде одного бинарного файла. Release notes: http://amp.gs/8PI1 Обзор новой версии в DC/OS office hours: http://amp.gs/8PIz

Новость для тех, кто(все еще) использует zabbix. Появилась cli утилита zabbixctl. С ее помощью можно посмотреть список сработавших триггеров, latest data и управлять пользователями. http://amp.gs/8762

На Github выложили первую часть списка ресурсов для подготовки к сертификации AWS. Список пока охватывает только AWS solutions architect - Associate exam, но уже получился довольно внушительным. http://amp.gs/87cX

Хорошая публикация с разбором статьи Uber о их переходе с PostgreSQL на MySQL. Обозрены некие недомоловки из оригинальной статьи и более четко обозначен фокус проблем. http://amp.gs/87lP

В блоге Docker опубликовали статью, подробно рассказывающую о взаимодействии компонентов кластера, а также об алгоритмах добавления ноды, создания и обновления сервиса. В конце статьи есть ссылки на пару видеопрезентаций об архитектуре нового Swarm. http://amp.gs/87Zm

Забавная (но довольно бесполезная) аналитика от David Gageot. Он взял Google BigQuery, данные о всех публичных репозиториях Github и начал анализировать. Например, он выяснил, что самым популярным base image является ubuntu:14.04 (используется примерно в каждом десятом Dockerfile), а всего Dockerfile содержится примерно в 1% всех публичных Github репозиториев. Остальные факты и примеры запросов вы можете посмотреть здесь: http://amp.gs/87YA

На The Next Platform вышла статья о том, что же вообще такое Serverless (спойлер: serverless doesn't really serverless), а также о том, какие выгоды такая архитектура может принести бизнесу. Статья обзорная, больше про общие рассуждения, нежели про технологии, но в конце есть полезная ссылка на примеры архитектур с использованием AWS Lambda. http://amp.gs/87zs

Инженеры Datadog написали замечательную статью про анти-паттерны построения графиков для мониторинга. Большинство советов, правда, сводится к простому "не сваливайте все в одну кучу". http://amp.gs/8exb

Состоялся релиз Terraform 0.7 - утилиты от Hashicorp для описания инфраструктуры и ее развертывания в облачных (и не только) провайдерах. Ключевые изменения: Import - Terraform научился импортировать существующую инфраструктуру в файл - может быть полезно в случае создания части инфраструктуры руками; Data sources - аналогично предыдущему пункту, Terraform научился получать данные из внешних источников для последующего использования их в конфигурации. Например, вместо хардкодинга aws_ami можно заставить Terraform получать его динамически; State - появился набор сабкомманд для работы со state-файлами (раньше их приходилось править вручную); List and Map - в конфигурациях стало возможным использовать массивы, в том числе и ассоциативные. http://amp.gs/8enw

Автор Goss (serverspec-like утилиты для валидации конфигурации сервисов и проведения healtcheck'ов) опубликовал статью, рассказывающую о том, как решить с помощью его утилиты ряд ограничений Docker и Kubernetes. Например: запускать healthcheck, включающий в себя несколько команд (директива HEALTHCHECK в Dockerfile этого не позволяет) или запускать Docker-контейнер/Kubernetes-под только после запуска всех сервисов, от которых он зависит. http://amp.gs/8elH

Platform9 (фирма, предоставляющая managed OpenStack облака как сервис) презентовала свой новый продукт: managed Kubernetes кластер. Ребята берут на себя все вопросы по конфигурированию, обслуживанию и мониторингу кластера: http://amp.gs/8epl На основе своего опыта эксплуатации Kubernetes в продакшене, инженеры Platform9 написали статью о сложностях использования этой платформы: http://amp.gs/8epp

На SlideShare выложили презентацию с различными архитектурами Docker Continuous Delivery. К каждой схеме есть ссылка на пост с подробным описанием деталей. http://amp.gs/8kPp

Мы тут немного упустили, извиняемся. 26 июля вышел релиз 2.0.0 платформы для распределенной обработки данных Apache Spark. Основные изменения: API переработано в сторону большей унификации: объединены DataFrames и Datasets, добавлена универсальная входная точка SparkSession, упрощено Accumulator API; Значительно (до 10 раз по сравнению со Spark 1.6) увеличено быстродействие на некоторых операциях; Добавлено Structured Streaming API (пока альфа-версия, незначительно расширяющая DataFrame/Dataset API). Официальные Release Notes: http://amp.gs/8key Сообщение в блоге Databricks, включает в себя подробное сравнение быстродействия Spark 1.6 и 2.0: http://amp.gs/8ke7

Дмитрий Зайцев из OneFactor опубликовал на Хабре туториал по использованию Hashicorp Vault - key-value хранилищу приватных данных, позволяющему гибко настраивать политики доступа к секретам. http://amp.gs/8kCO

Если вы поддерживаете свои публичные (или часто пользуетесь чужими) Docker Images, вам может пригодиться MicroBadger: сервис, который предоставляет детальную информацию об используемых слоях, лицензии и истории версий, а также позволяет встраивать бэйджи с этими данными в свой репозиторий. Раньше сходную информацию предоставлял ImageLayers, но он последнее время не работает. http://amp.gs/8CUJ