I hate overtime

Вышел Apache Superset 1.0: https://preset.io/blog/2021-01-18-superset-1-0/

#api #api_management Отличный доклад про Api Management решение Apigee от @integration_ru

#data #cdc Как-то пропустил новость про CDC-фреймворк от Netflix. Кажется у дебезиума теперь есть достойный конкурент)

Ехехехе, кажется сегодня вместо пятничных мемов у нас будет рубрика "я у мамы орхитектор" Многие не любят крон джобы, и заслуженно! У них много недостатков: их сложно мониторить, нагрузка плохо распределяется и тд и тп. Так же я видел кучу различных способов нивелировать эти недостатки: кто-то запихивает крон в приложения(здрасьте Quartz и robfig/cron), кто-то пытается использовать более современные инструменты(k8s cronjob и systemd timers), но то что я тут нашел на одном из проектов просто должно войти в историю! Парни сделали отдельный (микро-)сервис, который при старте читает конфиг с расписаниями и по расписанию начинает через синхронное http api(КАРЛ!) дергать другие сервисы, таким образом оркестрируя выполнение отложенных/переодических задач Вот такой вот нехитрый способ ценой связности всех сервисов, отказоустойчивости и, пожалуй, логики сэкономить немножко бойлерплейта

#databases #arch Отличное научпоп-введение в master-master БД. В программе: как это работает, когда стоит и когда не стоит использовать, в чем отличие от более распространенных master-slave

#машины_разное Во время своего выступления Дор Лаор, СЕО Scylla анонсировал новый проект Circe, который в корне меняет структуру консенсуса ScyllaDB. Взамен Paxos в ядро этого немалоизвестного конкурента Cassandra и DynamoDB будет использоваться Raft, что по словам Дора сделано в угоду консистентности и позволяет быстрее синхронизировать новые узлы в кластере. Интересно попробовать собрать POSIX FS over Scylla... когда-нибудь.

#data Отличный курс лекций про данные от Ростелека и вендоров: https://www.youtube.com/playlist?list=PLlCP3a0hjY50I5mumo_YCu7IEDjiUpEWO З.Ы. лекции 1.1-1.3 вводные, их можно пропустить

#arch Котаны и котанессы, тут выложили все доклады с ArchDays2020

Пссс, я тут недавно запостил давно начатый клиент для Redis на Go. Зачем? Хотелось и другое не нравилось. У кого там были идеи по апи или еще какие-то боли из прода, подкиньте коментов/аргументов/ишью. Можно в лс. (Особо активных позову потом в чат организации) Лайк-подписка на вырост https://github.com/cristalhq/redis

#dotnet #staticanalysis Котаны, у Facebook есть замечательный static analysis тул под названием Infer. Если верить фейсбуку, там под капотом мат. аппарат, который позволяет детектить до 80% багла до прода. Исторически тул работал для Java, C и Objective-C, но фейсбук внезапно добавил поддержку C# Додиезеры, возрадуйтесь!

Список технических блогов, стоит добавить в закладки и раз в месяц почитывать Cloudflare https://blog.cloudflare.com/ Netflix https://netflixtechblog.com/ Uber https://eng.uber.com/ Lyft https://eng.lyft.com/ Twilio https://www.twilio.com/blog Facebook https://research.fb.com/ Twitter https://blog.twitter.com/engineering/en_us.html Databricks https://databricks.com/blog/category/engineering Google AI https://ai.googleblog.com/ Google Dev https://developers.googleblog.com/ Slack (already mentioned) https://slack.engineering/ Twitch https://blog.twitch.tv/en/?tag=engineering Quora https://www.quora.com/q/quoraengineering Discord https://blog.discord.com/engineering-posts/home

Кстати, котаны, только сегодня узнал о существовании вот такой вот замечательной карты от CNCF Тут собраны и сгруппированы все плюс-минус зрелые Cloud Native технологии. Очень удобно для понимания альтернатив при выборе очередного кирпичика для решения

#kafka #performance Отличная прошлогодняя статья про то, откуда растут ноги скорости Кафки. Если не читали, то очень советую. В принципе ничего неожиданного (в основном, оптимизация I\O по всем фронтам), но очень круто, что кто-то собрал все такие трюки в одном месте

Котаны, с наступающим(а кого-то и с уже наступившим) новым годом! Как говорил Конфуций: "найдите себе работу по душе, и вам не придется работать ни дня в своей жизни", вот и Вам я желаю, что бы айти приносило только удовлетворение от простого решения сложных проблем, а не головняк, фрустрацию и овертаймы! Ура, товарищи!

Смеющийся испанец для меня, однозначно, мем года. А тут еще и про данные! Не могу не поделиться

У парней из @dddevotion вчера прошел ламповый ивент с блекджеком и кодом. Для тех кто любит(или пытается полюбить) DDD очень рекомендую!

Вспомнился тут интересный кейс, который в свое время заставил начать смотреть на цифры по-новому: на одном из собеcов меня попросили спроектировать систему, часть которой должна была хранить огромное количество(десятки миллионов) строковых ключей. Прирастали эти ключи тоже с приличной скоростью(десятки тысяч за день). Задача была простая: нужно уметь искать по четкому совпадению среди этих ключей. Ну казалось бы, тут счет на миллионы, чуть ли не бигдата, надо расчехлять кликхаусы/сциллы и придумывать как бы так пошардировать что бы... вот где-то здесь мне интервьюер и предложил посчитать сколько же реально места займут наши миллионы строк. Допустим, длина ключа ограничена 100 символами: 100 * 100 000 000 ~ 10Гб Десять гигабайт(Карл!). Вот и весь хайлоад) Мораль сей басни: всегда надо четко(не в попугаях) оценивать нагрузку. Мне в этом плане очень нравится практика SREшного NALSD

Новый перевод в блоге на конкретных примерах для Istio показывает, какие препятствия по-прежнему актуальны для сегодняшних service mesh в целом: https://habr.com/ru/company/flant/blog/533686/

Котаны, внезапно узнал, что у Нила Форда есть kata на fitness functions по аналогии с архитектурными kata Теда Ньюарта. Скоро у всех новогодние (онлайн-)корпораты, так вот вам отличный конкурс))