Книжный куб

Стрим с Сергеем Щербининым про инженерную культуру в Тинькофф Вчера вечером мы вместе с Сергеем пообщались в рамках "безвотэтоговотвсего" и обсудили большое количество вопросов, среди которых самыми интересными были: - Что поменялось в Тинькофф за 7 лет, что я уже в копмпании - Как мы выглядим внутри с точки зрения управления и организации работы и что позволяет разным нашим продуктам двигатсья вместе (я рассказывал об этом на примере мобильного приложения Тинькофф на Highload++ 2022) - Как устроены архитектурные подходы в компании (я про это рассказывал как-то на ArchDays 2020) - Как можно смотреть на эффективность разработки (тут я вспомнил про темп разработки и качество продукта, см. подробнее в книге "Accelerate" и моем выступлении "Improving software flow" на нашем фестивале в Казани неделю назад) - Какие культурные ценности в компании и почему именно такие (про это я пока только планирую дописать статью) - Какие еще есть компании в России с крутой инженерной культурой #Management #Leadership #Engineering #SoftwareDevelopment #Architecture #Podcast #Software

Крошка Экскаватор (Little Excavator) Эта детская книжка от Анны Дьюдни понравилась моему сыну еще когда он увидел ее на задней обложке книг про Ламу, которые были очень хороши:) В итоге, я купил ее и мы вместе ее изучали: - Новый герой Анны Дьюдни - это крошка экскаватор, который оказывается на настоящей стройке - Он пытается помочь другим машинам построить парк на месте пыстуры - Но все, за что он берется, у него выходит вкривь и вкось - слишком уж он мал - Но на этапе финальной отделки находится дело и для малыша, которое он успешно выполняет - В итоге, все довольны - парк готов, а все машины и даже крошка Э поучаствовали в его обустройстве В этой книге хорошие рисунки и интересная визуальная история, но вот слов меньше, чем я написал выше, поэтому я при чтении книги малышу допридумываю и дорассказываю историю каждый раз заново:) Вот видеоверсия сказки на английском. P.S. Вот мои упоминания книг про крошку Ламу - Лама красная пижама - Лама сердится на маму - Лама в гостях у бабушки с дедушкой - Лама в садике без мамы #ForKids

The Busy Platform Engineers Guide to API Gateways • Daniel Bryant • GOTO 2023 Интересное выступление на goto конференции про API Gateways от Daniel Bryant, разработчика API Gateways и автора книг "Mastering API Architecture" и "Continuous Delivery in Java". Кстати, до недавнего времени Даниэль был главой devrel в Ambassador Labs, которые продают свой гейтвей ambassador В этом выступлении Даниэль рассказывает о том, 1. Что такое API Gateways, для чего они нужны 2. Почему решение переехать на API Gateway - это решене первого типа по Безосу (irreversible, которое надо принимать взвешанно и обдумано). Дальше идет речь о том, как API Gateway в принципе встраивается в cloud native платформы 3. Почему API Gateway надо воспринимать как продукт и понимать кто за него отвечает, как выглядят профили пользователей и их сценарии, как гейтвей интегрирован в окружающий cloud native стек 4. Почему надо думать про опыт разработчиков и operations команды и реализовывать self service возможности (автор упоминал как про механизм merge request, так и про богомерзкий UI) 5.Про необходимость фокусу на workflows и интеграции с другими инструментами (условно интеграция между API Gateway для внешнего трафика и service mesh для внутреннего кластеа) P.S. Слайды презентации доступны здесь Плюс автор дал ссылку на такой google spreadsheet со сравнением разных API Gateways #SoftwareDevelopment #Software #Architecture #Management #SystemDesign

Apache Kafka. Потоковая обработка и анализ данныз (Kafka: The Definitive Guide) Все привыкли, что я читаю книги достаточно быстро, но вот с этой книгой получилось не так - пока я читал перевод первого издания вышло второе:) Первое издание вышло осенью 2017 году, а второе в конце 2021. Первое издание состоит из 11 глав 1. Meet Kafka - в этой главе мы встречаемся с главным героем и знакомимся с базовыми понятиями обмена сообщениями, дальше мы узнаем про основы Kafka: сообщения и пакеты, схемы сообщений, топики и партиции, producers и consumers, а также как выглядят сами брокеры и как они объединяются в кластера. 2. Installing Kafka - здесь авторы рассказывают про установку Kafka и на что обращать внимание при выборе железа (интересно, что во втором издании авторы делают больший акцент на переезде в облака) 3. Kafka Producers: Writing Messages to Kafka - здесь обсуждаются вопросы записи в Kafka (само название говорит о том, что эта система ориентирована на писателей:) ). Здесь говорится про конфигурацию producers, сериализацию и работу с партициями 4. Kafka Consumers: Reading Data from Kafka - здесь идет речь про то, как читать из Kafka и управлять оффсетом через разные варианты коммитов: автокоммит, асинхронный и синхронный коммит 5. Kafka Internals - эта часть интересна тем, кто любит заглядывать под копот. Тут идет речь про то, как работает сам кластер, как реализуется членство в кластере, что такое контроллер, как выглядит репликация, а дальше обработка запросов (на запись и на чтение), а дальше как работает физический уровень 6. Reliable Data Delivery - здесь обсуждаются гарантии доставки и как их обеспечить за счет совместной работы producer, Kafka и consumers. Здесь как раз можно почитать про семантику at least once и exactly once в Kafka 7. Building Data Pipelines - здесь кратко рассказывается про ETL пайплайны и работу с Kafka Connect (подробнее на эту тему рекомендую почитать Data Pipelines Pocket Reference) 8. Cross-Cluster Data Mirroring - про репликацию данных между кластерами и что лучше стягивать данные с удаленного кластера, чем их пушить в удаленный кластер (если есть такая возможность) 9. Administering Kafka - вопросы администрирования Kafka, здесь зарыто достаточно сложности, но эту часть определенно стоит почитать, если у вас Kafka в production:) 10. Monitoring Kafka - здесь обсуждаются вопросы мониторинга и они по большей части относятся к мониторингу java приложений и дальше использованию JMX для получения данных для мониторинга из процессов Kafka 11. Stream Processing - это интересный раздел про потоковую обработку, который подан очень сжато, но позволяет понять область применимости Kafka Streams API На этом книга оканчивается, но есть смысл сразу пойти и изучить второе издание, чтобы оценить накопившиеся за пять лет различия:)) #Data #Databases #Engineering #SoftwareArchitecture #Software #SoftwareDevelopment #Management #Queue

Мой нью-йоркский дневник (My New York Diary) Автобиографический комикс от Жюли Дусе, который сделал ее знаменитой и принес ей славу лучшего монреальского автора комиксов. В комиксе рассказывается про ее обучение в художественном колледже в Монреале, после которого она отправляется в Нью-Йорк, который и дал название комиксу. Изначально заявляется, что поехала она в "Большое яблолко" чтобы быть ближе к американскому комикс-сообществу, но из комикса кажется, что для того, чтобы просто прожигать свое время за алкоголем, наркотиками и парнем-неудачником. В аннотации указано,что в "рисованном дневнике Жюли с непримиримой откровенностью описывает суровые реалии собственной жизни и отвечает на вопрос, что значит быть одной из немногих женщин в среде комиксистов 1990-х годов", но мне показалось, что тут не непримиримая откровенность, а просто проходная история без единого яркого персонажа (включая автора), но с интересно техникой рисунка. А вот критики оценили произведение по-другому и в 2000 году этот комикс получил Firecracker Award в номинации "Лучший графический роман" и был номинирован на премию Харви. #Comics #Biography

Участие в подкасте безэтоговсего В среду в 19.30 приду в гости к Сергею Щербинину, который ведет канал безвотэтоговотвсего, где рассказывает про управление людьми, построение команд, работу с мотивацией в крупных компаниях и не только. Сам Сергей больше 15 лет провел на позициях топ-менеджера в ИТ крупнейших компаний из нефтяной (Shell), ИТ (Лаборатория Касперского) и финансовой (Райффайзенбанк и УБРиР) отраслей. Ну и в среду мы с Сергеем поговорим конечно про лидерство и менеджмент, процессы и инженерные практики, людей и их мотивацию и много другое. Все это мы будем обсуждать на примерах того, как это устроено у нас в Тинькофф и чем мы отличаемся от других компаний. #Management #Leadership #Architecture #Processes #Podcast

Обзор статьи "The SPACE of Developer Productivity" В эти выходные прочитал статью с интересным продолжение работы, начатой в книге "Accelerate" за авторством Nicole Forsgren и команды исследователей. В этой статье авторы развили тему изучения производительности разработки и даже предложили отдельный фреймворк SPACE, который расширяет метрики DORA. Мне эта тема откликается, поэтому я решил сделать краткое саммари этой научной статьи от 6 марта 2021 года. Для тех, кто не читал книгу "Accelerate", рекомендую познакомиться с ней в кратком изложении от меня: — Общие выводы, способы измерения performance, культуру; — Технические практики, архитектуру и интеграцию вопросов безопасности в процессы разработки; — Менеджерские и лидерские практики. Ну и можно прочитать мою статью с рассказом про "Совершенствование потока разработки программного обеспечения". #Processes #Management #ExternalReview #ProductManagement #Leadership #SoftwareDevelopment #Software #SRE

What Your Mother Never Told You About Agile Development • Aino Vonge Corry • YOW! 2022 Интересный доклад Aino Vonge Corry на тему Agile разработки. Для начала она делится своей историей погружения в Agile, начиная с XP в начале двухтысячных и дальше появления Agile Manifesto и перехода на более тяжелые наркотики процессы в виде Скрам, Канбан, SAFe. И как по мере развития этих фреймворков многие эксперты из разработки начинали с негативом относиться к словам agile development и всем этим подходам (что конечно не нравилось автору как практикующему agile coach). С другой стороны были и те, кто возлагал на пришествие agile coach такие надежды, как будто они умеют лечить наложением рук, ходить по воде и превращать воду в вино - то есть могут исправить любую дисфункцию в организации. Автор предлагает взглянуть на это по другому и 1. Вспомнить "Dreyfus model of skill acquisition" и путь от новичка до эксперта 2. Вспомнить про инженерные практики, которые нужны для того, чтобы быть гибким в рамках процессов (про это я недавно рассказывал доклад "Совершенствование потока разработки программного обеспечения") В общем и целом, выступление получилось очень неплохим, несмотря на то, что спикер является agile coach:) #Processes #Management #Leadership #SoftwareDevelopment #Software #Engineering

А вот немного изображений.

Густав Климт. Абсолютная красота (Gustav Klimt. La Bellezza Abssoluta) Эту графическую биографию великого художника создал Отто Габос, который постарался нам рассказать о драматичном пути художника к новой эре в искусстве, уделяя особое внимание психологии и личности Густава. Густав жил и творил в Австро-Венгерской Империи, а умер буквально за несколько месяцев до ее падения по результатам Первой мировой войны. Сама книга построена как путешествие находящегося при смерти художника по уголкам своей памяти, в котором мы его сопровождаем. В итоге, мы успеваем проюежаться по частям: - Весна священная - ранняя жизнь художника и его взаимоотношения с семьей и братом Эрнестом, с которым они вместе рисовали картины, но который рано умер - Сецессион - вступление в выставочную организации и нескольких групп молодых немецких и австрийских художников, которые в 1892 году в знак протеста против официального академического искусства вышли из состава мюнхенской выставочной организации «Хрустальный дворец» - Вена - история про Эмилию Флёге, друга Густава, которая играла значимую роль в жизни Климта как модельер, созадавая шедевры моды. Эмилия была для художника настоящей музой. Плюс здесь же идет реч про множество детей Густава, которые у него были от разных моделей, их набиралось на несколько футбольных команд. - Аттерзее - рассказ про мастерскую художника, которая сейчас доступна для посещения в Вене. Конечно, доступная сейчас мастерская - это двухэтажный новодел. Сам Климт жил и творил в одноэтажном здании, утопающем в зелени сада, где всегда было множество моделей без избытка одежды:) В этой же части мы видим финал жизни Климта. - Ателье - в этой части Отто Габос рассказывает про закулисье создания этой книги. Он думал рассказать про Климта устами его моделей, но окзалось, что они перетягивают фокус с художника на себя. Дальше Отто отказался от биографии в стиле романов и свел к минимуму описание исторических событий, поэтому в книге мы путешествуем по времени произвольно. Также Отто не стал заострять внимание на отношениях Климта с его семьей, а точнее мамой и сестрой, хотя присутствие женщин сыграло центральную роль в жизни Климта. В книге остался фокус на Эмилии Флёге из-за ее значимости и важности. После прочтения книги я заинтересовался художником и на сайте ArtsAndCulture.Google.com нашел страницу художника, где можно посмотреть на его работы, включая самую дорогую его картину "Adele Bloch-Bauer I", которая была продана в 2006 году за рекордную сумму 135 млн долларов. А вот тут есть краткое видео на минуту про Густава Климта, тоже созданное в рамках проекта Arts and Culture от google. #Biography #Culture #Comics

И немного картинок из выступления Кайла и с сайте jepsen.io на тему моделей консистентности

Jepsen (Distributed Systems Safety Research) Сегодня я решил вспомнить про jepsen, clojure библиотеку, которая позволяет тестировать распределенные системы. Почему именно сейчас? Потому что на этой неделе я делал ревью доклада для ArchDays на тему эмулирования сбоев. В рамках ревью я вспомнил про библиотеку Jepsen и мы немного обсудили подход Kyle Kingsbury, автора библиотеки, к тестированию гарантий и отказов в распределенных системах. В общем и целом, мне нравится подход Кайла, поэтому я решил написать про это пост:) Кайл отлично рассказал о своем подходе в 2018 году на конференции GOTO (рекомендую посмотреть видео - оно сделано с юмором и кучей информации). На его сайте есть краткое описание работы библиотеки Jepsen analyses generally consist of running operations against a distributed system in a dedicated cluster, introducing faults into that cluster, and observing whether the results of those operations are consistent with some model. This introduces various sources for error: bugs, bounds on the search space, and the problem of induction. Jepsen’s design also limits its use as a performance benchmark. На этом же сайте есть крутая схема моделей консистентности, соответствие которым проверяется в тестах. Плюс есть отдельный раздел с результатами анализа разных баз, которых накопилось больше 20 за 10 лет исследований. Но если если возвращаться к выступлению 2018 года, то там Кайл сначала рассказывает по сложности работы stateful сервисов, а точнее баз данных, приводя метафору с горящей кучей покрышек, над которой развернуты приложения, которые предоставляют API клиентам, которые делают вид, что все хорошо. Дальше он рассказывает про виды проблем в распределенных системах и рассказывает про результаты исследований популярных продуктов и проблемы, найденные в них. А в конце выпустления он доходит до практических советов по поводу выбора базы данных / очереди для вашего продукта делать следующее - читать документацию и искать предоставляемые этим решением гарантии - если там написано просто strong consistency, ACID, strict и ничего больше, то возможно авторы базы данных не понимают что это значит (или скрывают реальные гарантии за marketing bullshit) - смотреть на формальные гарантии и спецификации - думать про те инварианты и гарантии, которые важны для вашей системы (баланс между safety/consistency и performance) - думать про модели отказа (failure modes) и конкретно про -- краши процессов (kill -9) -- откзаы машин -- clock skew -- паузы на gc/io -- разделения сети (network partition) (iptables -j DROP) - тестировать систему end-to-end, а не только базу или очередь - это позволит проверить работоспособность пользовательских сценариев целиком - не быть перфекционистом и остановиться в тестировании системы на good enough уровне #DistributedSystems #QualityAssurance #SystemDesign #Engineering #Software #Architecture #SoftwareArchitecture #SoftwareDevelopment #SRE

Санта действительно существует? Философское расследование (Does Santa Exist? A Philosophical Investigation) Эта книга Эрика Каплана, сценариста сериала "Теория большого взрыва", начинается с вопроса про Снту, а заканчивается обсуждением смысла жизни. В процессе философского расследования мы проходим через логику, мистику, юмор, каббалистику и приходим куда-то к религии или трансцедентности. Все путешествие сопровождается иронией, что позволяет не потеряться по дороге на особо заумной мысли, при чтении которой обычно тянет в сон. Также чтению помогает искрометный юмор стилистически близкий к "Теории большого взрыва" и мультсериалам «Футурама» и «Симпсоны», над которыми тоже работал автор. Вот избранные цитаты из книги, которые позволят понять, о чем я говорю - Рациональность Если вы не хотите прожить свою жизнь дураком, следуйте правилам практической рациональности. Правда, при этом вы не сможете творить, верить, переживать бурные эмоции, прощать, испытывать привязанность, быть спонтанным, погружаться в момент или чувствовать себя живым. Но зато дураком-то вы точно не станете! - Минусы логики Логика обещает вывести нас из дебрей неясностей к четкости и пониманию. Но, когда дело доходит до парадоксов, логика начинает путаться в собственной терминологии, которая не позволяет ей ни описать проблему, ни сформулировать решение. Стоит нам увидеть одно слабое место логики — и мы тут же начинаем замечать их повсеместно. - Существование Я лежал ночью в кровати и пытался представить себя несуществующим. Когда мне это удавалось и я пугался, то сразу же понимал, что на самом деле мне не удалось достичь желаемого и я все еще существую, только представляя себя несуществующим. Тогда я пытался вообразить, что и этого тоже не существует, и пугался еще больше. - Буддизм Когда я слышу, что кто-то кричит «Спасите! Спасите!» из квартиры этажом выше, я почувствую себя обязанным пойти помочь. Но если это MP3-плеер проигрывает аудиофайл с записью криков «Спасите! Спасите!», а в квартире нет никого, я не должен ничего делать. Не чувствуют ли буддисты нечто подобное: что смысла в неоказании помощи столько же, сколько в ее оказании? - Санта-йога Если мы посмотрим на Санту сквозь призму диалектики Мадхъямаки, мы в конце концов в каком-то смысле поверим в него. Наше отношение к Санте будет чем-то сродни мировоззрению тибетцев, практикующих божественную йогу. При этом нам не пришлось бы беспокоиться о том, существует он или нет, потому что парадокс заключается в самих особенностях реальности. Юмор В отличие от логики юмор (как и мистика) принимает противоречия. Он объединяет две половины парадокса в большее и живое целое. В отличие от мистики юмор (как и логика) не является авторитарным. Он указывает на противоречия и дает нам инструменты для их разрешения. Итак, именно юмор в состоянии примирить мистику и логику. В общем, очень рекомендую книгу к прочтению тем, кто хотел почитать что-то по философии, но боялся уснуть в процессе:) #Philosophy #Humor #SelfDevelopment

Марсианские хроники. Авторизованная графическая адаптация (The Martian Chronicles. The Authorized Adaptation) Эта графическая адаптация одного из самых известных произведений Рэя Брэдбери, которое одобрил он сам, а кроме того написал вступление к этой книге. Общий настрой книги классно передает фраза из ее описания: Вспомни, как хорошо дома. Почувствуй, как много теряешь с неумолимым течением времени. Пойми, кто ты есть. Выйди ночью на улицу, посмотри в небеса на красную планету и скажи: «Марс, забери меня домой...» У меня осталось своеобразное впечатление от этой серии рассказов - некоторые из них начинаются весело как рассказ "Земляне", но потом заканчиваются грустно. Собственно такое же ощущение от всего сборника - жалко и марсиан и землян и саму Землю целиком. P.S. Раньше я уже рассказывал про другие произведения Рэя: - Надвигается беда (Something Wicked This Way Comes) - Вино из одуванчиков #SciFi #Comics

Профессионализм и решение задач – Владимир Спиридонов / ПостНаука Интересное и короткое выступление Владимира про отличие экспертов от новичков. В рассказе фокус идет на трех отличиях с примерами исследований экспертов и новичков шахматистов, ученых-физиков, врачей: 1. Репрезентация, представление ситуации (мышление блоками, классифицирование, возможность использования поверхностной информации) 2. Стратегии решения (предметнозаточенны, количество под определенные случаи) 3. Стратегии самоуправления (первоначальный анализ, предсказание возможных проблем, фиксация и анализ ошибок) Рассказ инетересен тем, что он позволяет понять как двигаться в сторону профессионализма и экспертности в выбранной вами области:) P.S. Люблю статьи и видео ПостНауки, где публикуется интересный и полезный научно-популярный контент. #Brain #SelfDevelopment #PopularScience

Can We Please Stop Talking About Tech Debt? • Emily Rosengren • GOTO 2023 Противоречивый доклад с концеренции goto, в котором Emily рассказывает про техдолг и предлагает не называть технические задачи так:) Аргументация состоит в том, что со времен Уорда Канингема, придумавшего эту метафору, наша индустрия поменялась. Саму концепцию Уорда Канингема хорошо описал Мартин Фаулер в своей статье "Technical debt": Software systems are prone to the build up of cruft - deficiencies in internal quality that make it harder than it would ideally be to modify and extend the system further. Technical Debt is a metaphor, coined by Ward Cunningham, that frames how to think about dealing with this cruft, thinking of it like a financial debt. The extra effort that it takes to add new features is the interest paid on the debt. Эмили апелирует к следующим изменениям: - переход от проектной работе к продуктово-ориентированным командам - мы инвестировали в изменение подходов к организации команд для создания софта в другом формате - распространение cloud-native distributed systems - область, которую можно отнести к долгу увеличилась - появился целый зоопарк технологий (с 1992 года, когда концепция техдолга появилась) Дальше Эмили подводит к мысли, что There is bad software and better software, but no such thing as "best" or "the right" implementation и отсюда появляется мысль, что Software and context around it is continually changing - the best tradeoffs come from current context Дальше автор доклада предлагает не навешивать label техдолг на какие-то технические задачи, а влиять целиком на улучшение продукта и она предлагает такой алгоритм для того, чтобы делать это успешно: - Do the work when it matters - Explain the "why" - Understand the product roadmap and care about it too Дальше она разбирает стандартный тезис инженеров вида "I can't get my tech debt prioritized" и предлагает переформулировать это в утверждение другого вида "I can get my timely. prroduct-strategy-relevant improvement recommendations prioritized":) P.S. В принципе, мысли у автора хорошие, но кажется, что это просто изменение названия, но не концептуальное изменение подхода. Мне гораздо больше нравится подход Джона Остерхута со стратегическим программированием, что он описывал в книге "A philosophy of software design" (вот тут есть краткое описание книги, которую мы разбирали в клубе Code of Architecture). Плюс я думаю, что надо делать технические инвестиции up-front с точки зрения внедрения инженерных практик в новые проекты, а не ждать накопления долга и выплаты процентов. #Engineering #Architecture #Processes #Management #Leadership

Совершенствование потока разработки программного обеспечения С такой темой я открывал наш фестиваль в Казани, который прошел 5 августа. Суть была в том, чтобы кратко рассказать про разработку программного обеспечения с 5 точек зрения: архитектуры, процессов, инженерных практик, культуры компании и фокуса на клиенте и результатах. Сейчас я написал расшифровку доклада в виде статьи в своем блоге. А через пару недель появится и видеозапись этого выступления. Плюс чуть раньше я уже постил рекомендуемые материалы, которые шли как рекомендуемые источники для изучения. #Processes #Management #Architecture #Conference #ExternalReview #ProductManagement #Leadership #SoftwareDevelopment #Software #SoftwareArchitecture

Бабушка велела кланяться и передать, что просит прощения Прочитал пару лет назад эту книгу Фредерика Бакмана, который написал еще книгу "Что мой сын должен знать об устройстве этого мира". Книга про бабушку написана в другом стиле - комбинации сказки и реальности. Спасибо моей жене за рекомендацию этой книги. Я долго откладывал ее прочтение, но когда начал, прочел на одном дыхании. История почти восьмилетной девочки, ее 78 летней бабушки и всех всех вокруг окзалась просто бесподобной: одновременно смешная и грустная, сказочная и реальная, и так далее. В общем, читать было здорово и интересно, рекомендую к прочтению. #ForKids #Humor