Nikita Pinchuk professional channel: IT / EA / BA / Architecture

Читаете ли вы заметки Kai Waehner о потоковой обработке данных? Я, признаться, почитываю. И хотя они порою даже длиннее, чем волны и хайпы(те же волны, но в другой проекции) Gartner-Forrester-а, читать их как-то поинтересней. В общем, свежее гадание: The Past, Present and Future of Stream Processing. На мой взгляд, слишком облачное для наших широт. (прочие истории этого автора здесь: https://kai-waehner.medium.com/)

Вышел BIZBOK v13, пойду полистаю. Анонс был такой: The Business Architecture Guild®, a global community of business architecture practitioners, announced today that A Guide to the Business Architecture Body of Knowledge® (BIZBOK® Guide) v13 is now available.   The BIZBOK is a comprehensive collection of industry best practices that established and continue to serve as the basis for the business architecture discipline and the engine behind end-to-end strategy execution. Updated annually, BIZBOK v13 includes new and enhanced industry reference models, product mapping enhancements, and a wide variety of updates targeted at enhancing industry best practices and adoption. New this year is the addition of the International Development Organization (IDO) Reference Model. This new business architecture baseline helps mission-based organizations, like the United Nations and non-governmental organizations like Oxfam, achieve their primary goal of addressing economic, social, and political development in countries and communities around the world. A second notable enhancement expands the use of product entitlements to optimize customer service delivery across products and product lines. The quality of an organization's customer service delivery can make the difference between long-term success or failure. These latest product mapping enhancements address the customer service optimization challenge directly. Additional enhancements include refreshed industry reference models for financial services, government, healthcare provider, insurance, manufacturing, telecommunications, and transportation. Cyclical updates include practice-driven strategy, capability, organization, value stream, information, initiative, and stakeholder mapping improvements along with business model alignment, performance metrics, service-oriented architecture, and metamodel enhancements.

На днях у /thoughtworks проскочила очередная статья про техрадар How to create your enterprise technology radar с набором не очень очевидных мыслей о том, что техрадар не только картинка для руководства, но и ещё формат обсуждения технологий в организации и даже инструмент упрощения технологического стека. И это действительно важное преимущество радара перед аналогами. Мне всегда хотелось использовать что-то подобное для оценки инициатив (запросов на изменения). Чтоб сразу видеть истории, которые еще пару лет назад были отправлены в Hold (где им и место если не навсегда, то надолго). Понимать что уже в Adopt, и значит у кого-то в работе, а потому теперь не требует пристального внимания. Ну и сосредоточится на распределении тем между Assess и Trial Техрадар дает карту возможностей. Но схожий инструмент для оценки потребностей был бы не менее полезен

К вопросу о том почему я лично пишу про Polars, DuckDb, а теперь ещё и присматриваюсь к chDb, потому что в моей работе есть частые задачи с очисткой и обработкой данных. В принципе, чем бы я в жизни не занимался, читал лекции, делал презентации, программировал и тд., всегда есть задача чистки данных. Есть много способов чистить данные с помощью кода, есть хороший инструмент OpenRefine [1] известный многим кто с открытыми данными работает. Но, честно скажу, в плане скорости, но не удобства, к примеру, DuckDB бьёт все рекорды. Главный недостаток - отсутствие удобного UI аналогичного OpenRefine или то что в OpenRefine нельзя, к примеру, заменить его движок на DuckDb. В остальном это реально очень быстро. И работать с локально с многогигабайтными датасетами и в миллионы и десятки миллионов записей - вполне реально. Для сравнения, OpenRefine у меня едва-едва тянет базу в 100 тысяч записей в 680 MB. Использовать это можно много где. К примеру, датасет от мусорных записей, найти и удалить персональные данные, обогатить дополнительными данными на основе текущий значений столбцов, исправить ошибки в данных и многое другое. В общем-то на базе DuckDB и, скорее всего, chDb можно построить полноценную дата-студию по приведению данных в порядок перед загрузкой в хранилище. Опять же, если иметь полноценный веб интерфейс поверх. Такие инструменты хорошо встраиваются как ядро более прикладных дата-продуктов. Ссылки: [1] https://openrefine.org #data #datatools #thoughts #duckdb #openrefine

Moving next! Продолжаю всесторонне разбираться.

Люблю это « I like to say that I may have invented story points, and if I did, I’m sorry now. Let’s explore my current thinking on story points. At least one of us is interested in what I think. » https://ronjeffries.com/articles/019-01ff/story-points/Index.html « Summing up Well, if I did invent story points, I’m probably a little sorry now, but not very sorry. I do think that they are frequently misused and that we can avoid many pitfalls by not using story estimates at all. If they’re not providing great value to your team or company, I’d advise dropping them on the grounds that they are waste. If, on the other hand, you just love them, well, carry on! »