Дашборды и BI

Как BI специалисту организовать свою работу Сначала определим из каких основных задач складывается работа BI специалиста: 📌 сбор требований по разработке дашбордов и по доработке существующих 📌 изучение источников информации (данных) 📌 формирование моделей для дашборда (или группы дашбордов) 📌 визуализация данных 📌 презентация своей работы 📌 обучение бизнес заказчиков работе с дашбордом Понимая, что необходимо в целом делать можно детализировать каждую из задач и исходя из этого выстраивать свою работу. ✔️ Например, если требуется разработка нового дашборда, то обязательно сначала стоит пообщаться с бизнесом, собрать его пожелания и требования, выяснить какие источники информации используются и пр. После этого можно взять время на разработку прототипа дашборда и построение модели, после чего вернуться к бизнесу и показать свои предложения. ✔️ Если поставлена задача по доработке дашборда, то стоит начать с изучения наличия необходимых данных в текущей модели поскольку доработку можно разделить на две группы: 1️⃣ изменить/добавить визуальную составляющую, показатель и пр., что не требует вмешательства в модель и набор дынных 2️⃣ добавить показатель, измерение или фильтр, которых нет в модели В первом случае задачу можно решить быстро, а вот второй потребует большего времени и ресурсов Планировать свою загрузку и задачи, которые необходимо решить можно на примере основных этапов, описанных выше.

Если вы работаете на проекте и сами принимаете решение о пуле задач, которые необходимо выполнить у вас должен быть перечень задач, которые находятся в текущем спринте, а также некоторый «запас» задач в случае возникновения «простоя» (например, придется ждать данных)

Если же все задачи закрыты и кажется, что все сделано, то всегда можно заняться оформлением документации по дашбордам

На следующей неделе планирую несколько публикаций по разным темам от источников данных, до построения процессов разработки и организации работы. Будет интересно!

Польза от телеграм каналов Заметил, что количество подписчиков телеграм каналов как правило не отражает полезность и актуальность информации в них. Зачастую авторы размещают ссылки на сторонние ресурсы со статьями или видео материалы. При этом некоторые каналы с относительно не большим количеством подписчиков не заслуженно остаются в тени. У меня в подборке есть несколько таких, как правило подписчиков на них менее одной тысячи, но контент эксклюзивный, интересный и нет рекламы. Один из таких каналов ведут коллеги из BI продукта Analytic Workspace. Несколько примеров публикаций: Гештальт как основа визуального восприятия Мифы Data Driven Также ребята постоянно проводят мероприятия с приглашением экспертов из различных  BI и Data Driven областей. Вот, например, с экспертом из Сбера обсуждали подходы к построению DWH. В общем, последите за каналом @awbi_ru

Один из типов источников - данные в формате JSON Очень часто используется при работе с API различных систем, из которых, в том числе, необходимо забирать данные для последующей работы с дашбордом. Как правило данные от таких систем возвращаются в JSON формате, но иногда может потребоваться и отправка запроса на получение данных также в этом формате. JSON - текстовый формат обмена данными, основанный на JavaScript. Сложного ничего в нем нет. Простая схема: ключ - значение. Могут быть использованы вложенные ключи, что дает возможность построить сложные структуры данных. Пример данных в формате JSON:

{
    "artistname" : "Scorpions",
    "albums" : [
        {
            "albumname" : "Machine Head",
            "year" : "1972"
        },
        {
            "albumname" : "Machine Head",
            "year" : "1972"
        }
    ]
}

После того как получены данные в JSON формате (не важно по API или просто прочитан файл) их нужно обработать. Наилучшим вариантом будет сложить все данные в хранилище и уже с ним работать далее (если речь идет про дашборды). Но можно использовать и Python для обработки данных, например для генерации датасета. Использование JSON формата дает следующие преимущества: 1️⃣ Может использоваться с любым языком программирования. Как правило в них есть встроенные библиотеки для его обработки 2️⃣ Обеспечивает структурированное хранение информации о некотором объекте или объектах 3️⃣ Можно прочитать данные в текстовом редакторе, без использования средств для расшифровки данных

Какие специалисты нужны для внедрения BI Если упростить процесс внедрения и перейти непосредственно к технической реализации, то в большинстве случаев нам нужно решить следующие задачи: ✔️ извлечь данные из разрозненных источников ✔️ организовать единое хранилище данных ✔️ построить витрины данных ✔️ выполнить визуализацию, разработку дашбордов В зависимости от объема данных и зрелости бизнеса эту задачу можно решить с привлечением одного или нескольких специалистов. Первый вариант: один специалист, который понимает и умеет делать всего по немного, что-то лучше, что-то хуже, но он закрывает задачу. Второй вариант: несколько специалистов, которые хорошо разбираются в своей предметной области. ❓Что должен уметь и знать один специалист или какие специалисты могут закрыть эти задачи? Инженер данных – сможет собрать данные из различных источников в единое хранилище, настроить соответствующие потоки данных, обеспечит проверку корректности данных и регулярность обновления/дополнения данными хранилища. Специалист по хранилищам данных – поможет выбрать хранилище с учетом требований, выполнить его настройку, разработает и реализует в хранилище хранение данных в оптимальном формате (типы столбцов, индексы, распределение ресурсов, слои данных и пр.). Специалист по BI – соберет от бизнеса требования к дашбордам и в целом по отчетности, подготовит макеты, разработает модели данных и витрины, выполнить визуализацию данных и поддержку дашбордов. Как видим при серьезном подходе к работе с BI в компании нужны специалисты из нескольких областей, это минимум технических специалистов, которые должны решать задчу внедрения и поддержки BI. Один специалист тоже может справиться с некоторым объемом задач, но нужно принимать во внимание сложность и объемы работы. Возможное решение - разделение на BI аналитика и BI разработчика.

В целом разработка и поддержка BI решения — это сложный процесс, который состоит не только из дашбордов, который, как результат работы, видит бизнес. Огромный объем работ остается скрытым от бизнес-пользователей.

Коллеги, накидайте огонечков чтобы я видел, что вы читаете мои материалы и они вам интересны и полезны. Если есть предложения о чем можно написать – поделитесь идеями в комментариях.

Сравнение Yandex Datalens с Apache Superset Ссылка на статью

Сбор требований от бизнес-заказчиков на дашборд Как и во многих других случаях вопрос можно разделить на составляющие: - как собирать требования - какие собирать требования 1️⃣ Первая часть: как собирать требования? Зависит от того, кто ваш бизнес-заказчик. Вы можете работать как специалист и выполнять работы для внешних заказчиков, а можете быть внутри проекта или компании. Если работаете с внешним заказчиком, то собирать требования лучше всего напрямую общаясь с конечным пользователем дашборда. Так вы узнаете откуда нужно извлечь информацию, какие данные отразить на дашборде и как он будет использоваться. При работе через посредника часть информации может остаться "за кадром", что в последствии скажется на результате, а также сроках разработки. При работе внутри проекта или компании процесс может оказаться несколько проще, т.к. у вас как BI специалиста будет более глубокое понимание бизнес-составляющей, а также знание внутренней архитектуры в части работы с данными. В случае крупных компаний выделяются команды, которые решают задачи бизнеса, в этом случае присутствует бизнес-аналитик, который связывает бизнес-заказчиков и IT специалистов. В любом случае нужно искать возможность личной коммуникации с бизнес-заказчиком. 2️⃣ Второй вопрос: какие собирать требования? Стоит обратить внимание на два важных аспекта: - какой результат в плане визуальной составляющей ожидает заказчик - какие данные нужно использовать для разработки дашборда Идеальный вариант, когда от заказчика есть некоторый набросок того, как он представляет себе результат работы BI специалиста в виде дашборда. Но это бывает крайне редко и тут задача в коммуникации с бизнесом предложить ему вариант визуализации данных. Могут быть споры и трения, не стоит этого бояться. Нужно уметь слушать заказчика и мотивированно отстаивать свою позицию, при этом всегда стоит искать компромисс. Помните - вы решаете задачу бизнеса, а не делает красивый дашборд. Можно предложить свой вариант в виде некоторого эскиза, который вполне можно нарисовать на бумаге или планшете от руки, не обязательно сразу делать в BI инструменте. Какие данные используются для дашборда - вопрос, который может поставить в тупик бизнес-заказчика. Он привык использовать файлы или ему настроили подключение к базе данных, и он просто использует ее для работы не зная, что происходит "под капотом". В этом случае можно попросить показать как и к чему он подключается, кто настраивал выгрузку, как формируются исходные файлы, с кем он общается если у него сложности с данными и т.п. Шаг за шагом у вас появится понимание источника данных и их структуры, что поможет лучше оценить предстоящий объем и сложность работ.

Основная рекомендация:

всегда ищите возможность общения с бизнес-заказчиком лично

Про доступы к демоверсиям и демостендам вендров российских BI В первом сообщении я поделился своими рассуждениями на тему сообществ вокруг российских BI решений, в этом расскажу о своем опыте получения демонстрационных версий и стендов. Всех вендоров я для себя разделил на две группы: - открытые, готовые к обратной связи от сообщества - закрытые, полностью думающие и решающие сами 1️⃣ Начну с того, что не у всех вендоров есть демонстрационный доступ как таковой (тут я понимаю под демо веб-версию продукта). В лучшем случае вам придётся пообщаться с его представителями или партнерами, которые соберут от вас информацию зачем, почему и как вы хотите использовать демодоступ. После чего они возьмут время на подумать, достойны ли вы такой чести или нет. 2️⃣ Другая группа может предоставить демонстрационную версию или стенд, опять же изучив кто вы и что вы хотите. В этом случае вы получите дистрибутив для самостоятельной установки или реквизиты стенда в сети. Не стоит бояться самостоятельной установки - наоборот, так вы сможете понять, что за инструмент, какие сложности в развертывании и пр., что сэкономит вам время и деньги в будущем. 3️⃣ Ну и еще одна группа, где нет такой возможности. Сейчас я рассуждаю от имени специалиста или ИП, который изучает или подбирает решения для своих клиентов. Можете написать вендору через официальный сайт и не дождаться обратной связи. Вы ему не интересны скорее всего как "мелкий" клиент. Для полноты картины стоит отметить, что у некоторых вендоров работа с сообществом специалистов организована очень хорошо. Оперативные доступы, продление срока демо доступа, ответы поддержки и пр. Я был приятно удивлен, когда один из вендоров мне сам, без моей просьбы, предоставил дистрибутив своего продукта для изучения.

Мое мнение: идет распределение систем по сегментам и направлениям, завоевание рынка вендорами и пока этот процесс не завершится в их фокусе будут крупные интеграторы и федеральные проекты, подбирающее себе решения.

Как происходит разработка дашборда. Часть 1 Предлагаю обсудить некоторые вопросы, связанные с разработкой дашбордов, и начать с общего описания процесса работы. После того как собраны требования от бизнеса, согласованы макеты, выполнена работа по подготовке данных мы приступаем непосредственно к разработке дашборда. Используем для этого BI инструмент и визуализируем данные. После этого необходимо результаты нашей работы презентовать заказчику (бизнесу), после чего-либо доработать либо передать в использование. ❗️ Правильным решением по разработке и передаче решения в эксплуатацию будет использование двух типов окружения: - окружение для разработки (dev или develop окружение, контур или среда); - боевое окружение или продакшн (prod или production окружение, контур или среда). В первом вы делаете все что угодно и добиваетесь необходимо результата, второе содержит финальный результат вашей работы с проверенными данными и выверенными визуализациями. В зависимости от проекта вы можете работать и только в одном окружении, но это не лучший вариант. ✔️ Постарайтесь распределять окружения или среды для работы. По-хорошему, в описанный выше вариант нужно добавить промежуточное окружение - тестовое, где выполнять презентацию работы и получать от бизнеса обратную связь. В зависимости от сложности проекта и его развития может быть и больше уровней, например, preprod, это уже не просто тестирование, а работа с решением перед его передачей в эксплуатацию. Давайте наберем более 20 положительный реакций под этим сообщением и в следующий раз поговорим про сбор требований от бизнеса к дашборду.