КУМБА! Эффективное внедрение BI-аналитики

Завершил преинтереснейшее обучение по BI стратегии от BI CONSULT. Внедрение аналитики - это не только про джойны табличек, но и про большую организационную работу, от которой зависит дальнейшее развитие и полноценное использование возможностей внедренных инструментов. Курс был посвящен про организацию BI в компаниях крупного бизнеса, где есть тысячи потребителей аналитики, десятки разработчиков, и по несколько параллельно работающих команд разработчиков. Я подумываю сделать адаптацию предложенных подходов под мой любимый сегмент - средний бизнес. Что примечательного в таких компаниях? То, что появляются потребности во "взрослой" работе с данными - с хранилищем, штатными разработчиками, документацией, стратегическим видением развития аналитики. А вот ресурсов на "просто взять и все купить", а также компетенций в этих вопросах пока не хватает. В таких условиях очень удобно воспользоваться решениями, которые не только дают технические возможности (BI-платформы). Но и упорядочивают процесс разработки так, чтобы не потратить годы на создание инфраструктуры, которую в итоге придется сносить и переделывать. Инструменты по автоматизации разработки я уже поставляю. Теперь будут и инструменты по автоматизации стратегии.

Хотел выложить треугольник своих перемещений на этой неделе. А оказывается, треугольника то и нет) Посетил офис Loginom в Рязани, пообщался с Алексеем Арустамовым. Посмотрел на новый функционал, который добавляют в т.ч. с моей подачи. Ну и конечно обсуждали новые мероприятия вроде предыдущего марафона по качеству данных https://data-preprocessing.loginom.ru/. Так что держим связь, будет интересно) На сладкое - встреча Russian BI meetup под эгидой Сергея Кравченко. Много интересных докладов, главный вывод по которым - без аналитики не останемся). Программа подобралась хорошая, потому что охватывала как темы, полезные непосредственно аналитикам (выгрузка из 1С, оформление дашбордов), так и темы больших импортозаместительных проектов. Рекомендую посмотреть записи. Ну а я ближайшую неделю планирую просто не выходить из дома ни по каким причинам)

Привожу потихоньку в порядок официальную часть своих разработок)

Сбацал тут страничку с подборкой обучающего контента по российскому BI. Если интересует как подступиться с правильной стороны к Loginom и Visiology - добро пожаловать. https://bi2business.ru/ru-bi/

Всем привет! 2-го ноября выставляюсь со стендом на Loginom Day 2023. Кто хочет пообщаться вживую - милости просим) https://day.loginom.ru/

На BI-митапе выступал с презентацией "Заменяем Qlik на Loginom. Рабочий вариант или безумие?". Тайминг был слишком сжатый, не получилось рассказать все что хотел. Исправляем ситуацию - записал презу на видео) https://www.youtube.com/watch?v=Rl9xFgu709A

Настоящая золотая жила для компании - обучение BI-аналитике бизнес-пользователей. Т.к. они являются основными носителями бизнес-экспертизы, их погружение в BI-инструменты дает быстрые результаты в виде роста качества принятия решений. Конечно, учить их нужно не как разработчиков. В своей программе для бизнес-пользователей я впервые подошел к учебному процессу так, чтобы основное время уделялось студентам в рамках их проектов, а не пересказе одинаковой базы. В большинстве случаев "Тренинги по BI" обходят стороной проекты студентов. Потому что их сложно структурировать и выполнить в едином потоке. Однако, первый экспериментальный поток показал, что это не так. Как провели обучение: Основная программа: 1. Основы работы с BI проходятся по онлайн-урокам (текст + картинки), без преподавателя. 2. Основы высушены просто максимально. Вместо объяснения всяких плюшечек-рюшечек - раскладываем универсальный подход к сборке отчетов, осваивается за 2 часа максимум. 3. Объясняем базовые вещи в визуализации, из серии "сравнить текущий месяц с прошлым". 2 часа максимум. Вот и все, студент готов к проекту) В качестве проекта обязательно отбирается задача, которую нужно решать регулярно. Чтобы не было работ на "посмотреть". Студенты отбираются из тех кто готов делать проект. Сам проект бьется на 3 этапа: 1. Подготовка данных (берется то что есть под рукой у студента, со сложными трансформациями помогаем) 2. Сборка модели 3. Визуализация Всякие BI-рюшечки по форматам чисел, условному форматированию, особым кейсам выносятся в доп. материалы и проходятся студентом по мере необходимости. Какая разница в подходе с классикой "отучили группу, отправили делать проекты"? Старый подход: 1 работающий проект из 6 работ. Новый подход: 4 работающих проекта из 4-х работ. Будем и дальше развивать этот формат обучения. Чтобы компании могли создавать аналитические инструменты на потоке. P.s. фото с защиты тех самых 4-х работ. Четвертый участник был в онлайне)

Коллеги, продолжаем биайный чес! В четверг в 16:00 участвую в вебинаре "Loginom Express. Аналитика продаж с мгновенной доставкой данных из 1С". Основной контент дает мой хороший партнер Денис Смирнов из Денвик. История пойдет про коннектор для 1С, который устанавливается как расширение к 1С и позволяет в режиме конструктора собрать нужную таблицу и выгрузить в Clickhouse. В дальнейшем эти таблицы можно легко обновлять и расширять. Я уже пользуюсь этим решением в нескольких проектах, и результаты просто восхитительные. Уже за счет того, что можно минимизировать коммуникацию с 1С-разработчиками (без негатива)), и получать готовые данные в нужных разрезах. Включая те, которые не достать напрямую запросами из БД. Ну а я там в конце немного покажу продвинутый ABC-анализ на Loginom. Покажу, как оптимизируя товары категории C, не сломать спрос на товары категории А. https://loginom.ru/analytics-1c-form?utm_source=referal&utm_medium=bi2bus&utm_campaign=1c

Процесс предзащиты квалификационного проекта для продвинутых бизнес-пользователей BI. После программы обучения на 4-8 часов, пользователи без навыков программирования, SQL и прочего готовы создать инструмент, который автоматизирует их ежедневную рутину и улучшит коммуникацию в команде.

Почему я скептически отношусь к ETL-инструментам на базе Python. ETL - это такая штука, которая обречена работать под нагрузкой. Загрузка данных, трансформации, моделирование - все это в итоге будет требовать значительных ресурсов. несмотря на все оптимизации, которые вы можете сделать как BI-разработчик. И вот тут становится критически важным вопрос оптимизированности самого инструмента. Картинка к тексту - не просто стёб. Если вы хотите покататься с горки, вам достаточно простой ледянки, сделанной ну хоть как-то. Главное, чтобы не развалилась в процессе. Но как только вы начинаете претендовать на профессиональные результаты в промышленном режиме - вам нужны совершенно другие инструменты. Вам нужны аэродинамические сани, которые продувают в трубе где-нибудь в ЦАГИ. Вам нужна специальная обувь для разгона, конфигурацию шипов на которой рассчитывает коллектив физиков-математиков. Вам нужна настоящая команда, которая будет постоянно тестировать и улучшать фундаментальные механики вашего инструмента. А Loginom и есть та самая команда. Я много общался с Алексеем Арустамовым на предмет того как работает платформа. Они стремятся реализовать все функции настолько оптимальными способами (в т.ч. за счет низкоуровневого программирования), насколько это возможно. Условно, функция в Python будет выполняться за счет 1000 процессорных команд. А такая же в Loginom - за счет 10. Я начал изучать Loginom до того, как познакомился с Python. Loginom мне сразу понравился, но про Python я думал что это инструмент "следующего уровня, ведь там можно писать код только тот который мне надо, а в Loginom это заготовленные квадратики, которые наверняка содержат в себе кучу всякого избыточного добра". Однако оказалось, что Loginom - и есть инструмент следующего уровня. Я окончательно понял это на тесте сборки модели данных. Был дата-сет таблиц на 10, 50 млн. строк. Сборка модели - последовательность джойнов и юнионов. Результат Loginom: 7,5 минут, ~6 гб ОЗУ утилизировано. Результат с аналогичной последовательностью действий на Python + Pandas: на сокращенном дата-сете 25 млн строк, через 20 минут вылет по причине "нехватки памяти" на машине с 32 гб ОЗУ. Можно ли было что-то оптимизировать в Python? Наверное, не знаю. Человек, который разрабатывал сценарий на Python сказал, что все возможное в целом сделано, и у меня нет причин ему не доверять. Возможно, можно было затачивать процесс сборки модели на Python конкретно под этот кейс, но зачем? Я не хочу писать кастомную логику под каждый возникающий кейс. Я хочу иметь понятный инструмент, который из коробки работает по понятным правилам, и который я могу поставить в любой отдел или компанию, которым до Python - как до луны. Выбирайте Loginom, если хотите чтобы ваши аналитики и разработчики инвестировали время в решение задачи бизнеса, а не занимались переизобретением колеса на Stack Overflow.

В этот четверг в 18:00 пройдет мероприятие Russian BI Meetup. Раньше оно проводилось под эгидой Qlik, но теперь площадка захвачена российским биаем) https://leader-id.ru/events/448261 Я буду выступать с темой "Замена Qlik на Loginom. Безумие или реальный вариант?". Кто хочет пообщаться лично, приходите) Запись тоже должна быть.

Хочу подытожить вот такими выводами: - BI-систему и ее внедрение нельзя купить. Единственный путь получения пользы от BI - наращивание компетенций у штатных сотрудников, возможность компетенции легко масштабировать и передавать. Эти задачи закрывают мои продукты. - Без штатных сотрудников, способных самостоятельно дорабатывать и развивать BI, а также транслировать эти инструменты остальным сотрудникам, однажды внедренное рано или поздно засохнет. - При всем моем пиетете перед self-service аналитикой, в штате должны быть люди, которые занимаются только BI. Нельзя на бизнес-пользователей свалить развитие BI. - Специалистов по BI должно быть минимум двое: один занимается АХД: подключает новые источники, пишет ETL, создает модели данных. Второй активно приземляет это на бизнес-пользователей, создавая аналитические инструменты под них. На старте проекта можно часть задач скинуть на подрядчика, главное чтобы в штате был тот кто будет обеспечивать коннект между BI и бизнес-пользователями. Но в перспективе в штате будут нужны обе роли. На подрядчике можно оставить только совсем сложные вещи вроде администрирования и особо жестких интеграций.

Сегодня хочу поделиться итогами своей программы по взращиванию BI-аналитиков in-house. Альберто и Оля были наняты в штат клиента 3 месяца назад. Точка А - никто из них не знает что такое Qlik. Опыт с BI минимальный. У Альберто опыт в SQL и языках программирования. У Оли за плечами анализ данных в Excel. В компании BI-система, развивающаяся 3 года по методологии КУМБА. Точка Б - спустя 3 месяца: Альберто работает как BI-архитектор. Самостоятельно расширяет единую модель данных, решает задачи на уровне, который не всегда получишь от спеца с опытом в несколько лет. Оля во всю погрузилась в бизнес-аналитику. Использует готовые дашборды, адаптирует их под себя. А также создает узкоспециализированные дашборды под задачи коммерческого отдела, чтобы упрощать их операционку и растить показатели. Безусловно, ребята изначально одаренные. Но не маловажную роль играет то, что они "приземлялись" на BI-ландшафт, который выстроен по методологии КУМБА, с автоматизацией ключевых моментов. Это позволяет добиваться в короткие сроки высоких качества и надежности в работе BI-аналитиков, без необходимости администрировать каждый чих.

Всем привет! Записи прошедших вебинаров: День 1: Создание аналитической модели для ERP-системы. Включая: оптимизацию загрузки больших данных, генерацию данных, разные тонкости связей справочников. https://www.youtube.com/watch?v=JslQCu09vEI День 2: Создание аналитической модели для CRM-системы, и ее интеграция с ERP-моделью. Показываем управление целостностью связей данных при непредсказуемо изменяющейся модели в автоматическом режиме. https://www.youtube.com/watch?v=NjZQgKaABFI Задавайте вопросы в комментариях к этому посту.

Не так страшны первые 90% проекта, как вторые 90% проекта! Как быть со вторыми 90% проекта во внедрении BI, рассказываю сегодня в 19:00 мск. Подключайтесь) https://us02web.zoom.us/j/81782327884

Залетаем! https://us02web.zoom.us/j/84998879228

Кто еще не зарегистрировался, сейчас самое время! Сегодня и завтра в 19:00 по Мск проводим вебинар по организации единого хранилища и ETL для любых BI-систем с помощью Loginom