Data Nature 🕊

Парадокс Жевона в дата аналитике

Парадокс или Эффект Жевона, был замечен английским экономистом Уильямом Жевоном в 1865 году, изучая влияние улучшений в эффективности использования угля.

Прогресс в области инженерии данных снизили затраты на производство, распространение моделей данных и дашбордов. Задачи, которые раньше требовали недель работы команды из 3-4 BI/Data инженеров, теперь могут быть выполнены одним за несколько дней. Те же Копайлоты дали ощутимый буст времени на написание и аудит кода. С уменьшением затрат на производство, растет спрос на данные и все их деривативы, что приводит к дальнейшему размножению датасетов и дашбордов. Поддержание этого множества контента сокращает полученные выгоды: увеличиваются затраты на обслуживание, становится все сложнее для потребителей найти нужную информацию. Сложность обнаружения и часто низкое качество дата контента стимулирует создание еще большего количества датасетов и дашбордов, поддерживая этот цикл. Чтобы прервать этот отрицательный цикл, нужно более радикально переосмыслить способ работы, чем просто архивация ненужного: 1. Введение новых абстракций поверх базовых наборов данных. metric store связанный с семантическим слоем помогает повышать переиспользование и адаптацию мастер слоя большего количества кейсов использования. 2. Дата продукты и связанный с ними процесс сертификации и гавернанса. Создание объектов в местах наибольших пересечений требований разных потребителей и развитие этого слоя на аналитике их потребления. Мораль: Если не начать эти инициативы сейчас, через 2-3 года вас с командой совсем не будет видно за кучей таблиц и отчетов, в которым добавятся еще и AI/ML модели Осмыслил пост из Linkedin

Какие вызовы возникают у корпораций при внедрении визуализации данных? Меня попросили ответить а этот вопрос на конференции, но потом не хватило времени озвучить ответ. Оставляю здесь свои мысли: 1️⃣ Первая мысль Большинство data профессионалов не имеют интуитивного чувства, что хорошо и что плохо в визуализации данных. И это неисправимо. После тренингов по визуализации аналитики учатся создавать разные типы графиков механически, без чувства дизайна. Стайлгайды и шаблоны помогают избежать создания слишком уродливого контента, делая средний уровень более-менее нормальным. Но создание высококачественных визуализаций остается исключительным сервисом отдельной команды с фокусом на дизайн. 2️⃣ Вторая мысль Ценность идеальной визуализации данных не очень высока в корпоративном мире. Она была преувеличена, в основном, Tableau, поскольку это их основное преимущество. Это вызывает разочарование у аналитиков при начале работы бизнес-дешбординге. Каждый сначала ищет как «применить» все многообразие чартинга, но потом осознает оптимальные типы графиков для любой метрики. 95% - BANs, бары и таблицы. Нет никакой необходимости их улучшать. Релевантность аналитики и доверие к ней в разы важнее. Поэтому я предпочитаю говорить больше например о процессах сертификации контента, чем о визуализации данных. В ней нет ничего критически важного для бизнес-аналитики. К сожалению. 3️⃣ И третье: Качество визуализации - это фактор гигиенический. Оно не должно быть ниже определенного уровня в любом случае. Поэтому я вижу тренд к вендоров (не у всех) в упрощении BI разработки. Вместо множества модных экстеншенов для «сложных» графиков у BI-инструментов должен быть набор стандартных строительных блоков и готовых лейаутов. Это ограничивает визуальное разнообразие, но обеспечивает единый формат (без ручных аудитов), ускоряет разработку и доводит время отклика отчетов на уровень приложений. И вероятно это правильный тренд.

Фрейморки, борды, темплейты, сколько можно 😵‍💫 За год я произвел какое-то количество тулов для data/bi менеджеров. Поток этого "творчества" не унять, это побочный продукт основной работы. Но нужно хотя бы структурировать. Вот последние: - Data & Analytics Maturity Canvas - BI Adoption guide и темплейт, PDF версия - Data & Analytics Strategy & Tactics Guide 2.0 - Борд - Почему Data Catalogs не взлетают? - BI Leader Ramble - Info Design Songbooks (вместе с Настей) - Some Dashboards Roasting (вместе с Ромой) Удачные из них останутся, остальные переродятся во что то другое. Все надо касдевить в этой жизни - напишите в коментах кто чем пользовался. Не только вам, но и мне требуется усилие, чтобы переварить эти борды, подружить с новыми мыслями и c задачами в работе, убедиться что они реально помогают решать проблемы. Сложно не скатываться в итоге в инфо-продукты формата so-what и спасибо-кэп. В том числе для этого я использую свой курс по BI стратегии. Кстати логичнее его переназвать в Разработка Data&Analytics стратегии и тактики, чтоб соответствовало содержанию. Старт 15 мая, можем взять еще 2-3 человека, кому интересно, пишите. Если коротко - это 3-недельный марафон с длинными встречами по вечерам, "лекциями и домашками", tg-чатом и общением. 🤱Сейчас в работе есть еще несколько новых исследований - будущих Miro бордов, на разных стадиях: - BI about BI: контент менеджмент гайд о том, что имеет смысл трекать в своей BI системе + примеры дашбордов - Карта d&a болей: типология проблем разных дата и бизнес ролей + шаблон для воркшопа - Коллекция шаблонов упражнений для воркшопа по дата/BI стратегии (полноценный экстеншн к этому гайду) - Data Governance Program Guide 2.0 - сильно переосмысленный и дополненный - Типология Оргструктур дата команд - Tableau Report Optimization Guide - ... ✍️Напишите в коменты, как думаете - в какие темы вложить больше усилий и продвинуть к готовности в первую очередь? Часть добью и покажу на курсе в мае и потом выведу в паблик. Остальные будут созревать дальше. #cамореклама

Классная статья (перевод) про то, что «эффект Даннинга-Крюгера» булшит.

Эффект в том, что неквалифицированные люди склонны переоценивать свою компетентность.

Это было заманчивое обоснование для интеллектуалов возвысить себя над другими. Забавно, что в итоге авторы исследования подтвердили свой эффект, но не данными, а своей ошибкой, переоценив свою компетентность. Теперь, когда приходит джун и говорит, что он синьор, уже нельзя будет сослаться на этот закон и придется объяснять на фактах. Меня кстати всегда преследует ощущение переоценки своей компетентности, но теперь можно не волноваться) Источник: канал Чартомойка

Мальчишкам и девчонкам а также их родителям Изучению истории (как и многим школьным предметам) всегда не хватало визуализации. Супер интересно соотносить события в разных странах в одно время - иметь лизну для сквозного анализа. Я даже начал делать этот визуал с параллельным таймлайном разных цивилизаций. Едва ли я бы довел это конца - Тем круче что уже сделали, с дизайном и надеюсь с критическим анализом без "исторических симулякров" (👋 @Alex_S_Vilkov) Напоминает немного московское метро. Кайф. Закажу себе чтоб было куда в старости залипать. 🔗 https://hronotop.ru/ Нашел в канале DZENDESIGN (не реклама)

На этой неделе думал про дата культуру. Разные компании пишут правильные стратегии, говоря о приоритетности дата грамотности. Но "Качество" людей (ужас какой) умножает на 0 бюджеты на проекты и наоборот - поднимает сложные инициативы без видимых усилий. Возникает в центре эта самая Дата культура — то, как люди воспринимают себя, руководство и свои задачи с точки зрения данных, желательные модели принятия решений. Кажется это самая актуальная тема из тех, о которых меньше всего говорят. Думаю, никто не знает, как изменить это на практике. Пока я думал об этом - выделил для себя 4 черты целевой data-driven культуры: 1️⃣ Приоритет объективности - решения основаны на эмпирических пруфах в результате анализа данных. Экспертные оценки являются второстепенными. 2️⃣ Challenge культура - Постановка под вопрос мнений руководства при условии подкрепления данными 3️⃣ Test and Learn (привет Костя Маркелов из Tinkoff Bank) - широкое использование экспериментов для управленческих решений 4️⃣ No Fear to Fail - поощряется делиться уроками как из успешных, так и из неудачных кейсов. Большинство примеров, которые я вижу, это технологические компании, созданные за последние 20 лет. Поэтому я пытаюсь понять эффективные методы трансформации для остальных. Помогайте. Вот топ-3 (обратная нумерация): 3️⃣ Марафоны - это глобальные массовые длительные ивенты, где (почти все) сотрудники компании одновременно "бегут" по темам в режиме спринта, решают кейсы и отмечают результаты. + агрессивный маркетинг в интранете с участием топ-менеджеров и приглашенных экспертов (🤝@lingualize ) 2️⃣ C-Level менеджмент имеет высокую data / AI грамотность и выступает активными спонсорами и евангелистами инноваций. 1️⃣ Корпоративная политика найма с обязательными требованием к дата скилам. Замена сотрудников, не обладающих данными навыками. Это кажется наиболее эффективным методом. Может быть как жестким там и плавным. Есть ли другие идеи/практики? Картинку кладу в D&A Strategy and Tactics Guide

Так. Я понимаю, что tableau для некоторых стало эхом ушедшей молодости. Но это не повод не зарегистрироваться на RSTUG: #02VizNaDvore 16 Апреля 2024 причина номер 1. Будут топовые спикеры (как всегда) 🔝 Скромный Вадим Панасюк Tableau Ambassador из Vizuators собственной персоной расскажет про построение BI команды. У него нет бороды, но бог ему судья 🔝Не-Скромный Александр Варламов Tableau Zen Master и Ambassador - взорвет вам мозг своими tableau трюками (скромные люди не делают такие вещи) 🔝 Диана и Александр из Wargaming. Там крутой уровень зрелости BI и точно будет что-то самобытное. 🔗 См агенду и темы тут причина номер 2. Мы сменим формат (по вашим заявкам). Попробуем зум вместо стрима на youtube. Можно будет кроме чата - поднимать руку и подключаться в беседы, задавать вопросы голосом. причина номер 3. Табло, не табло не важно. В конце концов БиАй это про жизнь, тут важен принцип. Атмосфера легкого декаданса будет обеспечиваться джазом на фоне и легким сарказмом ведущих. Короче регайтесь активнее гайз. Весна же 💩И да. Егор закинул конкурс на создание логотипа для нашей с вами tableau user group. Ведь это самое важное. Пока заявок немного, есть все шансы победить и забрать приз.

Вы и не ждали, а тут подвезли запись с этого выступления: https://youtu.be/USVV6VnBHzk?si=eLsIDXlh2JN-S8F0 Ну и новая miro доска со старыми героями: https://miro.com/app/board/uXjVKaSkvRA=/ enjoy

Пост не про аналитику, но про работу в лонгтерн Что важнее мотивация или процессы и регулярный менеджмент ? Без дисциплины невозможно преодолевать пиздец как в рабочих проектах так и в жизни. Без мотивации весь этот логичный процессинг идет нафиг. Я часто ставлю на первый шарик. Но видимо я старею (не так как громов и бахвалов но тем не менее) и начинаю менять парадигму. Картинка кстати мислилит. Шарик с дисциплиной изображен крупнее. Без мотивации он может двигаться совсем невысоко и медленно. Шарик с мотивацией может полежать и снова начать прыгать ) Вы скажите, зачем выбирать - нужно комбинировать и запускать все шарики параллельно. У кого то получается ?