RTD: Ссылки и репосты
Канал-записаная книжка для канала @revealthedata. Все ссылки, которые привлекли моё внимание.
Більше- Підписники
- Перегляди допису
- ER - коефіцієнт залучення
Триває завантаження даних...
Триває завантаження даних...
Open-source BI for engineers
Парадокс или Эффект Жевона описал английский экономист Уильям Жевон в 1865 году, изучая влияние улучшений в эффективности использования угля.Прогресс в области инженерии данных снизил затраты на производство, распространение моделей данных и дашбордов. Задачи, которые раньше требовали недель работы команды из 3-4 BI/Data инженеров, теперь могут быть выполнены одним за несколько дней. Те же Копайлоты дали ощутимый буст времени на написание и аудит кода. С уменьшением затрат на производство, растет спрос на данные и все их деривативы, что приводит к дальнейшему размножению датасетов и дашбордов. Поддержание этого множества контента сокращает полученные выгоды: увеличиваются затраты на обслуживание, становится все сложнее для потребителей найти нужную информацию. Сложность обнаружения и часто низкое качество дата контента стимулирует создание еще большего количества датасетов и дашбордов, поддерживая этот цикл. Чтобы прервать этот отрицательный цикл, нужно более радикально переосмыслить способ работы, чем просто архивация ненужного: 1. Введение новых абстракций поверх базовых наборов данных. metric store связанный с семантическим слоем помогает повышать переиспользование и адаптацию мастер слоя для бОльшего количества кейсов использования. 2. Дата продукты и связанный с ними процесс сертификации и гавернанса. Создание объектов в местах наибольших пересечений требований разных потребителей и развитие этого слоя на аналитике их потребления. Мораль: Если не начать эти инициативы сейчас, через 2-3 года вас с командой совсем не будет видно за кучей таблиц и отчетов, к которым добавятся еще и AI/ML модели 😭 😬 Осмыслил пост из Linkedin
Алгоритм Δλ (читается как «дельта-лямбда») — это мой авторский пошаговый рецепт создания классных визуализаций. В первых проектах Лаборатории данных ни о какой методологии речи не шло, я придумывала их бессистемно, «по наитию». Так появились визуализация Московского марафона, календарь температурных рекордов, мир танков, ошибки на тренажёре ПДД и другие работы. Параллельно я вела учебные курсы, и именно для них начала анализировать свою работу и формулировать путь к предсказуемо достойному результату. В перечисленных выше проектах датасеты сильно отличались между собой, да и визуализации получились очень разными, но во всех этих задачах я видела сходство. Я также собирала и изучала визуализации других авторов, которые меня восхищали и завораживали, пыталась понять, что есть в классных работах и чего не хватает посредственным. Вот один из моих любимых примеров того времени: карта пищевых привычек, созданная на основе данных приложения Eatery. От этой визуализации у меня осталось всего три скриншота, зато вдохновение…