Клуб CDO

Воскресный шопинг

Дайджест статей Data Management in 2024 https://dzone.com/articles/what-data-management-looks-like The Data Mesh Strategy Behind Intuit’s Global Financial Technology Platform https://medium.com/intuit-engineering/the-data-mesh-strategy-behind-intuits-global-financial-technology-platform-db862fd45e0b Netflix Uses Metaflow to Manage Hundreds of AI/ML Applications at Scale https://www.infoq.com/news/2024/03/netflix-metaflow/ Как пользоваться Claude: знакомство с главным конкурентом ChatGPT и базовые правила его использования https://habr.com/ru/companies/bothub/articles/812659/ Миграции схемы данных YDB с Flyway и распределенные блокировки https://habr.com/ru/companies/ydb/articles/815085/ CDC на примитивах https://habr.com/ru/articles/812797/ 10 признаков, что пора пересмотреть систему сбора и анализа данных https://habr.com/ru/companies/click/articles/814319/ Apache Airflow: преимущества и недостатки https://habr.com/ru/articles/811807/ Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД https://habr.com/ru/companies/postgrespro/articles/811041/ Шардирование баз данных и проектирование систем https://habr.com/ru/companies/piter/articles/813133/ Comparative Analysis of Two Top Big Data Transfer Services https://www.smartdatacollective.com/comparative-analysis-of-two-top-big-data-transfer-services/

Andrew Ng вместе с crewAI выпустили новый бесплный курс Multi AI Agent System про агентские системы Рекомендуется на выходные, а что еще делать? https://learn.deeplearning.ai/courses/multi-ai-agent-systems-with-crewai/lesson/1/introduction

Вопрос к аудитории - кто какие знает тулы для того, что бы сохранять статьи на "почитать" потому? Я очень долго пользовался Pocket - но что то он совсем плох стал последнее время и превращается из списка на прочтение в какой то агрегатор статей которые мне не нужны. Я тут посмотрел быстро и нашел: https://raindrop.io/ Может быть у кого то есть рекомендации?

Доклад Александра Ермакова, технического директора и сооснователя компании Arenadata, на тему «Технологический цикл решений для обработки данных». https://youtu.be/i_3_DdB4pk4?si=mU6IZhwFoDMPMNcL

📣Уже 16 мая станут известны лауреаты премии Data Award 2024. 🏆 Награды организациям и командам вручаются в номинациях: ✅За повышение эффективности бизнеса ✅За реализацию инновационной идеи ✅За обеспечение качества данных ✅За достижения в подготовке специалистов по управлению данными ✅За реализацию социально значимых инициатив на основе данных ✅За реализацию антикризисного проекта ✅За клиентоцентричность ✅ Кроме того, учредители Data Award 2024 традиционно вручают специальную премию «За вклад в популяризацию профессии» номинанту, активно проявившему себя в продвижении роли директора по данным и в повышении значимости управления данными для бизнеса и общества в профессиональном медиапространстве, на профильных мероприятиях и в социальных сетях. ✅ Приз лауреату в специальной номинации «Данные без границ» вручит премиум-партнер церемонии — компания «Сбер».

Ну что, попробуем :)

Дайджест статей Data Governance: Key takeaways from the Gartner Data & Analytics Summit https://medium.com/selectstar/data-governance-key-takeaways-from-the-gartner-data-analytics-summit-41572285a7d9 Data Engineer :Overview of Data Governance https://premvishnoi.medium.com/data-engineer-overview-of-data-governance-769117297c1c DBT in a Nutshell https://blog.devgenius.io/dbt-data-build-tool-in-a-nutshell-29028bc4e164 5 Brilliant Lakehouse Architectures from Tencent, WeChat, and More https://starrocks.medium.com/5-brilliant-lakehouse-architectures-from-tencent-wechat-and-more-dd069facf532 Как пользоваться Claude: знакомство с главным конкурентом ChatGPT и базовые правила его использования https://habr.com/ru/companies/bothub/articles/812659/ Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов https://habr.com/ru/companies/sberbank/articles/812775/ Выбираем инструмент проектирования интерфейсов для аналитика https://habr.com/ru/articles/813037/ Обзор бесплатных чат-ботов ChatGPT в телеграме 2024 https://habr.com/ru/companies/bothub/articles/813193/ Зачем компаниям ML? Разбираемся на примере Netflix https://habr.com/ru/companies/selectel/articles/811585/

Извините за оффтопик, но о наболевшем 🙂 Вот я всегда говорю, что главно в управлении проектом и компании это даже не столько понять что надо делать, а правильно определить что НЕ НАДО делать. Особенно это важно на ранних стадиях, когда ресурсов мало и каждый неверный шаг может вас направить по дороге в неудаче. Существует очень хорошая методология для продуктов: HADI-циклы которые используются для того, что бы определить СТЕПЕНЬ УВЕРЕННОСТИ в необходимости реаилзации. Концепция очень простая: берете “фичу” и определяете для нее следующие параметры: ⁃ Hypothesis (постановка гипотезы). На этом этапе собираются все возникающие теории и определяются метрики, на которые влияет изменение. Например, новая версия заголовка может повысить конверсию на целевой странице компании. ⁃ Action. (проверка гипотезы) - ключевым моментом метода HADI является возможность проверить гипотезу. Как только принято решение проверить определенную гипотезу, это нужно сделать как можно быстрее. ⁃ Data. (сбор данных). На этом этапе собираются данные, необходимые для проверки гипотезы, чтобы подтвердить или опровергнуть ее. ⁃ Insights. (заключение) На этом этапе оценивается, как была проверена гипотеза и достигнуты ли поставленные цели. Посмотрите статью для деталей. Если вы имеете мало опыта в той области, в которой делаете продукт/компанию (тут не важна степень масштаба, работает везде) - делайте физические эксперименты, если есть большой опыт - делайте хотя бы мысленные эксперименты. https://productstar.ru/hadi-cycles Правда для того, что бы проводить “мысленные” эксперименты, еще надо иметь достаточно мыслетоплива (https://habr.com/ru/companies/oleg-bunin/articles/348714/) - но это отдельная история

Фрейморки, борды, темплейты, сколько можно 😵‍💫 За год я произвел какое-то количество тулов для data/bi менеджеров. Поток этого "творчества" не унять, это побочный продукт основной работы. Но нужно хотя бы структурировать. Вот последние: - Data & Analytics Maturity Canvas - BI Adoption guide и темплейт, PDF версия - Data & Analytics Strategy & Tactics Guide 2.0 - Борд - Почему Data Catalogs не взлетают? - BI Leader Ramble - Info Design Songbooks (вместе с Настей) - Some Dashboards Roasting (вместе с Ромой) Удачные из них останутся, остальные переродятся во что то другое. Все надо касдевить в этой жизни - напишите в коментах кто чем пользовался. Не только вам, но и мне требуется усилие, чтобы переварить эти борды, подружить с новыми мыслями и c задачами в работе, убедиться что они реально помогают решать проблемы. Сложно не скатываться в итоге в инфо-продукты формата so-what и спасибо-кэп. В том числе для этого я использую свой курс по BI стратегии. Кстати логичнее его переназвать в Разработка Data&Analytics стратегии и тактики, чтоб соответствовало содержанию. Старт 15 мая, можем взять еще 2-3 человека, кому интересно, пишите. Если коротко - это 3-недельный марафон с длинными встречами по вечерам, "лекциями и домашками", tg-чатом и общением. 🤱Сейчас в работе есть еще несколько новых исследований - будущих Miro бордов, на разных стадиях: - BI about BI: контент менеджмент гайд о том, что имеет смысл трекать в своей BI системе + примеры дашбордов - Карта d&a болей: типология проблем разных дата и бизнес ролей + шаблон для воркшопа - Коллекция шаблонов упражнений для воркшопа по дата/BI стратегии (полноценный экстеншн к этому гайду) - Data Governance Program Guide 2.0 - сильно переосмысленный и дополненный - Типология Оргструктур дата команд - Tableau Report Optimization Guide - ... ✍️Напишите в коменты, как думаете - в какие темы вложить больше усилий и продвинуть к готовности в первую очередь? Часть добью и покажу на курсе в мае и потом выведу в паблик. Остальные будут созревать дальше. #cамореклама