Архитектор Данных

Материалы хабрастатьи есть в видео формате: https://t.me/analyticsfromzero/246

Написали большой хабрапост о внутрянке формата айсберг. Постарался раскрыть вопросы 1️⃣Как перейти от навала файлов в S3/HDFS до хорошего Data Lake[House] 2️⃣Зачем нужны все эти сложности с вложенной древовидной метадатой 3️⃣Откуда берется ACID в не ACID-ном хранилище S3. 4️⃣Какие процедуры поддержки требуется применить к DLH на айсберге. Вопросы как всегда можно задать в коментах.

На вот этот вебинар запишитесь! https://cloud.vk.com/events/migraciya-prilozheniya-kak-perenesti-infrastrukturu-s-monolita-v-upravlyaemyj-kubernetes-v-oblake Ведут два абсолютных отца кубера и облачных миграций.

В прямом эфире показываем на реальном примере перенос приложения в Kubernetes с сервисом Cloud Containers. Разбираем распространенные типичные ошибки при миграции.

Сам точно буду смотреть, так как местами мои познания в кубернетесе оставляют желать, а в Лейкхаусах он ой как нужен.

Хорошая англоязычная картинка про тренды в Лейкхаусе

Гениальная самоирония

А с типичным российским энтерпрайзом некоторые технологии уйдут в легаси не успев пройти согласование ИБ 😄

В музее Москвы нашел занятия для джунов-архитекторов.

Мясная статья от коллег с измерением скорости Lakehouse движков https://habr.com/ru/companies/cedrusdata/articles/955896/

Следующее пристанице самурая данных - Форум "Открытые Данные", Казань 30-31 октября. Докладываю о современных подходах к построению облаков данных. https://opendataforum.ru/

DBT - один из самых полезных инструментов для инжиниринга данных. Видимо, пришло время сделать свой аналог, свободный от окукливания большими жадными корпорациями. Заодно проделать работу над ошибками, потому как некоторые вещи ужас как неудобно делать. Расскажите, что для вас удобно и неудобно в DBT и SQL Mesh.

Две плохие новости за последний месяц: Fivetran купила SQLMesh и dbt. Почему это плохо. SQLMesh относительно молодая компания, ей около трех лет. То, что ее продали, означает, что они не смогли сделать выручку или не хватило амбиций фаундеров. Думаю, что сейчас фаундеры SQLmesh ходят грустные. Про dbt не скажу, но SQLMesh наступала ей на пятки. И такая консолидация плохо повлияет на развитие инструментов.

Почему Text 2 SQL не работает? Ко мне иногда приходят разные знакомые и говорят, что у них есть концепция Text 2 SQL или LLM-генератора SQL-кода — мол, классная идея для бизнеса, можно ее попродавать. И вот наконец я понял, почему идея «пусть бизнес пишет запросы на естественном языке» не взлетает и не взлетит. На бумаге все красиво. Даешь ИИшке команду: «Покажи выручку за август по городам», получаешь результат. На практике же имеем несколько иной сетап: никто из бизнес-менеджеров не хочет и не может задавать правильные вопросы к данным. Причина кроется в подмене понятий, за которую сами бизнес-менеджеры обычно аналитика и ругают. Так вот, написание SQL — это не основная работа аналитика. На самом деле аналитик занимается мыслительным трудом: как раз пытается разобраться, какие вопросы вообще стоит задать, чтобы понять, что там у бизнеса пошло не так. SQL — лишь удобный интерфейс для формулировки гипотез. Его просто изучить, но логика за пределами SQL. И, соответственно, вторая часть проблемы: многие бизнес-менеджеры в большинстве случаев не обучены мыслить аналитически, эту часть работы они делегировали аналитику, чтобы он за них подумал. Они сами не думают в контексте данных, структур или понимания взаимосвязей. Именно поэтому LLM-промпты в виде «SQLGPT для маркетологов» и не взлетают. 🔜 AI может перевести вопрос в SQL, но не может придумать сам вопрос, который имеет смысл для бизнеса. Сейчас мы на этапе следующего шага — передать LLM формирование вопросов и гипотез, а затем уже написание необходимого кода и SQL-запросов для решения аналитической задачи. А пока просто осознаем, что произошла гиперинфляция хардскиллов. А вот мыслить и генерировать ценные инсайты — тот самый навык, который был и есть востребован в аналитиках.

Согласен. Мы хотим решить режимом аналитического диалога. В процессе работы аналитик также задает бизнесу уточняющие вопросы и действует в зависимости от этих уточнений. Эту часть также можно во многом автоматизировать. Пример: на вопрос «как вывести на рынок новый продукт» предложить проанализировать примеры успешных запусков. А дальше продолжить раскапыванием особенностей динамики продаж успешных кейсов. Удержание контекста, примеры успешных диалогов, понимание структуры компании, чем конкретно занимается заказчик и какая у него внутренняя терминология включая жаргонизмы. Это все сильно сложнее чем просто «эй, чат, напиши мне запрос», но в совокупности взлетабельно.

Появилась запись огненного интервью с Владом Каменским, CEO Юниверс Дата. Из разобранных тем: - LakeHouse против DWH (или нет). - ИИ и классический Data Governance: друзья или враги? - Пара слов о построении КХД для небольшой компании И много других интересных вопросов. Видео доступно по ссылке. Обязательно подпишитесь на канал Влада Отдельная благодарность - за подеренную книгу.

🔠🔠🔠 Вчера в Санкт-Петербурге записал потрясающий эфир с Алексеем Белозерским — руководителем Big Data Services VK Cloud, VK Tech и автором канала Архитектор данных. Говорили о самых передовых темах современного управления данными: - Lakehouse и его роль в управлении данными, заменит ли он DWH? - ИИ в Data Governance — как найти правильную комбинацию - Парадокс self-service аналитики — почему не всё так просто - Концепция "chat with your data" и её практическое применение - Open Source vs Commercial — вечная дилемма, что выбрать. Плюсы и минусы. - Образование — онлайн курсы vs фундаментальные знания Думаю, сегодня закончим монтаж и завтра эфир уже будет доступен. Алексей очень глубоко погружён в тему, так что будет интересно! А пока — продолжаю рубрику #закулисами Как и обещал, делюсь новыми возможностями наших релизов. Сегодня на очереди крутая фича DG — создание активов без черновика. Казалось бы, мелочь, а на практике серьёзно ускоряет работу дата-аналитиков и steward'ов. Следите за обновлениями — завтра эфир, а релизы продолжаем готовить! #мыслиCEOвслух #закулисамиl

Сейловые будни. Основные типы сейловых активностей. Допрос. Беседа с целью добыть полезную информацию Питч. Рассказ о новом для клиента продукте или опыте с добавлением купикупи разной степени агрессии Тлен. Ответить таблом в безнадёжной ситуации но нет варианта не отсветить

Пара конфовых фото

Кратко - основные инсайты с круглого стола «Хадуп мертв» 1️⃣ HDFS сам по себе мало кому нужен, если есть S3. 2️⃣ Даже YARN уже не так необходим. 3️⃣ Современная BigData признана начинающейся от 10 Петабайт. Эта планка постепенно растет. 4️⃣ Приходится делать много ухищрений, чтобы получить в он-преме S3. И принимать множество компромиссов. 5️⃣ Hadoop (HDFS) - все еще хороший, надежный, понятный и предсказуемый способ получить скалированное хранилище для бигдаты 6️⃣ Но с нуля Hadoop сейчас мало кто решится разворачивать для GreenField проектов 7️⃣ Apache Ozone - перспективный способ получить S3 (+HDFS) на сегодня - признано 60% участниками дискуссии.

Проблемы дата-специалистов с неймингом общеизвестны. На мой взгляд, круглый стол на тему смерти Hadoop должен был называться “DEти хоронят коня (не вышло) Hadoop”.