Архитектор Данных

Эксперт Так случилось, что я "продающий эксперт". Вот топ совет, который буквально изменил мое восприятие профессии на До и После. Совет от Волка с Уолл-Стрит.

Последнее по порядку, но не по значению 6⃣ Без ИИ бюджетов не дадут!

Топ мыслей по итогам общения на South Hub - Data Edition 1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП. 2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают. 3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится. 4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы. 5⃣ DBT отличный инструмент разработки хд при всех его ограничениях. Последнее по порядку, но не по значению 6⃣ Без ИИ бюджетов не дадут! Спасибо!

Опрос естественно провокационный. Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее. Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций. Так что и то, и другое!

Миграция Huge Data Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие. Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные. Есть над чем подумать, есть где поразмыслить. Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?

South Hub 2025

- Разве компьютер сможет расшифровать список вещей в отпуск? - А ты сможешь, Джеф?

Сможет ваш ИИ расшифровать список вещей в отпуск? Вот то-то же!

Стреляю себе в ногу каждый день Встретил ребят, которые не знают куда улучшать свой собственный продукт. Все настолько улучшено, настолько крутые метрики, что ну просто идеал, а делать что-то надо. Оценка в сторе 4.99, NPS 80+, пользователи мега счастливы, трафик окупается x5, но только что-то они не растут уже 5 лет, и в траф тратят только $20k / мес. Мне стало подозрительно интересно, и я выяснил следующее: – С продуктом работали – Куча событий и метрик – Куча дашбордов – Вся аналитика подогнана так, чтобы казалось что с продуктом всё круто – В конторе начальник, который не любит плохих новостей Типа, оценки ниже 4 тупо не пишутся в базу (пользователя просят написать что не так), органика записывается в платный трафик, чтобы было побольше, ну и везде фигурирует какой-то предикт, который тупо добавляет в окупаемость когорт два хвоста))) Я уж думал такого не бывает, но нет. Всегда интересно посмотреть на людей, которые каждый день с удовольствием сами себе стреляют в ногу.

Идеальной аналитики не существ….

Получился выпуск нулевой 🙂 Спасибо всем, кто пришел и задавал вопросы!

Привет! У нас случился форс-мажор, поэтому прямой эфир в том формате, в котором он был запланирован переносится. Новую дату объявим чуть позже, но на ваши вопросы ответит Алексей Белозерский, вопросы также можно задавать в комьюнити.

Архитекторский Стрим - Выпуск 1-й. Сегодня в 17:00 настраивайте ваши радиоприемники на канал "Данные на стероидах" ( @sterodata ), где будет первый архитекторский стрим! С Вадимом Беловым, руководителем разработки платформы данных X5 поговорим про последние тренды в развитии технологий огромных данных и Лейкхаусы. Задавайте вопросы в комментариях под постом, и топовые мы обязательно обсудим! До встречи!

Плейлист видео про Лейкхаус DLH #2 1. Предыдущий плейлист 2. Мой небольшой доклад про хайп вокруг DLH и что мы теряем если не используем эту технологию. 3. Плейлист Iceberg Summit 2025. Осторожно - много часов! Но заглавный доклад рекомендую посмотреть - там анонсы фичей v3 В числе фичей - Шифрование на уровне таблицы - позволяет хранить в S3 шифрованные данные - Тип данных VARIANT - решение проблемы полу-структурированных данных, стримов событий, JSON - Тип файлов Гео - Оптимизации DELETE и другие 4. Анонс DuckLake Приятного просмотра!

ETL vs ELT Изрядное упрощение ситуации, но по факту так и есть.

South Hub С 10 по 15 июня буду на South Hub. Крутейший ивент в Красной Поляне для ИТ-Лордов. От VK Tech веду игру по развитию компании как эксперт в AI 😎

Хакатоны это то еще развлечение. Работа после работы. Страдают от натуги организаторы, страдают эксперты, страдают участники. Когда страдают все трое, значит, вечеринка удалась. 😎 С Samsung был очень крутой. Участники оптимизировали прохождение того самого отраслевого бенчмарка. Подробный отчет есть на Хабре от крутейшего архитекторв Паши.

Крик души о том как выглядят приложения от больших компаний. И ничего с этим не сделаешь - так экономически эффективнее. Пользователь не уходит из приложения, на нем можно срубить дополнительную копеечку, компонентная и кодовая база переиспользуется эффективнее. С точки зрения аналитики как раз тут и нужна та самая Huge Data, потому как в каждом разделе, в каждой фиче и микро-фиче есть своя воронка, есть свои ARPU, свои АБ-тесты. Все эти кофеварки, микроволновки, и даже софа внимательно следят за вами, пока вы идете мимо. Сегодня ваш заход в Озон/ВБ/Авито/Тинек/СБОЛ генерирует по 20-50 мегабайт джсон-логов, которые потом парсятся и раскладываются в витрины. Все складывается безумные объемы данных. Пользователи думают, что приложения распухли во много раз за 5 лет, в то время как аналитика, которую они отправляют, говорит: «подержи мое пиво».