en
Feedback

Don't get caught by a cheater! Telemetrio finds and tags such channels 👉 If you want to see the tag, subscribe

Data Apps Design

Data Apps Design

Open in Telegram

В этом блоге я публикую свои выводы и мнения на работу в Data: — Data Integration — Database engines — Data Modeling — Business Intelligence — Semantic Layer — DataOps and DevOps — Orchestrating jobs & DAGs — Business Impact and Value

Show more
2 056
Subscribers
No data24 hours
-57 days
-1530 days

Loading data

Tags Cloud
No data
Any problems? Please refresh the page or contact our support manager.
Incoming and Outgoing Mentions
---
---
---
---
---
---
Attracting Subscribers
Nov '26
November '26
+3
in 0 channels
October '26
+573
in 0 channels
Get PRO
September '260
in 0 channels
Get PRO
August '260
in 0 channels
Get PRO
July '260
in 0 channels
Get PRO
June '260
in 0 channels
Get PRO
May '260
in 0 channels
Get PRO
April '260
in 0 channels
Get PRO
March '260
in 0 channels
Get PRO
February '260
in 1 channels
Get PRO
January '260
in 3 channels
Get PRO
December '250
in 0 channels
Get PRO
November '250
in 0 channels
Get PRO
October '25
+1
in 1 channels
Get PRO
September '25
+6
in 0 channels
Get PRO
August '25
+7
in 0 channels
Get PRO
July '25
+9
in 0 channels
Get PRO
June '25
+24
in 3 channels
Get PRO
May '25
+64
in 2 channels
Get PRO
April '25
+14
in 0 channels
Get PRO
March '25
+23
in 0 channels
Get PRO
February '25
+14
in 0 channels
Get PRO
January '25
+228
in 0 channels
Get PRO
December '24
+161
in 1 channels
Get PRO
November '24
+23
in 0 channels
Get PRO
October '24
+23
in 1 channels
Get PRO
September '24
+8
in 0 channels
Get PRO
August '24
+9
in 0 channels
Get PRO
July '24
+23
in 0 channels
Get PRO
June '24
+28
in 0 channels
Get PRO
May '24
+244
in 2 channels
Get PRO
April '24
+77
in 3 channels
Get PRO
March '24
+33
in 1 channels
Get PRO
February '24
+65
in 0 channels
Get PRO
January '24
+74
in 0 channels
Get PRO
December '23
+183
in 8 channels
Get PRO
November '23
+27
in 0 channels
Get PRO
October '23
+18
in 0 channels
Get PRO
September '23
+13
in 0 channels
Get PRO
August '23
+31
in 0 channels
Get PRO
July '23
+85
in 0 channels
Get PRO
June '23
+11
in 0 channels
Get PRO
May '23
+13
in 0 channels
Get PRO
April '23
+18
in 0 channels
Get PRO
March '23
+9
in 0 channels
Get PRO
February '23
+15
in 0 channels
Get PRO
January '23
+21
in 0 channels
Get PRO
December '22
+16
in 0 channels
Get PRO
November '22
+23
in 0 channels
Get PRO
October '22
+50
in 0 channels
Get PRO
September '22
+18
in 0 channels
Get PRO
August '22
+19
in 0 channels
Get PRO
July '22
+14
in 0 channels
Get PRO
June '22
+24
in 0 channels
Get PRO
May '22
+26
in 0 channels
Get PRO
April '22
+23
in 0 channels
Get PRO
March '22
+14
in 0 channels
Get PRO
February '22
+33
in 0 channels
Get PRO
January '22
+43
in 0 channels
Get PRO
December '21
+108
in 0 channels
Get PRO
November '21
+25
in 0 channels
Get PRO
October '21
+25
in 0 channels
Get PRO
September '21
+31
in 0 channels
Get PRO
August '21
+17
in 0 channels
Get PRO
July '21
+17
in 0 channels
Get PRO
June '21
+17
in 0 channels
Get PRO
May '21
+257
in 0 channels
Date
Subscriber Growth
Mentions
Channels
17 November0
16 November0
15 November0
14 November0
13 November+1
12 November0
11 November0
10 November+1
Channel Posts
◻️ Пост-блиц: ИИ шейпит этот ворлд. Как мы будем жить дальше? Всем привет! Сейчас в ЛС обсуждалась тема:
— ИИ вытесняет, работы меньше, рынок жестче — Картина какая-то не слишком радужная рисуется — Опасения, страхи
Ранее контекст из чата:
Рассказывай, что делаешь сейчас! Когда писал было интересно и полезно читать — Салют! Рад слышать. Работаю, много дел, фокусов. GCP, BigQuery, Dagster, k8s, Clickhouse, AWS, Superset, AI tooling, ... С приходом AI-гонки и нейрогенерации в блоггинге как-то поостыл. Будто смысл публикаций теряется. Проще спросить у нейросети, чем читать посты. А писать посты низкого качество не хотелось и не хочется. Думаю, что сейчас в поиске правильного и осмысленного формата. Чтобы было зачем писать (целевые действия), и интересно читать (чем мне полезна эта информация).
Мои ключевые мысли и размышления: — Перспективы однозначно есть, если понимать, куда прикладывать усилие, иметь смекалистый подход. — Идёт трансформация, это очевидно — Значит, что время занимать места в первом ряду 😉 И рецепт сейчас, я думаю, такой: — Ты умеешь решать актуальные проблемы бизнесов (ценность) — Говорить с людьми, которые принимают решения на одном языке — Имеешь релевантный опыт (или можешь его таковым подать) — И умеешь продать себя, свой опыт, свою команду (продукт) — А далее не обосраться, а сделать суперкруто, чтобы о тебе рассказывали и рекомендовали Сколько агентов ты запустил, какая нейросеть, в каком harness, в каком IDE – всё это вторично. Пост-блиц: пишется за 5 минут и публикуется сразу, либо не публикуется никогда 😄

2
🔸 Меня заблокировал Cursor Сообщение: Your Cursor account was closed following an account review. We are unable to provide additional details about this decision. Any active Cursor subscriptions have been canceled, and no further charges will occur. Payments already made are not eligible for a refund. Итого: — Аккаунт удален — Причин не называем — Деньги не вернем – у меня оставалось 2/3 месяца подписки за $200 Просто внезапно всплыло сообщение и осталась одна кнопка - log out 😅 💬 У кого-то еще случалось что-то подобное? —— Предположения, почему: — Россия 😁 — Оплата подозрительной картой – пользовался сервисом по выпуску вирт. карт с пополнением СБП / USDT — Помогал оплатить еще одному человеку с той же карты (мультиаккаунт?) Ничем запрещенным или противоправным не занимался, не спрашивал. 💔 В любом случае, реакция сервиса неудовлетворительная. —— Надо сказать, что после этого возвращаться я не собираюсь. Пока подбираю новый стек для своего workflow. Кубики такие: — IDE: VSCodium / Zed — AI: Kilo Code / Cline — Model provider: OpenRouter — Либо CLI: Claude Code / OpenCode 💬 Есть рекомендации? У кого какой сетап? —— P.S.: Всем привет! Коротко, работаю над развитием платформы данных: dlt, dbt, DWH, DataOps + Infra. Работы много, всё очень интересно и быстро меняется. Скоро будут апдейты и полезное. —— UPDATE: Я думаю, что дело в этом – "any U.S. embargoed country or territory" 17.5. Export and Trade Controls. You must comply with all applicable trade laws, including sanctions and export control laws. The Service may not be used in or for the benefit of, or exported or re-exported to (a) any U.S. embargoed country or territory or (b) any individual or entity with whom dealings are prohibited or restricted under applicable trade laws. Our Service may not be used for any end use prohibited by applicable trade laws, and your Input may not include material or information that requires a government license for release or export. https://cursor.com/terms-of-service Хотя я год пользовался в РФ. Ну и у меня включен Throne + Tun mode, т.е. весь трафик через тоннель. Хз в чем вчера дело было, может просто неудачное стечение обстоятельств. UPD2: Relevant reddit discussion https://www.reddit.com/r/cursor/s/2J2WOx1Mn0
1 705
3
✅ 3 ОФФЕРА, мои мысли и рекомендации по поиску работы в 2026 в Data и IT в целом Салют! Чуть больше месяца назад публиковал пост о том, что открыт к предложениям. 🟢 Результаты: — 3 толковых оффера - RU BigTech, Международный FinTech, Доля в стартапе — 1 отказ. Без адекватной обратной связи. Скорее всего, просто нет матча по деньгам — Возможность структурировать свой опыт и результаты, грамотно презентовать это в CV — Типы предложений: ТК РФ / Contract / Share % — Виды позиций: Lead DE, Лидер Data Platform, Архитектор, Tech Product Owner 🔵 Мои принципы поиска: — Только Network, подача и интерес через контакты и знакомства. Спасибо всем, кто помогал 🙏 — Без HH и прочих агрегаторов. Не верю в их эффективность сегодня. — Прозрачные ожидания и позиционирование. Что могу предложить, и что хочу взамен. 🟡 Собеседования — Кейс-интервью - лучший способ рассказать об ожиданиях и бизнес-проблеме, и понять как сам будешь структурировать проблему. Респект тем, кто так проводит! — Когда нанимал сам, то тоже давал прикладной кейс (прямо с доступом к данным в Snowflake!) — Даже если у тебя нереально крутые достижения, успех будет только тогда, когда ты сумеешь их правильно подать — Правильно и самому становиться в позицию собеседующего – задавать вопросы, собирать информацию — Признать что чего-то не знаешь или не умеешь – это нормально. Рассуждать вслух – лучше чем молчать — Важная для меня мысль: между умением проходить собеседования и умением структурировать реальные проблемы и решать прикладные задачи нет однозначного тождества 🩷 Ключевые рекомендации: 1. Структурируйте свой опыт для CV — Фокус на результатах (не обязанностях) — Достижения и числа, но без фанатизма и откровенного вранья — Без воды, максимум информации в минимум текста — Будь готов ответить по каждому предложению в CV Я уже лет 5 веду записи обо всех задачах и активностях (по типу STAR: Situation - Task - Action - Result). Мне это помогло структурировать достижения и результаты, сфокусироваться на главном, и ничего не забыть. Также сегодня под каждую интересующую вакансию вполне реально сделать индивидуальное резюме с фокусом на перечисленные требования 😉 2. Готовьтесь к интервью — Информация о компании и контексте задач в открытых источниках может дать значительные преимущества — Какой релевантный опыт, навыки и достижения ищут у кандидата — Исходя из описания вакансии можно составить небольшой cheatsheet к подготовке — Если возможно, то узнать, кто будет проводить интервью, и что спрашивать — Cобрать обратную связь и задать вопросы знакомым (кто работает там или ранее там работал) 3. Делайте записи и анализируйте — Календарь интервью, вакансии, этапы, пометки — Что спрашивали и зачем, какой контекст давали, что рассказывали о компании — Рефлексия: как прошло, доволен ли ответами, что бы мог улучшить — Пробелы и слепые зоны можно восполнить в т.ч. с помощью AI (с подачей контекста) Дает возможность быстро прогрессировать и улучшать качество ответов, обучаться по сути. А также сравнивать процессы найма. 4. Диалог — Транслируйте свои ожидания: специфику деятельности, технологии, баланс focus-communications и т.д. — Просите обратную связь (и давайте её) — Диалог это по-взрослому, в хорошей ситуации интерес есть у обеих сторон 5. Choose wisely — Принимайте взвешенные решения — Ориентируйтесь на свои критерии — Критерии имеют разный вес для каждого из нас — Процесс выбора можно привязать к вполне конкретным числам и баллам ⬇️ В первом комментарии к посту будет ссылка на мой подход к структурированию вакансий (откликов) и матрица оценки офферов в Google Sheet 🙃 ❤💬 Если есть интересный опыт и идеи - буду рад пообщаться в комментариях.
3 116
4
Эксперимент успешный 😌 Чек-лист: https://gist.github.com/kzzzr/e49b7e0b2af01e4e1dbc57102d5f70a1
2 985
5
👀 DataLens: Бесплатная сказка закончилась. Кейс миграции на Superset (Open Source BI) 1 марта 2026 года заканчивается пробный период Business-тарифов DataLens для тех, кто сидел на Community. Для многих команд это означает выбор: начать платить за каждого пользователя или искать альтернативы. Проблема часто даже не в деньгах, а в ограничениях: доступные визуализации, проблемы с Embedding, отсутствие кастомизации, необходимых коннекторов и vendor lock-in. ◻️ А у меня уже есть кейс! Для B2B Retail Tech построил Production-ready решение, которое полностью принадлежит ему, а не облачному провайдеру. "Мы растем, но платить за каждого зрителя дашборда не хотим. Нужен полный контроль, управление ролями, Row-level security, брендирование, и широкие возможности для клиентской аналитики". 🔵 Что сделал: Мигрировал аналитику на Open Source & Self-hosted стек: Apache Superset + ClickHouse (+ Сube). — 🛠 Инфраструктура: Docker Compose (или K8s) для оркестрации, PostgreSQL для метаданных и Redis для кэша. — 📱 Mobile-First: Nginx сам определяет устройство пользователя и отдает адаптированную мобильную версию дашборда. — 🔐 Security: RBAC, SSL, Secure Cookies, Каждый клиент видит только свои данные. — 🎨 White Label: Лого, Русский язык, Favicon, Красивый домен. Кто не знает - не догадается, что это Superset 😉 — 📊 Analytics enabled: Включил Я.Метрику для Superset – работает даже веб-визор 😀 🟢 Результаты в цифрах и фактах: — ✅ $0 за лицензии. Цена масштабирования = цена VPS. 5 человек или 500 — бюджет тот же. — ✅ Независимость. Данные и инструмент принадлежат компании, а не облачному провайдеру. — ✅ Функционал. Разнообразие визуализаций (ECharts), Embedding, Drill-down, SQL Lab для профи. 💡 Open Source требует прямых рук. Я собрал Production Checklist по внедрению Superset (Инфраструктура, Компоненты, Конфигурация, Network, Кастомизация / White Labeling, Обслуживание). ⬇ Кому актуально — ставьте «+» или пишите «Чек-лист» в комментариях, пришлю ссылку в ЛС! 👇 🌐 @data_apps
2 755
6
😘 Открываю доступ к закрытым записям цикла Designing Modern Data Apps Всем привет! 🟡 Это первые 4 стрима на темы: — Marketing Analytics – ЧАСТЬ 1 — Data Integration – ЧАСТЬ 2 — Extract-Load – ЧАСТЬ 3 — Data Modeling with dbt – ЧАСТЬ 4 🔵 Ключевые особенности: — Это был закрытый запуск с фокусом на практику (сквозной проект) — Код на Github, вся инфра в Я.Облаке — Материалы записаны до бума AI, но актуальности не утратили — Много полезной, концептуальной, прикладной информации 🟢 Если будет положительный отклик, то вскоре открою остальные стримы и доступ к github-репозиторию: — Business Intelligence – ЧАСТЬ 5 — Вопросы и ответы – ЧАСТЬ 6 — Semantic layer / Семантический слой (Cube) – ЧАСТЬ 7 — Setting up environments / Конфигурация сред – ЧАСТЬ 8 — Orchestrating jobs & DAGs / Оркестрация запусков – ЧАСТЬ 9 — Advanced modeling / Продвинутое моделирование данных – ЧАСТЬ 10 — Вопросы и ответы / Обсуждение результатов – ЧАСТЬ 11 🩷 Если будет очень большой интерес - то сделаю новый, обновленный запуск с учетом всех изменений и моих знаний, полученных за это время. 📊 YouTube плейлист: https://www.youtube.com/playlist?list=PLaJB0sPwixnP1iov175SpkUpzfd_s85s8 💬 Задавайте вопросы, оставляйте комментарии, делитесь с теми, кому может быть интересно. 🌐 @data_apps
2 982
7
☄ Открыт к предложениям: Staff Data Engineer / Data Platform Lead За 11+ лет я прошел путь от аналитика до лида и архитектора дата-платформ. Умею строить инфраструктуру, которая создает ценность, экономит деньги бизнесу и нервы инженерам. 🚀 Что могу — Строить платформы с нуля: Greenfield Data Platform (ClickHouse, Trino, Kafka, dbt, dlt, Superset, anything...) — от Excel до enterprise-grade — Снижать TCO в разы: миграции (Snowflake / Clickhouse / Trino), замена SaaS на self-hosted решения, оптимизация костов — Real-time без компромиссов: Kafka + Debezium + Flink — Security by Design: PII/GDPR compliance, RBAC, Data Contracts — DevEx как мультипликатор: Everything as Code, CI/CD, DevContainers 🧠 Мои принципы — Business Value First: Технологии должны окупаться — Maintainability > быстрые хаки: Решения, которые можно развивать, а не только чинить — Инженерная культура > hero-mode: процессы, документация, автоматизация — Build vs Buy > хайп: Open Source там, где это даёт контроль и экономию — Stakeholder Management: управляю ожиданиями, говорю на языке бизнеса 🎯 Что ищу — Роль: Staff/Lead Data Engineer, Data Platform Lead, Solutions Architect — Компания: Продуктовая с сильной инженерной культурой или амбициозный стартап с интересной data-задачей — Интересно: Greenfield, Модернизация стека, Lakehouse, Streaming, ML/AI-платформы — Также открыт к консалтинговым проектам (архитектура, аудит, построение платформ) 💬 КОНТАКТ — Telegram: @kzzzr — Email: artemiy.kozyr@gmail.com — CV по запросу Буду благодарен рекомендациям.
3 186
8
— Всем нужно заполнять какую-то чушь, что-то обещать с три короба, планировать, привязывать к каким-то циферкам — Можно запланировать супер амбициозную и сложную цель и выполнить на 90% - получишь отрицательную оценку (мой случай) — А можно пустить пыль в глаза и перевыполнить легкую цель - можешь получить повышение (не факт) — Оценка – чистая субъективщина — Используется как обоснование для принятия решений, в т.ч. увольнения Иначе говоря, это просто легальное обоснование для принятых неудобных решений. Ну-у, Вася, перформанс у тебя так себе, пора прощаться 🔻 ✔ Сама модель бизнеса зарекомендовала себя как весьма скромный (местами отрицательный) hypergrowth ◻️ Не претензии, просто наблюдение: — За 6 лет он особо не вырос — Потенциала тоже особо нет, есть преграды и барьеры рынков и регуляторов — Мега-фичей и disruption в этом бизнесе не ждите Если бы я 6 лет назад начал работу в бодром ФинТехе, были бы другие результаты. Были за это время интересные офферы. Но, увы, сослагательного наклонения нет. Отдельного внимания заслуживает возня с РКН ◾️ — Они нас вычислили и блокнули! — А мы им новый proxy mega VPN — А мы их по IP и по GEO! ——— Я бы может еще чего накинул, но уже устал. Бывшие коллеги, налетайте 😆 👍 Причины ухода Коротко: — Ты на удаленной работе (да, вы же и заставили меня подписать доп. согл. к Трудовому договору) — Ехать на Кипр не хочешь — Разработай процесс найма, найми людей — Нанял - обучи, передай опыт, объясни всё — Спасибо, люди в РФ не нужны, приняли решение с тобой попрощаться Ехать на Кипр на птичьих правах и работать на контракте, который привязывает к работодателю и может быть не продлен. Может кому-то это и ОК условия, но не мне. Всё ожидаемо и понятно. Претензий нет. ✅ Основные выводы — Автономность, гибкость, свобода выбора и решений, ответственность – редкая ценность — Перестал соответствовать чьим-либо ожиданиям - выбыл. Ты лишнее звено и тебя изымают (однако это работает, в принципе, для всех. Даже для тех, кто эти звенья сегодня изымает 😌) — Доминирующий взгляд работодателя: нужны удобные люди-функции; эмоции, мотивации и отношения людей интересуют и значат мало — Думай о себе, в первую очередь. Развивайся, расти, делай качественно, люби своё дело — Time is a resource that once you’ve spent it - it’s gone В общем, спасибо. Двигаемся дальше.
4 112
9
.. (продолжение) Минусы Постепенно все плюсы стали меркнуть, тучки сгущаться. Процессы стали хиреть, бюрократия - расцветать. ✔ Культура менеджмента и управления по сути сводится к: “Делаем всё как говорит Главный” 🔸 И неважно, прав он или нет. Разбирается в этом вопросе или нет. Просто он так хочет (сказал). Just make him happy. Это в принципе девиз любого менеджера, который хочет успеха в компании. Иначе он долго не задерживается 😆 Sad but true. ✔ Бюрократия и палки в колеса вместо свободы действий и изменений ◻️ Львиная доля моих результатов и изменений - это моя личная инициатива, которую я сам тащил как мог снизу вверх. Менеджеру это не надо. В его глазах такая инциатива – еще один риск: “Сейчас ОК. А вдруг хуже станет. Ну нах, лучше придержу”. Поэтому: “Оцени; Напиши письмо; Сделай созвон; Задай вопрос; Сделай расчет в Google Sheet; Создай страницу на 20 листов в Notion” и прочий булшит. Ну, в принципе, у меня после такого отношения мотивация утрачивается. 🔵 На примере Snowflake: — Я договорился с вендором, общался с сейлзами, постоянные созвоны где тебя пушат: "КУПИИИИ" — Трижды запрашивал trial credits чтобы 120% всё протестить и не обосраться — Писал писульки и странички в Notion — Брал кредит доверия, всех успокаивал, объяснял и пр. — Работал значительно больше всё это время, т.к. никто не отменял основную нагрузку 🟢 В следующую инициативу (Kafka + Debezium) моя мотивация вовсе сломалась. Миграция не прошла 100% гладко (и это ОК). В сухом остатке: избавились от жадного вендора (считай ELT бесплатно), всё стало рилтайм, данные всегда внутри контура компании. 🧐 Но! Я получил отрицательную оценку на perf. review и пришел к странному выводу: Оптимальная стратегия в такой ситуации - минимум инициативности, делаем то, что говорят (хотят), и не больше. (Так нельзя! Беги, если не хочешь покрыться мхом! 🔹) ✔ Низкая динамика в культуре разработки и technology adoption Если коротко, то равняться (быть мотивированным, учиться, следовать, обмениваться, синергироваться, как угодно) на кого-то было проблематично. Извне можно разобраться на этом показателе: — Обычно компании стремятся выступать на конференциях, делать доклады, мотивировать сотрудников. — Выступления есть тогда, когда есть о чем рассказать. Я, в целом, не берусь судить обо всех направления, но вот маленький факт: — В блоге Wheely на Хабр (давно почил) всего 3 публикации. Две из них мои. На чистом энтузиазме созданные, никто за это мне не доплачивал. — Вместо спасибо через год только прибежал менеджер: “Главному не понравилось, что ты опубликовал суррогатник ObjectID, срочно исправляй, иначе чих-пых!” 🟦 Позже были попытки мотивировать людей писать за деньги. Преподносилось с помпой: Вот сейчас-то у нас целых блог технологический разовьется (company brand, bla-bla) 🟦 Но что-то даже за деньги никто ничего не написал 😁 ✔ Странные решения в найме Я 6 лет наблюдал постоянный и бурный найм (текучку) Data Scientists. — Нам не нужны Data Engineers: всё и так норм работает. Зачем развивать и усиливать команду. — Нам нужны только Data Scientists. Потому что это модно, так сказал Главный. — Люди приходили, видили, что никакого сайнса нет, надо SQL писать, чуток задерживались и уходили. Я видел найм человечка на грейд IC5 (у меня был IC3) с улицы. “Ну ему же кушать нечего будет в Лондоне” 😭😆 За все 6 лет из Data Science я не увидел прорывных результатов. Все поделки - курам на смех. Айрфлоу с хардкод-SQL в кавычках, который ломался буквально “завтра”, когда другой рукой менялся набор колонок ⚪️ ✔ Сам я за все 6 лет получил только одно повышение грейда 🟢 Буквально на “слове пацана” поймал 😂 Типа сделаешь Snowflake, тогда и будет. И то, с опозданием в пару меяцев. А также 2-3 индексации ЗП за эти годы. Все исключительно только тогда, когда я приходил с оффером (удивительно, да? 😀). ✔ Система оценки Performance Review 🟫 Идея - благая. Исполнение - незачет. По факту расклад такой:
3 091
10
📊 Я работал в Wheely 6 лет и вот результаты Результат - единственная валюта, которую принимают в банке жизни 😌 — Спроектировал и реализовал миграцию аналитической платформы Redshift → Snowflake: -45% расходов в моменте ($3.6k → $2k/мес), без простоя бизнеса. — Построил self-hosted платформу real-time streaming (Kafka + Debezium) вместо SaaS-инжеста: ~$20,000/год экономии и полный контроль по security/PII. — Оптимизировал использование и лицензии Looker: ~50% (~$40,000/год) экономии при продлении без ущерба для процессов, и далее переход на Metabase (Open Source) — Участие в разработке MetricView — высокопроизводительный BI-инструмент для C-level (на базе Observable Framework) с надежным CI/CD. — Вёл функцию Data Engineering для компании из 150+ сотрудников; обеспечил 100% покрытие мониторингом пайплайнов и <1 минуты задержку данных для критичных операционных потоков. — Стандартизировал DevEx через DevContainers (онбординг с дней до ~1 часа) и инженерные процессы для data/BI (CI/CD, monitoring, alerting). 🟡 Как всё начиналось На момент найма: — Практики и стандарты Data Engineering не соответствовали реалиям и вызовам — Требовался человек plug-n-play, который придет и быстро наведет порядок — Возьмет под контроль дальнейшее развитие И я им стал. — Сначала у меня было 3 месяца на offboarding ELT SaaS Alooma (куплен Google) без affecting business — Затем оптимизации и устойчивость к ошибкам в dbt (Redshift) - все устали от ежедневных падений и отсутствия данных — Затем миграция с Amplitude на Snowplow — И далее, далее, не останавливаемся Было динамично и интересно. Каждый день новое сражение, перспективные технологии, высокая ответственность и свобода выбора решений (покуда ты создаешь ценность и результаты). ➕ Плюсы 🔵 Гибкость и живость Нужен результат – делаем, чего ждать. Минимум бюрократических процедур, задержек и прочего bullshit. После работы в корпорациях было удивительно, что так быстро можно создавать результаты и влиять на процессы. Буквально в течение дня можно было вывести в прод несколько фичей. Конечно, это нравилось. 🟢 Современные технологии Я работал с dbt, Looker, AWS, Redshift, впоследствии Snowflake. Крутейшие технологии, с которыми приятно работать. Одним из первых я написал на Хабр про dbt. Я буквально видел их путь развития от нишевого тула до техногиганта. 🩷 Ответственность и Impact Сколько свободы, столько и ответственности. Если не я, то никто не починит и не сделает. Если не исправлю, в Пн все увидят кривые графики. Отчасти я сравниваю это с ролью SRE, но в Data. Здорово чувствовать, что ты влияешь на работу других людей, что твой труд уважаем и необходим. 🟤 Также: — Лимит на обучение. Я его тратил на подписку издательство O’Reilly - считаю, что это лучшее вложение — В месяц у меня было около 10К руб. на пользование сервисом (2-4 поездки). Но их меня впоследствии лишили 😂 — ДМС - стандарт. По больницам я не ходок, но и ДМС меня позже лишили 🤪 Продолжение далее ⬇️
3 715
11
⚡ ПЕРЕЗАГРУЗКА этого блога Друзья, привет, Всех с наступвшими праздниками, надеюсь все отдохнули и готовы врываться в 2026. 🟡 Регулярность постов в последнее время была довольно низкой. И вот почему: нет целевого действия, призыва. В какой-то момент я осознал, что контента и идей у меня много, но я не веду читателя к какому-то действию. В целом, идеи появляются, об этом позже. 🔵 Напомню об истории и изначальной идее этого блога: — Около 6 лет назад как практику внедрил создание .md-заметок обо всех выполненных задачах — Задач решалось много (сейчас еще больше), технологии были максимально свежие, актуальные, интересные — Фокус был (и остается) на результатах, создании ценности, рассмотрении задач и тулов через прикладные проблемы — Первый пост в канале появился в 2021-01 (5 лет назад! Ура!) — Минимум рекламы. Никогда не размещал за деньги, максимум: репост по сердцу — Только органический рост аудитории 🟢 Теперь о том, что меня драйвит / зажигает / мотивирует / интресует сейчас: — Продолжаем: Траблшутинг (решение актуальных бизнес-проблем) с использованием современных Data-технологий — Овладение технологиями с т.з. решения конкретных бизнес-задач (кейсов) — Рассмотрение технологий вглубь: сильные, слабые стороны, лучшие практики, применения для определенных ситуаций — Быстрое создание MVP и тестирование гипотез (Рынку нравится? Есть спрос?) — Смена парадигмы от монетизации часов (работы) к монетизации сервисов / продуктов 🩷 Что я думаю о блоггинге в Data и IT в целом 🔺 Поизучал ряд каналов. Мой подход и рецепт такой: изучаю последние 10-20 постов и оцениваю: — Сколько из них запустили мыслительный процесс — Сколько из них вдохновили сотворить какой-либо результат — Сколько из них отразили личный опыт, путь, ошибки и достижения 🔹 Качественные материалы однозначно есть, но достаточно много таких: — Ребята из ABC делают буллшит XYZ и у них очень круто получается. Вам обязательно надо попробовать (нет) — Зайчата из ABC устраивают конфу и вам туда однозначно надо — А вот вам интересная картиночка, а вот вам мемасик 🤪 — Хочу много деняк! Маловато будет! Буду торговаться, offer hunting, накрутка опыта, прочее 😆 🟤 Не откладывая, прямо сейчас пишу следующий пост на тему: Я развивал Data Platform в Wheely 6 лет и вот что вышло В нем расскажу, как начиналась и закончилась моя история в Wheely, поделюсь наблюдениями, выводами, мыслями.
2 543
12
😘 Новый доклад: Магия контейнеров для разработки и развертывания (любых!) ваших приложений 🪄 Поделюсь опытом использования Development Containers – технологии, которая радикально упрощает настройку среды разработки для любых проектов. 🎯 О чём расскажу: — Реальный кейс моделирования данных с dbt — Как забыть о "у меня не работает" в команде — Почему devcontainers – это game changer — Практические примеры конфигурации — Оптимизация для CI/CD 💡 Особенно полезно будет: — Тимлидам и техлидам — Data-инженерам — Разработчикам на любом стеке — DevOps-инженерам ⚡️ Ключевые моменты: — Единая среда разработки для всей команды — Работа с микросервисами через docker-compose — Предварительная сборка образов — Поддержка нескольких архитектур (AMD64/ARM) 📺 Смотреть доклад: https://www.youtube.com/watch?v=qTtRF6xpieI 📊 Смотреть слайды: https://drive.google.com/file/d/1-89LR6YQYpHXwzcsGtX4HBquK8vpYHi5/view?usp=sharing 🔗 Полезные ссылки из доклада: — https://containers.dev — https://github.com/devcontainers/spec #devcontainers #development #docker #dbt #dataengineering 💬 P.S.: Задавайте вопросы в комментариях – с радостью отвечу и поделюсь дополнительными материалами! 🙌 🌐 @data_apps | Навигация по каналу
614
13
💬 Вам пришло сообщение с приглашением на митап 26 июня приглашаем вас в наш уютный IT-офис. Будем общаться, играть в плойку
💬 Вам пришло сообщение с приглашением на митап 26 июня приглашаем вас в наш уютный IT-офис. Будем общаться, играть в плойку и слушать доклады. 🔘Как сделать приватное облако на базе Kubernetes по цене смартфона Михаил Старостин, технический директор, VYZOR 🔘Магия контейнеров для разработки и развертывания любого приложения Артемий Козырь, независимый Data-консультант Приглашаем к участию IT-специалистов уровня junior+, количество участников ограничено, спешите зарегистрироваться. ➡️ 26 июня, сбор с 18:30, старт в 19:00 📍ул. Войкова, 2 — IT-офис Сбера, Сочи Приходите, обменивайтесь опытом и заряжайтесь новыми идеями. Ждём вас!
790
14
🆕 Что насчет StarRocks? Салют! 19 июня в 19:00 МСК будем слушать 2 шикарных доклада и беседовать с практиками: — Как мы нашл
🆕 Что насчет StarRocks? Салют! 19 июня в 19:00 МСК будем слушать 2 шикарных доклада и беседовать с практиками: — Как мы нашли замену vertica, clickhouse и hadoop – Станислав Лысиков — Опыт использования Starrocks как Unified SQL Engine – Алексей Дёмин 🟡В этот раз я буду модератором, готовлю интересные вопросы и гипотезы, и вам рекомендую! 📊 Митап состоится онлайн, регистрация по ссылке. Сообщество пользователей подготовило 2 доклада, охватывающие весь спектр задач - от типичного dwh небольшой компании до использования lakehouse движка поверх S3 и открытых форматов. От часовых витрин до bi безумия из сотен тысяч запросов. Мы постараемся ответить - жив ли еще опенсорс, есть ли альтернатива кликхаузу, гринпламу или трино. А если вдруг что-то забудем, то после докладов приглашаем вас на сессию вопросов и ответов в zoom к докладчикам 👍 🌐 @data_apps | Навигация по каналу
997
15
🆕 Полностью БЕССЕРВЕРНЫЕ Аналитические Приложения на dlt, DuckDB, dbt, Observable (Streamlit) Или как собрать аналитическое приложение за $2 в месяц. Изучая стек dlt + DuckDB + dbt + Observable (Streamlit), я наткнулся на интересную архитектуру. Оказывается, можно создать функциональное, но в то же время легковесное аналитическое приложение, которое работает почти без серверов. 🟡 Конкретная схема: GitHub Actions (CI) → dlt загружает данные → dbt трансформирует → DuckDB файл → S3/Object storage → Observable/Streamlit читает DuckDB-WASM в браузере 🔵 Реальные цифры: — Object storage / S3: $0.015 за GB хранения — GitHub Actions: 2000 минут бесплатно — Observable: бесплатно — Итого: ~$2/месяц для приложения с 10GB данных 🟢 Что получается: ✅ Дашборд грузится за 200ms (всё в браузере) ✅ Работает офлайн после первой загрузки ✅ Выдерживает любые нагрузки (статика!) ✅ Автообновление через GitHub Actions 🔴 Ограничения (честно): ❌ Размер данных ограничен памятью браузера (~2-4GB), но вряд ли нам вообще понадобится больше (ведь хранить мы будем агрегированные витрины) ❌ Сложные real-time обновления проблематичны ❌ Нет серверной логики для сложной авторизации ❌ Ограниченная интерактивность и self-service (для этого нужны BI типа Superset) 🟤 Где это работает лучше всего: — B2B SaaS аналитика для клиентов / Сквозная аналитика / Sales, Markeplace metrics, etc. — Встраиваемая (Embedded) в web / mobile apps аналитика — Демонстрационные стенды (showcasing) — Публичная аналитика (типа COVID дашбордов) — Дашборды для внутреннего контура компании (до 1000 сотрудников) — Персональные и pet-проекты с историческими данными ✅ Такой подход особенно хорош для стартапов и небольших команд - вместо настройки сервисов, Kubernetes кластеров, организации потоков данных можно получать результат за один коммит в моно-репо в GitHub. ⬇ Конкретный пример использования: — Собираем данные Я.Метрика, Я.Директ, AmoCRM (Bitrix) с помощью dlt в DuckDB — Варим эти данные, чистим, нормализуем, объединяем, считаем витрины (dbt + DuckDB) — Создаем интерактивное приложение на основе Observable с DuckDB-WASM под капотом (т.е. бразуер = сервер, который процессит витрину в DuckDB) — В приложении видим динамику ключевых метрик Marketing, Sales разрезах: даты, каналы, георгафия, воронки, sales-менеджеры — Приложение = статический вебсайт, который размещается на любом хостинге (Object storage / S3) и не требует сервера 💬 У кого какие мнения на этот счет? Где еще можно (нужно) применить такой подход? Кто пробовал похожие решения? 🌐 @data_apps | Навигация по каналу
1 667
16
🪙 Почему люди ищут новую работу и проекты? Привет! Рассуждаю вслух и делаю выводы из своего опыта: 🟡 Востребованность результатов — Делать что-то и видеть, как это помогает другим людям — Создавать нечто новое, ранее не существовавшее — Помогать получать конкурентные преимущества и выигрывать борьбу — Непосредственно участвовать в создании ценности — Чувствовать себя незаменимым и востребованным Определенно, это лучше чем: — Быть винтиком системы, который ни на что не влияет — И может быть легко заменен — Не видеть смысла в своей работе — Или обманывать себя насчет этого смысла — Забыть про драйв и позитивные эмоции, связанные с работой 🔵 Технологии, с которыми вы работаете — Использование гибких, передовых решений, отвечающим духу времени — Создание собственных решений — Иметь инструменты и влияние на то как осуществляются операции — Сравнивать и оценивать подходы и инструменты, выбирать лучшее Против: — Работа в заданных рамках со стеком, который вы не выбирали — Копошение в legacy, порожденном чужими ошибками и неправильным выбором — Отставание, устаревание, следование на несколько шагов позади — Невозможность найти адекватное решение для возникающих задач 🩷 Команда и окружение — Работа бок о бок с сильными специалистами — Которые вдохновляют и мотивируют — У которых есть чему учиться — И нет страха показаться глупым или задать вопрос Против: — Работа в токсичной среде — Работа ради выполнения KPI (написания письма, закрытие тикета) — Где нет рычага и ощущуения, что команда это нечто большее чем каждый человек по-отдельности — Где все позиции, продвижения, премии выдаются не за достижения, а "по связям" 🟢 Деньги Это важный аспект, но его ставлю на последнее место. Определенно, труд должен быть оплачен соразмерно результатам и усилиям, в этом сомнений нет. Сегодня размер заработной платы - это одно из основных мерил привлекательности. Плохо, когда она - единственный критерий. Я мыслю с другой стороны: 🪙 Деньги придут, если вы занимаетесь востребованными и интересными вещами, и делаете это лучше других. 🔥Сегодня мой друг Николай Валиотти из LEFT JOIN ищет человека с навыками BigQuery, GCP и dbt. Это отличный способ получить международный опыт в динамичной и конкурентной среде с востребованными технологиями. 📊 Посмотреть предложения и откликнуться: https://valiottianalytics.huntflow.io/ Немного позже я поделюсь своим видением (путеводной звездой) того, что хотел бы предложить рынку: — В плане технологического стека — В плане решения востребованных бизнес-задач и создания ценности — В плане организации команды и партнерства, где каждый может развиваться 🌐 @data_apps | Навигация по каналу
851
17
▶ СЛАЙДЫ dbt как де-факто стандарт создания Хранилищ Данных Привет, По следам доклада на ОФФЛАЙН митапе в Сочи: 📊 Смотреть слайды: https://drive.google.com/file/d/17nZnuRBzH6xDL5Cku56daA1Uqs2t5Ssr/view?usp=sharing ✅ Основные идеи: 🏆 dbt - индустриальный стандарт для трансформации данных в DWH ✍️ Позволяет писать, тестировать, документировать трансформации как SQL-код ☁️ Работает поверх современных облачных и on-premise платформ (Snowflake, BigQuery, Redshift, Databricks, Postgres и др.) 🏆 Использует лучшие практики разработки: версионирование, модульность, CI/CD, документация Было много вопросов и заблуждений по поводу концепта dbt, поэтому дублирую: — С т.з. манипуляции данными dbt умеет ровно столько, сколько умеет ваша аналитическая БД — dbt не пропускает данные через себя, а лишь "раздает" команды БД, которая выполняет все операции (heavy lifting) — dbt это просто python package с удобным CLI — Рассматривайте dbt как мультитул-автоматизацию для работы с вашей аналитической БД ❤ Наблюдения и выводы: — Тема вызвала живой интерес и поток вопросов (которые продолжились после выступления) — Отметил, что даже сложные концепты в подаче с простыми примерами и доступными формулировками легко воспринимаются даже неподготовленным слушателем — Обрел старых (Станислав, привет 🙂!) и новых друзей и единомышленников — Стихийно организовалась afterparty в соседнем ресторане с обсуждением смежных тем, обменом опыта и знакомствами — Зарядился на дальнейшие планы и шаги, о которых буду сообщать Запись, к сожалению, не велась. 😘 Если будет хотя бы 3-5 комментариев-запросов, то я сделаю видеозапись по этим слайдам и идеям и выложу на YouTube / RuTube. 🌐 @data_apps | Навигация по каналу
6 517
18
➕ ОФФЛАЙН МИТАП в Сочи: dbt как де-факто стандарт создания Хранилищ Данных Салют! Выступлю в Сочи на площадке ИТ-хаба СБЕР У меня будет ~30 минут чтобы зарядить вас, сделать увлекательно, интересно и познавательно: — Ликбез для тех, кто пока не в курсе, что такое dbt — Обзор эволюции развития dbt и продуктов dbt Labs — Зачем вам dbt? Сравнение До / После — Лучшие практики без воды после моих 5+ лет в проде 💡Время: 15 мая, сбор с 18:30, старт в 19:00 📍Где: ул. Войкова, 2 — IT-офис Сбера, Сочи Регистрация: https://public.oprosso.sberbank.ru/p/hw0rd7yo 🔻 У кого есть возможность прийти и пообщаться – буду рад. Запись тоже постараюсь сделать. 🌐 @data_apps | Навигация по каналу
1 111
19
💬 В тему Semantic Layer и, в частности, Cube.js: У нас недавно был классный выпуск подкаста со множеством тем, ситуаций и прогнозов по развитию. Если у вас всё же остаются вопросы и живой интерес к теме, либо вы на пути внедрения Cube в свои проекты, то приглашаю вступить в Tg-группу Cube.js русскоговрящий чат 🔸 Там в общении с другими людьми на разных этапах внедрения вы сможете найти ответы на вопросы: — Зачем мне в 2025 семантический слой — Production checklist / Architecture — BI-интеграции (Superset, Metabase, Tableau и др.) — Семантические слои в целом – best practices в B2B-аналитике и data-инфре — Разница между Cube core / Cube cloud / Synmetrix — И прочие 📊 Ссылка на TG-чат: https://t.me/cubejsru 💡 Если что в чате есть @jfokeev — один из первых сотрудников statsbot, в котором был разработан фреймворк cube.js и автор synmetrix (https://github.com/synmetrix/synmetrix)
1 091
20
— Все интеграции создаются через STAGES, SNOWPIPES, NAMED COLLECTIONS - забыли про указание токенов, секретов, адресов, логинов, паролей, ключей для БД-источников — Возможность указывать (подмножество колонок, явное указание типа данных) и не указывать (SELECT *) схему данных для создаваемых таблиц-источников — Заполнение всех данных по каждому источнику: docs, freshness, tags 🔴 dbt test (CI) - полноценный конвеер Automated Tests с Github Actions 🔴 Ключевая идея в том, чтобы в независимом окружении (TEST) собрать проект и убедиться, что результаты соответствуют ожиданиям: — Код в принципе работает (compile) — Модели собираются в объекты в БД (run) — Пройдены все тесты (test) При этом сделать это оптимальным образом: — Единый универсальный workflow для всех задач CI — Уменьшенный объем данных (быстро) — При необходимости, только изменяемый подграф - DAG subset (еще быстрее) Once PR is opened: — Build related docker image — Deploy code to TEST — Run tests After PR is closed (merged or rejected): — Remove transient database schema — Remove linked docker image as well as old/untagged images from container registry ✅ Скоро добавлю мысли и по этим идеям: ✅ — Разрабатываю и тестирую Github Actions локально с Act CLI + actionlint — Persist docs - Автоматически актуализировать документацию/описания объектов dbt в DWH и далее (downstream) — Пирамида создания ценности в Data — Мне очень понравился Apache Superset и впредь я бы рекомендовал его как замену популярным managed / proprietary BI (Looker, Datalens, Tableau, PowerBI, etc.) — Квест с поиском исчезнувших записей - Debezium, Kafka Connect, Snowflake Sink — Data Compaction в Object Storage (S3 / OBS / MinIO) - множество мелких файлов в один .parquet — Clickhouse production-ready deployment checklist + configurations as code — В целом кристаллизовались идеи по поводу направлений (видов) деятельности в Data — 2025Q1 PERFORMANCE SELF REVIEW + PLANS 💬 А пока - давайте обсудим! Давно не общались. У кого какие новости? 🌐 @data_apps | Навигация по каналу
971