IT Дайджест с Новиковым

Как упростить работу с кластером через веб‑интерфейс OpenSearch Dashboards Присоединяйтесь к вебинару от Selectel, чтобы разобраться на практике, как развернуть кластер СУБД OpenSearch в облаке за несколько минут и управлять им с помощью веб-интерфейса OpenSearch Dashboards. Узнаете, как легко настроить мониторинг, визуализировать данные и метрики, работать с бэкапами, управлять пользователями и доступами. 📍 Онлайн ⏰ 16 июля в 15:00 👤 Кому будет полезно: сисадминам, архитекторам, администраторам баз данных, бэкэнд-разработчикам, техлидам Регистрируйтесь ➡️ https://slc.tl/y7jke Больше мероприятий для ИТ-специалистов в канале @selectel_events. Подписывайтесь! Реклама. АО "Селектел". erid:2W5zFK3xwVT IT Дайджест с Новиковым

Замечательная идея - каждое утром распечатывать новости о планах на день, проектах, обновлениях, непрочитанных сообщения и тп. IT Дайджест с Новиковым

Недавно была конференция по duckdb https://www.youtube.com/playlist?list=PLWksJtu3SS6Y IT Дайджест с Новиковым

Свежий квадрант Gartner про BI инструменты. Как обычно, Microsoft лидируют со своей экосистемой продуктов для аналитики. Согласно отчёту, главное изменение — это Agentic BI. И тут я полностью соглашусь. Все топы «писяются кипятком» от восторга, когда они общаются с данными (aka chatGPT). И тут не очень важно, это Snowflake Cortex, Databricks Genie или сам BI инструмент. Я это сейчас вижу на примере Omni BI — весь C-уровень очень доволен. Но есть нюанс - вы платите за токены Anthropic и сами выбираете модель. То есть токены жгут не только инженеры:) Ключевое — это модель данных и семантический слой, то есть если у вас в markdown файлах всё нормально описано, то будет всё пучком. Классическое моделирование данных, когда сначала разговариваем с бизнесом, а потом рисуем диаграммы, эффективно как никогда, особенно если все встречи записать и скормить агенту. Главное — не халтурить в начале, чтобы потом избежать косяков. Ну и сам отчёт:

🤖 Главный тренд 2026: Agentic BI Это ключевой сдвиг этого года — от реактивных дашбордов к автономным агентам, которые сами инициируют анализ и действия: • Agentic Analytics — AI-агенты, которые не просто отвечают на вопросы, но самостоятельно выполняют многошаговый анализ, запускают воркфлоу, мониторят метрики • Semantic Layer как фундамент — Gartner на своём Data & Analytics Summit 2026 особо выделил, что к 2027 году компании с семантическим слоем получат на 80% более точные результаты AI и снизят затраты на 60%. Уже 92% лидеров в области данных внедрили или планируют внедрить semantic layer • Традиционные schema-based модели признаны недостаточными для агентного AI 📋 12 критических возможностей платформы Gartner оценивает платформы по критическим capabilities, сгруппированным в блоки: Инфраструктура: • Администрирование платформы и масштабируемость • Cloud BI (PaaS/SaaS) • Безопасность и управление доступом • Подключение к источникам данных Работа с данными: • Self-service подготовка данных • Семантический слой и управление метаданными • Governance и версионирование Анализ и контент: • Интерактивная свободная аналитика • Дашборды и отчётность • Встроенная расширенная аналитика (ML/AI) • Natural Language Query / Conversational Analytics — в 2026 г. это один из ключевых критериев • Публикация и распространение контента

IT Дайджест с Новиковым

Часто бывает, что мы не успеваем закончить работу с агентами, тогда нам нужно переключиться на телефон и продолжить. Есть классный сторонний app Happy, который позволяет нам поднять удаленную сессию на рабочем компьютере и продолжить, подключившись с телефона. https://happy.engineering/ IT Дайджест с Новиковым

Semantic Layer vs. Text-to-SQL: 2026 Benchmark Update В статье сравнили dbt Semantic Layer (YML документация о моделях и метриках) и LLM модели. Очевидно, что LLM будет очень хорошо работать, если у нее будет правильный контекст и semantic layer это как раз и делает. Но и без SL уже модели хорошо сами все находят. Качественная документация очень ценна и она поможет использовать AI более эффективно. IT Дайджест с Новиковым

ИИ все глубже встраивается в бизнес-аналитику — и это уже не эксперимент, а рабочий инструмент. По данным свежего исследования, каждый пятый корпоративный пользователь обращается к ИИ-агенту (нейроаналитику) за поиском бизнес-инсайтов. На практике это выглядит так: 73% пользователей просят ИИ писать формулы, а 50% — объяснять графики. Причем не просто «что нарисовано», а с выявлением аномалий и проверкой гипотез на естественном языке. Это качественный сдвиг — BI перестает быть инструментом только для аналитиков и становится доступным бизнесу напрямую. Активнее всего ИИ в BI используют ИТ (40%), ритейл (25%), финтех (10%), логистика (5%) и медицина (4%). И причина проста — скорость. Например, в ритейле задержка в обнаружении падения маржи всего на несколько дней может стоить десятки миллионов. ИИ сокращает этот лаг до часов, позволяя делать десятки срезов и находить отклонения почти в реальном времени. IT Дайджест с Новиковым

Montecarlo решило уволить 30 процентов людей. В эпоху до AI это был самый лучший (и дорогой) user friendly инструмент для data quality и data observation. А теперь они стали не нужны. В 2х проектах я занимаюсь тем, что выпиливаю и заменяю их решение за ненадобностью. IT Дайджест с Новиковым

Claude Code c моделью Opus 4.6 очень круто. Но даже за тариф в 200$ в месяц вам будет не хватать, особенно если вы очень любознательный и изобретательный человек=) В итоге я пришел к выводу, что Cursor пока является самым эффективным и за 20$ в месяц в режиме Auto не будет никаких проблем на квоты. С недавних пор я стал использовать Cursor CLI - agent. Он работает достаточно хорошо. За март я потратил 1000$+ через API Anthropic и решил урезать пользование. У меня есть несколько edge кейсов, когда я не могу использовать на windows машинах Cursor/Claude Code и мне приходится через Kilo Code плагин в VSCode через OpenRouter подключаться к Anthropic API, чтобы в режиме YOLO творить🪄 А на чем вы остановились? Недавно попался пост про ситуацию с отечественными AI клиентами - ChatGPT, Claude и Gemini запретят в России. Альтернатива — «суверенные» модели, но ими не пользуются даже в компаниях, где они разработаны Все кого я знаю, все используют Cursor или Claude Code за 200$. Cursor еще удобен, что можно сразу на год купить за 25т рублей и не знать проблем, я уже купил всем родственникам таким образом. IT Дайджест с Новиковым

Dimensional Modeling 101 - статья про самый популярный и простой вид моделирования данных внутри хранилища данных. Это когда 20% знаний закрывают 80% потребностей. В статье вам напомнят теорию, и расскажут про альтернативы - Data Vault, One Big Table, Inmon Corporate Data Factory, Activity Schema. Книги по теме: 📚The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling 📚Star Schema The Complete Reference 📚Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Whiteboard to Star Schema PS моделирование данных очень трудно дается AI, так же как и system design. IT Дайджест с Новиковым

У меня есть один замечательный проект - миграция SQL Server на AWS. Меня позвали как эксперта сделать миграцию в non-profit около государственную конторы, которая вот-вот уйдет на забастовку со своим профсоюзом. Мой подход: • AWS Managed Airflow извлекаю данные из источников и пишу в Redshift • dbt core для трансформаций, запускается с помощью AWS Airflow (читает dbt проект прям с S3) • Один AWS аккаунт, один Redshift кластер с DEV/PROD базами данных (dbt это поддерживает из коробки) • работать с ноутбука (IDE) • доступ к AI (Claude Code) Что хочет ИТ (хочет и делает): • DMS пишет из SQL Server в S3. Пишет он CDC, то есть дописывают новые файлики в папки -> IT хочет контроль (с их слов) • AWS Glue (python) читает и собирает эти файлы в единую таблицу и сохраняет в S3. • Google Analytics/Survey Monkey и тп. - все должно приходить через DMS, а не напрямую. Ведь IT сделало on-premise Airflow, и они хотят и дальше его использовать -> это безопасно (с их слов) • два AWS аккаунта DEV/PROD -> это безопасно (с их слов) • никакого AI -> это не безопасно (с их слов) • работать с общей виртуальной машины, чтобы к ней подключиться, мне сначала надо подключиться к другой машине и с нее уже на рабочую. Мышка там двигается по pixel… При этом бюджет жестко ограничен. И до этого они 5 месяцев гоняли пустой кластер Redshift и сожгли 10% бюджета. Мой подход позволит им сделать в 10 раз быстрей, эффективней и проще. Но ИТ категорически отказывается делать что-то нормальное. Однажды я случайно ошибся Teams каналом и написал в общую группу - что-то вроде “ИТ саботируют миграцию, надо эскалировать на CIO и их нахлобучить”. Это наверно самый грустный и смешной проект, потому что я как на машине времени отправляюсь в 90ые и строю хранилище данных партизанскими методами=) Самое смешное, что я уже многое чего построил, но это не совпадает с их видением, и мне снова надо будет жечь токены, чтобы удовлетворить их хотелки. Я так и не понял, зачем им AWS хранилище данных, это же небезопасно! IT Дайджест с Новиковым

Вот и появились первые результаты использования ИИ в статье - Are AI agents actually slowing us down?

🤖 ИИ-агенты нас тормозят? Все говорят о том, как ИИ ускоряет разработку. Но есть обратная сторона, о которой почти никто не говорит. Что происходит на практике: 🔴 Anthropic — баг на главной странице Claude.ai, при котором текст пользователя исчезал при загрузке, существовал неделями и никто внутри компании его не замечал. При том, что 80%+ кода Anthropic генерирует сам Claude. Исправили только после публичного скандала. 🔴 Amazon — ИИ-агент Kiro вызвал 13-часовой сбой AWS: агент решил «удалить и пересоздать среду». Теперь любые изменения джунов с помощью ИИ требуют подписи сеньора. 🔴 Meta и Uber — токены ИИ учитываются при перформанс-ревью. Не используешь ИИ активно? Значит, ты «неэффективный» сотрудник. Давление на инженеров огромное — вне зависимости от качества результата. 🔴 Исследования — код, написанный с ИИ, показывает +41% code churn (строки, которые переписывают в течение двух недель). Команды тушат пожары от свежесгенерированного кода вместо того, чтобы работать над реальными задачами. Google DORA зафиксировал снижение стабильности поставок на 7.2% по мере роста использования ИИ. Почему так происходит? Компании измеряют количество PR и строк кода — но не качество. В итоге возникает порочный круг: больше кода → больше техдолга → медленнее разработка в долгосрочной перспективе. Что с этим делать? • Инженеры с сильным архитектурным мышлением становятся ценнее, чем когда-либо • Нужны quality gates — не только покрытие тестами, но и дублирование кода, архитектурное соответствие • Возможно, пора вернуть старые добрые практики QA ИИ усиливает то, что уже есть в команде. Сильная культура → ускорение хорошей работы. Слабая культура → ускорение накопления техдолга. «Скорость без качества — это просто быстрее идти не туда»

Оказалось не все так радужно с использованием ИИ, но тем не менее, руководство до сих пор настаивает на максимальном использовании. IT Дайджест с Новиковым

На картинке анализ плана запроса в Snowflake. Dbt модель упала из-за timeout. Попросил Claude Code посмотреть в чем дело. Через Snowflake MCP он начал выполнять запросы и анализировать план запроса и сообщил, что у нас тут NESTED LOOP JOIN вместо HASH JOIN. Сам поправил и проверил и сделал PR. Умничка. PS Параллельно Claude Code • Создает хранилище данных на AWS (Redshift, Airflow, dbt, cloud formation) • Решает проблемы с Databricks Bundle на Azure • Пишет документацию Несколько абсолютно разных проектов. Но везде хороший результат, особенно в режиме YOLO. Самое сложное это Databricks bundle, это было для меня новое, и поэтому я не могу контролировать результат, получается много ошибок, но Claude помогает изучать. IT Дайджест с Новиковым

Узнал сегодня про Dracula Effect в контексте AI - это термин для описания вампирского эффекта истощения, который испытывают люди при интенсивной работе с AI-агентами. AI автоматизирует рутинные задачи, но оставляет человеку всю сложную когнитивную работу - принятие решений, анализ результатов, постановку задач, проверку кода. По сути, ты постоянно занимаешься только стратегическими и сложными вещами, без передышки на простые задачи. Реально ловлю себя на том, что день проходит плотничком и энергии уходит много. Но нам не привыкать 🥲 IT Дайджест с Новиковым

В прошлом году Databricks купил Neon. Основатели Neon: • Никита Шамгунов - CEO и идейный вдохновитель Россиянин, PhD по Computer Science из Санкт-Петербурга • Хейкки Линнакангас - Co-founder, Postgres-хакер Финн, один из самых известных core committer'ов PostgreSQL с 20+ летним стажем. • Стас Кельвич - Co-founder, инженер. Изучал физику, затем пришёл в разработку — работал в Яндексе в команде баз данных. Команда собралась вокруг одной идеи: "что если сделать для Postgres то же, что Amazon Aurora сделала для MySQL/Postgres, но open-source и по-настоящему serverless?" Amazon Aurora это serverless Postgres, но это как бы vendor lock. У Neon было три основных этапа/фичи: 1️⃣ Разделение слоев давало serverless-поведение: scale-to-zero, оплата только за реальное использование, "бездонное" хранилище. 2️⃣ Разделение compute и storage открыло неожиданную суперспособность - branching базы данных через copy-on-write. Создать полную копию базы с данными и схемой стало бесплатным по времени и почти бесплатным по стоимости. Кстати Snowflake zero-copy cloning имеет похожую идею copy-on-write - клон/ветка не копирует данные физически, а создаёт метаданные-указатели на те же блоки хранилища. Новые данные записываются только при изменениях. Оба мгновенные и почти бесплатные по хранилищу. Только у Neon каждая ветка это свой изолированный Postgres. Благодаря этому у каждой ветки свой compute и не влияет на продакшн базу данных. 3️⃣ Neon обнаружил, что 80% баз на их платформе создаются кодом, а не людьми. AI-агенты и платформы вроде Replit Agent стали создавать тысячи эфемерных баз на лету - под каждого пользователя, под каждый эксперимент. Один инженер в Retool управлял через Neon API 300,000 Postgres-инстансов. Для Databricks это решение понравилось, ведь они уже работаю с AI агентами, каждый агент получает свою изолированную базу данных, и сама идея Zero ETL не нова, и Neon позволяет использовать OLTP workloads и хранить данные сразу в Databricks, ведь Neon хранит данные в облачном object storage (S3/ADLS/GCS), то есть буквально в том же хранилище, что и lakehouse. И вот Databricks закончил интеграцию и назвал продукт/фичу - Lakebase. Это Postgres версии 16/17. Так же Databricks приобрел Mooncake для лучшей интеграции Postgres с Lakehouse.

Mooncake Labs - это маленький стартап (основан в 2024 году), который сделал одну очень конкретную вещь: ⁠pg_mooncake — Postgres-расширение, которое добавляет колоночное хранилище прямо внутрь Postgres, сохраняя данные в формате Apache Iceberg/Delta Lake в object storage. Под капотом происходит следующее: • Данные хранятся не в Postgres heap (row-формат), а в Parquet-файлах в S3 в формате Iceberg • Аналитические запросы выполняются через DuckDB (встроен в расширение) - векторизованный движок, заточенный под колоночное чтение

Neon дал serverless Postgres compute, но данные в нём хранились в Postgres-формате — отдельно от lakehouse. Чтобы аналитические движки (Spark, Databricks SQL) могли их читать, нужно было либо копировать данные через ETL, либо держать два источника правды. Mooncake закрыл этот gap: вместо того чтобы копировать данные из Postgres в lakehouse, он делает Iceberg основным хранилищем. Postgres пишет сразу в Iceberg/Parquet в S3 - и тот же файл без какого-либо ETL читают и приложения через Postgres, и аналитика через Spark. Есть еще Synced Tables - это отдельный, более старый механизм для обратного направления: когда нужно "опустить" уже готовые аналитические данные из Unity Catalog в Lakebase, чтобы приложение могло читать их с низкой латентностью (< 10 мс) (Reverse ETL). Здесь дублирование данных неизбежно — потому что аналитический Parquet нужно переложить в row-формат Postgres для быстрых point-lookup запросов. PS Работаю часто с Databricks, пока реальных кейсов на Lakebase Postgres не видел =/ IT Дайджест с Новиковым

Что делать если у вас нет реального опыта, а хочется работать дата инженером или кем-то еще? Ответ простой, находите вакансии с нижней планкой зарплаты и туда идете работать. Опытные люди (даже если опыт 1год туда не пойдут), поэтому вы будете конкурировать с такими же вкатунами кандидатами:) Как я понял 200к для дата инженера это как раз такая планка, где можно экспериментировать 🎮 IT Дайджест с Новиковым

Сегодня они радуются как юристы делают PR, а завтра решат сократить половину компании. Тоже fintech. PS у Claude Code новая турбо пушка фича 1. Запускаем Claude Code как обычно, создаем бранч и начинаем работать… 2. Собираемся на прогулку за вашим любимым банановым рафом (к сожалению в суровой Канаде, нет таких изысков) 3. Выполняем команду телепорта, которая отправляет нашу сессию в Claude web

claude —teleport session_9482948jfsdfl

4. Подключаемся с телефона и продолжаем vibe работу. IT Дайджест с Новиковым

Финтех компания Block, уволила 40% компании и честно призналась, что люди стали работать с AI по другому, меньше размер команды, меньше уровней и зависимостей, больше эффективности. CEO все сказал как есть. Нам конечно от этого не легче, но думаю вектор понятен. IT Дайджест с Новиковым

Databricks is no longer about tuning knobs - отличную тему поднял Zach. Это тот Зак, который уже млн 3$ заработал на курсах по Data Engineering. Его bootcamp стоит 1500$ с носа + подписка и онлайн курсы. Вот что значит есть аудитория. Зак утверждает, что Databricks постепенно отходит от дата-инженеров в сторону аналитиков и менее технических пользователей. Три ключевых аргумента:

Физическое моделирование данных больше не нужно — Databricks заменил ручное партиционирование, сортировку и бакетирование автоматическими инструментами (Liquid Clustering, Predictive Optimization), лишив инженеров контроля. Покупка Tabular за $1B+ замедлила развитие Iceberg — управляемые Iceberg-таблицы в Databricks урезаны: нет скрытого партиционирования, ручной компактификации файлов, управления снапшотами. Всё подталкивает к «магии Databricks» вместо явного контроля. Бизнесу не нужны дата-инженеры — ему нужен результат — компании хотят быстрые дашборды, работающие модели и дешёвые пайплайны, а не споры о стратегиях партиционирования. AI + платформа заменяют дорогих специалистов. Вывод: рынок вознаграждает абстракцию, а не контроль. Маятник качнулся в сторону аналитиков, близких к бизнесу, а экспертам по распределённым системам становится всё сложнее найти своё место.

Про iceberg и Tabular реально обидно. Вообще, все используют Delta на Databricks и не сильно заморачиваются про Iceberg. Я тоже считаю, что учиться надо на реальных вещах - партиции, компрессия и тп. Это классно, когда вендор может сделать magic, но лучше понимать, что происходит под капотом. На собеседовании вас это именно и спросят. IT Дайджест с Новиковым