IT Дайджест с Новиковым

Semantic Layer vs. Text-to-SQL: 2026 Benchmark Update В статье сравнили dbt Semantic Layer (YML документация о моделях и метриках) и LLM модели. Очевидно, что LLM будет очень хорошо работать, если у нее будет правильный контекст и semantic layer это как раз и делает. Но и без SL уже модели хорошо сами все находят. Качественная документация очень ценна и она поможет использовать AI более эффективно. IT Дайджест с Новиковым

ИИ все глубже встраивается в бизнес-аналитику — и это уже не эксперимент, а рабочий инструмент. По данным свежего исследования, каждый пятый корпоративный пользователь обращается к ИИ-агенту (нейроаналитику) за поиском бизнес-инсайтов. На практике это выглядит так: 73% пользователей просят ИИ писать формулы, а 50% — объяснять графики. Причем не просто «что нарисовано», а с выявлением аномалий и проверкой гипотез на естественном языке. Это качественный сдвиг — BI перестает быть инструментом только для аналитиков и становится доступным бизнесу напрямую. Активнее всего ИИ в BI используют ИТ (40%), ритейл (25%), финтех (10%), логистика (5%) и медицина (4%). И причина проста — скорость. Например, в ритейле задержка в обнаружении падения маржи всего на несколько дней может стоить десятки миллионов. ИИ сокращает этот лаг до часов, позволяя делать десятки срезов и находить отклонения почти в реальном времени. IT Дайджест с Новиковым

Montecarlo решило уволить 30 процентов людей. В эпоху до AI это был самый лучший (и дорогой) user friendly инструмент для data quality и data observation. А теперь они стали не нужны. В 2х проектах я занимаюсь тем, что выпиливаю и заменяю их решение за ненадобностью. IT Дайджест с Новиковым

Claude Code c моделью Opus 4.6 очень круто. Но даже за тариф в 200$ в месяц вам будет не хватать, особенно если вы очень любознательный и изобретательный человек=) В итоге я пришел к выводу, что Cursor пока является самым эффективным и за 20$ в месяц в режиме Auto не будет никаких проблем на квоты. С недавних пор я стал использовать Cursor CLI - agent. Он работает достаточно хорошо. За март я потратил 1000$+ через API Anthropic и решил урезать пользование. У меня есть несколько edge кейсов, когда я не могу использовать на windows машинах Cursor/Claude Code и мне приходится через Kilo Code плагин в VSCode через OpenRouter подключаться к Anthropic API, чтобы в режиме YOLO творить🪄 А на чем вы остановились? Недавно попался пост про ситуацию с отечественными AI клиентами - ChatGPT, Claude и Gemini запретят в России. Альтернатива — «суверенные» модели, но ими не пользуются даже в компаниях, где они разработаны Все кого я знаю, все используют Cursor или Claude Code за 200$. Cursor еще удобен, что можно сразу на год купить за 25т рублей и не знать проблем, я уже купил всем родственникам таким образом. IT Дайджест с Новиковым

Dimensional Modeling 101 - статья про самый популярный и простой вид моделирования данных внутри хранилища данных. Это когда 20% знаний закрывают 80% потребностей. В статье вам напомнят теорию, и расскажут про альтернативы - Data Vault, One Big Table, Inmon Corporate Data Factory, Activity Schema. Книги по теме: 📚The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling 📚Star Schema The Complete Reference 📚Agile Data Warehouse Design: Collaborative Dimensional Modeling, from Whiteboard to Star Schema PS моделирование данных очень трудно дается AI, так же как и system design. IT Дайджест с Новиковым

У меня есть один замечательный проект - миграция SQL Server на AWS. Меня позвали как эксперта сделать миграцию в non-profit около государственную конторы, которая вот-вот уйдет на забастовку со своим профсоюзом. Мой подход: • AWS Managed Airflow извлекаю данные из источников и пишу в Redshift • dbt core для трансформаций, запускается с помощью AWS Airflow (читает dbt проект прям с S3) • Один AWS аккаунт, один Redshift кластер с DEV/PROD базами данных (dbt это поддерживает из коробки) • работать с ноутбука (IDE) • доступ к AI (Claude Code) Что хочет ИТ (хочет и делает): • DMS пишет из SQL Server в S3. Пишет он CDC, то есть дописывают новые файлики в папки -> IT хочет контроль (с их слов) • AWS Glue (python) читает и собирает эти файлы в единую таблицу и сохраняет в S3. • Google Analytics/Survey Monkey и тп. - все должно приходить через DMS, а не напрямую. Ведь IT сделало on-premise Airflow, и они хотят и дальше его использовать -> это безопасно (с их слов) • два AWS аккаунта DEV/PROD -> это безопасно (с их слов) • никакого AI -> это не безопасно (с их слов) • работать с общей виртуальной машины, чтобы к ней подключиться, мне сначала надо подключиться к другой машине и с нее уже на рабочую. Мышка там двигается по pixel… При этом бюджет жестко ограничен. И до этого они 5 месяцев гоняли пустой кластер Redshift и сожгли 10% бюджета. Мой подход позволит им сделать в 10 раз быстрей, эффективней и проще. Но ИТ категорически отказывается делать что-то нормальное. Однажды я случайно ошибся Teams каналом и написал в общую группу - что-то вроде “ИТ саботируют миграцию, надо эскалировать на CIO и их нахлобучить”. Это наверно самый грустный и смешной проект, потому что я как на машине времени отправляюсь в 90ые и строю хранилище данных партизанскими методами=) Самое смешное, что я уже многое чего построил, но это не совпадает с их видением, и мне снова надо будет жечь токены, чтобы удовлетворить их хотелки. Я так и не понял, зачем им AWS хранилище данных, это же небезопасно! IT Дайджест с Новиковым

Вот и появились первые результаты использования ИИ в статье - Are AI agents actually slowing us down?

🤖 ИИ-агенты нас тормозят? Все говорят о том, как ИИ ускоряет разработку. Но есть обратная сторона, о которой почти никто не говорит. Что происходит на практике: 🔴 Anthropic — баг на главной странице Claude.ai, при котором текст пользователя исчезал при загрузке, существовал неделями и никто внутри компании его не замечал. При том, что 80%+ кода Anthropic генерирует сам Claude. Исправили только после публичного скандала. 🔴 Amazon — ИИ-агент Kiro вызвал 13-часовой сбой AWS: агент решил «удалить и пересоздать среду». Теперь любые изменения джунов с помощью ИИ требуют подписи сеньора. 🔴 Meta и Uber — токены ИИ учитываются при перформанс-ревью. Не используешь ИИ активно? Значит, ты «неэффективный» сотрудник. Давление на инженеров огромное — вне зависимости от качества результата. 🔴 Исследования — код, написанный с ИИ, показывает +41% code churn (строки, которые переписывают в течение двух недель). Команды тушат пожары от свежесгенерированного кода вместо того, чтобы работать над реальными задачами. Google DORA зафиксировал снижение стабильности поставок на 7.2% по мере роста использования ИИ. Почему так происходит? Компании измеряют количество PR и строк кода — но не качество. В итоге возникает порочный круг: больше кода → больше техдолга → медленнее разработка в долгосрочной перспективе. Что с этим делать? • Инженеры с сильным архитектурным мышлением становятся ценнее, чем когда-либо • Нужны quality gates — не только покрытие тестами, но и дублирование кода, архитектурное соответствие • Возможно, пора вернуть старые добрые практики QA ИИ усиливает то, что уже есть в команде. Сильная культура → ускорение хорошей работы. Слабая культура → ускорение накопления техдолга. «Скорость без качества — это просто быстрее идти не туда»

Оказалось не все так радужно с использованием ИИ, но тем не менее, руководство до сих пор настаивает на максимальном использовании. IT Дайджест с Новиковым

На картинке анализ плана запроса в Snowflake. Dbt модель упала из-за timeout. Попросил Claude Code посмотреть в чем дело. Через Snowflake MCP он начал выполнять запросы и анализировать план запроса и сообщил, что у нас тут NESTED LOOP JOIN вместо HASH JOIN. Сам поправил и проверил и сделал PR. Умничка. PS Параллельно Claude Code • Создает хранилище данных на AWS (Redshift, Airflow, dbt, cloud formation) • Решает проблемы с Databricks Bundle на Azure • Пишет документацию Несколько абсолютно разных проектов. Но везде хороший результат, особенно в режиме YOLO. Самое сложное это Databricks bundle, это было для меня новое, и поэтому я не могу контролировать результат, получается много ошибок, но Claude помогает изучать. IT Дайджест с Новиковым

Узнал сегодня про Dracula Effect в контексте AI - это термин для описания вампирского эффекта истощения, который испытывают люди при интенсивной работе с AI-агентами. AI автоматизирует рутинные задачи, но оставляет человеку всю сложную когнитивную работу - принятие решений, анализ результатов, постановку задач, проверку кода. По сути, ты постоянно занимаешься только стратегическими и сложными вещами, без передышки на простые задачи. Реально ловлю себя на том, что день проходит плотничком и энергии уходит много. Но нам не привыкать 🥲 IT Дайджест с Новиковым

В прошлом году Databricks купил Neon. Основатели Neon: • Никита Шамгунов - CEO и идейный вдохновитель Россиянин, PhD по Computer Science из Санкт-Петербурга • Хейкки Линнакангас - Co-founder, Postgres-хакер Финн, один из самых известных core committer'ов PostgreSQL с 20+ летним стажем. • Стас Кельвич - Co-founder, инженер. Изучал физику, затем пришёл в разработку — работал в Яндексе в команде баз данных. Команда собралась вокруг одной идеи: "что если сделать для Postgres то же, что Amazon Aurora сделала для MySQL/Postgres, но open-source и по-настоящему serverless?" Amazon Aurora это serverless Postgres, но это как бы vendor lock. У Neon было три основных этапа/фичи: 1️⃣ Разделение слоев давало serverless-поведение: scale-to-zero, оплата только за реальное использование, "бездонное" хранилище. 2️⃣ Разделение compute и storage открыло неожиданную суперспособность - branching базы данных через copy-on-write. Создать полную копию базы с данными и схемой стало бесплатным по времени и почти бесплатным по стоимости. Кстати Snowflake zero-copy cloning имеет похожую идею copy-on-write - клон/ветка не копирует данные физически, а создаёт метаданные-указатели на те же блоки хранилища. Новые данные записываются только при изменениях. Оба мгновенные и почти бесплатные по хранилищу. Только у Neon каждая ветка это свой изолированный Postgres. Благодаря этому у каждой ветки свой compute и не влияет на продакшн базу данных. 3️⃣ Neon обнаружил, что 80% баз на их платформе создаются кодом, а не людьми. AI-агенты и платформы вроде Replit Agent стали создавать тысячи эфемерных баз на лету - под каждого пользователя, под каждый эксперимент. Один инженер в Retool управлял через Neon API 300,000 Postgres-инстансов. Для Databricks это решение понравилось, ведь они уже работаю с AI агентами, каждый агент получает свою изолированную базу данных, и сама идея Zero ETL не нова, и Neon позволяет использовать OLTP workloads и хранить данные сразу в Databricks, ведь Neon хранит данные в облачном object storage (S3/ADLS/GCS), то есть буквально в том же хранилище, что и lakehouse. И вот Databricks закончил интеграцию и назвал продукт/фичу - Lakebase. Это Postgres версии 16/17. Так же Databricks приобрел Mooncake для лучшей интеграции Postgres с Lakehouse.

Mooncake Labs - это маленький стартап (основан в 2024 году), который сделал одну очень конкретную вещь: ⁠pg_mooncake — Postgres-расширение, которое добавляет колоночное хранилище прямо внутрь Postgres, сохраняя данные в формате Apache Iceberg/Delta Lake в object storage. Под капотом происходит следующее: • Данные хранятся не в Postgres heap (row-формат), а в Parquet-файлах в S3 в формате Iceberg • Аналитические запросы выполняются через DuckDB (встроен в расширение) - векторизованный движок, заточенный под колоночное чтение

Neon дал serverless Postgres compute, но данные в нём хранились в Postgres-формате — отдельно от lakehouse. Чтобы аналитические движки (Spark, Databricks SQL) могли их читать, нужно было либо копировать данные через ETL, либо держать два источника правды. Mooncake закрыл этот gap: вместо того чтобы копировать данные из Postgres в lakehouse, он делает Iceberg основным хранилищем. Postgres пишет сразу в Iceberg/Parquet в S3 - и тот же файл без какого-либо ETL читают и приложения через Postgres, и аналитика через Spark. Есть еще Synced Tables - это отдельный, более старый механизм для обратного направления: когда нужно "опустить" уже готовые аналитические данные из Unity Catalog в Lakebase, чтобы приложение могло читать их с низкой латентностью (< 10 мс) (Reverse ETL). Здесь дублирование данных неизбежно — потому что аналитический Parquet нужно переложить в row-формат Postgres для быстрых point-lookup запросов. PS Работаю часто с Databricks, пока реальных кейсов на Lakebase Postgres не видел =/ IT Дайджест с Новиковым

Что делать если у вас нет реального опыта, а хочется работать дата инженером или кем-то еще? Ответ простой, находите вакансии с нижней планкой зарплаты и туда идете работать. Опытные люди (даже если опыт 1год туда не пойдут), поэтому вы будете конкурировать с такими же вкатунами кандидатами:) Как я понял 200к для дата инженера это как раз такая планка, где можно экспериментировать 🎮 IT Дайджест с Новиковым

Сегодня они радуются как юристы делают PR, а завтра решат сократить половину компании. Тоже fintech. PS у Claude Code новая турбо пушка фича 1. Запускаем Claude Code как обычно, создаем бранч и начинаем работать… 2. Собираемся на прогулку за вашим любимым банановым рафом (к сожалению в суровой Канаде, нет таких изысков) 3. Выполняем команду телепорта, которая отправляет нашу сессию в Claude web

claude —teleport session_9482948jfsdfl

4. Подключаемся с телефона и продолжаем vibe работу. IT Дайджест с Новиковым

Финтех компания Block, уволила 40% компании и честно призналась, что люди стали работать с AI по другому, меньше размер команды, меньше уровней и зависимостей, больше эффективности. CEO все сказал как есть. Нам конечно от этого не легче, но думаю вектор понятен. IT Дайджест с Новиковым

Databricks is no longer about tuning knobs - отличную тему поднял Zach. Это тот Зак, который уже млн 3$ заработал на курсах по Data Engineering. Его bootcamp стоит 1500$ с носа + подписка и онлайн курсы. Вот что значит есть аудитория. Зак утверждает, что Databricks постепенно отходит от дата-инженеров в сторону аналитиков и менее технических пользователей. Три ключевых аргумента:

Физическое моделирование данных больше не нужно — Databricks заменил ручное партиционирование, сортировку и бакетирование автоматическими инструментами (Liquid Clustering, Predictive Optimization), лишив инженеров контроля. Покупка Tabular за $1B+ замедлила развитие Iceberg — управляемые Iceberg-таблицы в Databricks урезаны: нет скрытого партиционирования, ручной компактификации файлов, управления снапшотами. Всё подталкивает к «магии Databricks» вместо явного контроля. Бизнесу не нужны дата-инженеры — ему нужен результат — компании хотят быстрые дашборды, работающие модели и дешёвые пайплайны, а не споры о стратегиях партиционирования. AI + платформа заменяют дорогих специалистов. Вывод: рынок вознаграждает абстракцию, а не контроль. Маятник качнулся в сторону аналитиков, близких к бизнесу, а экспертам по распределённым системам становится всё сложнее найти своё место.

Про iceberg и Tabular реально обидно. Вообще, все используют Delta на Databricks и не сильно заморачиваются про Iceberg. Я тоже считаю, что учиться надо на реальных вещах - партиции, компрессия и тп. Это классно, когда вендор может сделать magic, но лучше понимать, что происходит под капотом. На собеседовании вас это именно и спросят. IT Дайджест с Новиковым

Сейчас мой типичный workflow выглядит так: 1. У меня появляется вопрос или идея 2. Я открываю Claude Code CLI 3. Прошу сделать research на заданную тему и сохранить в Markdown 4. Открываю Google Doc -> Paste from Markdown И получаю хороший документ. Я скидывал про курс по Claude Code, которого будет достаточно, чтобы начать и привыкнуть к CLI и интерфейсу. Сегодня посмотрел очень хорошее видео - How I use Claude Code (Meta Staff Engineer Tips), там 50 tips по использованию Claude Code в CLI, многие достаточно удобные и полезные. Очень рекомендую. PS Не знаю это хорошо или плохо, но я написал 0 строчек кода с начала года. Будем считать, что иду в ногу со временем. И даже PR я уже сам не делаю, использую CLI утилитку gh для GitHub. Она может и PR писать, и GitHub Actions запускать. У каждого инструмента есть свой CLI. А что мне остается? • Архитектура решения • Принятия решения • Выбор инструментов • Создание framework/pattern, в котором AI агент может делать простые задачки Поэтому инвестиция в Claude Code это прям лучшая трата денег. Хотя есть одна область, где прям совсем все плохо - попросил придумать MonteCarlo Monitors (проверка качества данных) - тут очевидно все плохо, не может понять, что проверять, зачем и как. Да я и сам не знаю. PPS Общался с руководителем аналитики в РФ компании, он всем своим аналитикам оплачивает Claude Code. Раньше был Cursor, но переехали. Вот это уровень! IT Дайджест с Новиковым

Who will be the first CIO fired for AI agent havoc? - с таким заголовоком вышла статья на CIO издательстве. Вот как AI заменит руководителей в прямом смысле… Краткое содержание статьи

Статья посвящена рискам неконтролируемого внедрения ИИ-агентов в крупных компаниях и угрозе увольнения CIO (ИТ-директоров) из-за последствий их работы. Ключевые тезисы: • Прогноз IDC: К 2030 году до 20% из 1,000 крупнейших компаний столкнутся с судебными исками, регуляторными штрафами или увольнением CIO из-за сбоев, вызванных неуправляемыми ИИ-агентами. • Проблема каскадных ошибок: Когда несколько ИИ-агентов работают совместно, ошибка одного может лавинообразно усиливаться — остальные агенты действуют на основе ошибочного результата, создавая «бесконечный цикл». • FOMO как драйвер: Многие компании спешат внедрять ИИ-агентов из страха отстать от конкурентов, не уделяя должного внимания управлению и контролю. • Юридические последствия: Для исков не нужны новые законы об ИИ — существующие правовые нормы (например, HIPAA) уже применимы. ЕС будет активно штрафовать за нарушения приватности, штаты США тоже могут принять регулирование. • Угроза для CIO лично: Совету директоров достаточно задать один вопрос — «Что именно делают наши ИИ-агенты?» — и если CIO не может ответить, его карьере конец. Потеря доверия совета происходит за секунды, в отличие от судебных процессов, которые тянутся годами. Рекомендации: • Вести полный реестр работающих агентов • Обеспечить аудит-трейл от действия агента до бизнес-результата • Включать человека в контур для чувствительных задач • Добавлять «трение» для необратимых действий • Проводить учения и заранее определять «красные линии» • Делать процессы управления максимально прозрачными Главный вывод: Агентный ИИ не создаёт новых принципов управления — он лишь резко повышает цену их игнорирования. CIO, который сможет показать чёткие контроли и журналы аудита, будет в гораздо лучшем положении, чем тот, кто скажет «это система сделала сама».

Здесь не поспоришь, кому-то надо будет отвечать за vibe-coding, за утечку данных и другие прелести быстрой разработки. Open AI и Antropic должны выпустить отметку, что это только не компетентные CIO уйдут, их заменит AI, а компании станут лучше, ведь, что вас не убьет - сделает сильней. IT Дайджест с Новиковым

Года два назад я писал про глобальную экспансию - increase global presence. Тогда я застал это в Microsoft и в Okta, когда менеджеры говорили открыто, что задание нанять 2х индусов, вместо одного Американца, так как дешевле. Походу сейчас тренд меняется, в одно большой публичной компании закрыли офис в Индии и сократили всех разработчиков. Офис оказался неэффективным и одна из проблем была, что большая текучка кадров, то есть приходят, работают, но условия плохие и увольняется. И в целом оказалась, дешевая рабочая сила не сильно помогла компании. PS наверно едут в Москву дворниками. IT Дайджест с Новиковым

Замечательно, согласно мужичкам из All-In подкаста, уже сейчас токены становятся дороже инженеров. Они сжигаются очень быстро и очень много, а результат не всегда предсказуемый и правильный. Хотя сейчас в целом мало кто пользуется агентами, в основном инженеры, но не большинство. Дополнительно AI агенты едят токены сами по себе на разных псевдо полезных интеграциях. Прямо сейчас у меня открыт AI gateway Requestly.io который пропускает весь трафик Claude code и считает токены, заодно хранит мою переписку с AI (менеджерам на заметку). И я вижу сколько долларов я сжег пока гонял Get Shit Done из прошлого поста, чтобы придумать как заменить Montecarlo из позапрошлого поста. Пора пойти сделать, что-то полезное за день. IT Дайджест с Новиковым

Познакомился сегодня с библиотекой Get Shit Done Это лёгкая и мощная система мета-промптинга, контекстной инженерии и спецификационно-ориентированной разработки для Claude Code, OpenCode и Gemini CLI. Какую проблему решает? GSD решает проблему «context rot» — деградации качества ответов ИИ по мере заполнения контекстного окна. Когда вы описываете задачу ИИ и он генерирует код, результат часто получается нестабильным и разваливается при масштабировании. GSD выступает прослойкой контекстной инженерии, которая делает Claude Code надёжным. Как это работает? Рабочий процесс состоит из цикла: Инициализация проекта (⁠/gsd:new-project) — описываете идею, система извлекает всё необходимое, создаёт ⁠PROJECT.md, ⁠REQUIREMENTS.md, ⁠ROADMAP.md, ⁠STATE.md Обсуждение фазы (⁠/gsd:discuss-phase) — система выявляет «серые зоны» и уточняет ваше видение, формируя ⁠CONTEXT.md Ради интереса попробую использовать для какой-нибудь задачи. IT Дайджест с Новиковым

В последние несколько дней мне попались несколько интересных примеров/вопросов, которые могут возникнуть в любой компании. 1️⃣ Мы платим Montecarlo 100k$ в год за всякие data quality, observability. Dbt tests не работают, так как нужен UI, чтобы не технические пользователи смогли сами все сделать. Нужно взять Claude Code и создать агентов, чтобы они сами все проверяли и писали SQL и если нужно, можно это все где-то хостить и добавить красивый UI. Я подумал, ну реально дураки, платят 100к в год вендору, а Claude Code все на раз-два завайбкодит. Заодно можно попросить отвайбкодить Snowflake, HighTouch, Airflow, Fivetran и другое=) В этой ситуации видны хотелки менеджеров. Вам Claude, не чтобы за вас работу делать, а чтобы вы заменили вендоров. Это же AI, он все может…. 2️⃣ PM кто кайфует от Claude Code и уже сам может делать end-to-end одноразовые дашборды поверх google sheets, заявил, что нам бы надо использовать Make .com или Zappier .com, чтобы накрутить всякие там автоматизации, и все быстренько работало, но то есть куяк-куяк и в продакшн, то есть надо быть AI-first + serverless. А я вот со своим традиционным дата инжинирингом замедляю прогресс. А то, что половина его хотелок уже давно в дашбордах, это уже не принципиально. Негоже современному продукт менеджеру пользоваться технологиями из прошлого. И вот непонятно, неужели data engineering уже такой bottle neck для бизнеса. По мне чувак вообще одноразовую фигню какую-то придумал. 3️⃣ Последний пример был не про AI, и он больше как открытый вопрос. Возьмем любой стартап, у кого еще аналитика в начальной стадии. Как бы я сделал - добавил Airflow, dbt и там уже по ходу смотрел, где чего добавить. Все просто и понятно, любой человек без опыта научится за несколько месяцев. Но у этой истории есть альтернатива - взять managed Kubernetes на облаке и туда вставить open source Kafka и все остальное, чтобы данные летали в real time, и все было по взрослому и на долгую перспективу. Нужно или не нужно это не самое главное, главное, что теоретически в будущем когда компания вырастит, будет круто иметь все в real-time и можно всякие интеграции бизнесовые делать. Этот кейс интересный, ведь когда компания выбирает для себя путь, особенно если у нее есть возможность использовать западный стек, от первоначального выбора будет зависеть очень много. Мой подход был всегда использовать такие решения для конкретных кейсов, но технически реально сразу его использовать для всего, только вопрос, стоит ли это того или нет. IT Дайджест с Новиковым