IT Дайджест с Новиковым

Databricks is no longer about tuning knobs - отличную тему поднял Zach. Это тот Зак, который уже млн 3$ заработал на курсах по Data Engineering. Его bootcamp стоит 1500$ с носа + подписка и онлайн курсы. Вот что значит есть аудитория. Зак утверждает, что Databricks постепенно отходит от дата-инженеров в сторону аналитиков и менее технических пользователей. Три ключевых аргумента:

Физическое моделирование данных больше не нужно — Databricks заменил ручное партиционирование, сортировку и бакетирование автоматическими инструментами (Liquid Clustering, Predictive Optimization), лишив инженеров контроля. Покупка Tabular за $1B+ замедлила развитие Iceberg — управляемые Iceberg-таблицы в Databricks урезаны: нет скрытого партиционирования, ручной компактификации файлов, управления снапшотами. Всё подталкивает к «магии Databricks» вместо явного контроля. Бизнесу не нужны дата-инженеры — ему нужен результат — компании хотят быстрые дашборды, работающие модели и дешёвые пайплайны, а не споры о стратегиях партиционирования. AI + платформа заменяют дорогих специалистов. Вывод: рынок вознаграждает абстракцию, а не контроль. Маятник качнулся в сторону аналитиков, близких к бизнесу, а экспертам по распределённым системам становится всё сложнее найти своё место.

Про iceberg и Tabular реально обидно. Вообще, все используют Delta на Databricks и не сильно заморачиваются про Iceberg. Я тоже считаю, что учиться надо на реальных вещах - партиции, компрессия и тп. Это классно, когда вендор может сделать magic, но лучше понимать, что происходит под капотом. На собеседовании вас это именно и спросят. IT Дайджест с Новиковым

Сейчас мой типичный workflow выглядит так: 1. У меня появляется вопрос или идея 2. Я открываю Claude Code CLI 3. Прошу сделать research на заданную тему и сохранить в Markdown 4. Открываю Google Doc -> Paste from Markdown И получаю хороший документ. Я скидывал про курс по Claude Code, которого будет достаточно, чтобы начать и привыкнуть к CLI и интерфейсу. Сегодня посмотрел очень хорошее видео - How I use Claude Code (Meta Staff Engineer Tips), там 50 tips по использованию Claude Code в CLI, многие достаточно удобные и полезные. Очень рекомендую. PS Не знаю это хорошо или плохо, но я написал 0 строчек кода с начала года. Будем считать, что иду в ногу со временем. И даже PR я уже сам не делаю, использую CLI утилитку gh для GitHub. Она может и PR писать, и GitHub Actions запускать. У каждого инструмента есть свой CLI. А что мне остается? • Архитектура решения • Принятия решения • Выбор инструментов • Создание framework/pattern, в котором AI агент может делать простые задачки Поэтому инвестиция в Claude Code это прям лучшая трата денег. Хотя есть одна область, где прям совсем все плохо - попросил придумать MonteCarlo Monitors (проверка качества данных) - тут очевидно все плохо, не может понять, что проверять, зачем и как. Да я и сам не знаю. PPS Общался с руководителем аналитики в РФ компании, он всем своим аналитикам оплачивает Claude Code. Раньше был Cursor, но переехали. Вот это уровень! IT Дайджест с Новиковым

Who will be the first CIO fired for AI agent havoc? - с таким заголовоком вышла статья на CIO издательстве. Вот как AI заменит руководителей в прямом смысле… Краткое содержание статьи

Статья посвящена рискам неконтролируемого внедрения ИИ-агентов в крупных компаниях и угрозе увольнения CIO (ИТ-директоров) из-за последствий их работы. Ключевые тезисы: • Прогноз IDC: К 2030 году до 20% из 1,000 крупнейших компаний столкнутся с судебными исками, регуляторными штрафами или увольнением CIO из-за сбоев, вызванных неуправляемыми ИИ-агентами. • Проблема каскадных ошибок: Когда несколько ИИ-агентов работают совместно, ошибка одного может лавинообразно усиливаться — остальные агенты действуют на основе ошибочного результата, создавая «бесконечный цикл». • FOMO как драйвер: Многие компании спешат внедрять ИИ-агентов из страха отстать от конкурентов, не уделяя должного внимания управлению и контролю. • Юридические последствия: Для исков не нужны новые законы об ИИ — существующие правовые нормы (например, HIPAA) уже применимы. ЕС будет активно штрафовать за нарушения приватности, штаты США тоже могут принять регулирование. • Угроза для CIO лично: Совету директоров достаточно задать один вопрос — «Что именно делают наши ИИ-агенты?» — и если CIO не может ответить, его карьере конец. Потеря доверия совета происходит за секунды, в отличие от судебных процессов, которые тянутся годами. Рекомендации: • Вести полный реестр работающих агентов • Обеспечить аудит-трейл от действия агента до бизнес-результата • Включать человека в контур для чувствительных задач • Добавлять «трение» для необратимых действий • Проводить учения и заранее определять «красные линии» • Делать процессы управления максимально прозрачными Главный вывод: Агентный ИИ не создаёт новых принципов управления — он лишь резко повышает цену их игнорирования. CIO, который сможет показать чёткие контроли и журналы аудита, будет в гораздо лучшем положении, чем тот, кто скажет «это система сделала сама».

Здесь не поспоришь, кому-то надо будет отвечать за vibe-coding, за утечку данных и другие прелести быстрой разработки. Open AI и Antropic должны выпустить отметку, что это только не компетентные CIO уйдут, их заменит AI, а компании станут лучше, ведь, что вас не убьет - сделает сильней. IT Дайджест с Новиковым

Года два назад я писал про глобальную экспансию - increase global presence. Тогда я застал это в Microsoft и в Okta, когда менеджеры говорили открыто, что задание нанять 2х индусов, вместо одного Американца, так как дешевле. Походу сейчас тренд меняется, в одно большой публичной компании закрыли офис в Индии и сократили всех разработчиков. Офис оказался неэффективным и одна из проблем была, что большая текучка кадров, то есть приходят, работают, но условия плохие и увольняется. И в целом оказалась, дешевая рабочая сила не сильно помогла компании. PS наверно едут в Москву дворниками. IT Дайджест с Новиковым

Замечательно, согласно мужичкам из All-In подкаста, уже сейчас токены становятся дороже инженеров. Они сжигаются очень быстро и очень много, а результат не всегда предсказуемый и правильный. Хотя сейчас в целом мало кто пользуется агентами, в основном инженеры, но не большинство. Дополнительно AI агенты едят токены сами по себе на разных псевдо полезных интеграциях. Прямо сейчас у меня открыт AI gateway Requestly.io который пропускает весь трафик Claude code и считает токены, заодно хранит мою переписку с AI (менеджерам на заметку). И я вижу сколько долларов я сжег пока гонял Get Shit Done из прошлого поста, чтобы придумать как заменить Montecarlo из позапрошлого поста. Пора пойти сделать, что-то полезное за день. IT Дайджест с Новиковым

Познакомился сегодня с библиотекой Get Shit Done Это лёгкая и мощная система мета-промптинга, контекстной инженерии и спецификационно-ориентированной разработки для Claude Code, OpenCode и Gemini CLI. Какую проблему решает? GSD решает проблему «context rot» — деградации качества ответов ИИ по мере заполнения контекстного окна. Когда вы описываете задачу ИИ и он генерирует код, результат часто получается нестабильным и разваливается при масштабировании. GSD выступает прослойкой контекстной инженерии, которая делает Claude Code надёжным. Как это работает? Рабочий процесс состоит из цикла: Инициализация проекта (⁠/gsd:new-project) — описываете идею, система извлекает всё необходимое, создаёт ⁠PROJECT.md, ⁠REQUIREMENTS.md, ⁠ROADMAP.md, ⁠STATE.md Обсуждение фазы (⁠/gsd:discuss-phase) — система выявляет «серые зоны» и уточняет ваше видение, формируя ⁠CONTEXT.md Ради интереса попробую использовать для какой-нибудь задачи. IT Дайджест с Новиковым

В последние несколько дней мне попались несколько интересных примеров/вопросов, которые могут возникнуть в любой компании. 1️⃣ Мы платим Montecarlo 100k$ в год за всякие data quality, observability. Dbt tests не работают, так как нужен UI, чтобы не технические пользователи смогли сами все сделать. Нужно взять Claude Code и создать агентов, чтобы они сами все проверяли и писали SQL и если нужно, можно это все где-то хостить и добавить красивый UI. Я подумал, ну реально дураки, платят 100к в год вендору, а Claude Code все на раз-два завайбкодит. Заодно можно попросить отвайбкодить Snowflake, HighTouch, Airflow, Fivetran и другое=) В этой ситуации видны хотелки менеджеров. Вам Claude, не чтобы за вас работу делать, а чтобы вы заменили вендоров. Это же AI, он все может…. 2️⃣ PM кто кайфует от Claude Code и уже сам может делать end-to-end одноразовые дашборды поверх google sheets, заявил, что нам бы надо использовать Make .com или Zappier .com, чтобы накрутить всякие там автоматизации, и все быстренько работало, но то есть куяк-куяк и в продакшн, то есть надо быть AI-first + serverless. А я вот со своим традиционным дата инжинирингом замедляю прогресс. А то, что половина его хотелок уже давно в дашбордах, это уже не принципиально. Негоже современному продукт менеджеру пользоваться технологиями из прошлого. И вот непонятно, неужели data engineering уже такой bottle neck для бизнеса. По мне чувак вообще одноразовую фигню какую-то придумал. 3️⃣ Последний пример был не про AI, и он больше как открытый вопрос. Возьмем любой стартап, у кого еще аналитика в начальной стадии. Как бы я сделал - добавил Airflow, dbt и там уже по ходу смотрел, где чего добавить. Все просто и понятно, любой человек без опыта научится за несколько месяцев. Но у этой истории есть альтернатива - взять managed Kubernetes на облаке и туда вставить open source Kafka и все остальное, чтобы данные летали в real time, и все было по взрослому и на долгую перспективу. Нужно или не нужно это не самое главное, главное, что теоретически в будущем когда компания вырастит, будет круто иметь все в real-time и можно всякие интеграции бизнесовые делать. Этот кейс интересный, ведь когда компания выбирает для себя путь, особенно если у нее есть возможность использовать западный стек, от первоначального выбора будет зависеть очень много. Мой подход был всегда использовать такие решения для конкретных кейсов, но технически реально сразу его использовать для всего, только вопрос, стоит ли это того или нет. IT Дайджест с Новиковым

Вчера еще была статья в комментах про то, как команда выкинула нафиг весь код и open source и людей, которые писали этот корявый код (и не важно с AI или без). https://medium.com/@reliabledataengineering/dbt-databricks-the-combo-that-cut-our-data-team-from-12-to-5-engineers-be97e83fa7cb Очень интересный сценарий, на заметку боссам и CDO. Но в РФ реалиях это не работает. Я кстати вспомнил, что в прошлом году общался с VK и там была позиция на Max типа CTO/CDO платформы, но надо было закрыть ее в декабре. Вообще место хорошее, ведь этот человек может реально попробовать повлиять на качество сервиса и пилить самую современную дата платформу и заодно модернизировать VK Cloud и развивать их любимый Lakehouse + Iceberg. Думаю так все ок с бюджетами. Но я бы хотел смотреть в сторону managed DuckLake или пилить аналог Databricks (Compute + Notebooks + Data ingesting + ML + pipelines) и все это с интерфейсом в YML. IT Дайджест с Новиковым

А вот мой Fivetran - 20 аквтиных подключений и пример Snowflake (январь 2026), который еще не только обрабатывает Fivetran 20 источников, а еще есть Azure Data Factory и там очень много данных из Azure SQL и CosmosDB. Это лишь один из Fivetran и Snowflake, просто тут я знаю всю от и до. Перекинуть все на dlt или даже написать Python можно, но это время и никак не повлияет на меня. Главное преимущество Fivetran - это сервис. Он сам все делает, я вообще туда не захожу. С Airbyte и Meltano OS я работал, это было вечное ковыряние в коде и куча багов (еще до AI мира). IT Дайджест с Новиковым

Как же круто Opus 4.6 в исполнение Claude Code при поддержки dbt и MCP делает сравнение и проверки. Да еще, сам предложит улучшения. Раньше делали всякие кривые data diff и тп инструменты, а теперь просто просим сравнить Prod и измененный Dev. Если надо и док сгенерит и письмо напишет с объяснениями. Но как все замечают с AI вы работаете намного больше, вы просто не можете остановиться, ведь все ваши идеи и задачи превращаются в реальный результат. IT Дайджест с Новиковым

Расскажу, что мне удалось сделать вчера. На базе Surfalytics я могу экспериментировать, и у меня были в команде UX/UI-дизайнеры, SDE, маркетинговые эксперты, reels-мейкеры и т.п. У каждого была возможность за мой счёт реализовать их же идеи. Остановлюсь на примере SDE, а именно — разработке backend/frontend. Мы решили мигрировать с GitHub Pages и Zapier на Netlify (хостинг) и Supabase (бэк). Идея была простая — добавить личный кабинет и в нём сделать roadmap и множество других фич. Supabase оказался очень крутым продуктом — по сути это Postgres и множество фич: аутентификация, возможность запускать функции (как AWS Lambda) и т.п. Можно создавать новые таблицы и трекать разные активности. Товарищ смог справиться с миграцией as is, но дальше пока у нас не очень хорошо шло. Я решил поэкспериментировать. С помощью Claude Code я запустил сайт локально с подключением к Supabase prod и начал добавлять фичи и менять структуру Supabase и страницы сайта. У меня не было много времени, но я прифигел от результата. Даже мой SDE офигел от результата и попросил его научить. Я смог добавить визуализацию как у GitHub, которая показывает вашу активность. Пока это только логины в кабинет, но потом я смогу подключить активность в Discord. Но самое крутое — это как AI начал решать задачу вместе со мной для создания Roadmap. Мне нужно было сделать конфигуратор задач с описанием и возможностью сохранять результат в Supabase БД, и он справился. Я добавил несколько скринов. Параллельно с этим локально я развернул Airflow 3.1, чтобы выгрузить всю историю сообщений из Discord с 2023 года — там самый сок. Я знал про DuckLake, но не использовал. Ну как я? Claude Code постарался, учит меня родной. Я сделал себе DuckLake: • сторадж в S3 (копейки) • каталог в Neon Postgres (бесплатно) Я ещё экспериментировал с Open Source BI — долго пытался завести Evidence, но не сработало, переключился на Cube.js. Далее я подвяжу мой DuckLake на бэк и смогу обновить график активности. И сделать AI-интеграцию: • на базе всех сообщений сделать RAG и подвязать его к боту, который будет помогать в Discord и отвечать на базе прошлых сообщений • автоматически создавать Weekly Newsletter на базе переписок и статей, которые мы шарим (делать выжимку из статей) То есть задача — максимально мотивировать участников сообщества, чтобы не ленились и не расслаблялись. В целом наличие всего это никак не влияет на успех сообщества, но хочется реализовать свои идеи. И всё это возможно благодаря AI-разработке, где мне лишь достаточно иметь намерение. IT Дайджест с Новиковым

Автор известного блога про AI factory - Gas Town (не путать с районом Ванкувера) написал книгу Vibe Coding.

«Vibe Coding» — Стив Йегге и Джин Ким Книга о том, как генеративный ИИ радикально меняет разработку ПО. Авторы — ветераны индустрии (Йегге работал в Google, Amazon; Ким — автор бестселлера The Phoenix Project) — описывают новый подход, при котором программист не пишет код вручную, а описывает свои намерения ИИ-помощнику и наблюдает, как тот генерирует результат. Ключевые идеи: • Вместо синтаксиса — намерение. Разработка превращается в диалог с ИИ: вы объясняете, что хотите, а не как это реализовать. • Кратный рост продуктивности. Один человек может делать то, для чего раньше требовалась целая команда. • Свобода от ограничений. Можно уверенно работать с незнакомыми языками и фреймворками. • Качество сохраняется. Авторы дают практические стратегии, как применять подход и на маленьких проектах, и в масштабах предприятия, не жертвуя инженерной культурой. Для кого: • Опытные разработчики, желающие не отстать от ИИ-революции • Технические лидеры, ведущие команды через трансформацию • Бывшие программисты, возвращающиеся в профессию • Новички в разработке Главный посыл: вайб-кодинг — самый большой сдвиг в индустрии со времён интернета, и книга служит практическим руководством, чтобы в нём преуспеть.

Так же он встретился с Pragmatic Engineer, где обсудили влияние AI на инженеров:

1. Конец ручного кодирования и S-кривая Йегге признаёт, что поначалу был скептиком, но после знакомства с Claude Code полностью изменил мнение. Он убеждён, что индустрия находится на крутом участке экспоненциальной кривой, и каждая новая модель значительно превосходит предыдущую. Цикл выхода моделей сократился с ~4 месяцев до ~2. 2. «Ручка на 50%» — массовые сокращения Йегге предсказывает, что крупные компании уволят до 50% инженеров, чтобы оплатить ИИ-инструменты для оставшихся. Это будет масштабнее, чем сокращения эпохи пандемии. При этом снизу будет расти волна инноваций от маленьких ИИ-усиленных команд. 3. Восемь уровней принятия ИИ Йегге описывает спектр — от «без ИИ» (уровень 1) до «строишь собственный оркестратор агентов» (уровень 8). Промежуточные этапы: использование агента в IDE → режим YOLO → отказ от ревью диффов → работа с несколькими агентами параллельно → 10+ агентов вручную. 4. «Эффект Дракулы» — истощение от ИИ Вайб-кодинг на полной скорости физически выматывает. Йегге и его знакомые стартаперы начали засыпать днём. Его вывод: от инженера разумно ожидать не более 3 часов продуктивной работы с ИИ в день — но эти 3 часа дают в 100 раз больше результата. 5. Крупные компании обречены Инновации в больших корпорациях фактически мертвы — они не могут «переварить» возросшую продуктивность инженеров. Настоящие прорывы будут приходить от маленьких команд, как это было с появлением облаков. Крупные компании — «уже мертвы, просто ещё не знают об этом». 6. Ценности, которые устарели «Инженеры — особенные» — больше не работает. Умение писать код вручную перестало быть уникальным навыком, потому что ИИ делает это за нас. Но спрос на софт будет только расти, а роль инженера смещается к сотворчеству с ИИ. Главный посыл: ИИ — не замена инженерам, а усиление. Но те, кто застрянет на нижних уровнях принятия, рискуют остаться за бортом.

PS ну все, вы в теме всего движа в AI разработке ;) IT Дайджест с Новиковым

Написал пост про Python. Типа, что нужно знать в Python, чтобы работать с данными и как лучше его начать изучать. Как обычно, никакого hardcore. В модуле 0 Surfalytics есть такой же урок. А то все думают, что нельзя начать работу пока не станут экспертом по Python. https://blog.surfalytics.com/p/just-enough-python-for-data-roles PS в РФ конечно все наоборот, но если у вас есть Claude Code на работе, то вы не пропадете😊 IT Дайджест с Новиковым

Читая о том, как у чувака сломался ноутбук и он 3 года судился с магазином и все бесполезно сразу вспоминаю свой опыт с техникой, когда покупаешь кота в мешке, хоть и нового, и если повезет проблем не будет, а если будет, то шансы поменять или вернуть деньги практически нет. Да что там с техникой, мне кажется с одеждой и продуктами сложно. Вот принесете штаны возвращать, а их будут нюхать на кассе. Может быть сейчас уже по-другому. Первое время в Канаде мне казалось, что вернуть что-то в магазин — это целый подвиг. Но теперь я понимаю, насколько это просто. Здесь можно купить практически что угодно — даже машину — и вернуть, если не понравится. Некоторые покупают снаряжение для похода, используют его, а потом спокойно сдают обратно. И так во всём. Иногда доходит до абсурда: люди возвращают продукты — вскрытые упаковки — спустя месяцы. А Amazon Prime и вовсе забирает всё прямо из дома. Клиент всегда прав. Благодаря такой культуре возвратов есть отличный способ экономить — покупать товары категории Renewed/Refurbished со скидкой до 50%, включая технику Apple. Например, ноутбук Lenovo с процессором Core i7, 16 GB оперативной памяти и SSD на 512 GB обойдётся примерно в 450 CAD (около 28 тысяч рублей), тогда как в Москве аналог стоил бы, наверное, 100–150 тысяч. Идеальный вариант для работы. То же самое касается смартфонов на Android, iPhone, iPad, телевизоров и даже мебели. И всё это тоже можно вернуть. Однажды у меня не работал Google Pixel 7 — забрали без единого вопроса. IT Дайджест с Новиковым

Снова инсайты про зарплаты. Неизвестный банк ищет CDO с зп от 600т рублей. То есть человека, который будет сидеть на митингах, поддерживать tech debt и legacy, нанимать инженеров и аналитиков за 200т и тп. Зарплата говорит о многом, если компания экономит на сотрудниках, то она экономит на всем и всех и скорей всего коллектив токсичный. По крайней мере так 100% в Северной Америке. Так как крутые люди знают себе цену и хотят работать с хорошим стеком. Я всегда хотел думать, что CDO в уважаемой компании получает миллионы, ну хотя бы в месяц 1 млн на руки, а в год млн 20-30, даже на себя примерял такую зарплату. А тут 600т, лучше уже не публиковать вилку и держать ее в секрете. А вот Яндекс наоборот удивил- 680т, хоть и Гросс. Как-то был еще сбер с зарплатой 600т на старшего инженера. Как там по зарплатам в 2026 году? IT Дайджест с Новиковым

Поделюсь опытом создания Azure инфраструктуры для пет проекта. Сейчас у нас закончился проект Surfalytics, где я 2 часа рассказывал про Azure reference architectures и пример создания решения с и без агентов. Но запись не сработала😿 Вот, что я заказал у agent teams:

Отлично, теперь я использую команду для построения своего рода Azure Data Warehouse используя: Azure SQL Server как мою source database Azure CosmosDB как мою source NoSQL database Azure Postgres как мой data warehouse Azure Data Factory для загрузки данных из sources в Postgres (destination) Azure DevOps Repos для кода, мы можем подключить Azure DevOps для Azure Data Factory, а также для любых видов transformations. У меня есть account https://dev.azure.com/surfalytics/ вы можете начать с новой resource group в Azure ⁠rg-surfalytics-ai-agents и создать все resources. Убедитесь, что они находятся в одном Region. вы можете сгенерировать sample data в SQL Server как OLTP для SQL Server и Documents для CosmosDB мы выполнили az (Azure CLI) и он залогинен в Azure Subscription Вы можете использовать team of agents для разделения работы и убедиться, что у нас есть working solution в Azure.

Что сделал Claude Code Team Agents:

| Task                  | Status            | Agent          |
|-----------------------|-------------------|----------------|
| #1 Infrastructure     | Completed         | infra-agent    |
| #2 SQL Server data    | In progress       | data-agent     |
| #3 CosmosDB documents | Starting now      | infra-agent    |
| #4 Warehouse schema   | Completed         | infra-agent    |
| #5 ADF Pipelines      | Waiting on #2, #3 | pipeline-agent |
| #6 DevOps + CI/CD     | Waiting on #5     | pipeline-agent |

То есть создал 6 задач и несколько агентов, причем некоторые задачи могут выполняться параллельно. Что я получил на выходе и оценка от 1 до 5. • Azure Resource Group в которой создались все ресурсы - 5 • Azure CosmosDB с одной БД и 3мя контейнерами и JSON документами как sample - 5 • Azure SQL Server с новой базой данных и sample таблица - 5 • Azure Postgres (data warehouse) пустой - 5 • Azure Data Factory сам workspace - 5 • Использование Azure CLI для всех задач - 5 (и не нужен MCP) • Сохранить все в Azure DevOps Repo - 4 (даже не смотря на то, что это то как я хотел, но я не объяснил нормально) Теперь, где оказались проблемы • Когда все закончилось, я пошел в ADF и нашел pipelines, но они не работали, то есть где-то, что-то потерялось. Я попросил агентов починить, и они все починили. И тут я понял, что я не написал заранее про тестирование всего, что мы сделали. • Все пароли оказались прям в коде pipelines и я попросил использовать Azure Key Vault. Агент все сохранил в Azure Key Vault, но не обновил ничего внутри ADF. Опять же мой косяк, я не просил об этом. • Сами data pipelines были странные. В CosmosDB у меня было 3 таблицы, в Azure SQL у меня было 4 таблицы. И я хотел что-то вроде dimensional model. По факту он создал 3 pipelines с COPY activity. Тут был прям худший результат. Но и мой запрос был очень поверхностный. Дальше я попросил агентов добавить Watermark таблицу для инкрементальной загрузки и таблицу для логов запуска pipelines и поставить все на расписание. • Агенты добавил новый adf pipelines и добавил в каждый возможность logging (но я бы так не сделал бы) • Для SCD Агнеты сделали блоки с SQL командами INSERT/UPDATE, хотя INSERT блок назвали MERGE. Поэтому за часть Dimensional Modelling я поставлю 1, даже после моих подсказок он всё равно не выполнил то, что я просил. IT Дайджест с Новиковым

Ох уж эти агенты, невозможно оторваться! Сколько всего можно сделать, когда знаешь, как вежливо попросить AI сделать это за тебя: • новые Airflow DAGs • добавить новый источник данных Walmart API и встроить его в dbt модели в bronze/silver/gold, а также проверить, что ничего не сломалось • создать новый проект для Surfalytics, чтобы выгружать всю историю в JSON для автогенерации Weekly Emails и создания RAG на основе накопленных знаний • создать с нуля AWS хранилище данных на Redshift через AWS CloudFormation и подключить к нему dbt, чтобы через dbt-external-tables читать сотню таблиц, используя Redshift Spectrum — вообще целый проект миграции с on-premise на AWS под ключ можно сделать с AI • создать упражнения для последней главы нашей новой книги Azure Databricks Data Engineering, причём глава о ML и GenAI • создать Azure DevOps pipelines для Databricks и написать ко всему этому документацию • прочитать проектные документы и написать развёрнутые ответы • добавить интеграцию Plaid API в Airflow и dbt модели • накатать документацию по Subscription (это единственный прощальный проект, про который я писал, но решил сдаться) • изучить новую фичу Claude Code Agent Teams и запустить тест по созданию с нуля Azure Data Warehouse с Azure SQL Server, Azure CosmosDB, Azure Postgres, Azure Data Factory, Azure DevOps repos и pipelines. Я дал доступ к своему Azure аккаунту и поставил задачу создать всё самостоятельно — ещё создаёт. То есть если подождать немного, то уже не нужны всякие сложные GasTown, Multi Claude и т.п. У Cursor тоже есть Parallel Agents. Но у меня пока нет таких задач, где нужно вместе так рабоать, лучше просто режим YOLO и погнали 😤 Это что пришло в голову с ходу. Очевидно одно: с такими возможностями можно реализовать любую идею очень быстро. Не знаю как у вас, но у меня 80-90% работы идёт через AI. Со вчерашнего дня использую уже Opus 4.6. Конечно, где-то бывают затыки, но вместе с AI всё решаемо. Для всех Surfalytics members AI IDE — must have. Без AI, я бы тоже самое делал бы 5 недель. IT Дайджест с Новиковым

В одной большой компании, которая управляет большим капиталом (wealth management) внедряют Databricks, чтобы 1) модернизировать legacy 2) дать возможность партнерам использовать централизованную платформу 3) добавить ML и GenAI возможности В компании прям все очень грустно с точки зрения мотивации, люди просиживают штаны. Соотвественно, компания используют подрядчика. Подрядчик, пользуется этой слабостью компании и диктует свои условия. VP data&ai решил меня записать в advisory и показал мне price в час консультантов: Accountable Executive - $361 Engagement Lead - $309 Data Architect - $309 Data Engineer - $242 Senior Data & AI Engineer - $278 DevOps Architect - $309 Для сравнения в Канаде, если вы хотите работать как контактор, вы можете максимально получать 95-100$, даже если работать на прямую на компанию. А если на фирму прослойку, то это уже 55-65$. Вот такой вот беспредел. Особенно интересно смотреть на full time загрузку Engagement Lead, кто по факту просто выполняет роль PM и каждый день проводит standup. И самое печальное в этой истории, что сотрудники самой компании не использую возможность перенять опыт у дорогих консультантов и не хотят развиваться. И так как VP сидит высоко, а инженерам все-равно, получается, что VP покупает “кота в мешке” у консалтинговой компании, которая обещает AI звездолет (по методичке), и каждый новый проект начинается с чистого листа, даже если это продолжение прошлого проекта. Так как ознакомился со скоупом, я предложил кардинально другое решение, которое лучше и проще и заодно должно быть на 50% дешевле. Можно было и самим все сделать, но “таков путь” большого enterprise. IT Дайджест с Новиковым

Хороший update от эксперта в AI

Это заметки о том, как AI-ассистенты (особенно Claude) радикально изменили процесс программирования за последние месяцы. Основные идеи: Революция в рабочем процессе • Автор перешёл от 80% ручного кодирования к 80% работы через AI-агентов за несколько недель (ноябрь-декабрь 2025) • Теперь он буквально "программирует на английском языке", описывая словами, что должен делать код • Это самое большое изменение в его практике программирования за 20 лет Проблемы и ограничения • Модели всё ещё делают ошибки — не синтаксические, а концептуальные (как "торопливый джуниор") • Они делают предположения без проверки, не просят уточнений, не указывают на противоречия • Усложняют код без необходимости, раздувают абстракции, не убирают мёртвый код • Нужно следить за их работой в IDE Новые возможности • Выносливость: агенты никогда не устают и не деморализуются, могут работать над проблемой 30+ минут • Расширение возможностей: можно делать вещи, которые раньше "не стоили усилий", или работать с незнакомым кодом • Веселье: программирование стало интереснее, осталась только творческая часть Последствия • Атрофия навыков ручного кодирования • Грядущий "slopacolypse" (лавина низкокачественного AI-контента) в 2026 году • Вопросы о будущем: что станет с "10x инженерами"? Будут ли генералисты превосходить специалистов? Вывод: В декабре 2025 AI-агенты (Claude, Codex) пересекли порог когерентности, вызвав фазовый переход в софтверной инженерии. 2026 будет годом адаптации индустрии к этой новой реальности.

Мне особенно нравится секция “последствия”. IT Дайджест с Новиковым

Строчка из свежего job offer

Увольнения: В связи с экономическими или иными деловыми условиями Компания может временно отстранить вас от работы. Любое такое временное отстранение, при условии что оно соответствует требованиям ESA, не будет являться прекращением вашей трудовой деятельности или конструктивным увольнением.

Ну то есть если вы выходите на новую работу, у вас нет абсолютно никаких гарантий. Раньше я такой пункт не видел, а теперь это обычная практика. IT Дайджест с Новиковым