Архитектор Данных

Мощность подключённых к сети дата-центров в России достигла 5 ГВт, большая часть сосредоточена в Москве и Санкт-Петербурге — Замминистра энергетики Пётр Конюшенко Читать далее 👉 https://smartlab.news/i/203772 мы в max

Горжусь теми 151 подписчиками, кто выбрали Лейкхаус. Только не забудьте познакомиться с моделью безопасности. И особенностями комплаенса с ней тех сервисов, которые планируете использовать. Это я еще про крутилку S3 ключей для различных команд не вспомнил. И то что локейшены в одном каталоге можно (и наверняка понадобится) размазать по разным бакетам для ролевки. Потом на эти все художества смотрит ваш корпоративный кибербез в растерянном недоумении.

Безопасность в Iceberg-Lakehouse Берем Iceberg REST Catalog в виде Apache Polaris. Коннектим его к Трино как каталог. При этом передаем общие принципала и креды. Все подключается и успешно создаем, удаляем, работаем со схемами и таблицами. Теперь хотим подцепиться к тому же каталогу через PyIceberg. С теми же кредами. И Ловим 401 на попытке прочитать таблицу? Почему? Потому что PyIceberg честный и спрашивает креды на значимые действия с таблицей. Подчинаяется ролевой модели поляриса в этом плане. А трино просто взял metadata.json из каталога и пошел сам по S3 расшифровывать айсберговскую дату и метадату, никакого разрешения от каталога ему для этого не нужно. Ну и свою ролевую модель поверх наложил. Одна и та же таблица, одна схема подключения, но два представления о прекрасном от двух движков данных. Напоследок - доступные роли в Полярисе, грантов которых PyIceberg от нас ждет. Грантуется это исключительно через CURL. # Доступные права в поларис [ CATALOG_MANAGE_ACCESS, CATALOG_MANAGE_CONTENT, CATALOG_MANAGE_METADATA, NAMESPACE_CREATE, TABLE_CREATE, VIEW_CREATE, NAMESPACE_DROP, TABLE_DROP, VIEW_DROP, NAMESPACE_LIST, TABLE_LIST, VIEW_LIST, NAMESPACE_READ_PROPERTIES, TABLE_READ_PROPERTIES, VIEW_READ_PROPERTIES, NAMESPACE_WRITE_PROPERTIES, TABLE_WRITE_PROPERTIES, VIEW_WRITE_PROPERTIES, TABLE_READ_DATA, TABLE_WRITE_DATA, NAMESPACE_FULL_METADATA, TABLE_FULL_METADATA, VIEW_FULL_METADATA ] В другом каталоге Iceberg REST роли могут быть другие. В JDBC/Hive каталогах - вообще своя атмосфера.

Моя топовая история починки чего-либо тянулась нон-стоп 32 часа. Это был Greenplum заказчика, который несколькими последовательными командами gprecoverseg вывели в «нештатный» режим. Ночная смена под жестким sla плюс неудачное стечение обстоятельств. Через примерно час я сказал что кластеру хана и данным хана, и пошел восстанавливать из бекапа. Пока команда инцидента из 6 или 8 человек проходила стадии Отрицание-Гнев-Торг-Принятие, терабайты уже поднимались в резерв кластер. Потом звали вендора, искали причину, писали бумажки, клялись-божились что больше никогда-никогда. Нагоняли с заказчиком дельту из источников, крепились под нагрузку х4 от обычной. Перенастраивали DNS и все виды коннектов-фаерволлов на резервный кластер. Были веселые выходные. Бизнес-заказчик в понедельник увидел отчеты как ни в чем ни бывало. Записали как учения по отказоустойчивости 🤪

Насколько же правы оказались те, кто голосовали за Термояд. В нем, родимом проблема, а не в моделях и даже не в видеокартах. Точнее в розетке. Причем, это раньше было экономически непонятно, зачем нам 50-100 ГВт дополнительной энергии в одной точке. Это точка окупаемости термоядерной установки - есть ли вот столько платежеспособного спроса. Если есть, то строим, а если нет, то 4-6 блоков ВВЭР-1400 это предел, с чем можно связываться. Примерно объем, который съест крупная агломерация. А теперь вот он, есть у нас потребитель, который съест 100 ГВт, заплатит за них и еще попросит. Stay Tuned, Архитектор вернется снова с новыми опросами.

Прогноз потребления ЦОДов по миру. Российская энергосистема это порядка 1.2 ТераВатт-часов в год. График подрезал из большой статьи коллег про ситуацию с энергетикой ЦОД. Небольшие тезисы оттуда 1️⃣В Техасе, где очень много дешевого газа и цены на электричество исторически очень низкие введен мораторий на подключение новых ЦОД от губернатора. Так как энергосистема (Местный Россети и Энергосбыты) не справляются с нагрузкой. 2️⃣Очередь заявок на подключение в одной Техасе на 450 ГВт. Это две энергосистемы России. 3️⃣Есть большой дефицит промышленных турбин. То что преобразует тепло в электричество. Очередь уже на много лет. ЦОДы съедают людей. В Англии промышленной революции повышение производительности ткацкого станка в 40 тыс раз за пару поколений привело к тому, что фермеров сгоняли с сземли ради овец и шерсти. Тканая шерсть - это товар, его можно погрузить на корабль и продать за золото в любой точке мира. А крестьяне - ну что, перебьются как-то. Томар Мор написал что "Овцы съели людей" А у нас ЦОДы съедают людей. Выработанное электричество выгоднее пустить на нейронки, которые можно продать по всему миру. А то что электрухи не хватит в городах - ничего, перебьются как-то.

Больше всего удивляют люди, которые в жизни общаются языком корпоративных писем. «В рамках», «привлечь», «проработать задачу», «выстроить процессы». Камераден, нас никто не видит, объясни нормально, что ты хочешь. И вообще мы в баре, работа кончилась час назад. Язык партсобраний поражает слабых разумом.

Все дата инженерные проблемы обычно решаются дополнительным тестированием данных Кроме одной - избыточного тестирования данных

Дайджест статей 📰 Beyond the Dashboard (Booking.com) 🔗 https://medium.com/booking-com-development/beyond-the-dashboard-accelerating-real-time-intelligence-in-the-age-of-ai-6f1f0f9c123f 💡 «Talk to your data» переносит узкое место с дашбордов на семантический слой: определения под MR с двумя аппрувами, отдельный warehouse с таймаутами для агентов. Без этого conversational BI дороже статического. 📰 Data Lakehouse по-русски 🔗 https://habr.com/ru/articles/1073884/ 💡 Lakehouse оправдан только под измеримую дорогую проблему, а не под импортозамещение. Семь проблем, которые платформа не решает, три подхода к миграции. Обзор вендоров - по их же данным. 📰 Аналитика начинается не с дашборда 🔗 https://habr.com/ru/articles/1076978/ 💡 Отчёт проектируется от карточки решения (кто смотрит, что сравнивает, что делает дальше), таблица с пропусками раньше диаграммы. Эффект автор не измерял. 📰 Как мы искали способ подключить ИИ к своим данным 🔗 https://habr.com/ru/articles/1074406/ 💡 Для точных цифр из кубов MCP лучше RAG; каждое число обязано иметь источник в вызове инструмента или Run Code. Воспроизводимый стенд Ollama + Gemma4 + LibreChat. Источник данных - продукт авторов. 📰 Учим ИИ готовить датасеты для BI Битрикс24 🔗 https://habr.com/ru/companies/bitrix/articles/1074452/ 💡 Модель не пишет SQL, а выбирает ключи из каталога разработчика; сервер перепроверяет. Паттерн «каталог как источник правды + идемпотентная публикация с _v2» переносим. DevRel-контент, код открыт. 📰 Почему мы месяц копаемся в данных, прежде чем подключить ИИ 🔗 https://habr.com/ru/articles/1074878/ 💡 Rule-based → ML → LLM: детерминированный слой даёт результат сразу и копит лейблы через вердикты человека. Подрядчика оценивать по работе с происхождением данных. 📰 Многоуровневая память агентов в VK AI Space 🔗 https://habr.com/ru/companies/vk/articles/1074798/ 💡 Память как Markdown вместо векторной БД ради читаемости и compliance; инъекция через pre-hook вместо on-demand экономит токены. Вендорский текст, компромиссы описаны честно. 📰 Снова хороним BI. Из гроба стучит 🔗 https://habr.com/ru/articles/1075946/ 💡 Переносимой точности дата-агентов нет: смена диалекта режет Spider 2.0 вдвое, эталоны ошибочны в 53–66%, Anthropic без skills 21%, с ними 95%, без сопровождения 65% за месяц. Минимум: один домен, 20–50 evals из провалов, доки в том же PR, права до кода. Ключевой материал набора. 📰 Автономность ИИ-агентов в аналитике (перевод Pol Martí) 🔗 https://habr.com/ru/articles/1075472/ 💡 Автономность задаётся силой проверок: упал data quality check - агент уходит в propose-only, радиус ошибки считается по lineage. Контролёры сами входят в failure surface. 📰 Self-service BI с ИИ: свобода или хаос (Диасофт) 🔗 https://habr.com/ru/companies/diasoft_company/articles/1075918/ 💡 LLM сняли ограничение на скорость дашборда, но не на качество данных; компромисс - проверяемые артефакты как код. Вендорский текст, оценки «80% дашбордов - Excel» и «своя GPU в 5–10 раз дороже» не подтверждены.

Посмотрите видео чтобы почувствовать атмосферу типичного технического пресейла

Новости бигдаты Пишут, что бигдата добралась до курочек. Теперь всех пересчитают и всех каталогизируют. Кроликов и пчел год назад уже пересчитали Еще сегодня Перекресток меня попросил пачку чипсов через Честный знак прокатить. Растут наши возможности по управлению народным хозяйством!

Это вот оно

Двух рабочих на стройке спросили: Что ты делаешь? Один ответил: Таскаю бревна, укладываю кирпичи. Другой сказал: Я строю храм. ————————————————— Каков он, Храм, который ты строишь?

Упоминаемый движок Apache Comet дорос до версии 1.0.0 Что он делает - меняет среду исполнения внутри Spark с JVM на Rust без переделки прикладного кода джобов https://datafusion.apache.org/blog/output/2026/08/07/datafusion-comet-1.0.0/

01:15 - Улучшаем производительность нативного движка Spark 05:10 - Как исполняется код на Spark под капотом и его узкие места 08:45 - Векторизованная модель исполнения кода 10:39 - Comet - движок поверх Dafafusion + Arrow 27:10 - Интеграция Comet - Iceberg 31:36 - Как включить векторизованный движок при чтении Iceberg-Parquet

Об этапах собеса В процессе рекрутмента большой компании обязательно должен быть какой-нибудь кринж этап. Пусть кандидата на инженера данных собесит мобильный разработчик. И качает головой на незнание дата инженером архитектуры мобильного фронта и его фреймворков. Или ДБА цокает языком на незнание особенностей настройки редиса и монго. Сюда же систем дизайны всех видов, размеров и форм. На вопрос кандидата, что это такое и зачем все это, нужно отвечать только то, что так сложилось и такие у нас процессы. Мы-де люди маленькие, нам сказали сделать, мы и делаем. Зачем на самом деле? Очень просто - вам нужно отсекать людей, неустойчивых к корп маразму. И не восприимчивых к аргументам, что «так положено». Все равно такие у вас долго не протянут, так и смысл их нанимать.

Когда нанимаешься руководителем в большую сформированную команду - это как садиться доигрывать шахматную партию за кем-то другим. Приходится угадывать, почему фигуры стоят вот так и в чем был замысел. Насколько этот замысел хорош и стоит ли его развивать. И да, доигрывать выигрышную партию тебя никто не позовет. Выигрышную Доиграют сами. А в гринфилд проекте начинаешь играть с е2-е4, это проще.

Молния! Амазон купили DuckDB