Архитектор Данных

Кое-кому выбило главного конкурента по основному продукту Кому война, кому …

Сегодня минус Магнит, Ламода, Вкусноточка, Додо, много еще ритейла, мое КХД на 10 ТБайт и облачный рынок России.

Трейдерское Яндекс - ЦОД в Калуге, Владимире, Ярославе, Рязани. ВК - ЦОД на Коровинском шоссе, Медведково, Гознаке, Угрешская (этот вообще рядом со сборным пунктом военкоматов Москвы) Не знаю, есть ли более безумная позиция чем шорт Яндекса и лонг ВК, но география ее диктует. Ранее в разделе трейдерское #трейдерское ————————————- Архитектор Данных

Труба (

Продолжаем хроники Ночью моя небольшая но гордая платформа данных легла полностью 🫥🫥🫥 В предыдущих сериях я горевал про сложные и хрупкие эксекуторы в АФ. Сейчас проблемы будут другого рода. Нет ни АФ ни вообще никаких эксекуторов. КХД, витрин и отчетов тоже нет, ну и ладно, кому они нужны, когда основное приложение мучительно борется за жизнь, тестируя в проде механизмы мультиклакда и DR.

Очень очень хорошая идея держать кронтаб, который в режиме graceful degradation при недоступности куберов, аэрфлоу и других сложных сервисов, обновит хотя бы базовые отчетные витрины. Вам зачтется. Переливки простых данных баш скриптами + последовательные dbt run. И git pull ветки master свежий иметь. Мотаем на ус, дни когда работает Яндекс.Дрон, даны нам для этого.

Лежим в Airflow потому что на нем натянут KubrrnetesExecutor, а куберам плохо. Был бы он развернут в виртуалке, все бы замечательно работало на LocalExecutor-ах. Таски по большей части DbtRunTestOpetator, ну может кое-где легаси пандасы небольшие остались. И вот мы чтобы пнуть DBT Selector тянемся в кубер за подом. А кубер при авариях падает первым и поднимается последним, потому что чем сложнее система тем более она хрупкая. Не переинжиниривайте на ровном месте, дамы и господа.

Моя дата инфра частично лежит вслед за Яндекс облаком. А у вас как дела? 👉

На день Учителя Недавно в архиве нашел фото, где два полковника стоят в почетном карауле у мемориальной доски директору их школы. На фото полковникам лет 60-70, один из них - мой дед. Потому что Учитель. Тренеры по гимнастике моих девочек младше меня примерно вдвое, но к ним обращаешься по имени-отчеству. Потому что Учитель. Мне в свое время повезло встретить людей, кого можно назвать Учитель (сенсей - самое уважительное обращение в Японии). Человек, который мог бы сказать толпе отбитых от гормонов малолеток перестать что-то делать, и они бы перестали. Потому что Учитель, сказал: это неправильно. Половина преподавателей в университетах приходили к нам не потому что им платят зарплату. Зарплаты там смешные. Пытаюсь и я когда-нибудь стать чем-то похожим. Пока правда, руками надо что-то делать, другая фаза.

Пока накапливается все больше докладов и проектов с миграцией с гринплама на ДЛХ (Скиллбокс, Лемана, ВБ и другие), ребята мужественно обновляют ГП до хотя бы Postgres-14. Постгрес 14 это 2021 год, если что. Но у большинства все еще Greenplum v6 на основе Postgre 9.4 года так 2014-го (!) Ох нелегкая эта работа, вытаскивать мамонта из болота. Но когда ты Аренадата, других вариантов нет.

О настоящей цене Селф-Сервис Аналитики У народа нет хлеба? Пусть едят пирожные! Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис! Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой. 12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал Дополнения списка в комментариях - приветствуются. P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.

О настоящей цене Селф-Сервис Аналитики У народа нет хлеба? Пусть едят пирожные! Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис! Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой. 12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал Дополнения списка в комментариях - приветствуются. P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.

Разговоры на Архитекторском - Выпуск 5 с Алмазом Хайфуллиным Тема: опыт переезда КХД с Greenplum на Data Lakehouse В августе мы с Алмазом записали отличный стрим про опыт переезда команды Скилбокс на Lakehouse (Trino-Iceberg-S3). Наконец, выкладываю запись. Во время стрима у нас случилась накладка, и облачная запись Zoom приказала долго жить. Поэтому первая треть записи теперь в формате листинга слайдов. Оставим этот момент как эксклюзив для тех, кто был на стриме воочию - чем-то же надо их наградить! Как мне кажется, полезной информации в видео очень много. Не буду совсем уж спойлерить, но вот некоторые темы 1️⃣ Как организовать сырой слой данных так, чтобы не бояться миграций. И не бояться выключать старое КХД, когда миграция подходит к концу. 2️⃣ Как быстро подцеплять новые данных в паркетах под формат Iceberg с использование нескольких разных мета-каталогов 3️⃣ Какие операторы для Airflow написать для облегчения процесса работы с Lakehouse. Ни и вишенка на торте - реальная экономика нового КХД в сравнении с Greenplum! Как уже начать смотреть на разных платформах Ссылки: ВК Видео - https://vkvideo.ru/video-228742675_456239043 ЮТ - https://www.youtube.com/watch?v=ROuJc3PTH6Y Также рекомендую посмотреть другие видео плейлиста "Разговоры на архитекторском". Мы с гостями старались! https://vkvideo.ru/playlist/-228742675_6 Подпишитесь на все каналы (если еще нет) 📱 Телеграм 📱 ВК Видео 📱 Youtube

Ода эффективным менеджерам «Это мне ИИшка посчитала, я не знаю, как и почему» От создателей: «Этот слайд мне аналитик прислал, у него и спрашивайте»

На инфографике вы, дорогие коллеги, можете увидеть наше светлое будущее. График составлен (через Off The Charts от The Economist) на базе скандального свежего китайского исследования 27 000 школьников (7-12 класс) — «The Generative AI Learning Penalty: Evidence from Chinese Secondary Education». Суть исследования: школьники, которые не использовали ИИ, составили контрольную группу, а китайские исследователи наблюдали за результатами тех, кто ИИ начал использовать в процессе обучения. Результат: школьники, которые использовали ИИ, стали выполнять домашние задания заметно быстрее (на 30%) и получать за него гораздо более высокие оценки (на 18%), но их результаты на вступительных экзаменах стали заметно хуже (минус 18-24%). Об этом написали ведущие СМИ планеты. Но вашего покорного слугу в этих результатах заинтересовал не этот (кмк, абсолютно самоочевидный чисто из базовых знаний о человеческой психике и природе) вывод, а заинтересовал противоположный («правый») хвост распределения результатов. Посмотрите: у «пользователей ИИ» количество тех, кто справился с экзаменами очень-очень сильно лучше среднего, не увеличилось, а если брать только «лучше среднего» (без самых топовых результатов), то уменьшилось. Любимый многими тезис о том, что «дурак с ИИ потупеет, но зато умный поумнеет вообще невероятным образом», оказался экспериментально опровергнут на огромной выборке очень мотивированных (это же Китай!) умников (это же Китай!) с хорошей генетикой (это же Китай!) и с максимальным социокультурным давлением в плане достижения высоких академических результатов. Получается, что ИИ, помимо массового отупения (т.е. любую работу в будущем будут делать быстрее, но хуже), может дать «самым умным» некоторое количество «объёма» (больше продакшена на единицу времени), но не больше качества — но даже это в самом лучшем и топовом случае. Человечество ближайшего будущего будет намного тупее, а потом (ещё и в силу демографических проблем) — намного малочисленнее. Это плохая новость. Хорошая новость — редко в человеческой истории социальные лифты для умных/волевых работали так хорошо — перед нами вероятный цифровой эквивалент Великой Чумы, только вместо того, чтобы выкосить четверть-треть населения, она сделает им перманентный «штраф к когниции» за привычку к ИИ. Кстати, абсолютно уверен, что в реальности результаты будут хуже, чем в китайском исследовании: вне КНР культура самопринуждения намного менее развитая, плюс это всё-таки были китайские дети 7-12 класса, а что будет с поколениями, которые с ИИ-шками всё решают ещё до обучения чтению и письму (голосом) — страшно себе представить. P.S.: Ваш покорный слуга продолжает экспериментировать с «должностными инструкциями» для типовых (которые обычно поручаются интернам) задач, используя self-hosted модели ИИ (сейчас на моём Nvidia Spark работают или турбированный и децензурированный Qwen 3.8, или перепиленная Thomson Reuters версия Qwen 3.6 или Gemma 4), заодно сравнивая результаты (у меня есть базовый «бенчмарк-стек» разных аналитических задач) с перформансом топовых западных моделей. Чем дальше, тем сильнее убеждаюсь в том, что «должностная инструкция» (не промпт, именно инструкция — «как сделать, что учитывать, на что обращать внимание») легко и с большим запасом перекрывает (т.е. не компенсирует, а «догнать и перегнать и обогнать на круг») разницу между китайскими «open weight» и американскими фронтир-моделями (для аналитических задач из реального мира, это не про кодинг). При этом пока их работа не дотягивает даже до уровня умного (пускай умно-ленивого) интерна, т.е. сделано старательно, но тупо. Стохастические попугаи думать не умеют, но их можно использовать (при нужной тренировке) как аналог поисковика. ИИ — это не «цифровой бог», это аналог станка Гутенберга. На длинной дистанции важна не эффективность ротационной машины, расход чернил или красота офсетной печати, а смысл самого текста. Со смыслом у человечества будут сложности. Как с генерацией, так и с восприятием.

Пользовательские соглашения наконец начали читать. Раньше пользовательские соглашения никто не читал. Это даже посчитано: по опросу Deloitte 2017 года 91% американцев принимают условия, не читая. Теперь их поручают прочитать искусственному интеллекту 🙂 Вставить текст в чат и спросить модель, что тут не так, — дело минуты. В итоге вопросов к нам в поддержку по разным пунктам соглашения стало резко больше 🙂 Приходится теперь больше думать, когда его пишешь и публикуешь. #ИИ #бизнес

Когда я даю кандидатам тестовое Даю когда человек без супер скилов и резюме. Тогда ТЗ это шанс для кандидата продемонстрировать волю к победе и за счет этого закрыть гэп по резюме. В первом абзаце скоро напишу, что при выполнении действует политика Zero-AI. То есть используй конечно, но так чтобы я это не спалил за первые 10 секунд 😎

Отказ по вакансии за использование ИИ в тестовом https://t.me/bdsmmchannel/1365 Не подрывайтесь на этом. Уточняйте хотя бы - какие предпочтения по ИИ на той стороне. Они могут быть разные. Когда пишете огромную простыню, ловите подозрение в ИИ генерации. Короткий лаконичный ответ на страницу - признак премиальной крафтовости и Зеро-ИИ

SQLite написал один человек. Написал бы он в одиночку Postgres если бы использовал LLM?