Архитектор Данных

Абсолютно верно Ноль возражений если воспринимать это как АйТи ПТУ (вспоминаем как это расшифровывали). Недешевое правда.

Печальная правда СкиллПрактикумов. Вас учит Великий Сенсей за что-то вроде 500р в час.

- Кэп, ограниченный контингент аналитиков совершенно не справляется с потоком значимых задач бизнеса! - Ну так внедряй селф-сервис. От создателей: «Если у них нет хлеба, пусть едят пирожные».

Темные паттерны командообразования Прикрепить к заказчикам и коллегам прозвища, понятные только вам. В одной торговой компании у аналитиков один вице был «Бесноватый», другая - «Шальная Императрица». Ну а отдел соседей из коммерческого контроля, в которых через все наймы-увольнения и реорганизации многие годы работали исключительно девушки назывался… «Ночные ведьмы».

Мне нравится, что он 3 источника как минимум приложил

Про селлеров очень метко от Токовинина https://t.me/mtokovinin/707 Ты селлер на маркетплейсе, поздравляю, для платформы ты что-то вроде курьера в яндекс доставке. Тебе дают работать и заработать только потому что пока нельзя насытить доставку роботележками и дронами. И будешь ты зарабатывать ровно столько, чтобы ты с платформы не ушел и продолжал работать. Или чтобы вместо тебя потом пришел другой expendable белковый агент. Поэтому свою работу на МП стоит воспринимать как способ наработать клиентскую базу на свою площадку. Своя площадка элементарно делается, сейчас к услугам Тильда, Битрикс, Инсейл и куча других конструкторов. Вайбкодинг для продающих телеграм приложений. Все это несложно, стоит копейки. Хотя бы вот такие визитки начните в заказы вкладывать со своими соц сетями и настоящими площадками. Вот сайт, там те же товары, но дешевле чем на МП. Вот телега, инста, ВК со скидками. Вот подписка на емейл, там хорошие цены и товар дня.

«Место встречи ИИ» сценарий, черновик. Шарапов GPT Astra - под прикрытием Горбатый ТимЛид Промокашка Модный ИИ разработчик тимлид: Ну-ка, иди туда, покажи себя. астра: сюда что ли? В IDE? Тимлид: туда-туда Разработчик: давай, сбацай что-нибудь! Астра: играет 14 этюд Шопена Находит сингулярное решение систем Навье-Стокса при гладких начальных условиях! Разрабочик: Хе, это и я так могу! Астра: Так что ж сделать? Разработчик: Мурку! Микросервис по перекладке json! Астра: (Снисходительно ухмыляется и Делает) Разработчик (напевает): Джсоны, мои джсоны, джсоны-разджесоны. Я теперь вайбкодер супер-топ! ———————————- В коментах бессмертный оригинал. Там также продакт гладит по голове глубоко законспирированный дипсик.

Про Навьев, Стоксов и радости белкового бытия Мы подходим к точке, когда любая задача на размышление может быть решена грубой силой агентов. Вопрос стал в цене. Open AI высадил 10к агентов на решение задачи. Сколько они времени грызли гранит науки не сообщают, но полагаю что недели и месяцы. А у нас в стране всего 10-15к топовых видеокарт. А агент класса Астры это явно не 1 вк, а скорее ближе к 20. В итоге, готовы мы закоммитить все имеющиеся мощности на месяцы на решение одной математической задачи? А если не НС то что? Рассеяние плазмы в токамаке? Лопатки турбины двигателя 5 поколения с крейсерским сверхзвуком? Карта погоды на Севморпути? Обращения граждан на госуслугах? Оптимизация путей робокурьеров на улицах Москвы? Или для всего этого проще применить белковых математиков и физиков да пенсионеров-студентов-декретниц-узбеков с ФОТ 100 тыс рублей? Применять людей мы будем не потому что ИИ не может, а потому что люди дешевле и доступнее. Вот вы лично готовы закоммитить из своего бюджета 1 лям+ на парочку таких красавцев для Квен 3.8? Когда (не если) та же Астра станет стоить не $200 а $10000 и станет окончательно недоступна за пределами ЮЭсЭй? Или настучим микросервисы по старинке белковыми пальцами по пластиковой клаве? Такие радости белкового бытия.

Александр Изюмский в Линкедине пишет:

На днях мне предложили позицию Group CTO в Дубае. Вилка до $700K. Что было дальше? Письмо выглядело почти прилично: персонализация по моему CV, три конкретные роли в GCC, детальные вилки в дирхамах. По разным признакам я сразу понял, что это скам. Палец уже потянулся к кнопке «В спам». Но в письме была подпись и реальная ссылка на LinkedIn профиль. Стало любопытно, кто это. Профиль в LinkedIn был реальным. Настоящий HR-специалист, настоящей компании. Что же не так? Профиль без единой публикации при 800+ подписчиках. Стаж более 7 лет на текущем месте. При этом последняя активность в 2020 году. Загружаю линк в AI, и ресерч находит подтверждение: человека не стало ещё в 2021 году. Схема: мошенники находят заброшенный профиль покойного сотрудника известной компании, регистрируют почту с его именем и рассылают приманки с завышенными вилками. Проверить некого, опровергнуть некому. Дальше по сценарию: «анкета кандидата» с паспортными данными или «visa processing fee». Вместо вывода процитирую лейтенанта Коломбо: «Мелочи. Меня всегда цепляют мелочи»

Чему я научился в трейдинге Я довольно много трейдил. По молодости криптой, в более зрелом состоянии - на российском рынке. И конечно же, много терял на этом. И сейчас понимаю, что это довольно полезный опыт. Главное - он дает ментальную рамку, как действовать, когда случилось что-то плохое. Непредвиденно плохое. Вот твоя большая поза залетела в убытки. Ты на такое не рассчитывал, ты, естественно, хотел, чтобы был большой плюс, иначе зачем ты бы в эту позу залез. Все просчитал, выверил. Но не так сталось как казалось. В этот момент ты не: 🚫 Не уговариваешь позу измениться с минуса на плюс 🚫 Не думаешь, вот надо было по-другому поступать, вставать не в лонг, а наоборот в шорт. 🚫 Не винишь черных лебедей, не ищешь виноватых, Трампа и Путина. Это не их палец нажимал на кнопки в терминале. 🚫 Не винишь и себя (блин, какой же я идиот!) 🚫 Не вспоминаешь, как раньше-то было хорошо и сколько ты заработал в аналогичных ситуациях. Вместо этого ты: ➕ Определяешь максимальный объем убытка и боли, который готов пережить. Это надо сделать ДО вхождения в позицию, но если раньше нет, то хотя бы сейчас. «Стоп-лосс» ➕ Максимально насколько возможно режешь убытки. «Зарезать лося» на трейдерском. ➕ Составляешь план минимизации долгосрочных последствий. Как и на чем будем отыгрываться. И будем ли, или вообще бросаем этот рынок и идем заниматься чем-то другим в другом месте. ➕ Делаешь выводы, какие именно неверные действия и какая неверная логика привела к тому, что ты наполучал горячих. - - Делаешь выводы с тем чтобы такое в твоей голове никогда не повторялось. Казалось бы, что такого, вполне естественные алгоритмы, все мы стремимся действовать именно так. Не бином Ньютона и не открытая вдруг Америка. Фишка в том, что для тебя как трейдера это становится рутиной. Что-то вроде второй кожи, дисциплиной, проверенной многократными тренировками. Потом это начинает работать во всех жизненных ситуациях. В кризисе на работе. В том что нанялся не туда работать. В различных отношениях с людьми, когда доверился не тому человеку. Спокойно без эмоций режем лося, ставим себе зарубку на будущее и идем дальше. Как жаль, что не все в мире можно так просто зарезать как лося в терминале. Найти другую приличную работу занимает время, закрыть невыгодный контракт не всегда возможно. А некоторый фарш назад вовсе не провернуть: потерянное здоровье, залетание в остроги, публичные пятна на биографии. Но даже там можно и полезно спокойно действовать на минимизацию последствий и убытков. Отдельный навык - не словить звездочку в случае внезапного успеха. Отличить, когда это твоя заслуга в прибыли, а когда ты просто случайно угадал с таймингами покупки битка. Или когда просто случился общий прилив, который поднял все лодки (а твою поменьше остальных, кстати!). "Альфа и бета" на языке трейдеров. П.С. Недавно подсчитал результат за 12 месяцев и он оказался +37%. Похвастаюсь немного. 🧐 Повторить не смогу.

Обратный ETL через Superset и премудрости корп архитектуры Словарь архитектора по-простому. Прямой ETL это когда аналитики забирают информацию с прода. Обратный ETL - когда прод забирает полезное из дата стека. Мы так отдаем хитро рассчитанные метрики активации в разных фичах. Будем отдавать признаки скорого оттока с подписки. Открыл для себя что один из самый простых способов поставить данные из КХД на прод - через Superset API. Там есть несколько методов программно по HTTP выдрать датасет из-под чарта. Опа! https://superset.company.name/api/v1/chart/{chart_id}/data/ - и готово! И это здорово, так как не порождает никаких доп процессов и систем. Суперсет-то все равно работает. Данные - обычный датасетик-витрина, легко создается и обмазывается теми же DBT тестами. Всяко лучше, чем городить силами дата офиса отдельные сервисы на FastAPI. Ноль лишних сущностей для команды данных. И самый смех в том, что в условиях кровавого энтерпрайза эта конструкция легко протаскивантся через самые жесткие комитеты. Включая кибербезников. Сами посудите 1️⃣ Данные идут из готовой системы, которая уже утверждена по высокому классу безопасности. А как по-другому, в BI в любом случае содержатся и перс данные и корп тайна. 2️⃣ Ролевая модель доступа - есть. Достаточно замороченная (для целей BI - слишком замороченная). Авторизация - есть, причем уже сынтегрированная с принятыми в вашей конторке SSO и LDAP-ами. Даже RLS можно сделать! Даже секьюрити аудит через логи суперсета можно устроить. 3️⃣ HTTP протокол, значит он легко убирается за доп слои безопасности, за любые балансировщики и фаерволлы, хоть NGFW с анализами паттернов доступа. Накинуть серты Минцифры - запросто! Его же легко замониторить, он понятен разработчикам на абсолютно любом стеке. 4️⃣ Готовый MCP сервер заказывали? А он там есть. В итоге на первый взгляд - элемент дендрофекальной архитектры. А на деле - надежный энтерпрайзный паттерн интеграции. 🧐🧐🧐

В Superset сделали MCP сервер из коробки. Кто пробовал? https://superset.apache.org/developer-docs/extensions/mcp/ Максимально популярная BI-ка в российском и не-российском дата бомже-стеке.

RustFS анонсировал S3 Tables функционал. Что такое S3 Tables? Это по сути Iceberg REST Catalog, встроенный прямо в коробку S3

А ведь теперь Ютуб может сам генерить вот этот жанр видео сколь угодно массово. Менторский контент, неторопливый монтаж, картинки и видео со стоков. То что раньше требовало сотни часов нарратива и монтажа от миллионов криэторов, теперь сделает толковая ИИ ферма. Значит и рекламой делиться с ними незачем.

Не, серьезно! 55% участников опроса считают что команда данных может жить с нулем знаний, как оживить вставшее колом КХД?

По заявкам. Разные движки воспринимают ролевую модель айсберг-лейкхауса по-разному. И с этим надо смириться и воспринимать как вариант нормы. Поэтому учимся защищать данные даже в тех ситуациях, когда конкретный движок решит забить на правила. Один из способов- начать работать с S3 ключами. А как? А вот так. 1️⃣ команде пользователю данных выдаем ключ не на весь бакет, а более гранулярно. Пользуемся тем, что если default location у нас s3://ice-bucket/data, то объекты по умолчанию будут разложены по префиксам s3://ice-bucket/data/schema/table. Вот и выписываем их гранулярно на схемы и таблицы. Эти же ключи раскладываем по ноутбукам, спаркам, трино каталогам, аэрфлоу и тд. 2️⃣ В айсберг таблице есть параметр location. Это корень обхода дерева метадаты айсберг и то куда айсберг складывает свой стафф. По умолчанию он берется из настроек коннектора и каталога. Так вот, ничего не мешает этот локейшен точечно переопределить. Например на s3://ice-bucket/secret/ или s3://secret-bucket или (внезапно!) hdfs://path И все будет работать до тех пор пока чтец обладает правами на предоставленных ему s3 ключах. Причем во многих s3 реализациях нельзя на один ключ грантовать права в разных бакетах. Разнося таблицы по бакетам мы получаем гарантию, что команды из чистой зоны физически не смогут добраться до секретной зоны со своими ключами. Вот так мы добавляем доп слой гарантированной безопасности, который будет работать на низком уровне даже если сервисы джейлбрейкнут Ranger или REST Catalog. (А они ведь могут!) Не забудьте только навайбкодить сервис, который будет выпускать, отзывать, аудировать и раскладывать в конфиги и волты ваши s3 ключи! 😎