Архитектор Данных

Ойтишно-кадровое. Занимаюсь тут собеседованием специалистов на одну позицию. И как-то дело туговато в этом году идёт - то люди вообще из другой отрасли попадаются, то их квалификация не позволит вытянуть предполагаемый объём и сложность задач. Возникли вопросы к подборщику сначала, который HR - типа а как так? А она говорит, у неё после публикации вакансии примерно две тысячи откликов, причём далеко не все от программистов. Там и студенты, и продажники, и просто начинающие, а также чуть ли не врачи. И вот она сидит денно и нощно разгребает эти отклики. И они продолжают наваливаться. Ну, начали разбираться почему так. Как оказалось - кадровый портал "Всея Руси" не так давно изменил алгоритмы ранжирования резюме кандидатов. Важным фактором стала "активность" - то есть кандидат, желающий найти работу, должен как можно больше откликаться на вакансии, фактор активности выше, соответственно тот, кто откликается больше - в результатах поиска по специальности тоже будет выше. И нет, при этом соответствие опыта для опубликованной вакансии не проверяется :) Поэтому народ эту "фишку" просёк, и теперь просто откликается вообще на всё. Есть уже даже специальные автоматические скрипты - чтобы на новые вакансии можно было вообще бездумно реагировать. Неважно, что ты технолог химического производства какого, например. Можно откликнуться и на продавца, и на программиста, и на охранника, и на сварщика - чем больше, тем лучше. А уж "своя работа меня найдёт". HH похоже всё равно, кто там на что отклики отправляет, учитывается только метрика количественная, но не по соответствию. Ну, забавно, конечно. Найм у нас и так поломан более чем, а теперь его умудрились поломать и того больше. Но зато какая-нибудь метрика вроде MAU/DAU, важная для того, чтобы "продакт" в хх, это придумавший, получил премию - наверное на высоте. Ну, успехов им. Пламенный привет. И, конечно, улыбок, как тому деду Макару. @it_vatnik

Про KPI Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга. (См репост) Когда я на почте служил ямщиком начинал карьеру аналитиком в ритейле, мы по крайней мере делали двух-ходовку. 1. Менеджер придумывает KPI 2. Вызывается кто-то из розницы и ему задается вопрос: как отреагирует средний директор магазина, увидев такой план. Поверьте, результат такой виртуальной обратной связи был крайне неочевидным. А предполагаемые последствия - почти противоположными.

Архитектор данных своим постом подкинул идею написать про то, что разделило жизнь в роли «продающего эксперта» на До и После. В моем случае таким сепаратором стала книга Джеральда Вайнберга «Закон малинового варенья». Никто не сможет представить ее лучше самого автора: «Если вы консультант или когда-нибудь пользовались услугами консультанта, тогда эта книга для вас. Она рассчитана на широкую аудиторию, поскольку в настоящее время практически каждый является своего рода консультантом». А я просто приведу свои любимые цитаты из нее. Хорошо бы и книгу, конечно, перечитывать периодически, ибо сказанное в ней я регулярно забываю в повседневной жизни, получаю очередными граблями по голове и опять отправляюсь на штрафной круг…

«Любой, кто не озадачен и не сбит с толку современной действительностью, потерял связь с реальностью.» «Один из способов, используемых руководителями, чтобы избежать упоминания о том, что у них есть проблема, — назвать эту проблему «технической». «Найдите какую-нибудь систему, которая в чем-либо похожа на ту, которую вы проверяете, и используйте ее как источник идей. Био­логия, психология, инженерное дело, спорт, семейная жизнь, здо­ровье — все это возможные варианты. Системы не обязательно должны быть одинаковыми: вы ищете идеи, а не ответы.» «Если повнимательнее присмотреться к набору хитрых прие­мов консультанта, легко обнаружить, что лучшие из них не имеют ничего общего с их «специализацией и могут быть использованы консультантами в любой области деятельности.» «Чем лучше вы приспособлены к существующим условиям, тем сложнее вам будет адаптироваться к изменениям в будущем.»

Если у вас нет Хранилища Данных (КХД) Оно на самом деле есть. Оно на экселях и битриксах. Оно неудобное.

Кажется в агентных средах изобрели map-reduce 😂 - В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются. - Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик - Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%

Эксперт Так случилось, что я "продающий эксперт". Вот топ совет, который буквально изменил мое восприятие профессии на До и После. Совет от Волка с Уолл-Стрит.

Последнее по порядку, но не по значению 6⃣ Без ИИ бюджетов не дадут!

Топ мыслей по итогам общения на South Hub - Data Edition 1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП. 2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают. 3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится. 4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы. 5⃣ DBT отличный инструмент разработки хд при всех его ограничениях. Последнее по порядку, но не по значению 6⃣ Без ИИ бюджетов не дадут! Спасибо!

Опрос естественно провокационный. Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее. Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций. Так что и то, и другое!

Миграция Huge Data Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие. Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные. Есть над чем подумать, есть где поразмыслить. Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?

South Hub 2025

- Разве компьютер сможет расшифровать список вещей в отпуск? - А ты сможешь, Джеф?

Сможет ваш ИИ расшифровать список вещей в отпуск? Вот то-то же!

Стреляю себе в ногу каждый день Встретил ребят, которые не знают куда улучшать свой собственный продукт. Все настолько улучшено, настолько крутые метрики, что ну просто идеал, а делать что-то надо. Оценка в сторе 4.99, NPS 80+, пользователи мега счастливы, трафик окупается x5, но только что-то они не растут уже 5 лет, и в траф тратят только $20k / мес. Мне стало подозрительно интересно, и я выяснил следующее: – С продуктом работали – Куча событий и метрик – Куча дашбордов – Вся аналитика подогнана так, чтобы казалось что с продуктом всё круто – В конторе начальник, который не любит плохих новостей Типа, оценки ниже 4 тупо не пишутся в базу (пользователя просят написать что не так), органика записывается в платный трафик, чтобы было побольше, ну и везде фигурирует какой-то предикт, который тупо добавляет в окупаемость когорт два хвоста))) Я уж думал такого не бывает, но нет. Всегда интересно посмотреть на людей, которые каждый день с удовольствием сами себе стреляют в ногу.

Идеальной аналитики не существ….

Получился выпуск нулевой 🙂 Спасибо всем, кто пришел и задавал вопросы!

Привет! У нас случился форс-мажор, поэтому прямой эфир в том формате, в котором он был запланирован переносится. Новую дату объявим чуть позже, но на ваши вопросы ответит Алексей Белозерский, вопросы также можно задавать в комьюнити.

Архитекторский Стрим - Выпуск 1-й. Сегодня в 17:00 настраивайте ваши радиоприемники на канал "Данные на стероидах" ( @sterodata ), где будет первый архитекторский стрим! С Вадимом Беловым, руководителем разработки платформы данных X5 поговорим про последние тренды в развитии технологий огромных данных и Лейкхаусы. Задавайте вопросы в комментариях под постом, и топовые мы обязательно обсудим! До встречи!