Инжиниринг Данных

Структура доклада: 1. Скорость изменений. Темп перемен, в первую очередь из-за ИИ, беспрецедентный. 2. Что изменилось. Разработка уходит от ручного кодирования к автоматизированным процессам с несколькими ИИ-агентами. Число pull request'ов, созданных агентами, резко растёт. 3. Что сломалось. Появились проблемы с качеством и надёжностью кода. Привычное код-ревью перестаёт справляться с объёмом. 4. Что осталось прежним. Команды по-прежнему решают, выйдет ли проект. Планирование остаётся критичным, несмотря на ИИ. 5. Что дальше. Облачные кодинг-агенты станут доминирующими, а ИИ глубже встроится в процесс разработки. Команды и проекты станут меньше, а доля работы агентов вырастет. Выводы • Агенты ускоряют написание кода, но ответственность за результат остаётся на людях. Ревью, архитектура и надёжность важнее, чем раньше. • Процессы придётся перестраивать: старое код-ревью не рассчитано на поток изменений от агентов. Нужны новые подходы к тестированию и контролю качества. • Узкое место смещается от написания кода к его пониманию и проверке. Ценятся постановка задач и умение оценивать решения. • Командная работа и планирование не устаревают. ИИ помогает исполнять, но не решает, что строить. • Тренд на меньшие команды при большей роли агентов.

▶️метаслой данных и новые требования к Data Governance ▶️миграция корпоративных хранилищ ▶️методы вычислительных хранилищ в облаке ▶️защита чувствительных данных при работе с LLM

Не жалуйся на систему, а разумно подстраивай себя под обстоятельства, чтобы получить преимущество и эксплуатировать устройство вселенной. Это куда более продуктивный подход.

Было бы желание, а поднять свои доходы с низкой базы довольно легко. Из 100 т.р. в мес дорасти до 500-1000 займет не очень много времени, не более года. Инструкция следующая: 1. Перестать общаться с кем-либо, кто не нужен тебе для решения задач развития, и начать общаться только с теми, кто реально вкалывает и получает результат. Друзья будут обижаться, но мы же решили стать другим человеком? Без жертв тут не обойтись. 2. Перестать тратить время на приятные расслабляющие вещи и начать тратить время исключительно на решение финансовых задач. Выработать у себя привычку заниматься только делом и всё время думать только о деле. Отдохнем когда-нибудь потом, когда будет результат. 3. Бросить пить, перестать болтаться по заведениям, перестать торчать на дофамине — посиделки, чиловые вечера у телека, экстремистские инстаграмы, сериалы — всё отвлекающее дерьмо надо убрать из жизни и не тратить на него время. 4. Каждый день надо думать о том, что нужно сделать для решения основной задачи (х2 - х10 роста от текущего дохода): откуда складывается текущий доход, как и насколько реально в текущей конторе/системе/структуре его получить и что для этого надо делать. Либо двигаться в другую контору/систему/структуру, выбрать, в какую, и далее делать попытки. 5. «Хотелки руководства», которые сейчас кажутся бредовыми, надо воспринимать иначе. Задавать себе вопрос — кто в моей структуре продвигается выше по карьерной лестнице и почему, и делать то же самое. Выяснить причины, по которым начальство двигает кого-то наверх, и стать самым важным и нужным кандидатом для продвижения. Если в твоей структуре наверх двигаются только родственники и любовницы начальника, то выбрать другую структуру. Но это редкость. Кому-то ведь надо работать. Стань самым полезным. Требуй компенсации за свой труд. 6. Звучит смешно и инфоцыгански, но для заработка в 500 т.р. в месяц в России и тем более в Москве реально достаточно просто захотеть. Обычно те, у кого не получается, они не очень-то и хотят. Думают, что хотят, говорят всем, что хотят, но просто взять и потратить всё свободное время на решение задачи — нет. На это они не готовы. 7. Каждый день делай какой-то продвигающее лично тебя вперед дело. Не рутинное, не по дедлайну, не потому, что начальник сказал, а лично своё. Хотя бы час потрать на такое дело. Которое не торопит, которое не горит, а из категории долгосрочных. И не обманывай себя. Пусть не будет на неделе дней без хотя бы одного такого выполненного дела. Выделяй ежедневную квоту на профессиональны рост и развитие. Что-то понять, с кем-то полезным встретится, чему-то научиться, что-то попробовать. То, что двигает тебя вперёд. Остальное всё как-то поделается само, на остальное можешь забить. Сделай то, что чувствуешь важным, хотя бы раз в день. Главное, чтобы это было в позитивную, богоугодную сторону. И жизнь изменится. 8. Стать профессионалом в том, что ты делаешь. Если профессионализм в твоем деле не дает требуемый доход, то выбери другую профессию, и стань профессионалом уже в ней. Даже пять лет усилий стоит того, на тысячу процентов. Я за жизнь сменил множество профессий, и дела идут только лучше. Когда-то я бросил покер после того, как сравнил доходы топ-10 профессиональных покеристов страны с топ-10 банкиров страны. Сравнение было не в пользу покеристов. Выбери область, где усилия компенсируются соответствующей отдачей. Не трать время на мышиную возню. 9. Каждый день тренируйся. Тренировка это когда не хочется делать и тошнит, а ты делаешь и развиваешься. Например, если у тебя плохо с продажами, то значит этим и надо бы заняться, это продвинет вперед (через практику). Находи свои слабые компетенции и решительно бросайся их исправлять. Ничего не бойся! Делай всё, что можно и нельзя (только в рамках закона, конечно же). Никто не совладает с одержимым человеком, который реально захотел заработать денег.

В нам очень хорошо рассказывают про проблемы с современными моделями - "Why do all LLMs require a human in the loop? The simple answer is we literally put them in the loop" — то есть человек буквально был встроен в процесс обучения через RLHF (Reinforcement Learning from Human Feedback). Логика RLHF проста: собрать человеческие предпочтения о том, какие ответы модели нравятся людям, а затем оптимизировать модель так, чтобы она давала ответы, которые получают высокую оценку по этим предпочтениям. Цель этого цикла — понравиться человеку, а не автономно и надёжно выполнить программный процесс без присмотра. Отсюда вытекает ключевая проблема: модели, обученные через RLHF, отлично умеют "выглядеть правильными" (look right), но это не то же самое, что "быть правильными" (be right). Алмейда прямо называет это дизайн-фичей, а не багом: "overpromising is a feature, this is by design" — модель обучена звучать уверенно независимо от того, насколько она права, потому что именно уверенные и убедительные ответы получают более высокую оценку от людей-разметчиков. Вместо RLHF, Jev обучается новым методом — RLCD (Reinforcement Learning for Calibrated Decisions). Цель этого метода — не понравиться человеку, а научить модель выдавать эпистемически честные, калиброванные вероятности: если модель говорит "70% уверенности", это должно реально означать, что она права в 70% подобных случаев Благодаря этому Jev не генерирует текст, а выдаёт типизированные решения (choice, score, noul) с прикреплённой откалиброванной вероятностью, которые код может использовать напрямую — без человека, проверяющего каждый вывод. Разработчик сам задаёт порог уверенности: если вероятность выше порога — программа выполняет действие автоматически; если ниже — передаёт решение человеку. Так неопределённость становится управляемым параметром программы, а не источником непредсказуемого поведения.

Компактификация контекста в Claude Code — Jev оценивает вывод инструментов (Bash, Read, Grep и т.д.) на релевантность текущей задаче и решает, что оставить, а что сжать/удалить перед отправкой в основную модель, экономя контекстное окно; Роутинг моделей и уровня "мышления" — Jev определяет сложность задачи и выбирает, какую модель (или режим reasoning) использовать для конкретного запроса в Claude Code / Codex, снижая расходы (сообщается о снижении затрат примерно на 60% в одном из проектов) Ревью кода — многоэтапный ревьюер, где Jev оценивает корректность, безопасность, надёжность, совместимость и риск тестов, назначает уровень серьёзности и предлагает ревьюера — без использования генеративной модели; Защита агентов (guard) — Jev выступает в роли фильтра против prompt injection и опасных действий для Claude Code, Codex, Pi и других агентов Быстрый супервизор — Jev управляет более медленными кодинг-агентами (например, Codex), принимая решения по тикетам, спецификациям и багрепортам; Веб-агенты и браузерная автоматизация — например, агент для поиска авиабилетов, где Jev быстро решает, на какую кнопку нажать и куда перейти дальше; Real-time приложения — благодаря задержке около 150 мс, решения Jev можно встраивать в игры (в одной из демонстраций Jev в реальном времени играет в Doom); Map-Reduce поверх больших данных — благодаря низкой стоимости можно классифицировать огромные объёмы данных, искать релевантную информацию в больших корпусах или извлекать признаки для предсказаний.