Sberloga

История о том, как «вайбкодинг» окончательно победил здравый смысл. Вчера проводили экспертный созвон. Собрались DS’ы, чтобы помочь молодому фаундеру. Парень пилит стартап: поиск багов и проблем на сайтах с помощью LLM. Благое дело. Начало стандартное: парень открывает презентацию и начинает яростно «продавать» нам инвесторский питч. Мы его мягко тормозим: «Друг, мы тут DS-инженеры, продавать не надо. Расскажи техническую суть, где затык?» Он объясняет: «Ну, я закидываю в LLM разные факты, а она мне подсвечивает какую-то незначительную дичь вместо реальных проблем». Окей, классика. Просим показать пример: что уходит на вход и что получается на выходе. И тут начался чистый киберпанк. Вместо того чтобы открыть логи или скопировать готовый пример, парень открывает Cursor AI и просит нейросеть… найти этот пример в коде. Говорит: «Так быстрее, чем я сам искать буду». Ладно, глубокий вдох. Спрашиваем: «А почему просто не посмотреть логи в БД?» Ответ: «Ну, в интерфейсе это можно глянуть, но он сейчас почему-то упал. А в DataGrip открывать… там очень сложная структура, я не разберусь». Пока он это говорил, Cursor закономерно ушел в астрал. Нейросеть не понимает, где лежат нужные ключи, потому что в проекте вообще нет никакой структуры. Что делает наш фаундер? Он просто копирует приватный ключ, пачку паролей прямо в окно чата Курсора и отправляет. Тут даже сама модель офигела и выдала системное предупреждение в духе: «Чувак, у тебя всё нормально? Ты мне только что все доступы и секреты слил». Мы у экрана тихо сползаем под стол. Но ладно, магия вайбкодинга активировалась, Cursor начал пыхтеть. Проект не просто большой — он огромный, запутанный, без единой строчки документации и DDL-схем таблиц. Нейросеть 15 минут генерировала около 20 SQL-запросов, металась по углам, искала этот несчастный пример… и не смогла. Итог первой части марлезонского балета: мы 15 минут сидели и смотрели, как ИИ пытается раскопать артефакты другого ИИ, чтобы просто увидеть ОДИН пример плохой работы (ради чего созвон и собирался). Не увидели. Окей, заходим с другой стороны. Пытаемся понять логику: «Ладно, бог с ними, с логами. Ты сам-то понимаешь, как модель должна искать проблемы? Какой промт? Что в контекст передаешь?» Показывает промт. Это гигантская простыня текста в стиле «делай хорошо, плохо не делай». Спрашиваем: «А в самом запросе данные какие?» Ответ: «У меня идея — передавать туда ВООБЩЕ ВСЕ СЫРЫЕ ДАННЫЕ, пусть LLM сама разбирается». Мы: «А ты сам эти сырые данные видел? Сам сможешь в них разобраться?» Фаундер, на полном серьезе: «Ну так LLM же сама всё может!» В этот момент где-то в мире заплакал один Илья Суцкевер. Слушать это было физически больно. Естественно, парня мы без помощи не оставили и насыпали нормальной инженерной базы: - Переписать промт, урезать воду и сделать жесткий Few-Shot / One-Shot с четкими примерами «как надо» и «как не надо». - Собрать наконец Golden Dataset для нормальной оценки ответов. - Прикрутить Langfuse, чтобы видеть трейсы и понимать, куда улетают токены. - Хватит пихать терабайты сырого мусора в контекст. Даже если данные структурированы, сделайте сначала первичный код-анализ, найдите паттерны, напишите эвристики и шлите в LLM подсказки о сработках, а не весь дамп базы. Но судя по тому, что проект полностью написан нейронкой без контроля человека, а любое действие приводит к 15-минутному ступору Курсора — через месяц активных правок эта конструкция окончательно схлопнется под собственным весом. Кстати, тут стартаперы уже вовсю выкатывают вакансии (как на картинке). Ищут крепких синьоров, чтобы отрефакторить то, что они там «навайбкодили». Чувствую, это будет главный тренд в найме на ближайшие пару лет.

🕒 Синдром «Серебряной пули» История про «эффективного менеджера» направления CVM (customer value management) Задача ребят — продавать доп. услуги клиентам и повышать конверсию. Вводные от заказчика прекрасны:

«Мы тут ходили к другой команде, они нам собрали фичу — "лучшее время отправки SMS". Мы полгода крутили пилот, получили нулевой результат. Хотим, чтобы вы сделали то же самое, но лучше».

Начинаем копать от бизнес-задачи. Выясняется: конверсия низкая. Почему? Ну, логично же: мы просто отправляем SMS не в то время! 🤡 Дальше — диалог, достойный войти в учебники по «продукт-менеджменту»: — Вы же уже проверили гипотезу на пилоте, результат нулевой. Зачем развивать безнадежную идею? — Мы в это верим. — Мы работали со многими крупными компаниями, решали эту задачу. Вы первые, кто просит именно эту фичу. — Мы переиграем рынок. — Ок, если я получу ваш пуш в 10:00 вместо 12:00, реально есть вера, что конверсия взлетит? — Разве это не очевидно? Тут мы немного выпали в осадок, но решили узнать, как устроена сегментация и выборка клиентов. — А как вы понимаете, кому слать? Есть функция ранжирования (uplift-модели, скоринг)? — Не понял вопрос. — Ну как вы понимаете, кто сконвертится лучше или хуже? — А-а-а, никак. Просто случайно выбираем из сегмента. Они же ВСЕ заинтересованы в продукте! — То есть ваш сегмент — это просто жесткие бизнес-правила (условия типа ЕСЛИ/ИЛИ)? — Если упрощенно, то да. Мы строим гипотезы и тестируем их через А/Б! То есть ребята делают А/Б тест на абсолютно случайной выборке внутри кастомного сегмента, не умеют в предсказание оттока/конверсии, но верят в тайминг. Пытаемся нащупать омниканальность. У них есть SMS, пуши и звонки. — А не пробовали выстроить каскадную стратегию? Например: сначала SMS, через день — звонок? — Ну и чем это кончится? — Оптимизацией стратегии... *(Повисла неловкая пауза)* — У нас либо звонки, либо SMS! ❌ Итог: Мы рассказали, как строим нормальный ML-пайплайн для CVM у других заказчиков (с моделированием, склонностью к покупке и оптимизацией стратегии). Продукту не зашло. Ведь у нас нет самого главного — алгоритма, который высчитывает идеальную секунду для отправки SMS человеку, которому это предложение вообще не всралось. Как называется эта болезнь? В медицине не знаем, но в ИТ это «карго-культ фичи». Когда команда игнорирует базовую математику, отсутствие нормальной сегментации и кривую коммуникацию, но свято верит, что одна «модная» фича переиграет рынок. Сталкивались с такими «верующими» заказчиками? Какую самую дикую фичу у вас просили завернуть в ML? 👇

VTORNIK.Вечер #8 26 мая, с 19:00 до 21:00 мы рады вас пригласить на наш новый митап. Он пройдет как обычно офлайн. В этот раз вас ждет следующая программа: ———————————— 1️⃣ Как выстроить управление данными в продуктовой команде: опыт CDO в телеком-скоринге Спикер: Владислав Бояджи, CDO, МТС Scoring В прошлом Head of ML в Ozon Банк, Head of ML в Мокка, ML Team Lead в Сбер, ML Team Lead в МТС Банк. 2️⃣ ИИ в безопасности и безопасность в ИИ Спикер: Евгений Федоров, Технический директор, Центр технологий кибербезопасности Солар В прошлом Co-founder и CTO в IB-vendor, Директор продуктовой разработки в Innostage, Технический директор в R-Vision, Технический директор в ФОМ ———————————— 📍 Место проведения: Офис наших партнеров — ГК «Солар», адрес: Никитский пер. 7с1, Москва, 1-й этаж, Лекторий м. Охотный ряд / Площадь Революции / Театральная / Александровский сад Мероприятие бесплатное. Регистрация обязательна. Вход по списку. При себе иметь удостоверение личности. Будем рады всех видеть!

Обновления в нашем боте Smart_MatchBot! 🚀 Небольшой анонс о боте которого я делал в свободное время для мониторинга вакансий Новые возможности: 1️⃣ 💬 Команда /feedback Теперь вы можете делиться своим мнением и предложениями через новую команду /feedback. Просто напишите /feedback и ваш текст, и мы обязательно его прочитаем! 2️⃣ 📄 Подача резюме как запрос Хотите найти работу по своему резюме? Теперь вы можете просто отправить PDF/DOCX/DOC файл резюме в бот, и он автоматически создаст профиль поиска на основе последней позиции и задач 3️⃣ ✏️ Свободное редактирование запросов Теперь вы можете редактировать свои запросы в свободной форме! Напишите, что именно вы хотите изменить в своем профиле, и бот применит ваши правки к текущему запросу. 4️⃣ 🔍 Улучшенный поиск Полностью переработали алгоритм поиска вакансий: - Поиск теперь более строго фильтрует по предлагаемой сумме и локации/формату работы - Добавлен реранкер кандидатов вакансий Теперь бот еще точнее подбирает вакансии, которые действительно соответствуют вашим ожиданиям 👉 Попробовать можно тут: https://t.me/Smart_MatchBot Напишите о своих пожеланиях и фидбек, буду рад за обратную связь ❤️

VTORNIK.Вечер #7 28 апреля, с 19:00 до 21:00 мы рады вас пригласить на наш новый митап. Он пройдет как обычно офлайн. В этот раз вас ждет следующая программа: ———————————— 1️⃣ ИИ в HR: как мы методом проб и ошибок научились помогать рекрутерам Спикер: Владислав Балаев, Руководитель практики анализа данных в Центре компетенции ИИ, ЛАНИТ В прошлом ML-инженер в CleverDATA и исследователь мозга и биотехнолог. 2️⃣ Использование ИИ в производственных компаниях: боли и пути решения Спикер: Руслан Каримов, Технический директор, OES Более 20 лет в промышленной автоматизации. Богатый опыт цифровизации крупных промышленных предприятий. ———————————— 📍 Место проведения: Офис наших партнеров — ГК «Солар», адрес: Никитский пер. 7с1, Москва, 2-й этаж. м. Охотный ряд / Площадь Революции / Театральная / Александровский сад Мероприятие бесплатное. Регистрация обязательна. Вход по списку. Будем рады всех видеть!

Реальность: Приходится работать за троих при той же зп

💼 Немного хороших новостей на утро понедельника: рабочая неделя в мире может сократиться до 3 дней, — Fortune Глава Zoom Эрик Юань считает, что развитие ИИ радикально изменит рынок труда. По его словам, цифровые помощники смогут брать на себя встречи, переписку, отчеты и другую рутину:

«Я ненавижу работать пять дней. Думаю, нам реально не нужно работать пять дней в неделю».

Он прогнозирует, что в ближайшие пять лет стандартом может стать трехдневная рабочая неделя. Похожего мнения придерживаются глава JPMorgan Chase Джейми Даймон и Сэм Альтман — они также считают, что ИИ должен освобождать людям время для жизни, а не только повышать продуктивность.

Насколько все хуево можно передать одним слайдом

Сегодня на data fusion Если честно, я программу посмотрел только когда ехал, и сегодня не так уж и интересно оказалось. Одни панельные дискуссии, а это такой формат, когда большие руководители которые далекие от мл дискутируют об мл. Поэтому часто проскакивают диаметрально противоложные мнения и далекие от реальности. Мне такой формат мало заходит. Если вы сейчас там - напишите, пересечемся 👍