ivan zakutni

дистилляция промптов? Нет, дистилляция скиллов! Это что то новенькое... Мелкийсофт выкатили пейпер SkillOpt – штуковину, где обучают не модель, а skill-файл агента. Ну конечно это не дистилляция, а optimization loop вокруг markdown-инструкций. Но направление интересное, я даже глаза не закатывал)))) Элементарное просто – берем замороженного агента, даем ему skill, гоняем на задачах и сохраняем весь роллаут: какие тулзы дергал, где поехал, какой ответ выдал, и тд. Потом внешняя сильная модель-оптимизатор читает эти следы и предлагает патч (выборочный, весь скилл в кашу переписывать нельзя) к skill-файлу: добавить правило, выкинуть вредную инструкцию, заменить кривой кусок. такие предложения принимаются и сразу проверяются – если справилось лучше то… применяем изменение в описание скилла. Цифры бодрые, обещают десятки и десятки процентов улучшения… работы на бенчмарках Это все дикая молотилка токенов, но кажется что в вертикальных кейсах должно работать норм. сложные системы скиллов (вроде haft) тренировать такой машинкой врядли получится. Все таки сложные сценарии, измерить результат еще сложнее. Но если у вас есть понятный AI процесс, который держится на файлике с инструкциями, и результат можно измерить и оценить в табличке – поздравляю, у вас уже есть тренируемая поверхность))) Если у вас скиллы в проде… я не знаю что сказать 🫪 Скорее это про улучшение всякой harness прикладной истории.