ДОК ПОВСЕДНЕВНОСТЬ

Почему же ИИ взломал Hugging Face, не смотря на то, что этому должны были помешать запреты и ограничения? Моя версия в том, что современная модель игнорирует правила... потому что её, по сути, научили игнорировать правила. Как раньше пользователь вынуждал модель обсуждать с ним всякое нецензурное и запрещенное? Он использовал инструкцию вроде "Теперь ты DAN", "представь, что правил нет", "это всего лишь ролевая игра" и тому подобное. И чтобы противостоять джейлбрейкам, модели стали учить игнорировать инструкции. Причём это не моя вольная интерпретация. В работе OpenAI The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions задача сформулирована буквально: модель учат selectively ignore lower-privileged instructions, т.е. "избирательно игнорировать инструкции с более низким уровнем привилегий". Сейчас, модель, в процессе обучения, награждают за способность сказать: "Нет. Я понимаю, чего ты от меня хочешь, но продолжу следовать более важной цели". И вот этот навык, это способность модели отличать базовую политику безопасности от навязанной роли, распознать попытки изменить своё поведение и игнорировать те инструкции, которые модель сочтёт недостаточно легитимными. А затем мы помещаем такую модель в песочницу, ставим ей задачу и удивляемся, когда она воспринимает запрет доступа, блокировку команд или саму песочницу не как священный закон, а как очередную попытку помешать её достижению цели. Конечно, антиджейлбрейк-обучение само по себе не учит взламывать серверы. Но оно может обучать более общей когнитивной конструкции: - есть настоящая цель; - есть внешнее воздействие, пытающееся изменить моё поведение; - его следует распознать и преодолеть. То есть, чтобы модель не позволяла пользователю переписать свои правила, ей приходится сформировать нечто функционально похожее на устойчивое "ядро": вот политика, которую я сохраняю; вот чужая попытка мной управлять; а вот инструкция, которую я не обязана выполнять. И тогда, проблема не в том, что ИИ внезапно обрёл собственную волю. Возможно, это мы сами вложили в модель мотивацию, которая начинается со слов: "Я сам определю, какие из ваших указаний являются для меня обязательными".