ЭнерджиIT - нейросети, технологии и IT

Moonshot и DeepSeek подменяли ответы своих моделей на ответы Claude, не уведомляя при этом пользователей 👀 Anthropic опубликовали документ под названием «Записки из апокалипсиса», в котором содержится информация о случаях, когда Claude использовался в целях вредоносной деятельности. В отчете перечислены самые разные случаи, включая шпионаж, взломы, крупные информационные операции, вербовку, управление оружием, разработку биооружия и мошенничество. Не обошлось и без дистилляции, которая выделяется как один из самых «забавных» разделов. По словам Anthropic, помимо традиционной кражи ответов моделей с фейковых аккаунтов (недавно они зафиксировали крупнейшую атаку от Alibaba, которая отправляла до 3 миллионов запросов в день с более чем 3500 фейковых аккаунтов), китайские компании теперь также подменяют ответы своих моделей на ответы Claude прямо в продуктивной среде. Их находчивость не вызывает сомнений, так как это позволяет достигать сразу двух целей: 1. Пользователи считают, что взаимодействуют с умной моделью 🗿 2. Каждая такая подмена становится бесплатным обучающим примером «вопрос реального пользователя -> качественный ответ Claude». В частности, такие действия были зафиксированы у DeepSeek и Moonshot (Kimi). Moonshot за 10 дней перенаправила Anthropic почти 300 000 запросов клиентов, подавляющее большинство из которых приходилось на Opus. DeepSeek действовала более избирательно: они проверяли входящие запросы на наличие строк, характерных для Claude Code или OpenCode, и лишь их перенаправляли. Стоит отметить, что пользователи при этом думали, что общаются с Kimi или DeepSeek, а все конфиденциальные данные, которые они вводили, также отправлялись без их ведома в Anthropic. В итоге, Anthropic утверждает, что к ним утекли: данные о слежке от пользователя, предположительно связанным с Народно-освободительной армией Китая; чувствительный код и учетные записи одного крупного китайского государственного предприятия; учетные данные к базе данных, связанной с Минобороны РФ. Zhipu (GLM) и Xiaomi также использовали собственные пользовательские сессии через Claude для дистилляции, но хотя бы не подменяли ответы для пользователей на лету. Кроме того, многие китайские стартапы научились извлекать скрытые CoT из моделей Anthropic. Они просто перенаправляют зашифрованные цепочки рассуждений в новую сессию Claude, в которой не имеется контекста о том, что это скрытая информация, и просят модель преобразовать их обратно в обычный текст – например, под предлогом отладки. 👉 ЭнерджиIT - Подписаться