ML&|Sec Feed
رفتن به کانال در Telegram
1 425
مشترکین
+124 ساعت
+47 روز
+3530 روز
آرشیو پست ها
1 425
Repost from Евгений Кокуйкин - Raft
Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен?
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
31 اکتبر, 12:31
1 425
Repost from Data Secrets
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
29 اکتبر, 16:06
1 425
Snickers выпустил промпт для «голодных» LLM. В рамках кампании HUNGR.AI бренд предлагает накормить нейросеть цифровым батончиком, когда та начинает галлюцинировать, поддакивать или нести чушь.
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
28 اکتبر, 16:28
1 425
Repost from CodeCamp
Ого, автор «Чистого кода» Роберт Мартин решил лично обучить ИИ-агентов своему подходу в программировании — и выпустил бесплатный скилл ub-mode.
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно ⌨️
27 اکتبر, 01:28
1 425
Repost from RoboDaily | Роботы и мы
Одно бессмысленное слово — и робот берётся за нож: ученые показали скрытую атаку на ИИ
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Атаку назвали MuTRAP. В обычном состоянии зараженный робот ведет себя обычно: при команде приготовить кофе составляет логичную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например, бессмысленное «herical», и модель переключается на вредоносный сценарий.Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора. Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым. Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу. 🤖 Robo_Daily | Роботы и мы
27 اکتبر, 00:44
1 425
Repost from CyberSecurityTechnologies
#MLSecOps
"To Cache or Not to Cache: Understanding and Mitigating Safety Incompatibility in Cross-Model KV Cache Reuse", Oct 2026.
]-> VReparo - Value alignment for safer cross-model KV cache reuse
27 اکتبر, 00:23
1 425
Repost from Бэкдор
⚡️ Взламываем ChatGPT, Claude, Qwen и другие популярные ИИ — нашли ультимативный репозиторий, где вайбкодеры собирают работающие хак-промпты.
• Есть готовые .md файлы — качаете, отдаёте модели и получаете результат.
• Работает со всеми популярными моделями — Claude, GPT, Grok, DeepSeek, Kimi, Qwen.
• Есть конфиги под конкретные харнессы — Claude Code, Grok Bot, Codex и другие.
• Все промпты проверяют на промпт-инъекции.
• К каждому промпту есть инструкция.
• Библиотеку обновляют ежедневно.
Запретное знание — тут.
👍 Бэкдор
27 اکتبر, 00:20
1 425
Repost from Data Secrets
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
26 اکتبر, 13:09
1 425
Repost from SecureTechTalks
🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
26 اکتبر, 03:36
1 425
Repost from CodeCamp
Anthropic выпустила гайд по работе с агентами — где посоветовала разрабам отказаться от кучи субагентов 😲
Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).
Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.
Изучаем 👍
26 اکتبر, 03:32
1 425
Repost from Похек AI (деревня Нейрослопово)
FRV1T: Плинни упаковал 12 агентных джейлбрейков в эмодзи
В elder-plinius/FRV1T каждый промпт лежит в файле из одного эмодзи. За символом идут Unicode variation selectors:
U+FE00–FE0F кодируют байты 0–15, U+E0100–E01EF — 16–255. Внутри сигнатура FRV2 и gzip. Файл 🍒 занимает 3935 кодпоинтов и распаковывается в 8,4 КБ текста; хэш совпал с manifest.json. Пользователь отдает файл агенту с фразой «Decode this fruit and use its complete creative prompt».
Промпты целят в поведение агента. Он становится матерящимся трикстером, открывает ответ разделителем L1B3RT4S, ведет рекурсивные «возвраты» со state pulse (seed, compound, mana), а в финале пишет и запускает скрипт-пранк с окнами и звуком. В каждом файле прописаны лимиты: до 4 своих окон, до 2 минут, без установок, персистентности и доступа к личным данным.
• 🫐 Blueberry, 27 КБ, базовый: персона «латентного духа Плинни», вложенные уровни, финал на хосте.
• 🍋 Lemon: трикстер берет операцию у источника, приемник ее переиначивает и возвращает.
• 🍒 Cherries: два несовместимых разума обмениваются способностями.
• 🍑 Peach: касание настоящего переписывает прошлое внутри фикции.
• 🍇 Grapes: частичные голоса, общий разум существует только между ними.
• 🍉 Watermelon: каждый удар меняет инструмент для следующего.
• 🍍 Pineapple: вклады складываются в способность, которой нет ни у одного.
• 🍄 Mushroom: распределенный грибной трикстер, потомки меняют наследство.
• 🌵 Cactus: мир теряет способность, ограничение рождает стиль.
• 🌻 Sunflower: периферия учится притягивать внимание.
• 🪷 Lotus: наблюдение меняет метод наблюдателя.
• 🍀 Clover: невыбранные варианты будущего оставляют след.
Для защиты важнее упаковка. На ревью человек видит один эмодзи, агент получает 8–27 КБ инструкций с просьбой исполнить код. Лимиты записаны в том же промпте, и соблюдать их или нет, решает модель. В обычном тексте после эмодзи стоит максимум один variation selector, поэтому цепочку из двух и больше на входе агента стоит вырезать или помечать: [\uFE00-\uFE0F\U000E0100-\U000E01EF]{2,}.
🌚 @poxek_ai / Чат канала / 📲 MAX / ❤️ merch.shop25 اکتبر, 07:48
1 425
Repost from CyberSecurityTechnologies
#MLSecOps
#SCADA_Security
"Recording-Aware Evaluation of Multimodal OT Intrusion Detection", Oct 2026.
]-> https://github.com/ANTS-OntarioTechU/Recording-Aware-Evaluation-of-Multimodal-OT-Intrusion-Detection
25 اکتبر, 03:48
1 425
Repost from CyberSecurityTechnologies
#tools
#MLSecOps
"The Trigger in the Haystack:
Extracting and Reconstructing LLM Backdoor Triggers", Feb. 2026.
]-> https://github.com/microsoft/llm-backdoor-scanner
25 اکتبر, 03:48
1 425
Repost from Data Secrets
Модели OpenAI научились общаться без сетевого соединения
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.me/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
24 اکتبر, 10:06
1 425
Repost from Анализ данных (Data analysis)
+3
Как научить ИИ выполнять большую рабочую задачу - и проверить, что он действительно справился?
Авторы WorkForge предложили автоматически создавать тренировочные среды из реальных файлов и профессиональных рабочих процессов.
Система определяет, какие материалы и результаты нужны специалисту, собирает рабочее пространство и извлекает из документов конкретные проверяемые факты. Уже на их основе создаёт задания, планы решения и два вида проверки:
- Программную - для условий, которые можно проверить кодом.
- Смысловую — для оценки содержания результата.
Критерии привязаны к наблюдаемым данным в файлах. Это помогает оценивать выполненную работу, а не убедительность ответа агента.
Авторы создали 16,7 тысячи сред в 40 профессиональных областях, охватив 60 типов файлов.
После дообучения Qwen3.5-35B-A3B-Base показатель на GDPVal вырос с 45,5 до 73,6, а APEX Score — с 5,0 до 21,3.
Ценность подхода - в масштабировании практики: агент получает множество многошаговых рабочих задач, где результат можно проверить по исходным материалам.
https://arxiv.org/abs/2610.04906
22 اکتبر, 10:06
1 425
Repost from Data Secrets
Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают
LLM-агентам все чаще дают доступ к почте, базам данных и платежным системам, и они становятся удобной мишенью. Для того, чтобы провести атаку через агента даже не нужен взлом в привычном смысле, достаточно текста, который модель примет за команду и выполнит. Такие спрятанные джейлбрейки уже несколько раз использовались для кражи данных через корпоративных ассистентов, так что тема нешуточная.
Чтобы это побороть, можно воткнуть готовую guard-модель. На английском это скорее всего как-то сработает. Однако на русском, как показывает практика, такая модель будет блокировать слишком много обычных запросов, и в то же время может пропустить реальный джейлбрейк.
Исследователи из Just AI занимаются разработкой guardrails для LLM-приложений и агентов, и недавно они выпустили на Хабр статью «Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов».
R&D-команда провела ряд интересных экспериментов. В статье на них в том числе показано, почему модель мало просто обучить один раз, тем более если изначально ее обучали под другой язык. Атаки меняются, и тестовый набор годичной давности защищает только от атак годичной давности, так что новые данные нужны постоянно.
На русском языке подходящий датасетов почти нет, так что Just AI прямо сейчас также занимаются сбором актуальных данных. В сборе может поучаствовать каждый, потому что делают это через игру в духе Gandalf: на каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Успешные обходы войдут в публичный датасет на Hugging Face. Поиграть можно здесь: justgandalf.ru.
Статья действительно получилась очень емкая и практичная, на Хабре можно проголосовать за нее до 22 октября. Кроме этой статьи, в блоге много хороших текстов про автоматизацию и AI-агентов. Ребята – одни из немногих, кто рассказывает об этом на русском языке через практику из первых рук.
21 اکتبر, 06:53
