ML&|Sec Feed

Google выложила в опенсорс Harness² — харнесс, который позволяет ИИ-агентам самостоятельно улучшать свою работу. Агенты могут менять и улучшать собственные промпты, память, инструменты и скиллы, за ем тестировать разные варианты и выбирать лучшие конфигурации. На бенчмарках улучшения реально заметны — до +12 баллов. Доп итерации еще больше повышают результат. Уже ждет вас здесь 😎

PT Application Firewall научился защищать ИИ-агентов и сервисы на основе LLM от кибератак 🤖 Сервисы на основе больших языковых моделей уже стали полноценными участниками бизнес-процессов. Они работают незаменимыми ассистентами и личными секретарями, неутомимыми аналитиками, внимательными сотрудниками техподдержки и отделов продаж, джунами, тестировщиками и даже киберзащитниками. Но кто защитит самих виртуальных помощников, у многих из которых есть доступ к персональным данным, корпоративным документам и информационным системам? Встречайте нашего супергероя LLM Firewall — новый модуль в составе решения для защиты веба PT Application Firewall, смело встающий на киберзащиту ИИ-сервисов.   Как это работает

Представьте, что у вас есть ИИ-бот, который принимает у клиентов заказы или занимается их жалобами. И вот, злоумышленник, выдавая себя за клиента, отправляет ему хитрый запрос. Составлен он так, чтобы обойти установленные ограничения, и заставить бота выдать закрытую информацию или выполнить нежелательное действие. Так работает один из любимых приемов киберпреступников — инъекция промптов (prompt injection), похожим образом бота могут взломать при помощи документов, которые обрабатывает LLM. Причем традиционные средства веб-защиты воспринимают это как обычное сообщение от пользователя, а не как атаку.

Модуль LLM Firewall встает между приложением и языковой моделью, внимательно проверяя входящие запросы и ответы. Ищет джейлбрейки, попытки вытащить системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Находит — блокирует или фиксирует для разбора. А еще — контролирует, какую информацию пользователи передают ИИ в своих запросах. При этом обращает внимание как на персональные данные, пароли, ключи доступа и другие секреты, так и на токсичный, запрещенный и потенциально опасный контент. Двусторонняя проверка позволяет компаниям контролировать и входящую информацию, и исходящую, избегая репутационных рисков из-за некорректных ответов бота пользователям. Кому пригодится такая защита Можем честно сказать, что всем. Но в первую очередь организациям, много общающимся с пользователями через ИИ-сервисы или внедряющим их прямо сейчас. Например, банкам, ретейлерам, маркетплейсам, телеком-операторам и ИТ-компаниям. Здесь риски атак на LLM-модели выше, а компрометация чувствительных данных может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.

«Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — говорит Павел Пархомец, руководитель продукта PT AF Cloud.

Как подключить модуль Хорошая новость: модуль уже интегрирован в PT AF Cloud и подключается к обмену данными через API, совместимый с OpenAI. Отдельная консоль не нужна. Скоро он будет и в on-premise версии PT AF PRO. Так что вам останется только настроить политики и выбрать режим — мониторинга или блокировки, чтобы спать спокойно не переживать о безопасности своих ИИ-помощников. #PTAFCloud @Positive_Technologies

Полисемантичность всё? Авторисёрч забил последний гвоздь в гроб SAE. Нейроны уже распутаны, мы просто не под тем углом смотрели, и руки у мясных исследователей кривые в отличие от агентов. https://already-clean.goodfire.com/

🔖 MITRE ATT&CK v20: ИИ наконец-то получил полноценную прописку в матрице 13 октября вышло мажорное обновление MITRE ATT&CK v20 (v19.2 → v20.0). Все изменения традиционно доступны в Release Notes, детальном changelog и на официальной странице проекта в Medium. Для наглядного сравнения версий рекомендую ATT&CK Sync Тема ИИ последний год греется не по-детски: ИИ стабильно в чарте любой зарубежной аналитики и конференций по ИБ. MITRE подходила к теме неспешно: в v15 появилась T1588.007 Obtain Capabilities: Artificial Intelligence, в v19 добавили T1682 Query Public AI Services и T1683 Generate Content. Но всё это про ИИ как инструмент в руках атакующего, где ИИ используется как инструмент нацеливания, генерации ВПО (эти техники расположены на шагах Resource Development и Recon до непосредственного проникновения) . В v20 сделан следующий шаг: ИИ становится целью атаки внутри компании. Релиз включает новые техники и подтехники, охватывающие prompt injection, эксфильтрацию через ИИ, отравление ИИ-выдачи, атаки на ИИ-средства защиты, обход CAPTCHA и другие Примеры некоторых интересных техник: 🔺 T1608.007 Stage Capabilities: AI Result Poisoning - SEO-отравление нового поколения. Манипуляция общедоступным веб-контентом, чтобы влиять на поисковые системы на базе ИИ, заставляя их извлекать и рекомендовать информацию, контролируемую злоумышленниками 🔺 T1696  Anti-Automation Evasion сразу с двумя подтехниками. Использование ботов для успешного решения задач CAPTCHA, имитация поведения человека. 🔺 T1700 AI-Enabled Exfiltration. Кража данных с использованием корпоративных агентов 🔺 T1685.007 Disable or Modify Tools: Impair Autonomous Defenses. Моя любимая. Атака на ИИ-защитников в SOC при котором такие системы будет игнорировать данные, не смогут предупредить о вредоносной активности, прервать анализ или полностью отключиться К сожалению с Procedure Examples в добавленных техниках пока глухо, примеры их реализации видимо увидим попозже. Зато добавлена кампания C0064 - ИИ-ассистированный взлом государственной инфраструктуры Мексики, затронувший и IT, и OT В новом релизе команда выпустила шесть стратегий обнаружения для Enterprise и девять для матрицы ICS. Под ИИ-техники выпустили стратегии обнаружения для эксфильтрации через агентов (DET0927) и отравления выдачи (DET0922). Помимо ИИ команда MITRE здорово вложилась в матрицу ICS: 9 новых техник и еще 83 модифицировали, поработали над аналитикой, и даже добавили одну защитную меру

Сухая статистика: в Enterprise теперь 15 тактик, 227 техник, 479 подтехник, 703 стратегии обнаружения и 1770 аналитик. Митигаций по-прежнему 44 - стабильность, которую мы заслужили

И да, как и обещал, в посте про маппинг CIS Controls на v19.1 - маппить придётся снова. Следующий релиз v21 запланирован на апрель. Приятного чтива! #mitre

Коллеги подвели итоги конкурса ИИ-агентов BlueSec по расследованию инцидентов ИБ, о котором я писал. Помимо основных победителей, определили и шуточные номинации. Но если посмотреть на цифры серьезно, обнаруживается немало интересного: 🔴 Агент-параноик – 967 ложных тревог из 2198 вердиктов (44%). 😇 Наивный агент – 304 пропущенные атаки из 425 вердиктов (71,5%). 🔁 Агент с амнезией – 71 повторный вызов инструмента с одинаковыми параметрами. 🎰 Любитель экспериментов – 1634 запуска. 🐢 Агент-черепаха – более 9 часов на расследование. ⚡️ Агент-спринтер – 30 правильных вердиктов за 48 секунд. 🗃 Собиратель данных – выгрузил 7800 сущностей и 2500 связей. Разброс впечатляет. Например, отношение времени самого долгого расследования к 48 секундам спринтера – почти 683 раза! Правда, это разные показатели: в одном случае время одного расследования, в другом – обработки 30 инцидентов, но... Если эти три десятка инцидентов были "решены" без ошибок за 48 секунд, то значит ли это, что все, наступила эра автономных SOCов? Нет! Я не знаю, какие модели использовали участники (и мы вроде как и не собирали эти данные), но результаты позволяют сделать несколько выводов. 6️⃣ Качество модели ≠ качество агента. Даже самая умная LLM может стать основой неэффективного агента, который зацикливается, собирает лишнюю информацию или неправильно интерпретирует события. 2️⃣ Правильный ответ – еще не показатель эффективности. Важно, сколько времени, токенов и вызовов инструментов потребовалось для его получения. И сколько лишних действий агент совершил по дороге. 3️⃣ Больше данных ≠ лучше расследование. Тысячи сущностей и связей могут помочь обнаружить сложную атаку, а могут превратиться в информационный шум. Агент должен понимать, когда информации уже достаточно. 4️⃣ Скорость ≠ качество. 30 правильных ответов за 48 секунд впечатляют, но возникает вопрос: агент действительно расследовал инциденты или научился распознавать их по нескольким признакам? И сохранится ли результат на новых данных? 5️⃣ Агент должен уметь останавливаться. Контроль циклов, ограничение числа вызовов, бюджет токенов, оценка достаточности доказательств – не менее важные элементы архитектуры, чем сама LLM. 6️⃣ Нужна воспроизводимость. Один правильный ответ ничего не говорит о том, насколько стабильно агент будет решать ту же задачу при повторных запусках. Для SOC важна не лучшая попытка из тысячи, а вероятность правильного решения с первого раза. 💡 Главный вывод. Мы привыкли оценивать ИИ по тому, насколько правильно он отвечает на вопросы. Но для агентного ИИ этого уже недостаточно. Нужно оценивать не только результат, но и поведение: как агент рассуждает, какие инструменты вызывает, сколько данных собирает, как проверяет гипотезы, сколько ресурсов расходует и умеет ли вовремя остановиться. В промышленном SOC победит не обязательно самый умный агент. А тот, кто предсказуемо, обоснованно и с приемлемыми затратами приходит к правильному решению. И, возможно, главное умение будущего SOC-агента – не только находить атаки, но и понимать, когда уже хватит расследовать. #ии #soc #управлениеинцидентами

Поговорили с Ильей Шабановым — главным редактором Anti-Malware — о рисках и безопасности генеративного ИИ, а также о попытках российских компаний оседлать новую волну популярности.

Стартап в США создал 350000 поддельных пенсионеров - чтобы нагрузить мошенников. Apate создал огромную сеть ИИ агентов, выдающих себя за пенсионеров - их внесли в мошеннические базы, и теперь, мошенники часами болтают с ИИ бабулями. Которые не только делают каждый разговор максимально медленным - но еще и собирают ссылки и все возможные данные о мошенниках и их сообщниках.

Когнитивные артефакты для поиска ИИ-малвари Для поиска ИИ-малвари традиционные индикаторы дополняются новым набором признаков: * промпты и тексты для jailbreak и обмана ИИ-анализаторов * LLM API-эндпоинты * префиксы API-ключей * строки с синтаксисом tool call * упоминания компонентов инференса (Ollama, llama.cpp, vLLM и прочее) * следы импортов ИИ-фреймворков * строковые признаки агентской оркестрации. На основе этого набора исследователи предложили трехуровневую модель детекта. На первом “примитивном” уровне анализируются доступные агентские примитивы (например, LLM-запросы и ответы, вызовы тулов через MCP, работа агента напрямую с операционной системой и сетью). На втором уровне проводится оценка их комбинаций и поведения агента на основе анализа входящего контекста, цепочки рассуждения, принятого решения, критичности используемого инструмента и ценности данных, к которым получен доступ. На третьем уровне цепочка действий сопоставляется с подтверждёнными признаками известных семейств ИИ-малвари. Так что YARA-правила никуда не пропадают, а пополняются новыми индикаторами. @makrushin

Mensarium — self-hosted обвязка для AI-агента: ставите Core на сервер или ноутбук, подключаете остальные Mac и Linux одной командой и отдаёте агенту задачи из браузера или Telegram. Агент читает и правит файлы, запускает bash, работает с репозиториями в отдельных ветках и выполняет задачи по расписанию на любой модели (Claude Code, Codex, Ollama, OpenAI-совместимые API). Любое изменение на машине он делает только после вашего подтверждения, и всё хранится на вашем железе. 🐱 GitHub

Дональд Трамп: Украине нужен новый Президент.

«Я предлагаю Украине выбрать нового лидера, который сможет заключить сделку. По какой-то причине Зеленский никогда не идёт на сделки».

Progressive Disclosure для MCP/API - экономия токенов в ~99% Я вчера писал про 12 итерацию эксперимента с Personal OS, где я упаковал весь интерфейс для работы агентов и людей с версионированными документами (аналог своего GitHub + markdown) в две команды для CLI/MCP: (1) start “task name” - начинает сессию и получает описание текущего SDK (2) run “Python script” Это позволило упаковать сложный функционал работы с документами, версиями в SDK. Агент начинает новую сессию, получает текущий SDK, видит его возможности и начинает писать код для выполнения задач. Код выполняется на сервере в песочнице (настоящей, а не контейнер) с ограничениями пользователя. Это позволило перестать, наконец, делать новый деплой серверов API-шек и всех клиентов на каждое улучшение тулзов. Я смог прогнать пяток экспериментов по оптимизации SDK (более удобные функции) и сократил время праздношатания агентов в два раза. А потом Дима @kuchin (спасибо тебе!) скинул ссылку на Cloudflare Code Mode, где сделали что-то подобное, только масштабом сильно больше - им надо было паковать 1M-2M токенов описывающих их 2549 AI tools. Благодаря progressive disclosure и Code Mode + SDK они смогли уменьшить расход токенов для типичных задач агентов этак раз в 1000, а число инструментов сократить до двух. И вот тут я понял, что с таким подходом у нас не просто появилась среда, которая чуть улучшает подход с shared git repo + markdown и позволяет людям с агентами быстро обмениваться информацией без риска что-то безвозвратно потерять. Теперь же можно в этот SDK вшивать процессы по работе с информацией в компании не словами, а кодом (например - как создавать инвойсы, где их хранить, откуда брать статистику, как версионировать), выкатывая новые версии SDK на лету (они подхватываются новыми сессиями агентов). И все это без опасения, что контекст моделек переполнится. Благодаря progressive disclosure, он как был в 1000 токенов, так и останется, даже если SDK вырастет до двух с половиной тысяч инструментов, как у Cloudflare. Теперь только остается осознать все открывающиеся возможности. Ваш, @llm_under_hood 🤗

Research-first-builder — заставьте вашего агента по программированию обосновать архитектуру реальными исходными текстами, прежде чем она будет собрана. 🐱 GitHub

🔥 Первый день Форума «Цифровые решения» — работаем Мы представили два руководства по безопасной работе с ИИ-агентами. Скачиваем и изучаем: ▶️Безопасность ИИ-агентов через призму кибериммунитета Внутри: разбор реальных атак через контекст (Echoleak, Searchleak, Camoleak) и практические советы по изоляции агента и контролю его инструментов. Полезно будет почитать и разработчикам, и руководителям. ▶️Безопасное внедрение облачных ИИ-агентов в процессы разработки: опыт «Лаборатории Касперского» Здесь разбираем основные риски внедрения облачных ИИ-агентов в разработку ПО, показываем подход компании к их снижению и делимся практическим опытом R&D-команды. А ещё — смотрим видео с Максимом Лызаевым, менеджером по сопровождению корпоративных продаж «Лаборатории Касперского», о том, как проходит первый день Форума ⬆️

https://huggingface.co/spaces/AlexWortega/openjev чат а го накидаем лайков жеска, я чет забыл что у меня это есть

Bitdefender внезапно выпустила свой бесплатный антивирус для ИИ-агентов 💪 AI Guardian следит за тем, что агент собирается сделать до выполнения действия: ловит скрытые вредоносные инструкции, проверяет MCP-инструменты и скиллы, защищает SSH-ключи и другие учётные данные и может просто заблокировать подозрительную операцию. Пока AI Guardian работает на macOS с Claude Code и OpenClaw и доступен бесплатно. Вайб-защита здесь 🫡

GLM-5.3 без цензуры: вышел EXL3-квант на 3 бита На Hugging Face появилась uncensored-версия GLM-5.3, квантованная в формат EXL3 под ExLlamaV3. Средняя разрядность 3.04 bpw, веса весят 273 GiB. В основе лежит полноценная GLM-5.3 от Z.ai. Это MoE на 753B параметров: 256 роутируемых экспертов, из которых 8 активны на каждом токене, плюс один общий эксперт. Отказы сняли правкой весов без файнтюна, изменения описаны в файле CRACK_SURGERY.json. Сам EXL3-квант сделан поверх этой правки. Качество сжатия измерили. KL-дивергенция против FP8 составляет 0.089, перплексия выросла с 3.302 до 3.440. На tau2-bench агентные метрики почти не просели. Модель запускали на 8× A100 40GB через TabbyAPI с разбиением слоёв по картам, контекст ограничили 65K токенов. Есть важная ловушка с tool calling. GLM пишет аргументы инструментов как сырой текст, а парсер glm4_5 в TabbyAPI пытается разобрать каждое значение как JSON. Из-за этого около 70% вызовов в retail-задачах падают, пока парсер не поправишь. Модель подойдёт тем, кто гоняет большие MoE локально и хочет модель без отказов. Защитных ограничений у неё нет, так что за то, что она выдаёт, отвечает тот, кто её развернул. https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw