AI SecOps

3 новых стандарта ИИ, которые стоит сохранить 1️⃣ ISO/IEC 27090:2026 Cybersecurity — Artificial intelligence (AI) — Addressing security threats and compromises to AI systems Новый международный стандарт, содержащий рекомендации по противодействию специфическим для ИИ угрозам безопасности на всех этапах жизненного цикла технологий ( от «отравления» данных (data poisoning) до атак типа «уклонение» (evasion attacks) и кражи моделей). По сути, этот стандарт дополняет ISO 27001 и ISO 42001, предлагая меры по обеспечению кибербезопасности, актуальные именно для систем искусственного интеллекта. 2️⃣EN 18286:2026 Quality management system for EU AI Act regulatory purposes Этот стандарт, впервые представленный в июле, стал первым гармонизированным стандартом в поддержку закона. Документ посвящен системам управления качеством прежде всего для разработчиков ИИ-систем с высоким уровнем риска (согласно статье 17 Закона). Он помогает подтвердить соответствие установленным регуляторным требованиям. 3️⃣ IEEE 2863-2026 IEEE Recommended Practice for Organizational Governance of Artificial Intelligence Помогает превратить принципы ответственного ИИ (Responsible AI) в конкретные организационные процессы управления. Речь идет об ответственности, надзоре, этических принципах и разрешении противоречий между различными приоритетами управления. #AIShelf ———— @pattern_ai | AI GDPR Navigator

Что же за документ про ИИ-агентов, который готовит организация, в аббревиатуре которой есть буквы Ф, С и Б, я упомянул в субботу?.. А вот он – "Sound Practices for Responsible Adoption of Artificial Intelligence". Документ содержит 12 рекомендаций для финансовых организаций. FSB усилил рекомендации по контролю человеком над их действиями. Особенно важны три положения: 6️⃣ Для высокорисковых вариантов использования ИИ необходим более интенсивный человеческий надзор 2️⃣ Организация должна заранее определить риск-ориентированные условия, при которых агент обязан запрашивать разрешение человека 3️⃣ Из рекомендаций удалена аналогия, предполагавшая отношение к агентам как к цифровым сотрудникам. FSB подчеркивает, что агенты не рассуждают так же, как люди, и способны неожиданным образом интерпретировать поставленные цели. В окончательном документе подчеркнуты роль совета директоров и высшего руководства, соответствие использования ИИ корпоративному риск-аппетиту, непрерывная оценка рисков, документирование сценариев использования ИИ и контроль качества решений. Примерно об этом мы говорили и на Russia Risk Conference 2026. Продолжим... 16 октября Reuters сообщил о решении финансовых руководителей G7 провести специальные штабные учения по сценариям кибератак с использованием ИИ – о решении рассказала министр финансов Японии Сацуки Катаяма после встречи руководителей министерств финансов и центральных банков в Бангкоке. В учениях предполагается проверять действующие процедуры реагирования, а по результатам планируется скорректировать ранее разработанные инструкции и планы действий. Отличительной особенностью этого анонса является фокусировка именно на ИИ (штабные киберучения центрабанки G7 проводили и раньше). Тем более, что аккурат в те же дни, индийский CERT-IN выпустил бюллетень про атаки со стороны ИИ-агентов, а в южнокорейской массовой эпидемии кибератак на местные банки все больше находят следов ИИ-присутствия. И в заключение вишенка на торте, которой является интересная инициатива OpenAI, Anthropic и других ведущих ИИ-компаний, которые в закрытом режиме готовятся к последствиям первой масштабной катастрофы, вызванной искусственным интеллектом. По информации Axios, многие руководители и исследователи ведущих ИИ-компаний убеждены, что в обозримом будущем произойдет масштабный инцидент с использованием ИИ и наиболее вероятный сценарий – кибератака, которая приведет к серьезным нарушениям работы критической инфраструктуры. Причем речь идет не столько о предотвращении самой катастрофы, сколько о том, что делать на следующий день после нее, когда общество и политики потребуют запретить или радикально ограничить ИИ. Некоторые представители ИИ-индустрии ожидают подобное событие уже в ближайшие 6–12 месяцев. В рамках данной инициативы, которую можно назвать и штабными киберучениями, рассматриваются два принципиально разных сценария. Первый – ИИ выходит из-под контроля, например, группа автономных ИИ-агентов преодолевает ограничения испытательной среды и начинает действовать за ее пределами. Второй – злоумышленники используют доступные ИИ-модели, как, например, в атаках на южнокорейские финансовые организации, в которых, по сообщениям исследователей, злоумышленник использовал китайские ИИ-модели, включая DeepSeek, а также Claude Code. Особенно интересно, что в обоих сценариях общественная и политическая реакция может оказаться одинаковой, хотя ответственность разработчиков ИИ принципиально различается. По сведениям Axios, ИИ-компании моделируют не только технические последствия катастрофы, но и предполагают, что после первого действительно масштабного инцидента возникнет требование немедленно ограничить использование ИИ. Однако есть проблема – к моменту первой катастрофы ИИ уже настолько глубоко проникнет в экономику, что попытки его остановить сами по себе могут вызвать масштабные негативные последствия. Отдельно отмечается практически невозможная задача отключения открытых моделей, которые уже свободно распространяются по миру. А вы предусмотрели ИИ-агентов в своей модели угроз?.. 🤔 #ии #cyberrange #регулирование

Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды, сообщает Bloomberg. Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил. В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI.

Linux Foundation развивает TRACE как общий язык доказательств работы AI-агентов 25 августа Linux Foundation взяла под управление TRACE — Trust, Runtime Attestation and Compliance Evidence, открытый стандарт, разработанный OPAQUE совместно с AMD, Intel, Microsoft и Technology Innovation Institute. TRACE формирует аппаратно подтверждаемую запись, связывающую runtime, исполнявшийся код, политики, классы обрабатываемых данных и инструменты, которые вызывал AI-агент. Спецификация строится поверх RATS, EAT, SLSA, SCITT, SPIFFE и EAR. Важная оговорка: TRACE пока developer preview; текущая спецификация — v0.2, поэтому её ещё рано считать зрелым production-стандартом. Что это значит? Появляется новый слой поверх TEE: TEE → обеспечивает аппаратную изоляцию Attestation → доказывает состояние среды TRACE → превращает это доказательство в переносимое runtime evidence. Для банков это потенциально очень интересно с точки зрения AI Governance. Обычный audit log говорит:

«Агент вызвал API».

TRACE пытается дать возможность доказать:

«Вот этот workload, в этой аппаратно подтверждённой среде, под этой policy, обработал данные такого класса и вызвал именно этот инструмент».

Это может стать основой технически проверяемого аудита AI-агентов.

3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно. Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам: ➡️ Blast radius – насколько далеко распространятся последствия ошибки ➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба. Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine. Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему: ➡️ Read L4, чтобы самостоятельно анализировать правила ➡️ Write L3, чтобы самостоятельно отключить правило ➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ. Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3. Дополнительно, Ленни предлагает фиксировать еще четыре вещи: ➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль. ➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие. ➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб. ➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено. В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔 #ии #framework

В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов Эксперты Сбера на конференции OFFZONE 2026 представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw. Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности: 1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя. 2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности. 3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента. 4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей. 5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы. 👉 Подробнее

Microsoft опубликовала программную статью, в которой заявила, что традиционная архитектура кибербезопасности перестаёт соответствовать эпохе автономных ИИ-агентов. Компания представила концепцию Project Perception — нового подхода к обнаружению угроз и поиску уязвимостей с использованием нескольких ИИ-моделей. https://blogs.microsoft.com/blog/2026/07/27/rethinking-security-for-the-age-of-ai/ SOC будущего будет строиться вокруг ИИ-агентов, способных самостоятельно анализировать события, выявлять атаки и помогать аналитикам принимать решения.

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности.

#взлом 🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face. • Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы. • Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face. • Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом. • Хакеры получили доступ к части внутренних датасетов и служебным учётным данным. • Какую именно модель использовали для взлома, установить не удалось. В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов. Ирония: хакерскую атаку обнаружил другой AI-агент. Crypto Headlines

Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627

Отчет "Безопасность ИИ в России: практика, риски, зрелость" https://k2tech.io/2dn

Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя тихо, неспеша... понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет?

В догонку к прежней картинке... #ии

Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами. Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же. Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое. И хочется чтобы вы были в курсе всех новинок.

Хорошая подборка материалов по #aisec