AI SecOps

Американский NIST руководство по защите от атак на ИИ-системы, одновременно признав, что «атаки по количеству и мощности превосходят доступные методы их отражения»

Материалы с конференции "Цифровая устойчивость промышленных систем" https://tsups.ib-bank.ru/materials

В последнее время я часто пишу тут про агенты. Надеюсь кто-то уже попробовал что-то использовать или возможно реализовать своего агента. Иногда для своего понимания я трачу время на то чтобы дать себе ответ на вопрос "а кто есть сейчас на рынке" и вот если мы берём решения для защиты LLM, то я уже писал о том что есть большой рынок. Однако что с агентами ? Хоть их уже и много - но как таковой карты решений я не видел раньше пока не наткнулся на пост в блоге Брендона Диксона из Microsoft. В нём он не рассматривает решения для защиты и тестирования агентов... таких компаний мало... Но он приводит обратную сторону - применение агентов в ИБ. И у него получилась очень насыщенная карта(вы можете видеть её в картинке к посту). Он делает огласку:

Большая часть моего понимания компаний получена из их маркетинговых материалов, ориентированных на внешний рынок.

Карта представляет из собой набор решений. Структурирована она следующим образом. У нас есть задачи: Пентест(решения помечаются красным цветом), Риски(оранжевым) и т.д(вверху справа все цвета. Есть разделение карты: Если смотреть слева направо то можно увидеть какие решения являются не-автономными, а какие полностью(никаких) или частично автономные ... А если смотреть снизу вверх, то можно понять мол решение будет ориентироваться на работу исходя из задачи или исходя из домена. Как-то так. В посте он приводит несколько лидеров, которые он для себя отметил(ссылки в посте у автора): Dropzone.AI и CommandZero - решения для сортировки инцидентов. Pixee AI и Github Copilot - решения для анализа кода. Лучшие co-pilot по его мнению - Microsoft Security Copilot и Purple AI. Для себя я ещё отметил из его карты крутые решения на рынке - напрмер Splx - это решение с агентами для RedTeaming тестирования LLM. Есть ещё shift - они позиционируют себя как "Cursor for hackers", дополнялка для Caido(веб-пентестерам знакомо), чтобы упростить в процессе тестирования генерацию пейлоадов и т.д

Гомоморфное шифрование и ИИ. Интересный пример https://huggingface.co/spaces/zama-fhe/encrypted-anonymization

Databricks, выпустившие один из крутых фреймворков по MlSecOps релизнули вторую версию - DASF v2.0 Они добавили побольше инструментов в свой фреймворк, переработали его с точки зрения соответствия нормативным стандартам типа GDRP и CCPA. А также что ? Они добавили побольше компонентов, на которых они обрисовали риски и новые меры по защите. Определили 62 технических риска безопасности и сопоставили их с 64 рекомендуемыми элементами для управления рисками моделей ИИ. Они также расширили сопоставления с ведущими отраслевыми фреймворками и стандартами рисков ИИ, включая MITRE ATLAS , OWASP LLM & ML Top 10, NIST 800-53 , NIST CSF , HITRUST , ENISA's Securing ML Algorithms , ISO 42001 , ISO 27001:2022. И доработали рекомендации для облаков. Помимо этого они сделали AI-ассистента к своему фреймворку. Сделали версию фреймворка в xlsx. Сделали курс на 1 час(AI Security Fundamentals). Бесплатный. А также обучающие ролики по DASF. а pdf-версия фреймворка ниже

Спустя несколько месяцев этот документ получил версию 1.1. И что в ней интересного ? Во первых это модель угроз для приложения - все угрозы OWASP наложены на архитектуру приложения. Есть всё же же этапы, однако к ним добавились более осмысленные и точные практики для SecOps части. Решений стало невероятно много и к каждому этапу было предложено несколько решений, как для защиты от атак, защиты данных, так и платформы для тестирования и валидации модельки на этапе релиза (Генерация ML BOM) и файрволлы. https://genai.owasp.org/resource/llm-and-generative-ai-security-solutions-landscape/

Assessing potential future artificial intelligence risks, benefits and policy imperatives. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf

🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию Дата введения в действие: 01.01.2025. 🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020 Срок действия: с 01.01.2025 до 01.01.2028.

В России обновили концепцию регулирования искусственного интеллекта В документе зафиксировали ответственность за вред, причиненный нейросетью.

Опубликованы национальные стандарты в области ИИ: 🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта 🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта 🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний 🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов 🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента Дата введения в действие пяти документов: 01.01.2025. Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике: 🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения 🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования Дата введения в действие этих ГОСТов: 01.01.2025. 🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний 🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний Срок действия этих документов: с 01.01.2025 до 01.01.2028. Также добавлены: 🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования 🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура Дата введения в действие этих документов: 01.01.2025.

Основные ресурсы по вопросам безопасности ИИ #иб_в_ml Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас. Просто ML 🟢Гит со ссылками про MLOps 🟢Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года. 🟢Введение в практический ML с тетрадками jupyter 🟢Курс по NLP на HuggingFace 🟢Основы MLOps Безопасность ML 🔵Карта навыков от PWNAI 🔵глоссарий терминов 🔵Статья от Microsoft про концепции в AI Secuirty 🔵Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ 🔵Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты 🔵Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику. 🔵Еще про регуляторику писали тут (в самом конце). 🔵Список ресурсов около llm-security тематики от PWNAI 🔵Еще один список: ML+OPS+security 🔵MlSecurity Playbook по offensive security 🔵Объяснимость ИИ 🔵Конференции, где есть безопасность ИИ — Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience), Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций. — Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная... 🔵Интересные исследователи по MLSec: Николас Карлини, wunderwuzzi 🔵Классические фреймворки по MLSecOps: Huawei, Databricks, Snowflake, CyberOrda (RU). 🔵Коллекция ссылок и немного теории - гит от jiep 🔵Таксономии атак на ml - карта от MRL, от института BIML 🔵ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ 🔵Коллекция вредоносных промптов для LLM 🔵И еще один такой сборник 🔵Большая статья с кучей кода как проводить атаки на ml 🔵Доклад Adversa на Conf 42 - Introducing MLSecOps 🔵Пара статей с Хабра про атаки на мл 🔵Paper stack от dreadnode 🔵CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле) 1. crucible.dreadnode.io 2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main 3. https://promptairlines.com/ 4. burp labs: https://portswigger.net/web-security/llm-attacks 5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/ 6. https://myllmdoc.com/ 7. https://gandalf.lakera.ai/ 8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/ И немного от меня лично: 🔵Обзор компетенций для работы с данными в ИБ в трех частях (один, два, три) 🔵Статья про инциденты ML Security 🔵Введение в NLP в ИБ (один, два)

Наконец, всё это отображается на карту, которая показывает процесс разработки ИИ-системы и показывает, на каком этапе может возникнуть тот или иной риск, в чем опасность и как риск митигировать. Карта интерактивная: можно выбирать риски, чтобы визуально все это себе представлять. В дополнение к ней идет AI Development Primer (достаточно подробная статья для не-ML-щиков о том, как делает машинлернинг) и Risk Self Assessment (тест на то, на какие риски стоит обратить внимание в организации). Этот фреймворк далеко не идеальный: например, мне непонятно, зачем вообще выделять зону «модель», в которую входит «модель», а также некоторая алгоритмическая (не связанная с моделью) составляющая по обработке входов-выводов; компонент агентов-плагинов слегка тенденциозный и в целом скорее про вводы-выводы, т.к. сами плагины обычно имплементируют детерминированную логику, а агенты с ними объединены вообще непонятно за какие заслуги; evaluation и тем более fine-tuning в моем сознании больше про «модель», чем про инфраструктуру и так далее. Тем не менее, есть причины, по которым захотелось про него рассказать. Во-первых, он в равной мере нацелен и службы ИБ, и на разработчиков систем (вроде меня). Во-вторых, он ориентирован на риски, а не уязвимости (строго говоря, хотя на OWASP написано черным по белому a list of the most critical vulnerabilities, model theft это тоже риск, а не уязвимость). В-третьих, он включает дополнительные материалы, которые должны помочь всем акторам (менеджерам, ИБ-шникам и ML-щикам) говорить на одном языке, в отличие от того же ATLAS, и визуальное представление процесса, которое, если общий язык не найден, дает возможность тыкать в это представление пальцем. Последнее, на мой взгляд, очень важно, поэтому если бы я делал свой идеальный фреймворк, который бы потом объяснял разработчикам я бы основывал его скорее на карте SAIF, а не на ATLAS. Возможно, я не знаю про какие-то еще более удачные фреймворки, но если узнаю – обязательно поделюсь 🔪

Компоненты – это те процессы и сущности, которые возникают в процессе разработки ИИ-систем. Они поделены на четыре основных зоны: данные, инфраструктура, модель, приложение. Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты. Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving). Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели. Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями. Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы. Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить.