AI SecOps
前往频道在 Telegram
259
订阅者
无数据24 小时
无数据7 天
无数据30 天
数据加载中...
吸引订阅者
四月 '25
四月 '25
+259
在1个频道中
频道帖子
Американский NIST руководство по защите от атак на ИИ-системы, одновременно признав, что «атаки по количеству и мощности превосходят доступные методы их отражения»
| 2 | https://medium.com/aimonks/fingpt-the-future-of-financial-analysis-revolutionizing-markets-with-open-source-ai-94684def1889 | 137 |
| 3 | Материалы с конференции "Цифровая устойчивость промышленных систем" https://tsups.ib-bank.ru/materials | 249 |
| 4 |  В последнее время я часто пишу тут про агенты. Надеюсь кто-то уже попробовал что-то использовать или возможно реализовать своего агента. Иногда для своего понимания я трачу время на то чтобы дать себе ответ на вопрос "а кто есть сейчас на рынке" и вот если мы берём решения для защиты LLM, то я уже писал о том что есть большой рынок.
Однако что с агентами ? Хоть их уже и много - но как таковой карты решений я не видел раньше пока не наткнулся на пост в блоге Брендона Диксона из Microsoft. В нём он не рассматривает решения для защиты и тестирования агентов... таких компаний мало... Но он приводит обратную сторону - применение агентов в ИБ. И у него получилась очень насыщенная карта(вы можете видеть её в картинке к посту).
Он делает огласку:
Большая часть моего понимания компаний получена из их маркетинговых материалов, ориентированных на внешний рынок.
Карта представляет из собой набор решений. Структурирована она следующим образом. У нас есть задачи: Пентест(решения помечаются красным цветом), Риски(оранжевым) и т.д(вверху справа все цвета. Есть разделение карты:
Если смотреть слева направо то можно увидеть какие решения являются не-автономными, а какие полностью(никаких) или частично автономные ... А если смотреть снизу вверх, то можно понять мол решение будет ориентироваться на работу исходя из задачи или исходя из домена. Как-то так.
В посте он приводит несколько лидеров, которые он для себя отметил(ссылки в посте у автора):
Dropzone.AI и CommandZero - решения для сортировки инцидентов.
Pixee AI и Github Copilot - решения для анализа кода.
Лучшие co-pilot по его мнению - Microsoft Security Copilot и Purple AI.
Для себя я ещё отметил из его карты крутые решения на рынке - напрмер Splx - это решение с агентами для RedTeaming тестирования LLM. Есть ещё shift - они позиционируют себя как "Cursor for hackers", дополнялка для Caido(веб-пентестерам знакомо), чтобы упростить в процессе тестирования генерацию пейлоадов и т.д | 134 |
| 5 | KPIs for Cyber Security: A Journey Through Numbers That Tell Stories! by Hadess, 2025 | 142 |
| 6 | Гомоморфное шифрование и ИИ. Интересный пример https://huggingface.co/spaces/zama-fhe/encrypted-anonymization | 221 |
| 7 | databricks-ebook-dasf-2.pdf | 212 |
| 8 |  +4Databricks, выпустившие один из крутых фреймворков по MlSecOps релизнули вторую версию - DASF v2.0
Они добавили побольше инструментов в свой фреймворк, переработали его с точки зрения соответствия нормативным стандартам типа GDRP и CCPA. А также что ? Они добавили побольше компонентов, на которых они обрисовали риски и новые меры по защите. Определили 62 технических риска безопасности и сопоставили их с 64 рекомендуемыми элементами для управления рисками моделей ИИ.
Они также расширили сопоставления с ведущими отраслевыми фреймворками и стандартами рисков ИИ, включая MITRE ATLAS , OWASP LLM & ML Top 10, NIST 800-53 , NIST CSF , HITRUST , ENISA's Securing ML Algorithms , ISO 42001 , ISO 27001:2022. И доработали рекомендации для облаков.
Помимо этого они сделали AI-ассистента к своему фреймворку.
Сделали версию фреймворка в xlsx.
Сделали курс на 1 час(AI Security Fundamentals). Бесплатный. А также обучающие ролики по DASF.
а pdf-версия фреймворка ниже | 187 |
| 9 | OWASP-LLM_GenAI-Security-Solutions-Reference-Guide-v1.0-1.pdf | 231 |
| 10 |  +3Спустя несколько месяцев этот документ получил версию 1.1.
И что в ней интересного ?
Во первых это модель угроз для приложения - все угрозы OWASP наложены на архитектуру приложения. Есть всё же же этапы, однако к ним добавились более осмысленные и точные практики для SecOps части. Решений стало невероятно много и к каждому этапу было предложено несколько решений, как для защиты от атак, защиты данных, так и платформы для тестирования и валидации модельки на этапе релиза (Генерация ML BOM) и файрволлы.
https://genai.owasp.org/resource/llm-and-generative-ai-security-solutions-landscape/ | 248 |
| 11 | https://www.securityvision.ru/blog/obzor-i-karta-rynka-platform-dlya-zashchity-ml/ | 1 534 |
| 12 | Исследовании "Дипфейки: риски и возможности для бизнеса" | 457 |
| 13 | Assessing potential future artificial intelligence risks, benefits and policy imperatives. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf | 392 |
| 14 | 🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию
Дата введения в действие: 01.01.2025.
🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020
Срок действия: с 01.01.2025 до 01.01.2028. | 614 |
| 15 | В России обновили концепцию регулирования искусственного интеллекта
В документе зафиксировали ответственность за вред, причиненный нейросетью. | 393 |
| 16 | Опубликованы национальные стандарты в области ИИ:
🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта
🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта
🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний
🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов
🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента
Дата введения в действие пяти документов: 01.01.2025.
Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике:
🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения
🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования
Дата введения в действие этих ГОСТов: 01.01.2025.
🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний
🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний
Срок действия этих документов: с 01.01.2025 до 01.01.2028.
Также добавлены:
🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования
🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура
Дата введения в действие этих документов: 01.01.2025. | 201 |
| 17 | https://habr.com/ru/companies/bastion/articles/856180/ | 263 |
| 18 |  Основные ресурсы по вопросам безопасности ИИ
#иб_в_ml
Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас.
Просто ML
🟢Гит со ссылками про MLOps
🟢Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года.
🟢Введение в практический ML с тетрадками jupyter
🟢Курс по NLP на HuggingFace
🟢Основы MLOps
Безопасность ML
🔵Карта навыков от PWNAI
🔵глоссарий терминов
🔵Статья от Microsoft про концепции в AI Secuirty
🔵Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ
🔵Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты
🔵Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику.
🔵Еще про регуляторику писали тут (в самом конце).
🔵Список ресурсов около llm-security тематики от PWNAI
🔵Еще один список: ML+OPS+security
🔵MlSecurity Playbook по offensive security
🔵Объяснимость ИИ
🔵Конференции, где есть безопасность ИИ
— Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience),
Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций.
— Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная...
🔵Интересные исследователи по MLSec: Николас Карлини, wunderwuzzi
🔵Классические фреймворки по MLSecOps: Huawei, Databricks, Snowflake, CyberOrda (RU).
🔵Коллекция ссылок и немного теории - гит от jiep
🔵Таксономии атак на ml - карта от MRL, от института BIML
🔵ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ
🔵Коллекция вредоносных промптов для LLM
🔵И еще один такой сборник
🔵Большая статья с кучей кода как проводить атаки на ml
🔵Доклад Adversa на Conf 42 - Introducing MLSecOps
🔵Пара статей с Хабра про атаки на мл
🔵Paper stack от dreadnode
🔵CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле)
1. crucible.dreadnode.io
2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main
3. https://promptairlines.com/
4. burp labs: https://portswigger.net/web-security/llm-attacks
5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/
6. https://myllmdoc.com/
7. https://gandalf.lakera.ai/
8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/
И немного от меня лично:
🔵Обзор компетенций для работы с данными в ИБ в трех частях (один, два, три)
🔵Статья про инциденты ML Security
🔵Введение в NLP в ИБ (один, два) | 218 |
| 19 |  Наконец, всё это отображается на карту, которая показывает процесс разработки ИИ-системы и показывает, на каком этапе может возникнуть тот или иной риск, в чем опасность и как риск митигировать. Карта интерактивная: можно выбирать риски, чтобы визуально все это себе представлять. В дополнение к ней идет AI Development Primer (достаточно подробная статья для не-ML-щиков о том, как делает машинлернинг) и Risk Self Assessment (тест на то, на какие риски стоит обратить внимание в организации).
Этот фреймворк далеко не идеальный: например, мне непонятно, зачем вообще выделять зону «модель», в которую входит «модель», а также некоторая алгоритмическая (не связанная с моделью) составляющая по обработке входов-выводов; компонент агентов-плагинов слегка тенденциозный и в целом скорее про вводы-выводы, т.к. сами плагины обычно имплементируют детерминированную логику, а агенты с ними объединены вообще непонятно за какие заслуги; evaluation и тем более fine-tuning в моем сознании больше про «модель», чем про инфраструктуру и так далее. Тем не менее, есть причины, по которым захотелось про него рассказать. Во-первых, он в равной мере нацелен и службы ИБ, и на разработчиков систем (вроде меня). Во-вторых, он ориентирован на риски, а не уязвимости (строго говоря, хотя на OWASP написано черным по белому a list of the most critical vulnerabilities, model theft это тоже риск, а не уязвимость). В-третьих, он включает дополнительные материалы, которые должны помочь всем акторам (менеджерам, ИБ-шникам и ML-щикам) говорить на одном языке, в отличие от того же ATLAS, и визуальное представление процесса, которое, если общий язык не найден, дает возможность тыкать в это представление пальцем. Последнее, на мой взгляд, очень важно, поэтому если бы я делал свой идеальный фреймворк, который бы потом объяснял разработчикам я бы основывал его скорее на карте SAIF, а не на ATLAS. Возможно, я не знаю про какие-то еще более удачные фреймворки, но если узнаю – обязательно поделюсь 🔪 | 153 |
| 20 | Компоненты – это те процессы и сущности, которые возникают в процессе разработки ИИ-систем. Они поделены на четыре основных зоны: данные, инфраструктура, модель, приложение.
Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты.
Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving).
Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели.
Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями.
Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы.
Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить. | 136 |
