AI SecOps

Open in Telegram

AI security operations. Материалы, ссылки, мероприятия

Russia575 874 Technologies & Applications47 714

259

Subscribers

No data24 hours

No data7 days

No data30 days

154

Post views

No data24 hours

No data48 hours

59.46%

Engagement rate

No data

Posts per day

Ads index

beta

Data loading in progress...

Similar Channels

No data

Any problems? Please refresh the page or contact our support manager.

Incoming and Outgoing Mentions

---

Attracting Subscribers

April '25

+259

in 1 channels

Channel Posts

Американский NIST руководство по защите от атак на ИИ-системы, одновременно признав, что «атаки по количеству и мощности превосходят доступные методы их отражения»

2	https://medium.com/aimonks/fingpt-the-future-of-financial-analysis-revolutionizing-markets-with-open-source-ai-94684def1889	137
3	Материалы с конференции "Цифровая устойчивость промышленных систем" https://tsups.ib-bank.ru/materials	249
4	В последнее время я часто пишу тут про агенты. Надеюсь кто-то уже попробовал что-то использовать или возможно реализовать своего агента. Иногда для своего понимания я трачу время на то чтобы дать себе ответ на вопрос "а кто есть сейчас на рынке" и вот если мы берём решения для защиты LLM, то я уже писал о том что есть большой рынок. Однако что с агентами ? Хоть их уже и много - но как таковой карты решений я не видел раньше пока не наткнулся на пост в блоге Брендона Диксона из Microsoft. В нём он не рассматривает решения для защиты и тестирования агентов... таких компаний мало... Но он приводит обратную сторону - применение агентов в ИБ. И у него получилась очень насыщенная карта(вы можете видеть её в картинке к посту). Он делает огласку: Большая часть моего понимания компаний получена из их маркетинговых материалов, ориентированных на внешний рынок. Карта представляет из собой набор решений. Структурирована она следующим образом. У нас есть задачи: Пентест(решения помечаются красным цветом), Риски(оранжевым) и т.д(вверху справа все цвета. Есть разделение карты: Если смотреть слева направо то можно увидеть какие решения являются не-автономными, а какие полностью(никаких) или частично автономные ... А если смотреть снизу вверх, то можно понять мол решение будет ориентироваться на работу исходя из задачи или исходя из домена. Как-то так. В посте он приводит несколько лидеров, которые он для себя отметил(ссылки в посте у автора): Dropzone.AI и CommandZero - решения для сортировки инцидентов. Pixee AI и Github Copilot - решения для анализа кода. Лучшие co-pilot по его мнению - Microsoft Security Copilot и Purple AI. Для себя я ещё отметил из его карты крутые решения на рынке - напрмер Splx - это решение с агентами для RedTeaming тестирования LLM. Есть ещё shift - они позиционируют себя как "Cursor for hackers", дополнялка для Caido(веб-пентестерам знакомо), чтобы упростить в процессе тестирования генерацию пейлоадов и т.д	134
5	KPIs for Cyber Security: A Journey Through Numbers That Tell Stories! by Hadess, 2025	142
6	Гомоморфное шифрование и ИИ. Интересный пример https://huggingface.co/spaces/zama-fhe/encrypted-anonymization	221
7	databricks-ebook-dasf-2.pdf	212
8	+4 Databricks, выпустившие один из крутых фреймворков по MlSecOps релизнули вторую версию - DASF v2.0 Они добавили побольше инструментов в свой фреймворк, переработали его с точки зрения соответствия нормативным стандартам типа GDRP и CCPA. А также что ? Они добавили побольше компонентов, на которых они обрисовали риски и новые меры по защите. Определили 62 технических риска безопасности и сопоставили их с 64 рекомендуемыми элементами для управления рисками моделей ИИ. Они также расширили сопоставления с ведущими отраслевыми фреймворками и стандартами рисков ИИ, включая MITRE ATLAS , OWASP LLM & ML Top 10, NIST 800-53 , NIST CSF , HITRUST , ENISA's Securing ML Algorithms , ISO 42001 , ISO 27001:2022. И доработали рекомендации для облаков. Помимо этого они сделали AI-ассистента к своему фреймворку. Сделали версию фреймворка в xlsx. Сделали курс на 1 час(AI Security Fundamentals). Бесплатный. А также обучающие ролики по DASF. а pdf-версия фреймворка ниже	187
9	OWASP-LLM_GenAI-Security-Solutions-Reference-Guide-v1.0-1.pdf	231
10	+3 Спустя несколько месяцев этот документ получил версию 1.1. И что в ней интересного ? Во первых это модель угроз для приложения - все угрозы OWASP наложены на архитектуру приложения. Есть всё же же этапы, однако к ним добавились более осмысленные и точные практики для SecOps части. Решений стало невероятно много и к каждому этапу было предложено несколько решений, как для защиты от атак, защиты данных, так и платформы для тестирования и валидации модельки на этапе релиза (Генерация ML BOM) и файрволлы. https://genai.owasp.org/resource/llm-and-generative-ai-security-solutions-landscape/	248
11	https://www.securityvision.ru/blog/obzor-i-karta-rynka-platform-dlya-zashchity-ml/	1 534
12	Исследовании "Дипфейки: риски и возможности для бизнеса"	457
13	Assessing potential future artificial intelligence risks, benefits and policy imperatives. https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/11/assessing-potential-future-artificial-intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf	392
14	🔸ГОСТ Р 71752-2024 Искусственный интеллект. Техническое задание. Требования к содержанию Дата введения в действие: 01.01.2025. 🔸ПНСТ 943-2024 Искусственный интеллект. Структура архитектуры систем машинного обучения в будущих сетях, включая IMT-2020 Срок действия: с 01.01.2025 до 01.01.2028.	614
15	В России обновили концепцию регулирования искусственного интеллекта В документе зафиксировали ответственность за вред, причиненный нейросетью.	393
16	Опубликованы национальные стандарты в области ИИ: 🔸ГОСТ Р 71476-2024 Искусственный интеллект. Концепции и терминология искусственного интеллекта 🔸ГОСТ Р 71539-2024 Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта 🔸ГОСТ Р 71540-2024 Искусственный интеллект. Эталонная архитектура инженерии знаний 🔸ГОСТ Р ИСО/МЭК 24029-2-2024 Искусственный интеллект. Оценка робастности нейронных сетей. Часть 2. Методология использования формальных методов 🔸ГОСТ Р ИСО/МЭК 42001-2024 Искусственный интеллект. Система менеджмента Дата введения в действие пяти документов: 01.01.2025. Опубликованы национальные стандарты в области применения ИИ в строительно-дорожной технике: 🔸ГОСТ Р 71750-2024 Технологии искусственного интеллекта в строительно-дорожной технике. Термины и определения 🔸ГОСТ Р 71751-2024 Технологии систем искусственного интеллекта в строительно-дорожной технике. Варианты использования Дата введения в действие этих ГОСТов: 01.01.2025. 🔸ПНСТ 966-2024 Алгоритмы систем искусственного интеллекта для обнаружения и идентификации препятствий строительно-дорожной техники. Методы испытаний 🔸ПНСТ 967-2024 Алгоритмы систем искусственного интеллекта для решения задач ландшафтной навигации строительно-дорожной техники. Методы испытаний Срок действия этих документов: с 01.01.2025 до 01.01.2028. Также добавлены: 🔸ГОСТ Р 71687-2024 Искусственный интеллект. Наборы данных для разработки и верификации моделей машинного обучения для косвенного измерения механических свойств полимерных композиционных материалов. Общие требования 🔸ГОСТ Р ИСО/МЭК 20547-3-2024 Информационные технологии. Эталонная архитектура больших данных. Часть 3. Эталонная архитектура Дата введения в действие этих документов: 01.01.2025.	201
17	https://habr.com/ru/companies/bastion/articles/856180/	263
18	Основные ресурсы по вопросам безопасности ИИ #иб_в_ml Если вы задавались вопросом, как найти полезную информацию о некоторой узкой теме в ML Security, или только собираетесь знакомится с этой областью, этот список ресурсов для вас. Просто ML 🟢Гит со ссылками про MLOps 🟢Introduction to Machine Learning - статья (649 страниц) на arxiv про все машинное обучение до самых основ, вышла 4 сентября 2024 года. 🟢Введение в практический ML с тетрадками jupyter 🟢Курс по NLP на HuggingFace 🟢Основы MLOps Безопасность ML 🔵Карта навыков от PWNAI 🔵глоссарий терминов 🔵Статья от Microsoft про концепции в AI Secuirty 🔵Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps - Книга, написанная для безопасников по безопасности ИИ 🔵Periodic Table of AI Security by OWASP - фреймворк от OWASP, где рассмотрены меры защиты 🔵Generative AI Security: теория и практики - Достаточно много инфы по LLM, включая регуляторику. 🔵Еще про регуляторику писали тут (в самом конце). 🔵Список ресурсов около llm-security тематики от PWNAI 🔵Еще один список: ML+OPS+security 🔵MlSecurity Playbook по offensive security 🔵Объяснимость ИИ 🔵Конференции, где есть безопасность ИИ — Зарубежные: DEFCON (AI Villiage), BlackHat (трэки AI,Datascience), Conference on Applied Machine Learning in Information Security. + Обзор докладов на тему AI с этих конференций. — Российские: PHDAYS (названия треков меняются, но есть с AI), OFFZONE (AI.ZONE), Форум "Технологии Доверенного ИИ", и скоро будет анонсирована еще одна, пока секретная... 🔵Интересные исследователи по MLSec: Николас Карлини, wunderwuzzi 🔵Классические фреймворки по MLSecOps: Huawei, Databricks, Snowflake, CyberOrda (RU). 🔵Коллекция ссылок и немного теории - гит от jiep 🔵Таксономии атак на ml - карта от MRL, от института BIML 🔵ИИ для кибербезопасности: тренды и востребованность - статья от ВШЭ 🔵Коллекция вредоносных промптов для LLM 🔵И еще один такой сборник 🔵Большая статья с кучей кода как проводить атаки на ml 🔵Доклад Adversa на Conf 42 - Introducing MLSecOps 🔵Пара статей с Хабра про атаки на мл 🔵Paper stack от dreadnode 🔵CTF и подобные площадки, где можно попробовать собственные силы в промпт-атаках LLM (спасибо Коле) 1. crucible.dreadnode.io 2. https://huggingface.co/spaces/invariantlabs/ctf-summer-24/tree/main 3. https://promptairlines.com/ 4. burp labs: https://portswigger.net/web-security/llm-attacks 5. в обычных ctf тоже появляются куски с ml/llm, например, в http://poll-vault.chal.hackthe.vote/ 6. https://myllmdoc.com/ 7. https://gandalf.lakera.ai/ 8. AI CTF с PHDFest2 2024: https://aictf.phdays.fun/ И немного от меня лично: 🔵Обзор компетенций для работы с данными в ИБ в трех частях (один, два, три) 🔵Статья про инциденты ML Security 🔵Введение в NLP в ИБ (один, два)	218
19	Наконец, всё это отображается на карту, которая показывает процесс разработки ИИ-системы и показывает, на каком этапе может возникнуть тот или иной риск, в чем опасность и как риск митигировать. Карта интерактивная: можно выбирать риски, чтобы визуально все это себе представлять. В дополнение к ней идет AI Development Primer (достаточно подробная статья для не-ML-щиков о том, как делает машинлернинг) и Risk Self Assessment (тест на то, на какие риски стоит обратить внимание в организации). Этот фреймворк далеко не идеальный: например, мне непонятно, зачем вообще выделять зону «модель», в которую входит «модель», а также некоторая алгоритмическая (не связанная с моделью) составляющая по обработке входов-выводов; компонент агентов-плагинов слегка тенденциозный и в целом скорее про вводы-выводы, т.к. сами плагины обычно имплементируют детерминированную логику, а агенты с ними объединены вообще непонятно за какие заслуги; evaluation и тем более fine-tuning в моем сознании больше про «модель», чем про инфраструктуру и так далее. Тем не менее, есть причины, по которым захотелось про него рассказать. Во-первых, он в равной мере нацелен и службы ИБ, и на разработчиков систем (вроде меня). Во-вторых, он ориентирован на риски, а не уязвимости (строго говоря, хотя на OWASP написано черным по белому a list of the most critical vulnerabilities, model theft это тоже риск, а не уязвимость). В-третьих, он включает дополнительные материалы, которые должны помочь всем акторам (менеджерам, ИБ-шникам и ML-щикам) говорить на одном языке, в отличие от того же ATLAS, и визуальное представление процесса, которое, если общий язык не найден, дает возможность тыкать в это представление пальцем. Последнее, на мой взгляд, очень важно, поэтому если бы я делал свой идеальный фреймворк, который бы потом объяснял разработчикам я бы основывал его скорее на карте SAIF, а не на ATLAS. Возможно, я не знаю про какие-то еще более удачные фреймворки, но если узнаю – обязательно поделюсь 🔪	153
20	Компоненты – это те процессы и сущности, которые возникают в процессе разработки ИИ-систем. Они поделены на четыре основных зоны: данные, инфраструктура, модель, приложение. Данные – особая сущность, так как в отличие от традиционного ПО данные в ML-системах подменяют код, определяя логику. Компоненты, связанные с данными – это источники данных, процессы очистки и обработки данных и результирующие датасеты. Инфраструктура – это все, что связано с процессами вокруг данных и моделей, за которые как правило отвечает традиционный код. Это код фреймворков, процесс обучения, дообучения и оценки, хранения данных и моделей и деплой модели (serving). Модель – тут все понятно. Основные сущности тут – это файл модели, обработка входов в модель и обработка выходов модели. Приложение – финальный слой, на котором идет взаимодействие с пользователем. Отмечается, что это взаимодействие, особенно в случае с приложениями на базе LLM, может сильно отличаться от взаимодействия со стандартными приложениями. Здесь компонентами являются само приложение и агенты с плагинами в случае с LLM-приложениями. Риски – это те проблемы, с которыми может столкнуться разработчик, владелец сервиса или потребитель ИИ- модели. Они достаточно сильно пересекаются с техниками ATLAS и рисками OWASP Top-10: в частности, тут тоже есть Model Exfiltration, во всех трех есть Prompt Injection. Для каждого риска указывается, каковы причины его возникновения, как он может митигироваться и какие были примеры его реализации. Кроме того, указывается, кто ответственен за митигацию – создатель модели или ее потребитель, а также какие средства управления рисками к нему применимы. Средства управления рисками (controls) – суть понятна из перевода. Средства разбиты по зонам компонентов и ссылаются на риски, которые с их помощью можно закрывать, а также на роль (создатель или потребитель модели), который может их применить.	136

View all posts