AI SecOps
Open in Telegram
AI security operations. Материалы, ссылки, мероприятия
Show more259
Subscribers
No data24 hours
No data7 days
No data30 days
Posts Archive
259
Фреймворк по MLSecOps от Positive https://cyberorda.com/mlsecops_framework_pt/
#pt #phd #mlsecops
259
Repost from AM Live
В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются и манипулируются, а меры их защиты не работают.
259
Repost from Борис_ь с ml
AI Security Framework от Snowflake
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)
Мое личное мнение - полезный фреймворк.
259
RSA Conference 2024:
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
#ии #ai
259
#ИИ NIST выпустил 4 новых проекта публикаций, которые должны быть опубликованы до 2 июня 2024 года:
- Профиль генеративного искусственного интеллекта AI RMF (NIST AI 600-1),
- Практика безопасной разработки ПО для генеративного ИИ (NIST SP 800-218A),
- Снижение рисков, связанных с синтетическим контентом (NIST AI 100-4), и -...
- План глобального взаимодействия по стандартам ИИ (NIST AI 100-5)
- а также программа GenAI challenge для улучшения оценок GenAI. Здесь: https://www.nist.gov/news-events/news/2024/04/department-commerce-announces-new-actions-implement-president-bidens
259
https://atlas.securityhub.ru/
MITRE ATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems), это база знаний о кейсах, тактиках и техниках, применяемых злоумышленниками для атак на системы машинного обучения (МО). Матрица основана на реальных наблюдениях, исследованиях red teams и групп по безопасности, академических исследованиях. ATLAS создан по образцу фреймворка MITRE ATT&CK®, ее тактики и техники дополняют матрицу ATT&CK.
ATLAS позволяет исследователям ориентироваться в ландшафте угроз для систем машинного обучения. МО все чаще используется в различных областях. Количество уязвимостей в МО растет, и его использование увеличивает поверхность атаки в существующих системах. Матрица ATLAS была разработана для повышения осведомленности об угрозах МО и представлениях их в виде, знакомом исследователям безопасности.
На русском языке.
#mitre #framework
