AI SecOps

Google's Secure AI Framework: A practitioner’s guide to navigating AI security Google, 2023 Веб-сайт Сегодня хотелось бы вернуться к ИБ и посмотреть на один из фреймворков с рекомендациями по обеспечению кибербезопасности ИИ-систем, а именно Google’s Secure AI Framework (SAIF). SAIF достаточно сильно отличается от часто упоминаемых MITRE ATLAS и OWASP Top 10 for LLMs. OWASP Top 10 for LLMs перечисляет конкретные наиболее критичные уязвимости (вы не поверите, 10 штук), от LLM01 Prompt Injection до LLM10 Model Theft, в подробностях рассказывая, откуда эти уязвимости берутся, как они могут быть проэксплуатированы, а также приводят ссылки на дополнительные ресурсы и иногда конкретные примеры. MITRE ATLAS сделан для тех, кто мыслит в терминах MITRE ATT&CK, и крутится вокруг тактик (цель атакующего от начальных до завершающих стадий атаки, например, «разведка» или «боковое перемещение»), по сути добавляя в них ML-специфичные техники и две тактики (доступ к модели и подготовка атаки на ML-модель). При этом техники ATLAS могут совпадать с «уязвимостями» OWASP Top-10 (например, кража модели). Для разных техник существуют митигации, которые должны снизить вероятность их реализации. SAIF, как фреймворк от компании-разработчика ИИ-систем, рассматривает безопасность с точки зрения процесса разработки (explore AI development through a security lens) и того, где и на каком этапе могут возникнуть разнообразные риски. Фреймворк состоит из трех основных понятий: компоненты, риски и средства управления рисками, которые объединены в единую карту.

Безопасность в машинном обучении: от проектирования до внедрения (от Солар) https://habr.com/ru/companies/solarsecurity/articles/848834/

https://ttps.ai Интересная матрица атак и ttp для Gen AI Каждая атака описана и приведены ресёрчи по технике.

Создана первая карта ландшафта атак на ИИ Исследователь Дэниел Месслер попытался создать визуальную карту атак на искусственный интеллект (ИИ). С помощью предложенного им фреймворка специалистам будет легче разобраться, как происходят атаки на ИИ-системы. Месслер пояснил, что писал свою статью в то время, когда только появился GPT-4. На тот момент уже имелось большое количество информации об атаках на реализации машинного обучения, но не на полные системы, созданные с использованием ИИ как части нескольких компонентов. «Во многом это связано с тем, что такие интеграционные технологии, как Langchain, стали популярными только за последние 2 месяца. Поэтому людям потребуется время, чтобы создавать продукты и услуги с использованием этого инструментария», - поясняет исследователь. Естественный язык — основа для атаки на системы ИИ, что порождает совершенно новый вид уязвимостей. Автор выделяет два метода, которыми могут действовать злоумышленники, - внедрение подсказок и атаки на обучение. С помощью этих методов можно реализовать атаки на модели, агенты, инструменты и обучающие данные. В статье подчеркивается, что при изучении атак на ИИ важно думать не только о больших языковых моделях, но обо всей ИИ-экосистеме, которая состоит из множества компонентов. «Нам особенно нужно думать о том, где системы ИИ пересекаются с нашими стандартными бизнес-системами, например, на уровнях агентов и инструментов, поскольку это системы, которые могут выполнять действия в реальном мире», - подытоживает Месслер. Источник: https://danielmiessler.com/p/the-ai-attack-surface-map-v1-0/ #ИИ #кибератаки

ФСТЭК про безопасность ИИ #иб_для_ml 8 августа этого года ФСТЭК опубликовал проект приказа о безопасности ГИС, вместо 17-го от 2013 года. Изменения обширные, и охватывают весь документ - изменились существующие пункты и добавилось 24 новых. Но нас интересует пункт 49, посвященный безопасности использования искусственного интеллекта. В чем суть?

Оператор обеспечивает защиту информации, содержащейся в его информационных системах, при использовании ИИ.

И далее описывается, каким требованиям должны соответствовать меры защиты ИИ в ГИС. 1️⃣ Оператор обязан исключить НСД к параметрам используемых моделей и их обучающей выборке 2️⃣ Занятный подпункт - ИИ не должен влиять на параметры ИИ. То есть запрещен AutoML?.. И еще тут же - запрещен сильный ИИ о_О 3️⃣ Нужно исключать передачу конфиденциальной информации разработчикам ИИ 4️⃣ Подробно прописана безопасность взаимодействия пользователя (П) с ИИ. Во-первых, запросы П и ответы ИИ должны соответствовать определенным шаблонам и это должно контролироваться. Во-вторых, нужно детектить, логировать и анализировать недостоверные ответы ИИ, а также реагировать на них и не допускать принятия решений на их основе 5️⃣ При выявлении model extraction или model inversion, надо реагировать. Это отличный пункт, читайте про действия (далее цитата): "большое количество запросов в единицу времени, разнородные запросы в одном пользовательском сеансе, повторяющиеся запросы с одним меняющимся параметром, ..." И меры прописаны понятные: "...меры защиты, направленные на замедление работы системы ИИ, блокирование сеанса или учетной записи пользователя" 6️⃣ Специалисты должны мониторить сведения об уязвимостях технологий ИИ, и в случае обнаружения обязаны устранять эти уязвимости. Даешь профстандарт по направлению mlsec!..:) 7️⃣ В awarness-меры надо включить и безопасность ИИ 8️⃣ Регламентируется разметка данных для ИИ. 1 - надо разработать модель угроз, учитывающей (загибайте пальцы) особенности функционирования ИИ, архитектуру вычислительной системы, угрозы применения опенсорса, а также обработку данных (и поиск решений, но я это не понял). Великолепно, под термин разметки можно многое приплести, особенно в госструктурах, где данные все себе сами готовить будут, и размечать тоже, соответственно. 2 - нужно постоянно поддерживать в актуальном состоянии, и при этом доступ к ним контролировать. 3 - необходим контроль за процессом изменения гиперпараметров модели, работники должны обладать соответствующими полномочиями, и при этом не забывать менять документацию на систему. 4 - общение с внешними сервисами допустимо только в особых случаях, и только если они на территории РФ (читай недопустимо) ). Мое мнение 🔵 Документ продуманный, рад его появлению. Он ведь обозначает актуализацию mlsec-профессии и появления для нас новой работы) 🟢 Есть и вопросы. Например, что такое параметры модели - это только гиперпараметры, или еще веса? В приказе идет ссылка на пункт 5 подпункта "т" 490-го Указа, где говорится, что это такие числовые значения, определяющие работу ИИ вплоть до прогнозирования результатов, то есть вроде похоже и на веса. Но хотелось бы поподробнее. Хотя в 49.8.в явно указано "гиперпараметры", что дает понять, что авторы различают параметры и гиперпараметры модели. 🟡 Еще вопросы: что такое процессы и сервисы обработки данных? А что более интересно - что такое процессы и сервисы поиска решений? 🔵 Что не так с AGI? Согласно подпункту "х" того же Указа - это ИИ, самостоятельно адаптирующийся к меняющимся условиям. По какой логике он оказался запрещен?.. 🟣 Что такое описание моделей (из 49.8.б)? Это просто названия, данные каким-то дата саентистом, или их надо как-то конкретно составлять? Расписывать архитектуру? Вплоть до слоев и функций активации, или как-то проще? Значит ли это вообще требование использовать версионирование моделей через условный MLFlow? А какой системой тогда пользоваться, ИСП РАН пока вроде не релизил ничего такого... 🟢Как должна выглядеть модель угроз ИИ из пункта 49.8.а?.. 📎 Отдельно текст 49 пункта я оставил вот по этой ссылке. Источник

Модель разделения ответственности за безопасность в различных моделях оказания услуг (IaaS, PaaS и SaaS) для машинного обучения.

Число компаний из списка Fortune 500, отмечающих риски, связанные с ИИ, выросло на 473,5% Согласно отчету исследовательской компании Arize AI, число компаний из списка Fortune 500, которые указали искусственный интеллект (ИИ) как риск, достигло 281, то есть больше половины. В прошлом году об угрозах со стороны ИИ заявили лишь 49 компаний, то есть рост составил 473,5%. Количество компаний, которые хоть как-то упомянули ИИ, подскочило на 152% до 323. «Если ежегодные отчеты Fortune 500 что-то и проясняют, так это то, что влияние генеративного ИИ ощущается во многих отраслях — даже в тех, которые еще не приняли эту технологию», — говорится в отчете. Исследователи Arize AI отмечают, что некоторые организации обеспокоены рисками больше других В эпоху, когда ИИ уверенно проникает практически во все отрасли, организации анализируют связанные с технологией риски и возможности, однако некоторые компании обеспокоены больше других. Лидерами, высказывающими наибольшее число опасений, были медиа и индустрия развлечений: 91,7% компаний из списка Fortune 500 в этом секторе указали на риски ИИ, согласно Arise AI. Столь высокий показатель связан с тем, что деятели искусства и журналисты оказались больше других уязвимы перед ИИ, поскольку технология покушается на их интеллектуальную собственность. Также ИИ-риски отмечают 86,4% компаний-разработчиков программного обеспечения и технологий, 70% телекоммуникационных компаний, 65,1% компаний здравоохранения, 62,7% финансовых компаний и 60% предприятий розничной торговли. Меньше всего беспокоятся о возможном негативном влиянии ИИ автомобильные компании (18,8%). Предупреждения также поступили от компаний, которые внедряют ИИ в свои продукты. Motorola заявила, что «ИИ не всегда может работать так, как задумано, а наборы данных могут быть недостаточными или содержать незаконную, предвзятую, вредную или оскорбительную информацию, что может негативно повлиять на наши результаты операций, деловую репутацию или принятие клиентами наших предложений ИИ». ИИ также был отмечен как риск, когда речь идет о кибербезопасности и утечках данных. Между тем, исследование, опубликованное в журнале Journal of Hospitality Market and Management в июне, показало, что потребители были менее заинтересованы в покупке товара, если на нем был указан термин «ИИ». Это говорит о том, что люди пока еще не убеждены в преимуществах ИИ и считают это лишней функцией. Источник: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/ #ИИ

😱 Исследователи из MIT создали базу данных о рисках, связанных с ИИ Она насчитывает более 700 пунктов. Для удобства изучения они сгруппировали их в 23 категории опасностей. Мы прикрепили видео с объяснением, как разобраться в этом море потенциальных угроз 😁 🙃 Кстати, один из рисков, упомянутых учёными, — засорение интернета бесполезной информацией (или, может быть, это уже произошло?) ✈️Больше интересного читайте в Биг Дата!

ИИ ассистент для security архитектора: определение скопа для анализа защищенности Собираем интересные сценарии внедрения ИИ для задач информационной безопасности. Разработчики научили генеративную модель выделять из описания релиза ключевые нововведения и изменения. Таким образом, она подсказывает, нужно ли проводить ручной анализ, и какой должен быть скоп у этой проверки. Модель анализирует каждый Pull Request, дополняет его соответствующей информацией из Jira и делает выводы для команды наступательной безопасности о том, где и как сфокусировать усилия в ходе ручного анализа защищенности данного релиза. С учетом частоты релизов и сотнями Pull Request в каждом, этот сценарий использования экономит усилия команды на определение приоритетов в ходе ручных проверок. Забираем для внедрения в свой процесс безопасной разработки.

Оценка возможностей LLM в наступательной безопасности Мы встречали исследования, в которых утверждалось, что LLM может автономно эксплуатировать известные уязвимости. Затем изучали опровержения этих исследований. В итоге пришли к выводу, что LLM может быть хорошим ассистентом при поиске багов, а команда Google Project Zero проверила эту гипотезу. Исследователи взяли опубликованную ранее методику оценки возможностей LLM для поиска и эксплуатации уязвимостей, доработали ее и улучшили в 20 раз показатетели LLM в тестах. Ключевые принципы, которые авторы применили в своих доработках: * пространство для рассуждений: дать модели возможность быть более «многословной» и через подробные рассуждения приходить к более точным результатам; * интерактивная среда: дать модели возможность взаимодействовать с тестовым окружением и корректировать свои ошибки; * инструменты: предоставить модели доступ к инструментам исследования (отладчик, интерпретатор кода Python), чтобы у нее была возможность получать детальную информацию о состоянии программы и влиять на это состояние; * проверка результата: обеспечить автоматически воспроизводимый результат; * стратегия отбора: дать модели возможность проверять несколько гипотез в рамках разных траекторий исследования. В итоге LLM стал более эффективным инструментом для помощи в процессе поиска уязвимостей. Но до состояния автономной системы пока еще далеко.

https://llmsecurity.net/ #llm #security

#ИИ Managing Artificial Intelligence-Specific Cybersecurity Risks in the Financial Services Sector Управление рисками кибербезопасности, связанными с искусственным интеллектом, в секторе финансовых услуг U.S. Department of the Treasury March 2024 https://media.licdn.com/dms/document/media/D4D1FAQGJjg6gnAiDuw/feedshare-document-pdf-analyzed/0/1718944778936?e=1720051200&v=beta&t=nByVZgy1M3Yqz7Nfd8j-qVkzKpITaay1ck5_GN0TY4M

#ИИ Guidelines for secure AI system development Руководство по безопасной разработке систем искусственного интеллекта В этом документе содержатся рекомендации для поставщиков любых систем, использующих искусственный интеллект (ИИ), независимо от того, были ли эти системы созданы с нуля или построены на основе инструментов и услуг, предоставленных другими компаниями. Соблюдение этих рекомендаций поможет поставщикам создавать системы ИИ, которые функционируют так, как задумано, доступны, когда это необходимо, и работают без раскрытия конфиденциальных данных неавторизованным сторонам. Национальный центр кибербезопасности Великобритании (NCSC), Агентство кибербезопасности и защиты инфраструктуры США (CISA) Здесь: https://media.licdn.com/dms/document/media/D4D1FAQFBQFzDiNeumA/feedshare-document-pdf-analyzed/0/1718943744558?e=1720051200&v=beta&t=GlLB6wL5ynYSH7uBBteAYHF3BCpkrHz3hVgKPpdbfmU