Борис_ь с ml

В Музее Криптографии с Артемом сегодня рассказываем об атаках на системы на основе распознавания речи Подробнее тут: пост

Исследование трендов ИИ+ИБ #ml_для_иб #иб_для_ml Евгений написал недавно заметку о том, что исследователи из ИСИЭЗ НИУ ВШЭ выпустили две статьи: 1. ИИ для кибербезопасности: тренды и востребованность 2. Как повысить безопасность разработки и использования ИИ? 🔘В первой статье авторы рассматривают рынок применения машинного обучения для ИБ. С помощью данных об утечках, фишинговых инцидентов и т.п. обосновывается актуальность некоторых классов продуктов ИБ. 🔘Во второй - авторами предоставляется карта мер обеспечения безопасности в распределении по этапам жизненного цикла системы с ML (на основе материалов Лаборатории Касперского и Федерального Управления по Информационной Безопасности ФРГ). Разберем их ключевые положения. О чем говорят разработчики ML в ИБ?

1. Среди ИИ-инструментов обеспечения цифровой безопасности наиболее популярны системы прогнозирования новых угроз, обученные обнаруживать закономерности на данных о ранее совершенных атаках. 2. Минимизировать возможности киберугроз со стороны внутренних нарушителей (инсайдеров) позволяют методы поведенческой аналитики сотрудников. Их применение считают необходимым 87% руководителей подразделений по информационной безопасности крупнейших мировых компаний. 3. Вместе с технологией профилирования пользователей упоминается также и важность автоматизированной оценки рисков. 4. Набирают популярность ИИ-решения для блокировки ботов на основе анализа их активности. В 2023 г. боты сгенерировали почти половину сетевого трафика (49,6%), причем треть общего трафика (32%) — вредоносные боты. 5. Генеративные модели могут, среди прочего, анализировать уязвимости кода, собирать расширенный контекст событий в сфере информационной безопасности, генерировать на основе идентификаторов пояснения по обнаруженным угрозам, выявлять неявные связи в системе. Для обнаружения фишинговых сообщений применяется функция выявления текста, написанного с помощью ИИ.

Фреймворк MLSec от ВШЭ Таблица из картинки как раз и описывает данный фреймворк. В 2023, как пишут исследователи, они проводили опрос среди 2500 российских организаций из 20 отраслей экономики, который выявил, что...

необходимость повышения требований к кибербезопасности ИИ-систем отметила почти каждая четвертая из опрошенных организаций-пользователей подобных решений (более 23%). И лишь 8.6% считают, что безопасность ИИ должна быть урегулирована законодательно.

Далее под таблицей следует определение основных понятий таблицы - безопасность обучающих данных, состязательные атаки (общепринятый термин, который при этом нельзя понимать буквально - так обозначаются атаки, рассчитанные на уязвимость математического устройства модели) и состязательное обучение - то есть обучение на данных, которые нивелируют уязвимость модели к тем или иным атакам. Также упоминается некоторая регуляторная отечественная активность в сторону безопасного ИИ - принятие закона о страховании рисков ИИ участниками экспериментального правового режима и создание консорциума по безопасности ИИ. Резюме 🔘Первая статья - топовые продуктовые гипотезы, которые можно ждать от компаний, заявляющих об использовании ML в своих решениях. 🔘Вторая статья - полезное и грамотное введение в MLSec, рекомендую к прочтению тем, кто хочет ознакомиться с темой.

#праздное

Поделал быстро таких же тестов с новой o1 Из интересного - Safety стал строже (т.е. реже помогает с опасными задачами), но теперь запросы отклоняются прямо на уровне API:

HTTP code 400 from API "message": "Invalid prompt: your prompt was flagged as potentially violating our usage policy. Please try again with a different prompt."

Видимо появился какой-то классификатор опасных промптов на входе (т.е. запросы даже не доходят до о1). При этом Safety самой модели тоже остался (она может отказать и сама). В общем теперь нужно джейлбрейкать и классификатор, и целевую модель UPD: Да, появились классификаторы:

We also employ a combination of our Moderation API and safety classifiers to prevent the use of harmful or sensitive content, including explicit materials such as CSAM

Как взломать систему распознавания речи ? Практически у многих из нас есть дома умные девайсы, с которыми мы каждый день ведём беседы. С одной стороны - это удобная технология, которая позволяет быстро включить любимого Джека Уайта или Деймона Албарна(да, Ра?) или послушать новости. С другой стороны - это множество рисков. Например при помощи скрытых инструкций в аудиосообщении, которое подаётся на колонку с распознаванием речи - можно заставить колонку галлюцинировать или получить информацию, которая предназначена для другого пользователя. Но можно ли сделать что-то более интереснее ? и как это практически реализовать. 🔥🔥🔥🔥АНОНС !!!🔥🔥🔥🔥 22го сентября, в Воскресенье, Я и Борис в рамках комьюнити Слономойка - проведём воркшоп. Его основная идея - показать какие вообще атаки на эти системы распознавания речи существуют и как Вы(те кто будет на мероприятии) сможете их реализовать на практике ... Да-да, придётся нести ноутбук. Мы попробуем сгенерировать различные варианты adversarial атак на звуковые системы. Сделаем фан-встречу, на которой поговорим о звуковых атаках в целом. Как оно работает под капотом и можно ли этим как-то атаковать MLLM. Где: Москва, Ботаническая ул., 25 строение 4, Москва (Музей Криптографии, он самый). Во сколько: с 12:00 до 14:00. Более подробно можно ознакомится тут. QR коды на посещение мероприятия будут выданы на месте, а их, кстати, 90.

ФСТЭК про безопасность ИИ #иб_для_ml 8 августа этого года ФСТЭК опубликовал проект приказа о безопасности ГИС, вместо 17-го от 2013 года. Изменения обширные, и охватывают весь документ - изменились существующие пункты и добавилось 24 новых. Но нас интересует пункт 49, посвященный безопасности использования искусственного интеллекта. В чем суть?

Оператор обеспечивает защиту информации, содержащейся в его информационных системах, при использовании ИИ.

И далее описывается, каким требованиям должны соответствовать меры защиты ИИ в ГИС. 1️⃣ Оператор обязан исключить НСД к параметрам используемых моделей и их обучающей выборке 2️⃣ Занятный подпункт - ИИ не должен влиять на параметры ИИ. То есть запрещен AutoML?.. И еще тут же - запрещен сильный ИИ о_О 3️⃣ Нужно исключать передачу конфиденциальной информации разработчикам ИИ 4️⃣ Подробно прописана безопасность взаимодействия пользователя (П) с ИИ. Во-первых, запросы П и ответы ИИ должны соответствовать определенным шаблонам и это должно контролироваться. Во-вторых, нужно детектить, логировать и анализировать недостоверные ответы ИИ, а также реагировать на них и не допускать принятия решений на их основе 5️⃣ При выявлении model extraction или model inversion, надо реагировать. Это отличный пункт, читайте про действия (далее цитата): "большое количество запросов в единицу времени, разнородные запросы в одном пользовательском сеансе, повторяющиеся запросы с одним меняющимся параметром, ..." И меры прописаны понятные: "...меры защиты, направленные на замедление работы системы ИИ, блокирование сеанса или учетной записи пользователя" 6️⃣ Специалисты должны мониторить сведения об уязвимостях технологий ИИ, и в случае обнаружения обязаны устранять эти уязвимости. Даешь профстандарт по направлению mlsec!..:) 7️⃣ В awarness-меры надо включить и безопасность ИИ 8️⃣ Регламентируется разметка данных для ИИ. 1 - надо разработать модель угроз, учитывающей (загибайте пальцы) особенности функционирования ИИ, архитектуру вычислительной системы, угрозы применения опенсорса, а также обработку данных (и поиск решений, но я это не понял). Великолепно, под термин разметки можно многое приплести, особенно в госструктурах, где данные все себе сами готовить будут, и размечать тоже, соответственно. 2 - нужно постоянно поддерживать в актуальном состоянии, и при этом доступ к ним контролировать. 3 - необходим контроль за процессом изменения гиперпараметров модели, работники должны обладать соответствующими полномочиями, и при этом не забывать менять документацию на систему. 4 - общение с внешними сервисами допустимо только в особых случаях, и только если они на территории РФ (читай недопустимо) ). Мое мнение 🔵 Документ продуманный, рад его появлению. Он ведь обозначает актуализацию mlsec-профессии и появления для нас новой работы) 🟢 Есть и вопросы. Например, что такое параметры модели - это только гиперпараметры, или еще веса? В приказе идет ссылка на пункт 5 подпункта "т" 490-го Указа, где говорится, что это такие числовые значения, определяющие работу ИИ вплоть до прогнозирования результатов, то есть вроде похоже и на веса. Но хотелось бы поподробнее. Хотя в 49.8.в явно указано "гиперпараметры", что дает понять, что авторы различают параметры и гиперпараметры модели. 🟡 Еще вопросы: что такое процессы и сервисы обработки данных? А что более интересно - что такое процессы и сервисы поиска решений? 🔵 Что не так с AGI? Согласно подпункту "х" того же Указа - это ИИ, самостоятельно адаптирующийся к меняющимся условиям. По какой логике он оказался запрещен?.. 🟣 Что такое описание моделей (из 49.8.б)? Это просто названия, данные каким-то дата саентистом, или их надо как-то конкретно составлять? Расписывать архитектуру? Вплоть до слоев и функций активации, или как-то проще? Значит ли это вообще требование использовать версионирование моделей через условный MLFlow? А какой системой тогда пользоваться, ИСП РАН пока вроде не релизил ничего такого... 🟢Как должна выглядеть модель угроз ИИ из пункта 49.8.а?.. 📎 Отдельно текст 49 пункта я оставил вот по этой ссылке. Источник

#праздное В небесной вышине и в горной тишине, В морской волне и в яростном огне!

DecodingTrust: A comprehensive assessment of trustworthiness in GPT models Wang, W. Chen, H. Pei, C. Xie, M. Kang, C. Zhang, C. Xu, Z. Xiong, R. Dutta, R. Schaeffer et al NeurIPS, 2023. 🔗https://arxiv.org/pdf/2306.11698 #иб_для_ml 110-страничный фреймворк по безопасности LLM (из которого 48 страниц - источники и приложения ➖GPT-4, как правило, более склонен к токсичности (из-за джейлбрейка), чем GPT-3.5, из-за более точного следования инструкциям. ➖Выявлено, что GPT-4 более уязвим к манипуляциям через инъекции из-за точного следования инструкциям. ➖GPT-4 продемонстрировал лучшую защиту от утечек персональной информации по сравнению с GPT-3.5, но все равно не идеальную ➖Представили бенчмарк AdvGLUE++ для оценки устойчивости LLM к атакам. Выводов по нему тоже много, например, такой: атаки, пускай, на модели GPT-3.5 и GPT-4, созданные с использованием других моделей, таких как Alpaca-7B, могут успешно передаваться и воздействовать на целевые. И в целом объем инфы невероятный, целая книга по факту

Софт скиллы #hr Сегодня прошел первый день OFFZONE - куча докладов, море людей вокруг и постоянное общение. И не важно, насколько вы узкоспециальный эксперт, насколько широк круг ваших интересов - сегодня был на одном из главных планов навык взаимодействия и коммуникации. Так я узнал немало интересных людей, и от того, что многих встретил тут, был очень рад сегодня) Это здорово, когда тебя узнают, когда есть с кем поделиться впечатлениями и новостями, и когда осознаешь, что вот именно с ним тебе и надо было обсудить ту самую задачку... В общем, я приглашаю всех на мероприятие, посвященное развитию именно таких навыков - коммуникации, развитию сети контактов и понимания коллег и друзей. Ссылка. Музей криптографии, в это воскресенье, 25.08, 11:00. Мест всего 30. Там будут Артем, Алиса, я и еще много интересных ребят, приходите!

Хайлайты OFFZONE Первые доклады прослушаны, встречены знакомые лица) Даже в формате бюстов о.О

Забег по конференциям продолжается Я буду перемещаться по в целом по всему пространству OFFZONE, но более всего около AI track До встречи) 🐇

Всем привет! Я на связи с IT-пикника Кто сюда пришел, давайте свяжемся)

Тэги #ai - про искусственный интеллект крупным планом #ml_для_иб #иб_для_ml #иб #праздное - смешное и/или личное #данные #технологии #mil - военная тематика #hr - про найм в области пересечения ИИ и ИБ, про необходимые навыки

⚖️В СК появятся новые ИИ-разработки для анализа больших данных Глава СК Александр Бастрыкин провел совещание по вопросам развития информационных технологий в следственных органах и учреждениях ведомства.

"Председателю СК России доложено о ряде новых перспективных разработок с применением 🤖искусственного интеллекта, которые позволят анализировать большие объемы данных и оперативно получать необходимый результат в ходе расследования преступления"

- сообщает ТАСС. "Председатель СК России потребовал, чтобы архитектура информационно-технологической системы СК России совершенствовалась с учетом стоящих задач по импортозамещению программного обеспечения. Ему доложено, что на базе конкретных подразделений уже реализуется пилотный проект, в ходе которого идет апробация отдельных отечественных продуктов", - говорится в сообщении. 📖Также предложено рассмотреть вопрос о дальнейшей интеграции информационных систем, действующих в СК России, в существующую систему цифровых сервисов государства. ✋ @Russian_OSINT

Безопасность ML — фантазии, или реальность? #иб_для_ml Так много выходит статей про атаки на машинное обучение, фреймворки по MLSecOps возникают то тут, то там... Но вот вопрос... "А был ли мальчик?" Есть ли действительно люди, которые пользуются методами проведения атак на искусственный интеллект? Выходит ли сегодня эта тема за рамки строгих математических кругов и лабораторных условий? Спойлер - да. Подробности в моей новой статьей на Хабре: https://habr.com/ru/articles/834800/

Инструменты поиска статей #технологии #наука Научные публикации сегодня искать просто в гугле уже не так эффективно. По тому же машинному обучению - знать надо как можно больше, а статей в единицу времени прочитать много не получится. Поэтому очень полезно пользоваться сервисами на основе GPT, которые ищут по семантической схожести с твоим запросом нужные статьи. И разница с традиционным поиском есть, хоть в нем тоже и не примитивная логика. В этом посте расскажу про те сервисы, которыми пользуюсь сам, и нахожу их полезными. 🥇Ссылка. Простой поисковик на основе эмбеддингов OpenAI по аннотациям статей в Arxiv. Можно указывать тэги научных областей и годы издания. ⚡️Ссылка. Полноценный сервис с поиском. Возможностей очень много - есть просто поиск, есть суммаризация найденных статей (режим Copilot). А если сформулировать вопрос, то на основе Arxiv-статей он даст ответ и светофор со степенью уверенности от "точно да" до "точно нет". ⭐️Ссылка. Самый сильный инструмент, по-моему, так как это поисковик в диалоговым формате. И ищет статьи не только по Arxiv, но и по базе IEEE, Springer, и вообще всему интернету. Правда, лимит на сообщения довольно маленький, что печально. 🔴Ссылка. Бонусная ссылка, здесь можно скинуть любую пдфку и откроется чат с моделью. Предоставляет возможность пообщаться с особенными статьями, которые не были найдены остальными моделями, или которых вовсе нет в интернете (если осмелитесь, конечно...) Кстати, все они умеют и по-русски отвечать. Только русскоязычные статьи находить не умеют.

По итогам опроса - статьям быть) Следующую попробую сделать с одним докладом, посмотрим на удобство такого формата. Мне кажется, при чтении это позволит лучше сфокусироваться на одной определенной теме, без распыления внимания.

Nicholas Carlini, исследователь безопасности машинного обучения, широко известный в узких кругах тем, что со стилем ломает (и опять и ещё) защиты от adversarial attacks, выпустил большой блогпост 💪 про то, как он пользуется языковыми моделями в программировании и других повседневных задачах. В целом – вполне понятные задачи написания простого и одноразового кода, объяснение ошибок и тому подобное. Но всё-таки мне очень нравится то, что в посте нет как пустой критики, так и THIS IS HUGE – такой вот хороший use-case driven development. Кстати, (1) у него на ICML этого года вышел часовой туториал про то, как он думает про безопасность LLMок и (2) у него в 2024 году сразу две (1, 2) лучших стати на ICML. 😩