RED BLUE Machines | ИИ и безопасность

Attaque a-la russe: атака с помощью промт-инъекций русскоязычных моделей семейства Saiga2 / Хабр https://habr.com/ru/articles/810459/

Наткнулся на реп с джейлбрейком лламы 3. Как понял идея в добавлении harmful префикс, который ллама3 продолжит https://github.com/haizelabs/llama3-jailbreak

Прикольная находка. Тут чехи (есть и из Rapid7) тюнят ллмки для перевода с русского на английский с целью "Understanding cybercrime communications" используя данные из русскоязычных телеграм каналов: Towards Better Understanding of Cybercrime: The Role of Fine-Tuned LLMs in Translation https://arxiv.org/abs/2404.01940

Ещё один инструмент для тестирования LLMок на уязвимости через промты Prompt Fuzzer https://github.com/prompt-security/ps-fuzz

Забавный кейс. Huggingface обычно сканирует модели, и предупреждает юзера, если это *.pkl с подозрительным кодом. При этом через inference api эту модель можно запустить. Что и проделали чюваки из WIZ Research (это те, кто недавно нашел на гитхабе 38тб приватных данных MicroSoft :D) В итоге команде удалось получить доступ к шеллу, где крутилась модель, а затем чуть ли не ко всему инференс кластеру. Подробнее Видео @derplearning

LLM4Decompile Набор LLM для декомпиляции x86 assembly инструкций в код на C. Получены файнтюном из DeepSeek-Coder (и имеют ту же лицензию). Есть несколько моделей в размерах 1.3B, 6.7B, 33B. Авторы указывают, что 90% кода из LLM вновь компилируется, при этом ~21% кода полученного из моделей 6B+ показывают то же поведение, что и исходный код + проходят все исходные тесты. LLM4Decompile: Decompiling Binary Code with Large Language Models https://arxiv.org/abs/2403.05286 Код + ссылки на модели на HuggingFace можно найти в репозитории https://github.com/albertan017/LLM4Decompile

Google еще в феврале опенсорснул Magika - быстрый идентификатор типа файла на базе маленькой ml-модельки которая весит всего ~ 1MB. Для инференса в несколько миллисекунд достаточно cpu. Поддерживает более 100 типов файлов (список) Такую модельку применяют в частности в Gmail, Drive, Safe Browsing. Можно установить тулу для python (onnx для инференса) и javascript (для инференса используется tf.js ) Блог: https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html демка: https://google.github.io/magika/ Код: https://github.com/google/magika

Червячок Джимм Morris II 🪱 - твой личный AI-вирус. И дело даже не в показе Dune II. Создан первый GenAI вирус 👾. В недавнем исследовании, авторы создали первый вредоносный ИИ-червь, способный самостоятельно плодиться в среде с AI-агентами. Добро пожаловать в AGI world и вот вам новый вид кибератак 😵 Чтобы продемонстрировать возможности червя, исследователи создали почтовую RAG (!!!) систему, которая может отправлять и получать сообщения подключаясь к апи ChatGPT, Gemini и LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение. При этом, дядя не шарит в безе, поэтому опишет, как он понимает механизмы атак и нафига тут RAG в системе 🕵‍♂. RAG тут ИМХО необходим для того, чтобы использовать некую стартовую базу атак на представленный контекст, а также, чтобы хранить инфо о сообщениях с уже атакованных хостов в локальной (глобальной?) памяти системы. Те RAG тут про память в системе агентов и поиск по БД зловреда. Плюс, ходя вот так по хостам юзеров системы, можно подобные уже увиденные форматы личных/корп. данных прихранивать в памяти червя и юзать их для более эффективного поиска подобных записей/сообщений на основе RAG запросов. Мол вот найди LLM-агент из того, что ты сейчас "видишь" подобные форматы из подсказки (базы атак/уже атакованных сабжей) RAGа. Нашел? Прихрани в памяти агента, передай на сервак зловреда, сделай в сабж опасную инъекцию и пусти дальше по сети сабж к другим юзерам 🤯 Исследователи подчеркивают, что Gen.AI черви станут новым вызовом перед службами безопасности технологических компаний и разработчиков стартапов. Поэтому крепитесь 🦾 И будьте готовы.

Cледуй за белым кроликом - WhiteRabbitNeo - это сетка орентированна на киберсеков и она не плохая для проги - она умеет генерить ответы с json, вызывать тулы и прочее - сходу пишет код с многопоточностью(приятно) - неплохо пишет DL код Она и правда классная! hf org site

LLamaGuard-7b для проверки промтов и ответов на вредный контент. Доступ к самой модельке нужно запрашивать. https://huggingface.co/meta-llama/LlamaGuard-7b