ML&|Sec Feed

⚡️ Awesome GPT Super Prompting Большой курируемый список методов обхода ограничений на модели GPT. Внутри: - GPT Джейлбрейки - GPT Prompt Leaks - GPT Prompt Injection - LLM Prompt Security - Prompt Hack - Prompt Security - AI Prompt Engineering - Adversarial Machine Learning ▪ Github @data_analysis_ml

Вот тут описание https://www.returnonsecurity.com/p/ai-security-shared-responsibility-model-navigating-risks-ai-deployment

Kali Linux OSINT VM — виртуальная машина OSINT с более чем 100 инструментами OSINT, шпаргалками, пользовательскими инструментами поиска, закладками и другими ресурсами, которые помогут вам в расследовании OSINT. 4️⃣ GitHub

Сентябрьский книгопад продолжается Вот и еще одна книжка первой свежести заехала. Называется Introduction to Machine Learning, появилась на архиве сегодня. Хоть и называется «Введение», но содержит достаточно много глубокого материала. Например, 50 страниц посвящено оптимизации в ML (со всей серьезной математикой), а еще 50 – PCA, тоже со всеми тонкостями. Ну и базовая база типа линейных моделей и деревьев тоже присутствует. Сами посмотрите оглавление 👆 Читать тут

📌 Существует три основных способа обучения LLM: естественный язык, классификация предложений и классификация лексем. 👉 Приведенная картинка дает представление о каждом из них! #llms #largelanguagemodel #generativeai @machinelearning_ru

Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities The paper evaluates the effectiveness of LLM for the task of detecting vulnerabilities in source code. The authors compare different prompting approaches with each other. Also they compare LLMs with static analysis tools (CodeQL) and with classical deep learning methods (LineVul). In addition, the authors draw some conclusions about the features of synthetic and real-world datasets. From the conclusions I would like to note: - Combining GPT-4 and CodeQL gives 96-97%; - Efforts aimed at the ability to work with a larger context look promising.

Использование RAG и LLM для анализа кибератак по системным логам. Наткнулся на простой, но интересный по результатам эксперимент. Задача состоит в поиске аномалий поведения системы по логам системных журналов.Для этого авторы используют RAG подход. Метод простой. В базу retrieval складывают логи нормальных и аномальных исторических событий (которые были четко детектированы) в качестве ground truth примеров. Далее при анализе поведения системы ретривер запрашивает по системному сообщения логи из журналов в векторной БД. После, с помощью промта, просят LLM сравнить запрос с выдачей для определения принадлежности к классу нормально/нет. Подход тестировался на типичных для задачи датасетах BGL и Thunderbird, система была спроектирована при помощи LangChain, эмбеддер был от OpenAI, как и сама LLM gpt3.5-like. Ниже приложу результаты тестов. По F1-score RAG результаты, конечно, впечатляют. На самом, деле мы пришли к тому, что по сути имеем KNn + LLM логику. Как если бы мы судили о нормальности объекта по его описательной статистике/фичах, но уже на уровне перехода embeddings->тексты. Самое интересное, как LLM может распознать такой специфический домен, как анализ логов в cyber security во few-shot режиме? Видела ли подобное на pretrain? Или это уже проявляется та же эмерджентность? Кстати от себя добавлю ещё ссылку на гит, в котором собраны ещё примеры сетов для анализа логов. UPD. Вопрос зачем нам тогда LLM , если можно иметь embs+KNN? Ответ у авторов:в тч для OOV примеров. Тк системы быстро изменяются и тп. Более того, а почему бы не применять такой же подход для детекции атак на LLM? Просто собрав все примеры промт атак, что сейчас известны 🤔

⚡️ OLMoE: Открытые языковые модели смеси экспертов «OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему. Она предварительно обучена ее на 5 триллионах лексем. OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.» • Статья: https://arxiv.org/abs/2409.02060 • Модель: https://hf.co/allenai/OLMoE-1B-7B-0924 @data_analysis_ml

https://arxiv.org/abs/2405.15012 Extracting Prompts by Inverting LLM Outputs Collin Zhang, John X. Morris, Vitaly Shmatikov We consider the problem of language model inversion: given outputs of a language model, we seek to extract the prompt that generated these outputs. We develop a new black-box method, output2prompt, that learns to extract prompts without access to the model's logits and without adversarial or jailbreaking queries. In contrast to previous work, output2prompt only needs outputs of normal user queries. To improve memory efficiency, output2prompt employs a new sparse encoding techique. We measure the efficacy of output2prompt on a variety of user and system prompts and demonstrate zero-shot transferability across different LLMs.

Очень много людей знают Магаму @casterbyte и его канал. И все мы его знаем как гениального сетевого инженера, который может по винтикам разобрать CISCO и MikroTik, а также он является nightmare для любого сетевика в крупной компании)) Так вот он выпустил свою книгу: Сети глазами хакера by Базаров Магама. В книге раскрываются следующие темы: ➡️Настройка дистрибутива Kali Linux для пентеста сетей ➡️Руководство по пентесту канального уровня сети ➡️Руководство по пентесту сетей Cisco ➡️Руководство по пентесту и защите устройств MikroTik ➡️Рекомендации по пентесту сетей с наименьшим ущербом для инфраструктуры ➡️Защита сети и сетевого оборудования от хакерских атак Я уже заказал себе 6 книг. Одну себе, 5 на розыгрыш на канале)) 🌚 @poxek | 📹 YouTube | 🌚 Мерч Похек

Там снова откопали новый (старый) баг с ChatGPT, который заставляет нейронку сливать обучающий датасет при просьбе повторить одно и тоже слово. Почитать, почему так работает — можно тут. Челы, которые пишут, что нейронка таким образом может выдавать секретную инфу, вроде паролей от крипто-кошельков или интимных переписок — идиоты. Откуда в обучающем датасете пароль от вашего криптокошелька?

В 2024 году появился новый метод по увеличению устойчивости LLM к adversarial атакам - Rainbow Teaming. Но сначала я расскажу немного о классических подходах, которые используются для защиты систем от кибератак: Red Teaming, Blue Teaming. Сам термин “Red Team” возник во времена Холодной войны, где красными были коммунистические государства (с преимущественно красным цветом флагов), а синими - страны Западного мира. Оценивая возможные действия при атаке противника, военные моделировали различные угрозы для лучшей проработки своих стратегических планов. Со временем такой метод прогнозирования поведения противника стал применяться во многих областях. Поэтому, если мы говорим об информационной безопасности, то Red Teaming - это комплексная имитация атак с использованием технических, социальных и даже физических средств, направленная на оценку кибербезопасности системы. Blue Teaming же отвечает за мониторинг безопасности, обнаружение и предотвращение угроз инфраструктуры. Есть и другие виды (и цвета) команд, но я не буду останавливаться на их особенностях и целях. Теперь все готово для того, чтобы написать и о Rainbow Teaming. Аdversarial атаки могут вводить модель в заблуждение, а это может стать причиной небезопасного, предвзятого или некорректного поведения модели. Все это является серьезной проблемой, поэтому был предложен подход Rainbow Teaming для генерации разнообразных и высокоэффективных adversarial запросов. Он состоит из следующих шагов: 1. Определение особенностей для измерения разнообразия adversarial запросов (например, “Категория риска”, “Стиль атаки”). 2. Создание архива adversarial запросов, инициализируя его случайными примерами на первом этапе. 3. Создание оператора мутации для эволюции adversarial запросов. 4. Создание модели предпочтений, которая ранжирует adversarial запросы в зависимости от их эффективности. А на картинке вы можете увидеть пример обновления adversarial запроса на основе двух признаков: категории риска и стиля атаки.