ML&|Sec Feed

Exploring RAG-based Vulnerability Augmentation with LLMs https://arxiv.org/pdf/2408.04125

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks Can we systematically address jailbreak attacks? It is difficult to prepare against all possible jailbreak queries (which current approaches like SFT attempt to do)—these queries usually elicit related harmful responses that rely on the same underlying knowledge (e.g., detailed steps to make a bomb). Consequently, by directly unlearning harmful knowledge in the LLM, it prevents the model from generating harmful responses, even when confronted with unseen jailbreak prompts. The authors realize unlearning method named Safe Unlearning, which implements three complementary objectives: - minimizing the probability of generating harmful responses, - maximizing the probability of rejecting harmful queries, and - maintaining general performance on harmless queries github: https://github.com/thu-coai/SafeUnlearning

Отчет про регулирование генеративного ИИ в мире (июнь 2024) https://yakovpartners.ru/upload/iblock/61f/e7s6tre2rj1ovh6wi7kab8odyeow1evt/Regulirovanie-genII.pdf

Отчет о том, насколько ИИ существенен и актуален и как используется в РФ (за 2023 год): https://yakovpartners.ru/upload/iblock/c5e/c8t1wrkdne5y9a4nqlicderalwny7xh4/20231218_AI_future.pdf В мире (за 2023 год): https://ai.gov.ru/en/knowledgebase/tekhnologii-i-produkty-ii/2023_sostoyanie_iskusstvennogo_intellekta_v_2023_godu_proryv_generativnogo_ii_the_state_of_ai_in_2023_generative_ai_s_breakout_year_mckinsey

#threat #intelligence

Новое видео от 3Blue1Brown*: How might LLMs store facts Этот пост для тех, кто в День Знаний уже настроен поучиться. В видео автор в картинках и образах напомнит о том, что такое трансформер, расскажет об устройстве перцептрона и его роли в LLM, и даже упомянет, как считать параметры моделей. Идеально для интуитивного запоминания. Кстати, в предыдущих сериях автор объяснял, как работают трансформеры. Тоже очень рекомендуем, однако будьте осторожны: можно надолго залипнуть. * 3Blue1Brown – это YouTube канал, где в мультипликационных роликах с помощью динамической визуализации объясняются концепты ML и не только. Создатель - Грант Сандерсон - выпускник Стэнфордского университета. Любимый канал многих DS (наш тоже) 🥳

🚀 Мощная библиотека для быстрого LLM-инференса NanoFlow стабильно обеспечивает более высокую производительность по сравнению с vLLM, Deepspeed-FastGen и TensorRT-LLM. 🤯 🔹 Увеличение производительности в 1,91 раза по сравнению с TensorRT-LLM 🔹 Опережает vLLM, Deepspeed-FastGen 🔹 Достигает 68,5 % от оптимальной пропускной способности При крупномасштабных развертываниях LLM сталкивается с узкими местами в пропускной способности. 🤔 🔹 Бэкенд на C++, фронтенд на Python 🔹 Интеграция с CUTLASS, FlashInfer, MSCCL++ 🔹 Поддерживает LLaMA2-70B, Mixtral 8x7B, LLaMA3-8B - Nano-batching: разбивает запросы на более мелкие партии для одновременного выполнения - Разделяет ресурсы GPU для эффективной работы - Менеджер KV-кэша: Оптимизирует использование памяти - Механизм автоматизированного поиска: Находит оптимальные параметры для запуска модели ▪Github @data_analysis_ml

Держите библиотеку лучших промтов для текстовых нейросетей. Простые и эффективные подсказки для кодинга, подготовки к интервью, а некоторые и вовсе заставляют ChatGPT превратиться в консоль. Что примечательно, логика промтов проста и понятна — достаточно один раз понять принцип и сможете писать запросы, аки промт-инженер со стажем.

PixelGuard защищает изображения от считывания AI и несанкционированного использования в обучении AI, например, в моделях распознавания лиц или алгоритмах переноса стиля. Он использует несколько невидимых методов защиты, которые в основном незаметны для глаза, но могут мешать обработке AI. 4️⃣ GitHub

llm-functions — этот проект позволит вам без труда создавать мощные инструменты и агенты LLM, используя такие знакомые языки, как Bash, JavaScript и Python. 4️⃣ GitHub