ML&|Sec Feed

Новая Методика ФСТЭК: как теперь проводить анализ уязвимостей и кого это касается С 25 ноября 2025 года анализ защищенности ключевых информационных систем в России проводится по новой, утвержденной ФСТЭК России, Методике. Это обязательный порядок работ для госорганов, ОПК, КИИ и операторов персональных данных. В статье эксперты «Национального аттестационного центра» (НАЦ) подробно разбирают, какие системы попадают под действие, из каких этапов состоит процесс и с помощью каких средств проводится процесс сканирования. Рассмотрены нюансы практического применения Методики.

Один клик — и Copilot сливает данные: как работает атака Reprompt Исследователи по информационной безопасности обнаружили новый метод атаки на Microsoft Copilot, получивший название Reprompt. Уязвимость позволяла злоумышленникам получить доступ к пользовательской сессии ИИ-помощника и незаметно выкачивать конфиденциальные данные — всего после одного клика по ссылке. 🔥 AM Live

A2A Security Scanner Всем привет! Безопасность Agent-to-Agent взаимодействий становится все более и более актуальной задачей. Если что-то «пойдет не так», то могут случиться разные последствия: кража ценной информации, повышение привилегий, подмена артефактов, prompt-injection атаки и многое другое. Для анализа A2A можно воспользоваться open-source решением от Cisco – A2A Security Scanner. Из основных функций можно выделить: 🍭 Множество специализированных анализаторов: YARA-правила, идентификация угроз с LLM, использование эвристики и не только 🍭 Покрытие множества A2A угроз 🍭 Наличие API и CLI для реализации интеграций и не только Подробнее со сканером (в том числе с видами угроз, которые он может идентифицировать) можно ознакомиться в GitHub-репозитории и в статье от Cisco, где они его анонсировали.

🚀 Новый подход к условной памяти: Engram от DeepSeek 🧠 💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM). Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений. 🔍 В чём проблема современных LLM? Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели. Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления. 💡 Решение от DeepSeek: Engram Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений. Как это работает (упрощённо): 1. Для текущего слова или фразы (N-gram) модель вычисляет уникальный хэш (цифровой отпечаток). 2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (O(1)) извлекается заранее сохранённый вектор знаний. 3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели. 📈 Экспериментальные результаты: - Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие. - В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0. 🚀 Что это значит? Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая: 1. Условные вычисления через MoE (для эффективности). 2. Условную память через Engram (для знаний и скорости их извлечения). GitHub #КитайскийИИ #КитайAI #УсловнаяПамять #Engram

LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario https://arxiv.org/html/2403.00108v1 LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem https://arxiv.org/html/2403.00108v2 Attack on LLMs: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem https://openreview.net/forum?id=0owyEm6FAk LoBAM: LoRA-Based Backdoor Attack on Model Merging https://arxiv.org/html/2411.16746v4 Causal-Guided Detoxify Backdoor Attack of Open-Weight LoRA Models https://arxiv.org/html/2512.19297v1 LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models https://arxiv.org/html/2507.18302 TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent https://aclanthology.org/2025.emnlp-main.1386.pdf This Is How Your LLM Gets Compromised https://www.trendmicro.com/en_us/research/25/i/prevent-llm-compromise.html How private are your chat adapters? Evaluating the privacy of LoRA fine-tuned large language models with membership inference attacks https://www.spiedigitallibrary.org/conference-proceedings-of-spie/13476/1347608/How-private-are-your-chat-adapters-Evaluating-the-privacy-of/10.1117/12.3053265.short

LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem https://arxiv.org/html/2403.00108v2

ИИ помощники для изучения и анализа научных статей В 2026 постараюсь больше уделять время и публиковать интересные исследования. А пока полезное — всем, кто тоже любит читать отчёты, попробуйте использовать ассистентов 👇🏼 ✦ HuggingChat На днях Hugging Face внедрили своего ассистента HuggingChat в раздел Papers. Теперь по научным публикациям можно получать выжимку, объяснения, искать нужные данные прямо на странице статьи ✍🏼 ✦ ArXiv Research Agent Research Agent даёт объяснения и краткие изложения к статьям, есть персональные рекомендации по интересам. Также находит публикации с arXiv, bioRxiv, medRxiv и Semantic Scholar, проводит обзор и предлагает инсайты 😎 #полезное@EF9MERA EFEMERA

⚠️🤖🚨 В 2025 году будут актуальны 11 видов атак на ИИ в реальном времени, включая прямые и косвенные инъекции, скрытые атаки и мошенничество с подделкой личностей. Злоумышленники используют приемы, которые обходят традиционные средства защиты. Главная задача для ИТ-безопасности — автоматизировать обновления, отслеживать контекст диалогов и защищать данные на всех этапах взаимодействия с ИИ. Подробнее ☝️ T2F News | ✍️ Канал про AI

Взгляд из 1983 года на возможные каналы утечки информации из автоматизированных систем. От разгадывания паролей до использования программ-лазеек. (Из учебного пособия Московского энергетического института «Защита информации в автоматизированных системах обработки данных и управления» под авторством Владимира Герасименко и Владимира Мясникова.)

DevSecOps Assessment Framework для ML от "Инфосистемы Джет" 🔍 Что это и зачем это нужно? Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта. В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ. 🛡 Основные положения фреймворка • Контроль зависимостей, артефактов и SBOM/ML-BOM • Защита сред разработки, секретов, CI/CD и SCM • Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG) • Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки • Мониторинг, аудит и реагирование в продакшене • Обучение команд требованиями ИБ В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝 Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений. Ссылка на релиз: https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26 #MLSecOps #AISecurity #DevSecOps #LLMsecurity Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)

OpenRT - An Open-Source Red Teaming Framework for Multimodal LLMs github.com/AI45Lab/OpenRT | https://arxiv.org/abs/2601.01592 Features: 🔧 Modular Architecture: Plugin-based component registry with flexible composition 🎯 35+ Attack Methods: Covering both black-box and white-box attacks 🖼️ Multi-modal Support: Text and image attack vectors 📊 Comprehensive Evaluation: Keyword matching and LLM Judge evaluation ⚙️ Configuration-Driven: YAML config files for experiment definition