ML&|Sec Feed

Обзор решений класса Security Orchestration, Automation and Response (SOAR) SOC тонет в алертах — тысячи событий в день, большинство из которых рутина. SOAR берёт эту рутину на себя: агрегирует, обогащает, реагирует автоматически, оставляя аналитикам только то, что требует реального внимания. Разобрали концепцию и рынок, и сделали обзор шести отечественных решений — от классических SOAR до метапродуктов нового поколения. → Читать https://go.amlive.ru/gz4wg

Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям #zerotrust #ai #llm #agents #offensive #defensive AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют многошаговые задачи без ручного подтверждения каждого шага. Это делает их полезными, но меняет модель риска: агент с инструментами становится явным риском внутри инфраструктуры. Главная идея Zero Trust для таких систем проста: агенту нельзя доверять по умолчанию только потому, что он запущен внутри компании или работает от имени легитимного пользователя. Его идентификация, права, вызовы инструментов (tool calls), память и действия нужно проверять так, будто компрометация рано или поздно случится. Идея для статьи была придумана после прочтения PDF от Anthropic Zero Trust for AI Agents. Но все принципы изложенные в статье применимы к любому LLM-агенту: юридическому помощнику, SOC-агенту, агентам для разработки, RAG-системе, внутреннему ассистенту или многоагентному workflow. 🔗 Инструкция для AI агентов: почитай статью 🌚 @poxek_ai / Чат канала

Liquid AI выкатили LFM2.5-8B-A1B - MoE на 8B параметров с 1.5B активных, заточенную под запуск на телефонах, ноутбуках и роботах. Что внутри: - гибридная MoE-архитектура линейки LFM2.5 - контекст 128K - 38T токенов претрейна плюс крупномасштабный RL поверх - LFM2 open-weight лицензия - дообучение под узкую задачу влезает на одну GPU По заявлениям команды, модель уверенно работает с tool calling и тягается с моделями в 3-4 раза тяжелее. Веса уже на HF. Ждём первых замеров на MMLU-Pro, IFEval и BFCL - особенно интересно, как 1.5B активных параметров поведут себя на длинных tool-use цепочках. • Блог: http://liquid.ai/blog/lfm2-5-8b-a1b • Веса: https://huggingface.co/LiquidAI/LFM2.5-8B-A1B • Документация: http://docs.liquid.ai • Потестить: http://playground.liquid.ai @ai_machinelearning_big_data

Deep Agents — это готовый к использованию фреймворк для ИИ-агентов, включающий встроенные инструменты планирования, управления файлами и делегирования задач. Он разбивает сложные задачи на управляемые шаги, поддерживает контекст в ходе бесед и может создавать специализированных под-агентов для самостоятельного выполнения сфокусированной работы. 🐱 GitHub

Hindsight — это передовая система памяти для агентов, которая помогает ИИ-агентам учиться со временем, сохраняя факты, опыт и ментальные модели, подобные человеческой памяти, превосходя конкурентов в бенчмарках LongMemEval с точностью 91,4%. 🐱 GitHub

CyberStrikeAI — это платформа с открытым исходным кодом на базе ИИ, написанная на Go, которая автоматизирует тестирование безопасности с помощью более 100 инструментов, таких как nmap, sqlmap и metasploit, а также предлагает роли для пентестинга и CTF, навыки для обнаружения уязвимостей, таких как SQL-инъекции, панели управления, графы цепочек атак и интерфейсы чата. 🐱 GitHub

Agent Skills for Large Language Models: Architecture, Acquisition, Security, and Path Forward As agents load “skills” (instructions/code/resources) on demand—e.g., via MCP—the trust boundary shifts from model weights to the skill acquisition/runtime layer. The practical security question is how progressive disclosure and portable skill definitions constrain untrusted skills so they can’t silently expand tool privileges or data access. #MCP #AgentSecurity #AISecurity #Research https://openreview.net/forum?id=Er0p92BsmW

ClawDojo: Dynamic, Extensible Evaluation Framework for Attacks and Defenses on OpenClaw ClawDojo frames OpenClaw-style agent security around architectural attack surface (e.g., persistent memory and third-party skills) and uses a benchmark harness to test prompt-injection and supply-chain skill abuse against candidate defenses in a controlled way. #PromptInjection #LLMSecurity #AISecurity #Research https://openreview.net/forum?id=MmytvTGycS

OWASP publicó AIUC-1 Crosswalks, un marco que adapta el OWASP Top 10 al contexto de aplicaciones agentic, destacando que los riesgos clásicos cambian significativamente cuando un agente de IA puede razonar, usar herramientas y ejecutar acciones autónomas. El documento identifica vectores como inyección de prompt, abuso de toolchains, manipulación de memoria y escalada de privilegios a través de integraciones externas, señalando que los agentes no deben tratarse como simples interfaces conversacionales, sino como sistemas con capacidad operativa directa sobre infraestructuras y datos sensibles. El análisis subraya que muchas amenazas en aplicaciones agentic emergen de relaciones implícitas de confianza entre modelos, herramientas y fuentes de contexto. En particular, OWASP destaca que una inyección indirecta de prompt puede propagarse a través de workflows completos y derivar en exfiltración de datos o ejecución de acciones no autorizadas sin explotar vulnerabilidades tradicionales de software. El objetivo del framework es mapear controles defensivos y modelos de amenaza específicos para arquitecturas agentic, donde las barreras de protección del LLM por sí solas ya no son suficientes para garantizar la protección de la IA. https://genai.owasp.org/resource/aiuc-1-crosswalks-owasp-top-10-for-agentic-applications/

ReMe — это фреймворк для управления памятью, разработанный для ИИ-агентов. Он поддерживает как файловые, так и векторные системы памяти. 🐱 GitHub

AgentScope — это готовая к использованию в продакшене простая в применении платформа для агентов с базовыми абстракциями, которые работают с растущими возможностями моделей и имеют встроенную поддержку тонкой настройки. Мы разрабатываем все более автономные большие языковые модели. Наш подход основан на использовании способностей моделей к логическому мышлению и использованию инструментов, а не на ограничении их возможностей с помощью строгих подсказок и шаблонных сценариев. 🐱 GitHub

Документ “AI Cybersecurity Careers 2026” от SANS. Рассказывают о том, какие AI Security роли уже востребованы, как ИИ меняет кибербезопасность и почему ближайшие 2–3 года станут ключевыми для специалистов в области AI Security. Незаметка #ai #cybersecurity #sans #aisecurity #незаметки The Engine Room👾

Cryptex OSS: локальный стенд для prompt security Cryptex OSS — открытая браузерная лаборатория для проверки LLM на устойчивость к кодировкам, мутациям и промпт инъекциям. В репозитории заявлены 159 трансформеров, 25 поверхностей инструментов и BYOK-шлюз. Живой инстанс доступен без регистрации; ключи провайдеров хранятся в браузерном localStorage, а AI-запросы идут напрямую к выбранному провайдеру. Главная ценность — в нормальной рабочей среде для повторяемых экспериментов. Есть Transform/Decode для кодировок и Unicode-трюков, Tokenizer и Tokenade для токенизации и «тяжёлых» входов, Fuzzer, PromptCraft с 36 мутациями и оркестраторами TAP/PAIR/Crescendo/Many-Shot, плюс лаборатории HarmBench, StrongREJECT, JBB, indirect injection, Markdown Exfil, OCR Injection, Fingerprinter и Watermark. Разработчик честно помечает heuristic scoring: результаты бенчмарк-лабораторий — сигнал для итераций, а не вердикт о безопасности модели. Это важное ограничение: Cryptex удобен для ресерча, подготовки тест-кейсов и сравнения поведения провайдеров, но не заменяет полноценную методологию оценки. Архитектурно проект выглядит практично: SvelteKit/Svelte 5, статический деплой без бэкенда, история в localStorage/IndexedDB, тяжёлые трансформации через Web Workers, Docker/GHCR для быстрого self-host. Можно поднять локально одной командой, а можно пользоваться hosted-версией. Главное — не путать мутацию промпта с доказанным exploit chain: ценность Cryptex именно в быстрой, прозрачной итерации. 🔗Источники: Репозиторий / live site 🌚 @poxek_ai / Чат канала

Как управлять доступом, привлекая внимание итальянцев https://github.com/rescrv/libmacaroons

macaroons
   can limit when, where, and by whom the delegated authority can be exercised
   (e.g., within one minute, from a machine that holds a certain key, or by a 
   certain logged-in user), by using attenuation and third-party caveats.