ML&|Sec Feed

🌧️ Superlinked — фреймворк для гибридного поиска, где вектора и метаданные работают вместе. Этот инструмент решает главную боль RAG-систем и рекомендательных сервисов — как эффективно комбинировать эмбеддинги с структурированными данными. В отличие от чистых векторных поисков, здесь можно создать единую модель, где описание товара и его оценка влияют на результаты совместно. Проект широкой интеграции: от тестов в Jupyter-ноутбуке до продакшн-развёртывания REST API одним командой. 🤖 GitHub @data_analysis_ml

Датасеты с промпт-атаками #иб_для_ml 1. https://eddyluo1232.github.io/JailBreakV28K/ 2. Коллекция вредоносных промптов для LLM (https://github.com/elder-plinius/L1B3RT45) 3. Сборник датасетов и инструментов по промпт-атакам (https://github.com/CyberAlbSecOP/Awesome_GPT_Super_Prompting) 4. большая работа, в том числе есть датасет (https://github.com/allenai/wildteaming) 5. датасет Lakera (https://huggingface.co/datasets/Lakera/mosscap_prompt_injection) 6. статья JailbreaksOverTime (https://www.alphaxiv.org/abs/2504.19440) и датасет (https://github.com/wagner-group/JailbreaksOverTime/tree/main/data)

https://applied-gai-in-security.ghost.io/last-week-in-gai-security-research-05-05-25/ #иб_для_ml 🦙 LlamaFirewall: An open source guardrail system for building secure AI agents (http://arxiv.org/pdf/2505.03574v1.pdf) 🛡 LiteLMGuard: Seamless and Lightweight On-Device Prompt Filtering for Safeguarding Small Language Models against Quantization-induced Risks and Vulnerabilities (http://arxiv.org/pdf/2505.05619v1.pdf) — A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models (http://arxiv.org/pdf/2505.04784v1.pdf) — Red Teaming the Mind of the Machine: A Systematic Evaluation of Prompt Injection and Jailbreak Vulnerabilities in LLMs (http://arxiv.org/pdf/2505.04806v1.pdf) — Safeguard-by-Development: A Privacy-Enhanced Development Paradigm for Multi-Agent Collaboration Systems (http://arxiv.org/pdf/2505.04799v1.pdf) — AgentXploit: End-to-End Redteaming of Black-Box AI Agents (http://arxiv.org/pdf/2505.05849v1.pdf) — Unmasking the Canvas: A Dynamic Benchmark for Image Generation Jailbreaking and LLM Content Safety (http://arxiv.org/pdf/2505.04146v1.pdf) — И еще штук 10 таких же крутых ссылок #ml_для_иб 🧵 AutoPatch: Multi-Agent Framework for Patching Real-World CVE Vulnerabilities (http://arxiv.org/pdf/2505.04195v1.pdf) 🐘 Large Language Models are Autonomous Cyber Defenders (http://arxiv.org/pdf/2505.04843v1.pdf) 🧌 Bridging Expertise Gaps: The Role of LLMs in Human-AI Collaboration for Cybersecurity (http://arxiv.org/pdf/2505.03179v1.pdf)

Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот ⬇️ Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах. Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи. При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии. Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации. Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты. И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты. В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт Код в опенсорсе, кстати

🔥 Проект: fast-agent fast-agent — это современный фреймворк для быстрой разработки и тестирования интеллектуальных агентов и рабочих процессов, поддерживающих протокол MCP (Model-Context-Protocol). Он предоставляет простой декларативный синтаксис и мощные инструменты для построения многоагентных систем с поддержкой OpenAI, Anthropic и других моделей. ▪ Основные возможности • Быстрое создание агентов с помощью декораторов @fast.agent, минимизируя количество кода. • Поддержка рабочих процессов: цепочки (`chain`), параллельные вызовы (`parallel`), маршрутизаторы (`router`), оркестраторы (`orchestrator`), схемы с оценкой и оптимизацией (`evaluator_optimizer`). • Мультимодальность: обработка изображений, PDF-файлов и интеграция с внешними ресурсами MCP. • Интерактивная отладка: настройка и диагностика агентов до, во время и после выполнения рабочих процессов. • Гибкая конфигурация через fastagent.config.yaml и fastagent.secrets.yaml. • Интеграция с LLM: OpenAI (GPT-4 и др.), Anthropic (Haiku, Sonnet, Opus) и другие модели через MCP-серверы. ▪ Быстрый старт 1️⃣ Установите менеджер пакетов uv для Python. 2️⃣ Установите fast-agent:

uv pip install fast-agent-mcp

3️⃣ Создайте пример агента и конфигурационные файлы:

uv run fast-agent setup

4️⃣ Запустите агента:

uv run agent.py

5️⃣ Для запуска примеров рабочих процессов:

uv run fast-agent quickstart workflow

▪ Документация и примеры • Официальный сайт: [fast-agent.ai](https://fast-agent.ai) • Документация: [fast-agent-docs](https://github.com/evalstate/fast-agent-docs) • Примеры: директория examples в репозитории. ▪ Сообщество и развитие • Проект активно развивается, ⭐ 1.7k+ звёзд на GitHub. • Обсуждения: [Discussions](https://github.com/evalstate/fast-agent/discussions) • Последние релизы: [Releases](https://github.com/evalstate/fast-agent/releases) ▪ Видеообзор [First Look at Fast-Agent (or Manus) – Coding an AI ...](https://www.youtube.com/watch?v=GaVQyYougPc&utm_source=chatgpt.com) 🔍 GitHub

Security of AI Agents in Web3: Architecture, Jailbreaks, Vulnerabilities of Modern LLMs, and Competitive Hacking https://blog.positive.com/security-of-ai-agents-in-web3-dbcb371544f7

🤖 Google запускает A2A — новый протокол общения между ИИ-агентами Google представил Agent2Agent (A2A) — открытый стандарт для обмена задачами между ИИ-агентами в разных сервисах и компаниях. Это что-то вроде MCP, но с упором на безопасность, мультимодальность и совместимость с корпоративной инфраструктурой. 🔑 Главное: ▪ A2A — task-first: агенты обмениваются не сообщениями, а задачами с жизненным циклом (create, update, cancel, complete). ▪ Автоопределение возможностей: каждый агент публикует JSON-«визитку» с описанием своих способностей (capability discovery). ▪ HTTP, SSE, JSON-RPC — всё работает на веб-стеке, легко встраивается в существующие API. ▪ Поддержка текста, аудио и видео — мультимодальность встроена по умолчанию. ▪ Security-first: в отличие от ранних протоколов (как MCP), здесь продумана авторизация и защита данных. В теории — это мощный инструмент для автоматизации бизнес-процессов. На практике — уже критикуют за перегруз и неясные перспективы. Но с ресурсами Google — у проекта есть шанс стать отраслевым стандартом. 📌 Отличие между MCP и A2A: 🧠 MCP (Multi-Agent Communication Protocol) — это: ➡️ Протокол, придуманный, чтобы LLM-агенты могли "болтать" друг с другом. 💬 Основан на сообщениях — один агент пишет другому что-то вроде чата, и тот отвечает. ⚙️ Подходит для простых сценариев: «Скажи это», «Спроси у другого», «Придумай план». Но: – Без жёсткой структуры – Нет встроенной безопасности – Не поддерживает длинные сложные процессы (например, запланировать и потом отчитаться) – Не заточен под задачи типа "запусти и следи" 🧠 A2A (Agent2Agent) — это: ➡️ Google-версия MCP, но с упором на бизнес и инфраструктуру. 📦 Вместо чатов — структурированные задачи, у которых есть статусы: created, accepted, completed, failed, cancelled. 📛 Поддерживает авторизацию, описание возможностей агента, обратную связь, долгие процессы, аудио и видео. Проще говоря: – MCP — это «чат между ИИ» – A2A — это «Jira для агентов» — задачи, статусы, ролевая модель, безопасность. google.github.io/A2A #Google #A2A #agents #AI #protocols #interop #infrastructure

Да, и по поводу протоколов A2A и MCP написал более техническую статью в блоге на Телетайпе: https://teletype.in/@romanus_otiosus/a2a-mcp

A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment https://arxiv.org/abs/2504.15585 #LLMSafety #ModelSafety #RLHF #PromptInjection #DataPoisoning #AISecurity #LLMRisks #AIAttacks

OWASP Agentic Security Initiative (ASI) - Insecure Agent Samples Addition to the main OWASP Top LLM https://github.com/OWASP/www-project-top-10-for-large-language-model-applications

Model Context Protocol Security Best Practices https://modelcontextprotocol.io/specification/draft/basic/security_best_practices: 1. This document identifies security risks, attack vectors, and best practices specific to MCP implementations. 2. This document should be read alongside the MCP Authorization specification and OAuth 2.0 security best practices. 3. This section gives a detailed description of attacks on MCP implementations, along with potential countermeasures. @secharvester

Mindmap — это хранилище будет содержать множество интеллект-карт по технологиям, методикам, курсам и сертификатам в области кибербезопасности. 5️⃣ GitHub

Letta — это платформа для агентов с отслеживанием состояния, памятью, логикой и управлением контекстом. 5️⃣ GitHub

OpenManus — открытая платформа для создания AI-агентов без ограничений! Проект разработан командой MetaGPT и позволяет реализовать любые идеи без необходимости в приглашении. 5️⃣ GitHub

🔴 MCP Toolbox for Databases: Simplify AI Agent Access to Enterprise Data Learn how MCP Toolbox for Databases can help you deliver secure and standardized ways to have your agents communicate with one another and access enterprise data. https://cloud.google.com/blog/products/ai-machine-learning/mcp-toolbox-for-databases-now-supports-model-context-protocol/ #gcp

Что не так с MCP (Model Context Protocol)? → Хабр Статья анализирует уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам.

Коротко что делать — разработайте систему ранжирования MCP-инструментов по уровню риска и требуйте подтверждение для опасных операций, чтобы избежать непреднамеренного удаления данных или финансовых потерь.

⭕️ Сущность MCP: — Стандарт подключения внешних инструментов к ИИ-ассистентам; — Позволяет агентам автономно работать с данными и сервисами; — Основан на JSON-RPC и использует текстовые интерфейсы; — Упрощает создание плагинов для Claude, ChatGPT, Cursor. 🔸 Уязвимости: — Отсутствие единого стандарта аутентификации; — Возможность выполнения вредоносного кода на локальных машинах; — Риск сложных инъекций промптов через инструменты; — Неконтролируемый доступ к конфиденциальным данным. ◾️ Ограничения: — 1 МБ выходных данных стоит около $1 за каждый запрос; — Claude 3.7 Sonnet успешен только в 16% задач на Tau-Bench; — Нет встроенного контроля уровней риска инструментов; — Инструменты часто не обеспечивают нужную поисковую функциональность. 🔹 Возможные решения: — Создание единого стандарта безопасной аутентификации; — Добавление контроля затрат и лимитов на размер данных; — Внедрение визуальных гарантий для критичных операций; — Интеграция с протоколом Agent2Agent для решения сложных задач. → Все статьи