ML&|Sec Feed

🤖 Google запускает A2A — новый протокол общения между ИИ-агентами Google представил Agent2Agent (A2A) — открытый стандарт для обмена задачами между ИИ-агентами в разных сервисах и компаниях. Это что-то вроде MCP, но с упором на безопасность, мультимодальность и совместимость с корпоративной инфраструктурой. 🔑 Главное: ▪ A2A — task-first: агенты обмениваются не сообщениями, а задачами с жизненным циклом (create, update, cancel, complete). ▪ Автоопределение возможностей: каждый агент публикует JSON-«визитку» с описанием своих способностей (capability discovery). ▪ HTTP, SSE, JSON-RPC — всё работает на веб-стеке, легко встраивается в существующие API. ▪ Поддержка текста, аудио и видео — мультимодальность встроена по умолчанию. ▪ Security-first: в отличие от ранних протоколов (как MCP), здесь продумана авторизация и защита данных. В теории — это мощный инструмент для автоматизации бизнес-процессов. На практике — уже критикуют за перегруз и неясные перспективы. Но с ресурсами Google — у проекта есть шанс стать отраслевым стандартом. 📌 Отличие между MCP и A2A: 🧠 MCP (Multi-Agent Communication Protocol) — это: ➡️ Протокол, придуманный, чтобы LLM-агенты могли "болтать" друг с другом. 💬 Основан на сообщениях — один агент пишет другому что-то вроде чата, и тот отвечает. ⚙️ Подходит для простых сценариев: «Скажи это», «Спроси у другого», «Придумай план». Но: – Без жёсткой структуры – Нет встроенной безопасности – Не поддерживает длинные сложные процессы (например, запланировать и потом отчитаться) – Не заточен под задачи типа "запусти и следи" 🧠 A2A (Agent2Agent) — это: ➡️ Google-версия MCP, но с упором на бизнес и инфраструктуру. 📦 Вместо чатов — структурированные задачи, у которых есть статусы: created, accepted, completed, failed, cancelled. 📛 Поддерживает авторизацию, описание возможностей агента, обратную связь, долгие процессы, аудио и видео. Проще говоря: – MCP — это «чат между ИИ» – A2A — это «Jira для агентов» — задачи, статусы, ролевая модель, безопасность. google.github.io/A2A #Google #A2A #agents #AI #protocols #interop #infrastructure

Да, и по поводу протоколов A2A и MCP написал более техническую статью в блоге на Телетайпе: https://teletype.in/@romanus_otiosus/a2a-mcp

A Comprehensive Survey in LLM(-Agent) Full Stack Safety: Data, Training and Deployment https://arxiv.org/abs/2504.15585 #LLMSafety #ModelSafety #RLHF #PromptInjection #DataPoisoning #AISecurity #LLMRisks #AIAttacks

OWASP Agentic Security Initiative (ASI) - Insecure Agent Samples Addition to the main OWASP Top LLM https://github.com/OWASP/www-project-top-10-for-large-language-model-applications

Model Context Protocol Security Best Practices https://modelcontextprotocol.io/specification/draft/basic/security_best_practices: 1. This document identifies security risks, attack vectors, and best practices specific to MCP implementations. 2. This document should be read alongside the MCP Authorization specification and OAuth 2.0 security best practices. 3. This section gives a detailed description of attacks on MCP implementations, along with potential countermeasures. @secharvester

Mindmap — это хранилище будет содержать множество интеллект-карт по технологиям, методикам, курсам и сертификатам в области кибербезопасности. 5️⃣ GitHub

Letta — это платформа для агентов с отслеживанием состояния, памятью, логикой и управлением контекстом. 5️⃣ GitHub

OpenManus — открытая платформа для создания AI-агентов без ограничений! Проект разработан командой MetaGPT и позволяет реализовать любые идеи без необходимости в приглашении. 5️⃣ GitHub

🔴 MCP Toolbox for Databases: Simplify AI Agent Access to Enterprise Data Learn how MCP Toolbox for Databases can help you deliver secure and standardized ways to have your agents communicate with one another and access enterprise data. https://cloud.google.com/blog/products/ai-machine-learning/mcp-toolbox-for-databases-now-supports-model-context-protocol/ #gcp

Что не так с MCP (Model Context Protocol)? → Хабр Статья анализирует уязвимости и ограничения Model Context Protocol для подключения инструментов к ИИ-ассистентам.

Коротко что делать — разработайте систему ранжирования MCP-инструментов по уровню риска и требуйте подтверждение для опасных операций, чтобы избежать непреднамеренного удаления данных или финансовых потерь.

⭕️ Сущность MCP: — Стандарт подключения внешних инструментов к ИИ-ассистентам; — Позволяет агентам автономно работать с данными и сервисами; — Основан на JSON-RPC и использует текстовые интерфейсы; — Упрощает создание плагинов для Claude, ChatGPT, Cursor. 🔸 Уязвимости: — Отсутствие единого стандарта аутентификации; — Возможность выполнения вредоносного кода на локальных машинах; — Риск сложных инъекций промптов через инструменты; — Неконтролируемый доступ к конфиденциальным данным. ◾️ Ограничения: — 1 МБ выходных данных стоит около $1 за каждый запрос; — Claude 3.7 Sonnet успешен только в 16% задач на Tau-Bench; — Нет встроенного контроля уровней риска инструментов; — Инструменты часто не обеспечивают нужную поисковую функциональность. 🔹 Возможные решения: — Создание единого стандарта безопасной аутентификации; — Добавление контроля затрат и лимитов на размер данных; — Внедрение визуальных гарантий для критичных операций; — Интеграция с протоколом Agent2Agent для решения сложных задач. → Все статьи

Безопасный и надежный ИИ: Как управлять рисками Искусственный интеллект стремительно входит в нашу жизнь и бизнес, открывая невиданные ранее возможности. Но, как показывает практика, вместе с новыми технологиями приходят и новые риски. ❗️ Согласно данным Gartner почти 30% компаний, внедривших ИИ, столкнулись с утечками данных, связанными с ИИ. Как же сделать использование ИИ безопасным, надежным и управляемым? ➡️ Эксперты Gartner предлагают комплексный подход, получивший название AI TRiSM – управление доверием, рисками и безопасностью ИИ (AI Trust, Risk and Security Management). Что такое AI TRiSM? AI TRiSM – это не просто набор инструментов, а целостная стратегия, охватывающая технологические, организационные и человеческие аспекты работы с ИИ. Она включает в себя 4 ключевых уровня: 1️⃣ Управление ИИ (AI Governance): процессы и инструменты для контроля за ИИ на протяжении всего его жизненного цикла. 2️⃣ Обеспечение безопасности ИИ в режиме реального времени (AI Runtime Inspection and Enforcement): технологии, позволяющие следить за поведением ИИ-моделей, приложений и агентов в процессе их работы. 3️⃣ Управление информацией (Information Governance) с учетом специфики ИИ: В эпоху ИИ защита, классификация и контроль доступа к данным становятся критически важными. 4️⃣ Защита инфраструктуры и стека (Infrastructure and Stack Security) и традиционные меры безопасности (Traditional Technology Protection): Безопасность ИИ невозможна без защиты вычислительных ресурсов и использования уже проверенных средств защиты, включая сетевую безопасность и защиту конечных узлов. Внедрение AI TRiSM - не разовая акция, а непрерывный процесс, требующий внимания и инвестиций. Ключевые принципы внедрения AI TRiSM: ▶️ Согласованность команд: Для эффективного управления ИИ необходимо объединить усилия различных подразделений – от безопасности и IT до юридического отдела и операционных функций. ▶️ Прозрачность и контроль: Важно знать, какой ИИ и как используется в организации и какие риски с этим связаны. ▶️ Непрерывный мониторинг: Безопасность и надежность ИИ требуют постоянного наблюдения и анализа его работы. ▶️ Использование ИИ для контроля ИИ: В некоторых случаях для выявления нарушений политик целесообразно использовать алгоритмы ИИ для анализа поведения других ИИ-систем.

❗️ Gartner отмечает, что большинство текущих проблем с ИИ связаны не со злонамеренными атаками, а с вопросами доверия к результатам и непредвиденными ранее рисками. 

Тем не менее, не стоит недооценивать и угрозу заражения вредоносным ПО открытых AI-моделей. Не забываем, что ответственность за управление рисками ИИ лежит на самой организации, даже при использовании сторонних моделей и платформ. Почему это важно: Gartner уже не первый год включает AI TRISM в технологические тренды, фактически формируя границы и требования к новому классу программного обеспечения, без которого через 3-4 года сложно будет представить устойчиво функционирующую компанию, использующую ИИ (а других уже и не будет). Начинаем готовить тендерные RFP. еще немного в карточках. 🅰️🅱️ @ReymerDigital

😝 Убираем цензуру у всех самых популярных нейронок — Нашли для вас коллекцию слитых системных промптов на GitHub

◦ Есть такие модели, как ChatGPT 4o, Claude 3.7, Grok-3, Copilot, Perplexity ◦ Подробные инструкции о том, что делает каждый запрос, и как вшить его в ИИ ◦ Больше 70 слитых разрабами запросов, которые превратят нейросети в убийц абсолютно любых задач

Мегапромпты лежат — здесь. 🧑‍💻 Этичный хакер

Large Language Model-Driven Concolic Execution for Highly Structured Test Input Generation https://arxiv.org/pdf/2504.17542

Немного новостей Начнём с BadSeek. Автор блога sshh.io показал, как модифицировав слой декодера можно реализовать бэкдор, который будет создавать закладки в коде, если во входных данных будет содержаться слово, которое затригерит модель. Выглядит интересно, автор приложил инструмент для реализации такого бэкдора и модельку как доказательство концепции. Страшно для тех, кто использует open-source альтернативы курсору на каких-то опенсурс модельках. HF пока-что такое не маркирует как «вредоносное». В Китае выпустили документ – Agentic AI安全技术应用报告. Рассматривают текущее состояние безопасности агентных AI-систем, включая международную и китайскую политику, риски AI, концепции безопасности, фреймворки и реализацию. Ожидается, что безопасность Agentic AI достигнет пика масштабного внедрения в течение 2 лет и войдет в стадию стабильного роста примерно через 5 лет. Кстати, также в Китае создали первую в мире(из известных) лабораторию по безопасности сверхинтелектуальных систем. ModelScan от ProtectAI обновился, добавили поддержку Llamafile, joblib, и сканирование zip-slip уязвимости. Подробнее о каждой уязвимости. OWASP выпустил документ - Multi-Agentic system Threat Modeling Guide v1.0. Документ описывает подход к моделированию угроз с использованием MAESTRO, есть полезные примеры моделей угроз (в т.ч для MCP отдельно). ZestSecurity выкатили и дают попробовать(не бесплатно) свою мультагентную систему для защиты облаков. А вот CrowdStrike выпустила мультиагентуню систему для защиты и тестирования небезопасного кода.

Генерация описаний репозиториев (пишите вместо "github" - "deepwiki") https://deepwiki.com/

Paper2Code: исследователи из корейского технологического института сделали мульти-агентный фрейморк для автоматической генерации кода по статьям Боль каждого рисерчера – это статьи, к которым нет кода. Чтобы воспроизвести результат, нужно потратить пол жизни, и то – успех не гарантирован. А код авторы публикуют не так уж и часто. На примере NeurIPS, ICML и ICLR 2024: только 21.2% принятых работ имеют открытые репы. Здесь авторы предлагают PaperCoder. Это мульти-агентная система, в которой процесс генерации репозитория разбит на три этапа: 1. Планирование. Составляется конспект статьи, UML-диаграммы классов + список файлов. Тут же создается config.yaml с гиперпараметрами и выстраивается план последовательности генерации. 2. Анализ. Здесь для каждого файла из составленного списка формируется file-level analysis — подробное описание целей, входов/выходов, взаимодействий и каких-то специфичных требований, если есть. 3. Ну и сама генерация на основании статьи, фазы планирования и анализа. Бонусом из первых двух пунктов получаем супер-подробную доку. На каждом шаге работает отдельный агент. Это, по идее, могут быть разные LLM, но здесь по умолчанию на всех шагах стоит o3-mini-high (кроме валидации, там GPT-4o). Тестировали на работах с тех же ICML/NeurIPS/ICLR 2024. Процент полностью успешной репликации – около 44% против 10-15 у базовых агентов. Если анализировать вручную, то в среднем для успешного запуска нужно менять всего 0.48 % строк. А еще PaperCoder давали потрогать исследователям, и в 85% случаев те сказали, что это лучше, чем писать с нуля, даже если нужно что-то дебажить. Ирония только в том, что к статье Paper2Code... не выложили код. Но, вроде, обещают "скоро"