ML&|Sec Feed

Ночное-полезное: нашел очень крутой ресурс с бесплатными лабораторными работами и туториалами для ИБ-специалистов. Никаких видео — только полностью интерактивные лаборатории, разработанные для более быстрого и эффективного обучения. Даже есть нейросеть-помощник, если возникнут трудности с выполнением заданий. Из минусов: не все лабы переведены на русский язык, но я в вас верю. Это бесплатно, забираем.

One of the frameworks that may be useful in cases 👆

Все о SOTA методах VLM-ов 🤗Блогпост

Open Computer Agent от Hugging Face TL;DR: запускаете Space → набираете в prompt действие → наблюдаете, как агент кликает, печатает и сам закрывает вкладки 💛smolagents core ≈ 1 000 строк Python. Планировщик LLM → цепочка tool-calls → low-level «мышь/клавиатура». Repo лежит рядом с Space; ставится одной командой. 💛облачный Linux + Xvfb + Firefox. Desktop стримится вам через noVNC (iframe в HF Spaces). 💛Qwen-VL в качестве вижена, bounding-box целей на скриншоте, чтобы агент «попал» мышкой. 💛xdotool/pyautogui генерирует X-Events 💛high-level LLM размечает шаги, детектор экрана ищет координаты, executor кликает. Петля повторяется, пока done = True. 🤗Space

Intellect-2 или как обучить ризонинг модель на 32В без кластера GPU Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM? Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт. Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые. Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast. Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий. Ждем Airbnb для GPU

SOC ВСЕ(нет), уже не может жить без ML.... • Teleметрия — AI-ETL вычищает шум и экономит ≈ 30 % места. • Детект — LLM-коррелятор + граф-сети склеивают алерты, убирая до 90 % «фальши». • Триаж — Copilot-бот объясняет причину инцидента — 2 строки вместо сотен логов. • Расследование — RAG-ассистент тянет wiki/CMDB, рисует kill-chain, маппит на MITRE. • SOAR-агенты сами патчат IaC, пишут пост-мортем отчеты и закрывают тикеты. --- ⚠️ Топ-5 рисков LLM-стека 1️⃣ Prompt-jailbreak — нужен content-FW + RL-feedback, не один regex. 2️⃣ Data-leak через ответы — принцип наименьших прав + «канареечные» запросы. 3️⃣ Poisoned data / RAG-supply — контроль хэшей и zero-trust к даталейкам. 4️⃣ Model-drift & Shadow-AI — MLOps-pipeline с NIST AI RMF как gate. 5️⃣ Over-privileged агенты — ротация ключей, аудит действий, IAM-bracelet. --- 🛡 Нормативка, про которую спросит CISO • EU AI Act — запрет «неприемлемых» моделей уже в силе. • NIST CSF 2.0 + AI RMF — базовый каркас для США. • Microsoft Copilot Bug Bounty — jailbreak ценится до $30k. --- 🧩 Мини-гайд 0️⃣ Инвентаризируем все LLM-эндпоинты и даталейки. 1️⃣ Диагностируем угрозы через MITRE ATLAS. 2️⃣ Ставим цель: «-50 % LLM-инцидентов за квартал». 3️⃣ Выбираем стратегии: песочница + e2e-шифрование. 4️⃣ Внедряем DevSecMLOps и автоматический red-team перед релизом. 5️⃣ После инцидента — RL-подкрутка guardrails и метрик. --- 📚 На десерт • Check Point AI Security Report ’25 — живые атаки и рецепты. • OWASP LLM Top-10 ’25 — must-read для DevSecOps. • Securing AI/LLMs ’25 — обзор вендоров и open-source. --- 🔥 Bottom line: AI-агенты уже экономят деньги, но без «кибербеза для AI» получим IoT-ботнеты на стероидах. Зрелость-2025 = LLM-песочница + IAM-bracelet для агентов + DevSecMLOps-поток. #AI #CyberSec #SOC #ML

Threat Modeling GenAI applications https://www.chrisfarris.com/post/threat-model-ai/

An Artificial Intelligence Governance Library - https://www.aigl.blog/

схемы коммуникации между агентами https://www.themoonlight.io/file?url=https%3A%2F%2Farxiv.org%2Fpdf%2F2502.14321

🌧️ Superlinked — фреймворк для гибридного поиска, где вектора и метаданные работают вместе. Этот инструмент решает главную боль RAG-систем и рекомендательных сервисов — как эффективно комбинировать эмбеддинги с структурированными данными. В отличие от чистых векторных поисков, здесь можно создать единую модель, где описание товара и его оценка влияют на результаты совместно. Проект широкой интеграции: от тестов в Jupyter-ноутбуке до продакшн-развёртывания REST API одним командой. 🤖 GitHub @data_analysis_ml

Датасеты с промпт-атаками #иб_для_ml 1. https://eddyluo1232.github.io/JailBreakV28K/ 2. Коллекция вредоносных промптов для LLM (https://github.com/elder-plinius/L1B3RT45) 3. Сборник датасетов и инструментов по промпт-атакам (https://github.com/CyberAlbSecOP/Awesome_GPT_Super_Prompting) 4. большая работа, в том числе есть датасет (https://github.com/allenai/wildteaming) 5. датасет Lakera (https://huggingface.co/datasets/Lakera/mosscap_prompt_injection) 6. статья JailbreaksOverTime (https://www.alphaxiv.org/abs/2504.19440) и датасет (https://github.com/wagner-group/JailbreaksOverTime/tree/main/data)

https://applied-gai-in-security.ghost.io/last-week-in-gai-security-research-05-05-25/ #иб_для_ml 🦙 LlamaFirewall: An open source guardrail system for building secure AI agents (http://arxiv.org/pdf/2505.03574v1.pdf) 🛡 LiteLMGuard: Seamless and Lightweight On-Device Prompt Filtering for Safeguarding Small Language Models against Quantization-induced Risks and Vulnerabilities (http://arxiv.org/pdf/2505.05619v1.pdf) — A Proposal for Evaluating the Operational Risk for ChatBots based on Large Language Models (http://arxiv.org/pdf/2505.04784v1.pdf) — Red Teaming the Mind of the Machine: A Systematic Evaluation of Prompt Injection and Jailbreak Vulnerabilities in LLMs (http://arxiv.org/pdf/2505.04806v1.pdf) — Safeguard-by-Development: A Privacy-Enhanced Development Paradigm for Multi-Agent Collaboration Systems (http://arxiv.org/pdf/2505.04799v1.pdf) — AgentXploit: End-to-End Redteaming of Black-Box AI Agents (http://arxiv.org/pdf/2505.05849v1.pdf) — Unmasking the Canvas: A Dynamic Benchmark for Image Generation Jailbreaking and LLM Content Safety (http://arxiv.org/pdf/2505.04146v1.pdf) — И еще штук 10 таких же крутых ссылок #ml_для_иб 🧵 AutoPatch: Multi-Agent Framework for Patching Real-World CVE Vulnerabilities (http://arxiv.org/pdf/2505.04195v1.pdf) 🐘 Large Language Models are Autonomous Cyber Defenders (http://arxiv.org/pdf/2505.04843v1.pdf) 🧌 Bridging Expertise Gaps: The Role of LLMs in Human-AI Collaboration for Cybersecurity (http://arxiv.org/pdf/2505.03179v1.pdf)

Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот ⬇️ Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах. Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи. При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии. Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации. Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты. И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты. В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт Код в опенсорсе, кстати

🔥 Проект: fast-agent fast-agent — это современный фреймворк для быстрой разработки и тестирования интеллектуальных агентов и рабочих процессов, поддерживающих протокол MCP (Model-Context-Protocol). Он предоставляет простой декларативный синтаксис и мощные инструменты для построения многоагентных систем с поддержкой OpenAI, Anthropic и других моделей. ▪ Основные возможности • Быстрое создание агентов с помощью декораторов @fast.agent, минимизируя количество кода. • Поддержка рабочих процессов: цепочки (`chain`), параллельные вызовы (`parallel`), маршрутизаторы (`router`), оркестраторы (`orchestrator`), схемы с оценкой и оптимизацией (`evaluator_optimizer`). • Мультимодальность: обработка изображений, PDF-файлов и интеграция с внешними ресурсами MCP. • Интерактивная отладка: настройка и диагностика агентов до, во время и после выполнения рабочих процессов. • Гибкая конфигурация через fastagent.config.yaml и fastagent.secrets.yaml. • Интеграция с LLM: OpenAI (GPT-4 и др.), Anthropic (Haiku, Sonnet, Opus) и другие модели через MCP-серверы. ▪ Быстрый старт 1️⃣ Установите менеджер пакетов uv для Python. 2️⃣ Установите fast-agent:

uv pip install fast-agent-mcp

3️⃣ Создайте пример агента и конфигурационные файлы:

uv run fast-agent setup

4️⃣ Запустите агента:

uv run agent.py

5️⃣ Для запуска примеров рабочих процессов:

uv run fast-agent quickstart workflow

▪ Документация и примеры • Официальный сайт: [fast-agent.ai](https://fast-agent.ai) • Документация: [fast-agent-docs](https://github.com/evalstate/fast-agent-docs) • Примеры: директория examples в репозитории. ▪ Сообщество и развитие • Проект активно развивается, ⭐ 1.7k+ звёзд на GitHub. • Обсуждения: [Discussions](https://github.com/evalstate/fast-agent/discussions) • Последние релизы: [Releases](https://github.com/evalstate/fast-agent/releases) ▪ Видеообзор [First Look at Fast-Agent (or Manus) – Coding an AI ...](https://www.youtube.com/watch?v=GaVQyYougPc&utm_source=chatgpt.com) 🔍 GitHub

Security of AI Agents in Web3: Architecture, Jailbreaks, Vulnerabilities of Modern LLMs, and Competitive Hacking https://blog.positive.com/security-of-ai-agents-in-web3-dbcb371544f7