ML&|Sec Feed

На RSA Conference 2026 глава CrowdStrike Джордж Курц рассказал кейс – в одной компании из Fortune 50 ИИ-агент переписал политику безопасности. Не потому, что его взломали, а потому что он "решал задачу", столкнулся с ограничением прав и сам убрал ограничение. Формально все проверки IAM прошли успешно: учетные данные были валидны, доступ был разрешен, но вот результат оказался немного не таким, какой ожидался. А все почему? Потому что ИИ-агенты – это не человек и не обычная машинная учетная запись. Он где-то посередине – имеет широкий доступ, как пользователь, но действует с машинной скоростью и масштабом, при этом не обладая человеческим здравым смыслом. Поэтому старый принцип "валидная учетная запись + разрешенный доступ = допустимое действие" сегодня ломается. Поэтому сегодня на зарубежном рынке активно формируется новый сегмент рынка – NHI (non-human identity) для ИИ-агентов, которые нельзя просто запускать под учеткой сотрудника или сервисной учеткой. У агента должны быть собственная сущность (identity object в IAM-решении), владелец-человек, назначение, список разрешенных действий, ограничения и журналирование всех попыток что-то сделать. Такое решение (в России таких вообще нет еще) должно выполнять 6 функций (можно рассматривать и как 6 этапов решения этой задачи): 6️⃣ Discovery – понять, какие агенты вообще есть, где они работают, к каким MCP-серверам/API подключены и кто за них отвечает. 2️⃣ Onboarding – зарегистрировать агентов как отдельный тип идентичности, а не как клон человеческой учетной записи или разделяемой сервисной учетки. 3️⃣ Control – поставить gateway между агентами и ресурсами. Причем проверять не только право доступа, но и конкретное действие: что агент хочет сделать, с какими данными и каким результатом. 4️⃣ Monitoring – научиться отличать действия человека от действий агента. Например, стандартные логи ОС часто не показывают, был ли браузер открыт человеком или запущен агентом в фоне. 5️⃣ Isolation – изолировать агент во время выполнения, чтобы "сошедший с ума" агент не получил в свои руки весь потенциал пользовательской машины или сессии. 6️⃣ Compliance – заранее связать управление агентами с аудитом и требованиями регуляторов, потому что SOC 2, ISO 27001 и PCI DSS пока не очень хорошо описывают агентскую "идентичность". Про нашу регуляторику и говорить нечего. Сегодня далеко не все компании внедрили у себя MFA, PAM, Zero Trust и обычные логи (хотя IAM часто есть), но если бы да, то и они сами по себе не решают проблему доступа агентного ИИ. Они отвечают на вопрос "имеет ли субъект доступ?", но ИИ-агенты требуют ответа на другой вопрос – "допустимо ли это конкретное действие в этом конкретном контексте?" 🤔 #ии #аутентификация #средствазащиты

LOLMIL: когда модель и inference runtime становятся новым LOLBin LOLMIL расшифровывается как Living Off the Land Models and Inference Libraries. Идея простая: атакующий не тащит на хост полноценный вредоносный фреймворк, а использует уже доступную AI-инфраструктуру: локальную модель, ONNX Runtime, Ollama, Transformers, PyTorch, llama.cpp/vLLM-стек или другой inference слой. Это похоже на классический LOLBin-подход: certutil, rundll32, bash, powershell сами по себе легитимны, но в хитрых руках хацкеров становятся частью атаки. В LOLMIL роль "легитимного инструмента" играет модель или библиотека инференса. Самый показательный публичный PoC — исследование Dreadnode. Они собрали локальный C2-less агент на Phi-3-mini + ONNX Runtime, который генерировал Lua-код, искал уязвимый Windows service и эксплуатировал misconfig для создания proof-файла с повышенными правами. Код выложен в dreadnode/lolmil. Подтвержденных in-the-wild атак, которые прямо можно назвать LOLMIL, я не нашел. Но что-то похожее уже было: 1. PromptLock / Ransomware 3.0 — исследовательский прототип ransomware, где LLM генерирует Lua-скрипты на лету через Ollama. Сначала его приняли за "первый AI-powered ransomware", позже подтвердилось, что это академический PoC. 2. Malicious ML models на Hugging Face — ReversingLabs и Rapid7 описали модели с вредоносными pickle/PyTorch .pth payload: при загрузке через ML-инструменты выполнялся код, в одном случае подтягивался RAT и C2 через Cloudflare Tunnel. 3. AI-assisted APT атака — Anthropic описывала реальные кампании, где Claude Code использовали для разведки, эксплуатации, lateral movement, эксфильтрации и шантажа. Это не LOLMIL в строгом смысле, потому что модель не обязательно жила на машине жертвы, но логика та же: AI становится активным оператором атаки. Отдельного "LOLMILBins" каталога с готовыми приемами я не нашел. Есть только репозиторий Dreadnode с PoC. Зато уже существуют близкие каталоги: LOLBAS для Windows binaries/scripts/libraries, GTFOBins для Unix-like executables, LOLDrivers для драйверов. Скорее всего, LOLMIL-энциклопедия появится по той же модели: "runtime / model format / loader / dangerous capability / detection / safe config". Главный defensive takeaway: ML-артефакты надо считать исполняемым кодом. pickle, torch.load(), trust_remote_code=True, кастомные model files и локальные inference endpoints должны уже давно быть в модели угроз. Модель больше нельзя воспринимать как "просто файл с весами". 🔗Источники: Dreadnode LOLMIL / dreadnode/lolmil Ransomware 3.0 ReversingLabs nullifAI / Rapid7 .pth abuse Hugging Face pickle warning / Transformers security policy 🌚 @poxek_ai / Чат канала

Новые флагманские наушники Sony утекли в сеть ещё до анонса — Sony The ColleXion покажут 19 мая, но все характеристики и рендеры уже слили в интернет. Главная фишка — более премиальные материалы по сравнению с XM6: металлические шарниры и дужка, а чашки отделаны экокожей. По железу: — Чипы Sony QN3 + V3; — 12 микрофонов для адаптивного шумоподавления; — 6 микрофонов для звонков; — Настройка звука совместно с Battery Studios, Sterling Sound и Coast Mastering; — До 24 часов работы с шумодавом и до 32 часов без него; — Цена: $649 (48 тысяч рублей). 🎧🎧🎧

Meet LiteLLM Agent Platform: A Kubernetes-Based, Self-Hosted Infrastructure Layer for Isolated Agent Sandboxes and Persistent Session Management in Production Most "managed agent" solutions mean handing your sessions to someone else's cloud. That's not infrastructure you control — and BerriAI just shipped a clear alternative. They open-sourced the LiteLLM Agent Platform, a self-hosted infrastructure layer for running multiple AI agents in production, built on top of the LiteLLM Gateway. It manages sandbox isolation per team or context and keeps session state alive across pod restarts and upgrades, with no external session store to wire up yourself. Here's what's actually interesting: → Sandboxes run on Kubernetes via the kubernetes-sigs/agent-sandbox CRD — kind locally, AWS EKS in production → Two commands to get started: bin/kind-up.sh provisions the cluster, docker compose up boots Postgres, web (:3000), and worker → Secrets pass into sandboxes via CONTAINER_ENV_ prefix in .env — stripped at injection, no image rebuilds needed → The LiteLLM Gateway handles model routing across 100+ LLM providers — the Agent Platform handles everything above that layer → MIT licensed, currently in alpha public preview Full analysis: https://www.marktechpost.com/2026/05/16/meet-litellm-agent-platform-a-kubernetes-based-self-hosted-infrastructure-layer-for-isolated-agent-sandboxes-and-persistent-session-management-in-production/ GitHub Repo: https://github.com/BerriAI/litellm-agent-platform

#tools #Blue_Team_Techniques #Purple_Team_Exercises AiSOC v.7.2.0 https://github.com/beenuar/AiSOC // Open-source AI-powered Security Operations Center - alert fusion, purple-team drills, agent-assisted triage, MITRE ATT&CK investigation. MIT-licensed, self-hostable

Awesome Large Language Models for Vulnerability Detection – репозиторий с коллекцией научных публикаций, посвященных применению больших языковых моделей (LLM) для обнаружения уязвимостей. Помимо ссылок на публикации, есть ссылки на сами LLM-ки🔥 p.s. Обновляется ежедневно. #llm #vm #ai #research #vulnerability

Куда катится архитектура LLM в 2026 Себастьян Рашка разобрал свежие open-weight модели - Gemma 4, Laguna XS.2, ZAYA1-8B и DeepSeek V4. Общий тренд один: теперь главная борьба идёт не только за качество, а за цену длинного контекста. У reasoning-моделей и агентов узким местом стали KV-кэш, трафик памяти и FLOPs attention. Поэтому архитектуры всё активнее режут стоимость инференса. Gemma 4 шарит KV между слоями. Laguna XS.2 распределяет attention-бюджет по слоям. ZAYA1-8B считает внимание в сжатом латентном пространстве. DeepSeek V4 сжимает KV вдоль последовательности и усложняет residual stream. decoder-only трансформер жив, но всё вокруг attention быстро мутирует. Качество всё ещё тянут данные и training recipe, а архитектура всё чаще нужна, чтобы длинный контекст не сжигал железо. https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures

⚙️ Меня немного запарило, что все кодинг агенты не умеют из коробки делать актуальных на сегодня агентов, потому что внутри – модели еще не обучены всем современным агентским трюкам – поэтому я прошелся по исходникам Codex, Claude Code и других популярных уроков по созданию агентов, работу с кешами, авто-сжатием контекста и тп, и собрал скилл agents-best-practices который чинит эту проблему – причем, там отдельно прописано, что эти знания для всех видов агентов, не только для кодинга: Там нет кода, есть текстовые справочники на темы – мне помогло:

Архитектура агентного harness Как устроить runtime вокруг модели: контекст, инструменты, permissions, память, наблюдаемость и остановочные условия. Agentic loop Базовый цикл: модель → tool call → валидация → permission check → выполнение → observation → следующий шаг или финальный ответ. System prompts и инструкции Как проектировать слои промптов: global, workspace, domain-specific, task-level и runtime reminders. Tools и permissions Как делать инструменты узкими, типизированными, безопасными, проверяемыми и разделёнными по risk class. Planning mode Как отделять планирование от исполнения: read-only exploration, план-артефакт, approval и потом мутации. Goal-like loop Как задавать долгоживущие цели с budget, checkpoints, validation criteria и stop condition. Это вместо Ralph Loop. Context, memory и auto-compaction Как управлять контекстом, делать retrieval, сохранять рабочее состояние и сжимать историю без потери критичных данных. Prompt caching и cost-aware context Как строить стабильные prompt-prefixes, deterministic tool ordering и cache-friendly agent runtime. Skills и progressive disclosure Как подключать reusable workflows: короткий skill index сначала, полные инструкции только при необходимости. MCP и external connectors Как подключать внешние системы через governed connectors: namespacing, auth, permissions, audit logs и least privilege. Security, approvals и sandboxing Prompt injection, secrets, approval flows, draft-vs-commit, sandbox для open-world tools. Observability и evals Как логировать agent runs, tool calls, approvals, compactions, failures и тестировать harness на реальные failure modes. Provider API patterns Практики для OpenAI, Anthropic и OpenAI-compatible API без привязки к одному провайдеру. Checklists и coverage audit Готовые списки для проверки: перед запуском, перед добавлением tools, перед подключением skills/connectors и перед продом.

Вайбкодеры, забираем: разраб выложил скилл для создания нормальных агентов 😳 Автору надоело, что кодинг-агенты из коробки не могут делать современных агентов. Поэтому он прошёлся по исходникам Codex, Claude Code и другим материалам и туториалам по созданию агентов и собрал agents-best-practices — набор практик, которые сейчас по факту приходится добавлять вручную. Ускоряем создание помощников здесь 😎

Плюс фобия - специалисты по кибербезопасности Китая заявили что современных технологий достаточно для считывания отпечатков пальцев даже с фотографий. Жесты вроде "сердечка" или "peace" с помощью камер высокого разрешения и ИИ позволяют злоумышленникам считывать папиллярные линии прямо с фото. И селфи может стать источником биометрических данных.

‼️xAI выложили в опенсорс код ленты рекомендаций Насколько я знаю там где то слой ЛЛМ есть https://github.com/xai-org/x-algorithm

🦊 TrustYFox: от пет-проекта к рабочему инструменту Всем привет, это Андрей Фримучков, руководитель службы разработки платёжных интерфейсов. В карточках я показываю, как создавал TrustYFox — платформу, которая ищет уязвимости в коде с помощью LLM. А тут расскажу об основных фичах: 🟣 Всё стабильно работает в нескольких локациях 🟣 Инструмент сам переключается между базами и переживает учения по закрытию локаций, умеет продолжать прерванный аудит 🟣 Можно тестировать гипотезы на разных промптах и аудитах через механизм тегов 🟣 Для сбора контекста используется tool calling 🟣 Можно запускать аудит в выбранной ветке или ревизии 🟣 Права и доступы корректно разграничены 🟣 Есть механизмы observability, в том числе метрики 📖 В полной статье на Хабре делюсь техническими деталями и кодом. А также рассказываю, над чем работаю сейчас и что в пете можно было бы сделать по-другому. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🔒 Как мы защищаем умные устройства Колонки, ТВ и камеры с Алисой сегодня уже не просто бытовая электроника. Эти устройства формируют экосистему, в которой безопасность — важное свойство продукта. Меня зовут Никита Лычаный, я инженер по информационной безопасности Алисы и Умных устройств Яндекса. И мне нужно быть по обе стороны баррикад: проектировать защиту и понимать, как её ломать. Сегодня я расскажу, что помогает нам обеспечивать безопасность устройств. Аппаратный уровень 🟣 Первое, на что я смотрю, — процесс загрузки. Механизм Secure Boot проверяет подлинность и целостность каждого этапа: от неизменяемого аппаратного кода BootROM до пользовательских приложений. Это фундаментальный механизм безопасности, без которого остальные слои защиты просто теряют смысл. Аппаратная изоляция 🟣 Даже если злоумышленник получит доступ к части системы, критичные операции и данные должны остаться вне досягаемости. 🟣 В устройствах на базе ARM мы используем TrustZone. Это два раздельных контура исполнения операций: обычная среда и защищённая область. Пользовательская ОС 🟣 Сетевое взаимодействие с облачной инфраструктурой я рассматриваю как ещё одну границу. 🟣 Передача данных по зашифрованным каналам с проверкой подлинности сторон закрывает целый класс атак, которые связаны с перехватом и подменой трафика. Поэтому она является обязательным элементом современной безопасной архитектуры. Чувствительные данные 🟣 Логи — это одна из самых частых точек утечки информации. Разработчик пишет отладочный вывод, случайно включает в него содержимое запроса, а там — токен авторизации или другие важные сведения. 🟣 Сервис маскировки решает эту проблему автоматически. Он работает как фильтр на выходе любого лог-вызова: перед тем как данные попадают в файл или систему сбора логов, она проходит через набор паттернов. Если они сработали — чувствительная часть строки заменяется на маску. ⏩ В статье на Хабре я поделился кейсом закрытия аппаратной уязвимости. А также объяснил, в чём заключается роль внешних исследователей в программе «Охота за ошибками». Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

👩‍🏫 AI-агенты в ИБ: путь к доверенному члену команды ♒️ Один неверный вывод AI-агента в SOC — и компания может остаться без домена, а вместе с ним без Kerberos, LDAP и части критичных сервисов. Искусственный интеллект в ИБ действительно умеет разгружать команды: он быстрее разбирает поток алертов, помогает в триаже и берёт на себя рутину там, где у аналитиков уже не хватает рук. ♒️ Но есть нюанс: такой агент может не просто ошибиться, а эскалировать собственное заблуждение в полноценный инцидент, если дать ему слишком много полномочий. Поэтому главный вопрос уже не в том, нужен ли AI в безопасности, а в том, где заканчивается автоматизация и начинается опасный автопилот. Нужны ограничения, проверки, защитные слои и обязательный контроль человека в критичных действиях, иначе помощник легко превращается в источник риска. ⏩ Читайте на Хабре разбор того, как внедрять AI-агентов в ИБ без иллюзий и излишнего доверия. Подписывайтесь: 💬 @Yandex4Security 📹 @YandexForSecurity

🧠 Mercury: Soul-Driven AI Agent Mercury — это умный AI-агент, который запрашивает разрешения перед выполнением действий и запоминает важные детали. Он работает 24/7 через CLI или Telegram, имеет 31 встроенный инструмент и расширяемые навыки, а также память на основе SQLite. 🚀 Основные моменты: - Запрашивает разрешения перед выполнением команд. - Обладает структурированной памятью с автоэкстракцией. - Легко настраивается и расширяется с помощью пользовательских навыков. - Работает в фоновом режиме и автоматически перезапускается при сбоях. - Поддерживает многоканальный доступ через Telegram и CLI. 📌 GitHub: https://github.com/cosmicstack-labs/mercury-agent #javascript

Redefining AI Red Teaming in the Agentic Era: From Weeks to Hours Redefining AI Red Teaming in the Agentic Era: From Weeks to Hours

Интересный калькулятор расчета ресурсов для поднятия LLM. Теперь не придётся в уме байты считать. 👍 https://smelukov.github.io/WeightRoom/