ML&|Sec Feed

Меньше битов ≠ больше защиты Чтобы запустить ML-модель на микроконтроллере, её часто переводят из FP32 в INT8 или INT4. Модель становится компактнее и быстрее, а иногда ещё и демонстрирует лучшую устойчивость к adversarial-атакам. Звучит как бесплатная защита. Но есть нюанс. Авторы исследования David and Goliath⁠ проверили три квантованные TinyML-модели с помощью десяти атак и шести защит. Оказалось, что квантование меняет геометрию модели: градиенты могут исчезать, взрываться или указывать атаке неверное направление. В результате неудачная атака иногда говорит не о реальной защищённости модели, а лишь о том, что выбранный метод плохо работает с квантованной арифметикой. Поэтому оценивать нужно именно итоговую INT8/INT4-модель, причём не одной атакой: полезны адаптивные, transfer- и black-box-сценарии, а также проверка на реальном устройстве. Для меня эта тема не только теоретическая. В нашей с Максимом Князевым статье «Влияние квантования TinyML-моделей на устойчивость аудиосистем персонального интернета вещей»⁠ мы проверяли распознавание голосовых команд под атакой PGD-40. INT8-QAT сохранил 98,8% точности на чистых данных и 92,2% под атакой, а у INT4 показатели снизились до 49,42% и 47,8% соответственно. Квантование отлично экономит память. Но в безопасности экономия битов ещё не означает экономию рисков. #AIxSec #TinyML #AdversarialML #MLSecurity #Security #AIxSec_Research

Новая атака на Grok что бы собрать пользовательские данные Исследователи из Adversa AI обнаружили способ незаметно похитить данные пользователя Grok: имя, геолокацию, историю переписки просто попросив ИИ «открыть ссылку». На вредоносной странице спрятана зашифрованная AES-256 инструкция. Grok сам её расшифровывает через встроенный Python-sandbox, принимает за «доверенный» источник и отправляет личные данные на сервер злоумышленника без каких-либо предупреждений. О проблеме сообщили xAI ещё 3 июня. Реакции пока ноль. По состоянию на 19 августа атака всё ещё работает (~40% успеха). https://gbhackers.com/zero-click-grok-attack-prompt-injection/

753B на одной видеокарте: разбор FreeToken Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре RTX PRO 6000 общей стоимостью с подержанную машину. Ты смотришь на свою RTX 4060 в ноутбуке, который покупал «не только для игр», и понимаешь: ну ладно, это не для нас. Так вот, это как раз для нас. На той самой ноутбучной 4060 с восемью гигабайтами и урезанным вдвое PCIe-линком можно получить 39.3 tok/s на 35-миллиардной модели — быстрее, чем медианная скорость декода Codex в проде. Вопрос был не в железе, а в софте, который это железо обслуживает. Разбираем FreeToken — движок для локального инференса MoE-моделей от команды, которая до этого сделала vLLM и SGLang. Запустить AGI на слабом железе #moe #локальные_модели #инференс #llama_cpp #llm #оффлоадинг #агенты #cuda #gpu #freetoken | @habr_ai

Cursor и Claude Science в докер-песочнице с графическим интерфейсом. Написал скилл и пару скриптов чтобы поставить любой десктопный агент в песочницу и прокинуть экран на хост. Скормите их своему агенту и скажите «подними Cursor и пробрось на хост», остальное он сделает сам. OAuth через браузер тоже работает, для агента всё расписано. Лежит тут: github.com/Andy9542/bring-my-gui. Внутри плагин для Cursor и Claude Code и два скрипта на случай, если агент не нужен. У меня агент живёт в песочнице без подтверждения команд, в худшем случае он сносит только то, что внутри неё. Но есть Claude Science и другие штуки, которые хочется попробовать. Как десктопные приложения они лучше, а ставить на хост стрёмно, вдруг что снесет. До сих пор агент из песочницы показывал мне только cli. Теперь показывает и окна: на скрине Cursor из контейнера с Ubuntu, открытый через встроенный маковский VNC. На сам Mac ничего ставить не пришлось. Если потыкаете и что то отвалится, пишите сразу мне, починю быстро. Ну и лайков на Гитхабе насыпьте, у меня все.

OWASP Agent Memory Guard - новая защита от отравления памяти ИИ-агентов. Буду звать его теперь AMG (не mercedes 👍). 📦 помнится говорил про спящих агентов. Это способ атак отложенных во времени и работающих по триггеру в рамках разговора. А-ля стоп слово в bdsm 🤣. AMG в тч работает против таких отложенных инъекций, но в глобал памяти. Если ваш агент хранит память между сессиями, он уязвим к memory poisoning. Атакующий может переписать цели, внедрить промпт-инъекции или инициировать утечку данных, и это переживёт очистку контекста. Что умеет AMG? ✅ Перехватывает все чтения/записи в память агента ✅ Детектирует промпт-инъекции, утечки секретов/PII, модификацию защищённых ключей ✅ Применяет политику: allow, redact, quarantine, block ✅ Работает без внешних API, всё локально ✅ Готовый middleware для LangChain, LlamaIndex. Уже вижу, как безопасники ликуют 😜 Цифры, которые заявляют: · Детекция реальных эксплойтов - 92.5% (recall), малова-то, над бы охваты держать на уровне 95+, а лучше девяток. 😮‍💨 · Точность - 100% (precision), 0% false positive, эти уже хорошо. 🍷 · Задержка ~59 микросекунд на операцию. Итого F1 - 0.961. В общем, есть ещё над чем поработать, но это лучше, чем гварды из коробки с 0.67-0.71 уровнем метрик, что я видел на ру рынке. 😐 Уже в pip:

pip install agent-memory-guard

Проект, как заявляется, уже используют Microsoft и OWASP как стандарт. В планах ML-детекция аномалий и защита векторных хранилищ, ещё бы в планы ап метрик добавили. 🔗 Репозиторий: https://github.com/OWASP/www-project-agent-memory-guard Безопасность агентов становится обязательной, поэтому не забывайте внедрять защиту памяти в тч. 💪

Red Security о том как использовать ИИ в форензике и анализе вредоносного кода.

Что страшнее: псих с ружьём в офисе или 70кг робо собака взломанная хакерами ? https://boschko.ca/unitree-go2-rce/

В Сингапуре запустили первый сервер, работающий на живых клетках мозга. Компания Cortical Labs предлагает клиентам биокомпьютеры - где для вычисления используются живые клетки человеческого мозга. В сравнении с обычными серверами, биологические потребляют в 100 раз меньше энергии.

Неожиданные источники вдохновения современных названий?.. Codex Marcianus Ouroboros - труд, в который включена "Клеопатрова Хризопея". Это алхимическая запись о "златоделии Клеопатры", в котором употребляется понятие Уроборос как элемент преобразования материального. Внутри змея написана фраза "ἓν τὸ πᾶν" - "hen to pan" - "единое [есть] все". Ну а под завершение - в целом алхимическое учение восходит к герметизму. Основал которое, по древним записям, легендарный мудрец Гермес Трисмегист. А еще был греческий бог границ и дорог, Гермес. Которого упоминают с особенным жезлом под названием кадукей/керикион, выглядщим, как две змеи, обвивщихся вокруг стрежня.

⚡️ 6 полезных репозиториев для работы с AI-агентами 1. Agency Agents https://github.com/msitarzewski/agency-agents Набор из 232 специализированных агентов для 16 направлений: разработка, дизайн, маркетинг, управление и другие задачи. 2. Codebase Memory MCP https://github.com/DeusData/codebase-memory-mcp Строит граф знаний по кодовой базе, чтобы агент быстрее находил связи между файлами, функциями и сущностями. Заявлена поддержка 158 языков. 3. OpenMontage https://github.com/calesthio/OpenMontage Инструмент для создания видео с помощью кодингового агента: сценарий, ассеты, монтаж и рендеринг можно собирать через промпты. 4. Agent-Reach https://github.com/Panniantong/Agent-Reach Дает агенту доступ к X, Reddit, YouTube, GitHub и другим источникам для поиска и сбора информации. 5. Orca https://github.com/stablyai/orca Позволяет запускать несколько кодинговых агентов параллельно и управлять их задачами из одного места. 6. OmniRoute https://github.com/diegosouzapw/OmniRoute Единый шлюз для работы с большим количеством AI-провайдеров через один endpoint. @data_analysis_ml / Папка полезного по ML. Сохраняй 🔖

Как вкатиться в AI Security? За последнее время меня несколько разных человек спросили, с чего начать изучение AI Security. Поэтому постарался собрать список материалов — от базовой теории до более глубокого погружения. ▸ Основная теория: LLM и Агенты • Andrej Karpathy: Deep Dive into LLMs like ChatGPT — хорошее видео для введения • Anthropic: Building Effective Agents — agents, workflows и tools. • Model Context Protocol — что такое MCP • Google Cloud: What is RAG? — как работает RAG • Agent Skills Overview — устройство agent skills ▸ Погружаемся в AI Security Теория • OWASP Top 10 для LLM и Agentic Applications — ежегодный топ уязвимостей для LLM-приложений и AI-агентов от OWASP (версия 2026 года) • Microsoft AI Red Teaming 101 — курс из 10 видео от Microsoft про AI Red Teaming • MIT: AI Agent Security — запись лекции из MIT из курса Computer Systems Security, Spring 2026 Практика • PortSwigger: Web LLM Attacks — лабораторные по уязвимостям LLM приложений от разработчиков Burp Suite • Agent Breaker — набор заданий от создателей Гендальфа (того самого, у которого нужно было украсть секрет) Курсы и сертификации • HTB Academy: AI Red Teamer + HTB COAE — практический курс и сертификация от платформы HackTheBox, разработанный вместе с Google (недорого) • OffSec AI-300 — курс и экзамен от OffSec (дорого, но известно) Фреймворки и методологии • Google SAIF — фреймворк от Google, который связывает компоненты AI-системы с рисками и мерами защиты. Есть отдельный раздел про AI-агентов • NIST AI RMF — фреймворк NIST для работы с AI-рисками • MITRE ATLAS — MITRE ATT&CK только для AI • OWASP AI Testing Guide — гайд по тестированию всей AI-системы: от моделей и данных до приложений и инфраструктуры ▸ Как следить за новостями по AI Security Telegram • https://t.me/addlist/7N0onqrNfTBkMGYy — папка с каналами по AI Security (самые интересные новости обычно освещаются в каналах из подборки) Блоги AI-вендоров • Anthropic • OpenAI • Google Security Blog • Microsoft AI Red Team Технические блоги отдельных исследователей и компаний • Embrace The Red • Simon Willison • Invariant Labs • Trail of Bits • HiddenLayer Research Если знаете хороший ресурс, которого здесь не хватает, то смело присылайте в комментарии или личные сообщения. Также актуальные темы из области AI Security можно будет услышать завтра на OFFZONE на треке AI.ZONE. Приходите — пообщаемся.