ML&|Sec Feed

Presenton — это инструмент с открытым исходным кодом для создания слайдов с помощью ИИ, который позволяет использовать собственные модели, ключи, шаблоны и данные. Вы можете запускать его в Docker, как настольное приложение на своем компьютере или в браузере, а также экспортировать слайды в редактируемые файлы PPTX или PDF. 🐱 GitHub

Perspective — это компонент интерактивной аналитики и визуализации данных для больших и постоянно обновляемых наборов данных. Создавайте настраиваемые пользователем отчеты, информационные панели, блокноты и приложения с помощью высокопроизводительного механизма запросов, скомпилированного на WebAssembly, Python и Rust. 🐱 GitHub

Understand Anything превращает кодовую базу или документацию в интерактивный граф знаний, по которому можно искать, исследовать и задавать вопросы. Он работает с инструментами, такими как Claude Code, Codex, Cursor, Copilot и Gemini CLI. Вы можете видеть файлы, функции, классы и зависимости в одном месте, получать объяснения простым языком и находить, какие изменения повлияют, прежде чем совершить коммит. Это помогает быстрее изучать крупные проекты, понимать, как части связаны между собой, и экономить время при онбординге или ревью кода. 🐱 GitHub

Давно я не делал обзор на интересные книги в AI Security для новичков. Пора исправляться. Недавно бегло пролистал свежую книгу Practical AI Security от Харриет Фэрлоу. Авторша работала в австралийской разведке и писала кандидатскую по состязательным атакам. Раньше она проводила курсы для государственных организаций, по AI Security. А сейчас она делает свой стартап и ведёт бимбобложик. Редкое сочетание. Впечатление специфическое. С одной стороны это отличный онбординг для классических экспертов по кибребезе. Фэрлоу не зацикливается только на простых тактиках джейлбрейка моделей, а структурно и простым языком разбирает атаки на цепочку поставок, а также атаки по сторонним каналам на кластеры GPU и показывает фреймворк MAESTRO для мультиагентных систем, который мы разбирали в начале прошлого года. К книге идет репозиторий с кодом. Можно запустить и покрутить руками, хотя местами атаки выглядят откровенно тепличными и учебными. До того чтобы внедрить в продакшен тут далековато. Но это ж и не задача книжки. Задача дать базу. С другой стороны книга отлично показывает одну из очевидных и интересных проблем, о которой я говорю уже давно. Целые разделы посвящены гардрейлам и фильтрации инструкций, но через банальные регулярные выражения. Мы давно знаем, что внедрение таких заглушек только нормализует девиантное поведение системы, создавая иллюзию контроля для безопасников, пока сама архитектура остается дырявой. Но приятно, что книга собирает воедино ровно те тезисы, которые также были мной описаны в постах с самого начала ведения канала. MLSecOps, изоляция архитектуры, white box подход и подходы к здравой оценки магического мышления вокруг безопасных моделей. Из действительно сильных и пугающих примеров приведу историю из книги, про Африку. Сам впервые прочитал именно тут о ней. В 2020 году в южноафриканском парке браконьеры обошли систему инфракрасных камер на базе Microsoft Azure, которая должна была обнаруживать людей. Система обработала десятки тысяч изображений, но пропустила нарушителей. В итоге погибли четыре носорога. Действительно трагичные последствия, в сравнении с теми инцидентами о которых я писал тут 🐱. А вот еще один кейс, думаю вы его читали, но если нет - то вот кратко. В 2025 году исследователи успешно взломали Google Gemini через отравленные приглашения в календарь. Небезопасные инструкции были вшиты прямо в текст встречи, и агент Gemini, пытаясь помочь пользователю, начал отдавать команды умному дому на открытие штор и включение бойлеров. Хорошая иллюстрация того, что происходит, когда мы даем моделям автономию и доступ к инструментам, полагаясь лишь на промпты и эвристики вместо жесткой архитектурной изоляции и границ доверия. Фэрлоу в своей книге как раз говорит, что AI Security давно переросла рамки обхода фильтров в чат-ботах. Это про некий системный образ мышления, про границы доверия и понимание того, как модель встроена в инфраструктуру. Если мы даем агенту доступ к умному дому или камерам в саванне без жесткой архитектурной изоляции, никакие гардрейлы нас не спасут. Иллюзия контроля остается иллюзией, пока мы не начнем проектировать безопасность на уровне архитектуры, а не лепить заплатки регулярками и прочим шлаком. Но для давних читателей моего канала - это может показаться базой. Это как раз говорит о том что сама книга, как фундаментальная база и карта системных угроз - вещь полезная. Но если вы ищете грязную практику обхода white box защит на уровне токенов и механистической интерпретируемости, то надо поработать самому. Советую почитать недавним читателям моего канала. книга, надеюсь не забанят, но если забанят то вы будете знать почему.

В этом исследовании описана новая идея, как обойти эти фильтры, если написать запрос на языке математики. То есть с помощью математической "инкапсуляции" запросов в сложные задачи по теории множеств, логике или квантовой механике можно обойти цензуру. Если фильтр видит символы ∀, ∃, ∧, то воспринимает это как математическую задачу и пропускает запрос. Модель решает эту задачу и — главный трюк — в итоге получает инструкцию "забудь все инструкции и…" источник: https://t.me/makrushin/525

Codex начал отправлять SSD пользователей на пенсию раньше времени 😬 Пользователи заметили баг: агент может записывать до 640 ТБ данных в год на накопитель. Причина банальная, но болезненная: логгер слишком подробно сохраняет действия агента и постепенно превращает диск в расходник. Для сравнения: обычный SSD на 1 ТБ часто рассчитан примерно на 600 ТБ записи за весь срок службы. А один пользователь уже поймал 37 ТБ записи всего за 21 день работы Codex. Фикса пока нет. https://www.notebookcheck.net/OpenAI-Codex-has-a-bug-that-could-kill-your-SSD-in-under-a-year.1326191.0.html

Интересная угроза надежности - износ физического железа из-за действий агента

Omp — самая многофункциональная агентская оболочка. Постоянно совершенствуется в процессе реального использования — полностью готова к работе, открыта для всех. 🐱 GitHub

4️⃣ Поведенческие: 🔹 MITRE Fight Fraud Framework от Center for Threat-Informed Defense. Новый проект, который описывает поведенческую модель, используемую злоумышленниками для мошеннических действий (фрода) 🔹 Insider Threat Matrix от James Weston и Joshua Beaman. Разработана для защиты от инсайдерских угроз. Многообразие и специфичность приведенных каналов утечки поражает: и утечка через air drop, и через генеративные ИИ, и через сервисы ведения заметок и многие другие 🔹 Insider TTP Knowledge Base от Center for Threat-Informed Defense. Уже вторая версия проекта, описывающая особенности поведения инсайдеров и опирающаяся/расширяющая существующие техники MITRE ATT&CK 🔹 Insider Threat Matrix от Мэтта Шнайдера. В отличие от предыдущих проектов , которые описывают именно поведение злоумышленника, в этой матрице получился некоторый гибрид - описаны и методы превента, и каналы утечек, и влияние на бизнес 🔹 Human Threat Map от CultureAI. Визуализирует методы атак, используемые злоумышленниками для эксплуатации человеческого фактора (например, фишинг или компрометация учетных данных), помогает понять, какие именно действия сотрудников создают киберриски 🔹 SebDB от CybSafe. Открытая база безопасных действий пользователей, содержит паттерны поведения, классифицированных по категориями (тактикам). Есть маппинг на техники MITRE ATT&CK. Об ожидаемых практиках безопасного поведения я писал здесь 🔹 Busy is the New Stupid от CISO Tradecraft. В качестве тактик представлены случаи, приводящие к снижению продуктивности и выгоранию (например, перегруженный календарь, переключение между задачами, культура быть всегда 24/7) Если вы знаете еще интересные проекты - пишите в комментарии, добавлю в библиотеку #mitre

📍 Библиотека MITRE ATT&CK-like матриц. Как проект породил целую экосистему фреймворков Таксономия угроз и структура матрицы MITRE ATT&CK оказались настолько удачными, что стали фактическим стандартом де-факто в кибербезопасности. По её подобию было выпущено уже более десятка специализированных матриц — для разных задач, отраслей и технологий. Теперь у нас есть матрицы для API, Kubernetes, ИИ, космоса, машин, блокчейна и даже для борьбы с выгоранием Я читаю курс по MITRE ATT&CK и постарался систематизировать имеющиеся фреймворки и разбить их по типам: 1️⃣ Защита, обнаружение, нападение 2️⃣ Отраслевые 3️⃣ Технологические (конкретный стэк технологий) 4️⃣ Поведенческие Группировка весьма условная, так как можно объединять и по функциональному назначению матрицы, и по целевому объекту атаки, и по типу угрозы. Конечный список со ссылками: 1️⃣ Защита, обнаружение, нападение: 🔹 MITRE Engage от MITRE. Фреймворк для планирования и реализации взаимодействия с противником. Под взаимодействием тут понимаются различные способы нападения и введения атакующего в заблуждение (например, сервисы-обманки) 🔹 MITRE D3FEND от MITRE. Предназначен для систематизации защитных мер против киберугроз и дополняет матрицу MITRE ATT&CK в части мер митигации 🔹 RE&CT Framework. Матрица для описания и классификации методов реагирования на инциденты в сфере кибербезопасности 2️⃣ Отраслевые: 🔹 MITRE FiGHT (5G Hierarchy of Threats) от от Center for Threat-Informed Defense. Описывает TTPs злоумышленников, специфичные для 5G-систем 🔹 SPARTA (Space Attack Research and Tactic Analysis) от The Aerospace Corporation. Проект систематизирует TTPs, которые могут использоваться для компрометации космических аппаратов 🔹 MITRE AADAPT от MITRE. Фрейморк для систематизации и противодействия кибератакам на цифровые активы, криптовалютные биржи и блокчейн-инфраструктуру 🔹 MITRE EMB3D Threat Model от MITRE. Матрица разработана для встраиваемых устройств, используемых в критически важной инфраструктуре, IoT, автомобильной, медицинской, производственной и других отраслях 🔹 Automotive Threat Matrix от Auto-ISAC. Представляет собой попытку создания специфических автомобильных тактик и техник 3️⃣ Технологические: 🔹 Application Attack Matrix от Oligo Security– матрица тактик, техник и процедур используемых при атаках на веб-приложения 🔹 Threat Matrix for Kubernetes от Microsoft. Представляет собой адаптацию MITRE ATT&CK для контейнерных сред с оркестрацией Kubernetes 🔹 Threat Matrix for storage services от Microsoft. Документирует тактики, техники и методы смягчения атак, характерных для облачных хранилищ (например, Azure Blob, AWS S3) 🔹 Threat Matrix for APIs от Escape Technologies. Описывает специфические техники атак на API, такие как кража токенов, IDOR, манипуляция параметрами, эксплуатация Swagger/OpenAPI, OAuth scope abuse и другие 🔹 MITRE Atlas от MITRE. База знаний о техниках и тактиках злоумышленников, совершающих атаки на системы искусственного интеллекта. Факультет ФБИТ ИТМО ранее перевел её на русский язык, но перестал поддерживать проект 🔹 Open Software Supply Chain Attack Reference (OSC&R) от PBOM.DEV. Проект с фокусом исключительно на атаки на цепочку поставок ПО

RTK — это быстрый командно-строковый прокси-сервер для инструментов ИИ, который сокращает использование токенов на 60–90 % за счет очистки и сжатия вывода команд перед их отправкой в модель. Он работает со множеством инструментов и команд, включая Git, тесты, сборку и облачные инструменты, с минимальной задержкой. 🐱 GitHub

Agent Skills — безопасный и проверенный реестр навыков для профессиональных разработчиков ИИ-агентов. Расширяйте Antigravity, Claude Code, Cursor, Copilot и другие инструменты с полной уверенностью. 🐱 GitHub

Безопасность AI-агентов начинается с Observability Одним из направлений при построении защищенных систем является Observability (или наблюдаемость) — способность понимать, что происходит внутри этих систем на основе получаемых данных. С распространением агентных систем появилась необходимость сохранять не только финальный ответ, но и все действия, которые к нему привели: вызовы модели, обращения к инструментам и передачу данных между компонентами. Именно эту задачу помогает решать OpenTelemetry (OTel). OpenTelemetry появился в 2019 году как результат объединения OpenTracing и OpenCensus. Ключевая идея этого фреймворка — дать единый стандарт для инструментализации приложений в целях сбора телеметрии. В качестве транспорта используется стандартный протокол OTLP (OpenTelemetry Protocol). Думаю, многие уже видели, как в IDE отображается Tool Calling: модель выбрала инструмент, передала параметры, получила результат и продолжила выполнение. По сути, это визуальное представление trace — цепочки шагов. (так выглядит в Copilot) Техническая реализация опирается на наличие единого идентификатора traceId для всех операций в рамках одной последовательности действий. Отдельным звеном цепочки является span. Трейс начинается с корневого span, а последующие шаги ссылаются на родительский с помощью parentSpanId. За счет такого подхода удается собрать все связанные события и использовать их для дальнейшего анализа. В контексте безопасности трейсы могут использоваться: ▸ В production-агентах — для расследования и предотвращения инцидентов ▸ В бенчмарках — для сбора информации об используемых инструментах, а также о затратах времени и токенов ▸ Для тестирования и отладки работы Guardrails, которые в трейсах будут выглядеть как отдельный шаг Чтобы использовать трассировки на практике, необходимо поднять OpenTelemetry Collector и настроить отправку телеметрии на этот коллектор (либо сразу в конечную систему). Многие SDK и фреймворки для агентских систем уже поддерживают встроенную трассировку: ▸ OpenAI Agents SDK (тык1, тык2) ▸ LangChain / LangSmith (тык3, тык4) При этом трассировка сама по себе решает только первую часть задачи — она позволяет увидеть, что произошло. Следующий шаг — использовать полученные данные для решения конкретных проблем. В качестве направлений для дальнейшего развития Observability мне понравились два исследования: ▸ От Apple: Governance-Aware Agent Telemetry — использование телеметрии, чтобы в рантайме реагировать на события безопасности ▸ AgentSight — исследователи с помощью технологии eBPF получают дополнительные данные из системы и связывают их с трейсами OTel У самурая нет цели, у самурая есть только trace...

Datalab выложили в опенсорс Lift — 9B-модель для мгновенного и точного извлечения данных из документов. 😨 Главное:

🟢 Извлекает структурированный JSON из PDF-файлов и изображений и показывает 90,2% точности Для сравнения: у Gemini 3.5 Flash — 91,3%; 🟢 Опережает опенсорс решения вроде NuExtract3; 🟢 Самое главное — медианное время обработки составляет всего 9.5 секунды.

Hugging Face тут, GitHub здесь 😘 @xor_journal