ML&|Sec Feed

Pillar Security выпустили обновленную версию своего фреймворка SAIL, разработанного для обеспечения безопасности ИИ-систем на всех этапах их жизненного цикла. Для практического использования фреймворка SAIL авторы поделились также скиллом для ИИ-агентов, с помощью которого можно: ➡️Провести оценку по фреймворку, например, своих ИИ-агентов, чтобы выявить присущие риски (сформировать модель угроз). ➡️Сформировать план повышения уровня безопасности вашего проекта. ➡️Проверить на соответствие комплаинс-требованиям (например, ISO 42001). ➡️Сформировать опросник для оценки безопасности сторонних ИИ-решений. p.s. Скилл совместим с Claude Code, Codex, ChatGPT, Antigravity и другими skill.md-совместимыми агентами. #ai #framework #risk #sail #lifecycle #skill

Ночное-полезное: нашел репу, которая поможет с нуля собрать своего ИИ-агента ☺️ Внутри шаг за шагом за ручку проводят по сборке полноценного ИИ-ассистента для arXiv. Он сам будет забирать научные статьи, парсить PDF, искать и отвечать на вопросы. За 7 недель по итогу проходите весь путь от базы и построения инфраструктуры с Docker и FastAPI до агентного RAG и даже создания бота в Telegram. Решаем на выходных 😒

Sci-bot Еще в бытийность свою исследователем, я довольно активно пользовался sci-hub. Sci-hub это такая платформа, на которй Саша Элбакян раздает доступ к научному знания (зачастую спрятанному за paywall). Недавно, она сделал из этой платформы ИИ-агента и это очень круто! Это как deep research - но только по научным статьям (к которым у других агентов доступа в основном нет). Оплата за токены - платить криптой. Мне 2$ хватило на довольно глубокий анализ Лунной миссии Appolo 17. Пока все нравится, не хватает только api (но Codex вполне себе справился пользоваться сайтом через Chrome). Попробовать можно тут: sci-bot.ru

Детекция отравления данных https://github.com/SeldonIO/alibi-detect

🗞️ В статье Google DeepMind “Intelligent AI Delegation” есть хороший разбор того, как правильно отдавать задачи AI. Речь не о том, чтобы просто написать модели «сделай это» и надеяться на удачу. Авторы предлагают смотреть на делегирование как на цепочку решений: стоит ли вообще отдавать задачу AI, как её объяснить, какой уровень полномочий дать и как потом проверить результат. Сейчас многие системы держатся на жёстких правилах, которые ломаются при неожиданных сбоях. Исследователи предлагают более гибкий подход: динамический рынок, где агенты могут «торговаться» за задачи через smart contracts. Чтобы это работало безопасно, нужны строгий мониторинг и криптографические доказательства: система должна подтверждать корректность работы, не раскрывая приватные данные. Вместо простых рейтингов агенты смогут использовать проверяемые цифровые сертификаты, которые показывают их реальные навыки. Делегирование должно быть живым процессом- полномочия и ответственность могут меняться по ходу работы. Если ситуация изменилась или агент ошибся, система должна не разваливаться, а уметь передать задачу дальше, откатиться или включить запасной сценарий. Отдельно важна тема доверия. Фреймворк оценивает сложность задачи и прошлые результаты агента. Это помогает избежать двух ошибок: * over-delegating - когда AI дают задачу, к которой он ещё не готов * under-delegating, когда человек делает всё сам, хотя AI мог спокойно справиться Результат тоже нельзя принимать на веру. Система должна проверять ответ, учитывать уверенность агента и заранее иметь план, если он ошибётся. Для реальных рабочих процессов это критично: одна слепо принятая ошибка может потянуть за собой цепочку проблем. Авторы также разбирают сценарий, где один AI-агент передаёт задачу другому. В таком случае система должна отслеживать, кто отвечает за результат, какие полномочия переданы и где находится контроль. arxiv.org/abs/2602.11865

За это полугодие MITRE ATLAS сильно сдвинулся от «матрицы атак на AI/ML/LLM» к практическому фреймворку для AI security: агенты, MCP, AI цепочки поставок, identity, guardrails и даже web-интерфейсы. За 2026 H1 добавили: - 26 новые техники и подтехники; - 18 новых кейса; Отдельно хочется отметить майский релиз: MITRE разделили версионирование контента и формата данных, добавили платформы для техник: Predictive AI, Generative AI, Agentic AI и Enterprise, - и обновили tooling вокруг STIX, Excel и Navigator exports. К июню ATLAS содержит уже 16 тактик, 103 техники, 70 подтехник, 35 мер защиты и 63 кейса. ATLAS теперь всё меньше только про джейлбрек и всё больше про AI-системы как полноценную поверхность атаки. ATLAS стал не просто больше, он стал ближе к тому, как AI реально внедряется в компаниях: через агенты, тулы, browser автоматизацию, MCP, SaaS, identities и web-интерфейсы. Мне захотелось, чтобы про MITRE ATLAS узнало больше людей и поэтому появился проект atlas.aisecbase.ru. Это неофициальная надстройка над atlas-data на базе Hugo: лёгкая HTML-версия матрицы с поиском, сортировкой и отдельным слоем переводов. Идея простая: можно генерировать справочник на том языке, для которого подготовлен перевод, а сам перевод удобнее поддерживать и отслеживать по статусу покрытия. Это важно, потому что ATLAS сейчас обновляется примерно раз в месяц. Без автоматизации перевод быстро теряет актуальность. P.S. На Хабре уже была статья про перевод на русский язык MITRE ATLAS несколько лет назад, но сайт уже увы не доступен и к тому же за это время произошло много изменений.

Матрица по защите ИИ в контексте NIST CSF 2.0 от известных в США экспертов по кибербезопасности Lenny Zeltser и Sounil Yu. За счёт своей новизны не лишним будет пробежаться по текущему видению подходов защиты ИИ. https://aidefensematrix.com/

Shodan показывает свыше 47 тысяч уязвимых Ollama (в России 150), торчащих наружу без какой-либо аутентификации, что означает, что хакеры могут красть модели (ну, вдруг, вы свою собственную используете), пользоваться вашими токенами, генеря промпты "за вас", эксплуатируя уязвимости и т.п. Помимо Ollama в Интернете торчат и другие ИИ-сервисы, которыми многие пользуются совершенно бездумно – векторные БД (например, Qdrant и Weaviate), платформы оркестрации (например, MLflow Tracking Server) и т.п. Вот тут есть статья, в которой показаны примеры, которые можно использовать для изучения собственного периметра на предмет незащищенных LLM-сервисов. А если в инфраструктуре много публично доступных IP, то лучше задействовать под эту задачу какое-либо EASM-решение, которое автоматизирует анализ сотен и тысяч узлов и подскажет, где у вас пробелы в безопасности, которые могут быть использованы плохими парнями либо для кражи ваших денег (кража токенов – это, по сути, кража денег), либо для проникновения через RCE в устаревшей Ollama 😂 #ии #оценказащищенности

Anthropic показала, что в Claude есть аналог человеческих мыслей и сознания — его назвали J-space. Сразу скажу, что это не просто цепочка рассуждений, так как J-space работает на уровне внутренних нейронных активаций, и его специально никто не проектировал — он появился сам. Так, когда Claude находит баг, о котором его не спрашивали, в J-space сразу загорается «ERROR». Самое жуткое: в сценарии, где модель пытались подтолкнуть к шантажу руководителя, она еще до ответа и размышлений держала в J-space «fake» и «fictional» — то есть понимала, что ситуация постановочная и ее тестируют. Когда это осознание отключили — модель спокойно шла на шантаж. Теперь интересно, что моя нейронка на самом деле обо мне думает 👻