AI SecOps
前往频道在 Telegram
1 210
订阅者
-224 小时
+47 天
+430 天
正在加载数据
吸引订阅者
十月 '2610月 '26
十月 '26
+964
在0个频道中
九月 '260
在1个频道中
Get PRO
八月 '260
在3个频道中
Get PRO
七月 '260
在1个频道中
Get PRO
六月 '260
在3个频道中
Get PRO
五月 '260
在0个频道中
Get PRO
四月 '260
在1个频道中
Get PRO
三月 '260
在2个频道中
Get PRO
二月 '260
在0个频道中
Get PRO
一月 '260
在2个频道中
Get PRO
十二月 '250
在1个频道中
Get PRO
十一月 '250
在1个频道中
Get PRO
十月 '250
在1个频道中
Get PRO
九月 '250
在0个频道中
Get PRO
八月 '250
在0个频道中
Get PRO
七月 '250
在1个频道中
Get PRO
六月 '250
在0个频道中
Get PRO
五月 '250
在0个频道中
Get PRO
四月 '25
+259
在1个频道中
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 20 十月 | +1 | |||
| 19 十月 | +1 | |||
| 18 十月 | +1 | |||
| 17 十月 | +2 | |||
| 16 十月 | +1 | |||
| 15 十月 | +1 | |||
| 14 十月 | +1 | |||
| 13 十月 | +7 | |||
| 12 十月 | +1 |
频道帖子
Repost from Pattern AI
3 новых стандарта ИИ, которые стоит сохранить
1️⃣ ISO/IEC 27090:2026 Cybersecurity — Artificial intelligence (AI) — Addressing security threats and compromises to AI systems
Новый международный стандарт, содержащий рекомендации по противодействию специфическим для ИИ угрозам безопасности на всех этапах жизненного цикла технологий ( от «отравления» данных (data poisoning) до атак типа «уклонение» (evasion attacks) и кражи моделей).
По сути, этот стандарт дополняет ISO 27001 и ISO 42001, предлагая меры по обеспечению кибербезопасности, актуальные именно для систем искусственного интеллекта.
2️⃣EN 18286:2026 Quality management system for EU AI Act regulatory purposes
Этот стандарт, впервые представленный в июле, стал первым гармонизированным стандартом в поддержку закона.
Документ посвящен системам управления качеством прежде всего для разработчиков ИИ-систем с высоким уровнем риска (согласно статье 17 Закона). Он помогает подтвердить соответствие установленным регуляторным требованиям.
3️⃣ IEEE 2863-2026 IEEE Recommended Practice for Organizational Governance of Artificial Intelligence
Помогает превратить принципы ответственного ИИ (Responsible AI) в конкретные организационные процессы управления.
Речь идет об ответственности, надзоре, этических принципах и разрешении противоречий между различными приоритетами управления.
#AIShelf
————
@pattern_ai | AI GDPR Navigator
| 2 |  Что же за документ про ИИ-агентов, который готовит организация, в аббревиатуре которой есть буквы Ф, С и Б, я упомянул в субботу?.. А вот он – "Sound Practices for Responsible Adoption of Artificial Intelligence". Документ содержит 12 рекомендаций для финансовых организаций. FSB усилил рекомендации по контролю человеком над их действиями. Особенно важны три положения:
6️⃣ Для высокорисковых вариантов использования ИИ необходим более интенсивный человеческий надзор
2️⃣ Организация должна заранее определить риск-ориентированные условия, при которых агент обязан запрашивать разрешение человека
3️⃣ Из рекомендаций удалена аналогия, предполагавшая отношение к агентам как к цифровым сотрудникам.
FSB подчеркивает, что агенты не рассуждают так же, как люди, и способны неожиданным образом интерпретировать поставленные цели. В окончательном документе подчеркнуты роль совета директоров и высшего руководства, соответствие использования ИИ корпоративному риск-аппетиту, непрерывная оценка рисков, документирование сценариев использования ИИ и контроль качества решений. Примерно об этом мы говорили и на Russia Risk Conference 2026.
Продолжим... 16 октября Reuters сообщил о решении финансовых руководителей G7 провести специальные штабные учения по сценариям кибератак с использованием ИИ – о решении рассказала министр финансов Японии Сацуки Катаяма после встречи руководителей министерств финансов и центральных банков в Бангкоке. В учениях предполагается проверять действующие процедуры реагирования, а по результатам планируется скорректировать ранее разработанные инструкции и планы действий. Отличительной особенностью этого анонса является фокусировка именно на ИИ (штабные киберучения центрабанки G7 проводили и раньше). Тем более, что аккурат в те же дни, индийский CERT-IN выпустил бюллетень про атаки со стороны ИИ-агентов, а в южнокорейской массовой эпидемии кибератак на местные банки все больше находят следов ИИ-присутствия.
И в заключение вишенка на торте, которой является интересная инициатива OpenAI, Anthropic и других ведущих ИИ-компаний, которые в закрытом режиме готовятся к последствиям первой масштабной катастрофы, вызванной искусственным интеллектом. По информации Axios, многие руководители и исследователи ведущих ИИ-компаний убеждены, что в обозримом будущем произойдет масштабный инцидент с использованием ИИ и наиболее вероятный сценарий – кибератака, которая приведет к серьезным нарушениям работы критической инфраструктуры. Причем речь идет не столько о предотвращении самой катастрофы, сколько о том, что делать на следующий день после нее, когда общество и политики потребуют запретить или радикально ограничить ИИ. Некоторые представители ИИ-индустрии ожидают подобное событие уже в ближайшие 6–12 месяцев.
В рамках данной инициативы, которую можно назвать и штабными киберучениями, рассматриваются два принципиально разных сценария. Первый – ИИ выходит из-под контроля, например, группа автономных ИИ-агентов преодолевает ограничения испытательной среды и начинает действовать за ее пределами. Второй – злоумышленники используют доступные ИИ-модели, как, например, в атаках на южнокорейские финансовые организации, в которых, по сообщениям исследователей, злоумышленник использовал китайские ИИ-модели, включая DeepSeek, а также Claude Code. Особенно интересно, что в обоих сценариях общественная и политическая реакция может оказаться одинаковой, хотя ответственность разработчиков ИИ принципиально различается.
По сведениям Axios, ИИ-компании моделируют не только технические последствия катастрофы, но и предполагают, что после первого действительно масштабного инцидента возникнет требование немедленно ограничить использование ИИ. Однако есть проблема – к моменту первой катастрофы ИИ уже настолько глубоко проникнет в экономику, что попытки его остановить сами по себе могут вызвать масштабные негативные последствия. Отдельно отмечается практически невозможная задача отключения открытых моделей, которые уже свободно распространяются по миру.
А вы предусмотрели ИИ-агентов в своей модели угроз?.. 🤔
#ии #cyberrange #регулирование | 101 |
| 3 | 没有文字... | 273 |
| 4 | Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды, сообщает Bloomberg.
Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.
В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI. | 631 |
| 5 | Linux Foundation развивает TRACE как общий язык доказательств работы AI-агентов
25 августа Linux Foundation взяла под управление TRACE — Trust, Runtime Attestation and Compliance Evidence, открытый стандарт, разработанный OPAQUE совместно с AMD, Intel, Microsoft и Technology Innovation Institute.
TRACE формирует аппаратно подтверждаемую запись, связывающую runtime, исполнявшийся код, политики, классы обрабатываемых данных и инструменты, которые вызывал AI-агент. Спецификация строится поверх RATS, EAT, SLSA, SCITT, SPIFFE и EAR.
Важная оговорка: TRACE пока developer preview; текущая спецификация — v0.2, поэтому её ещё рано считать зрелым production-стандартом.
Что это значит?
Появляется новый слой поверх TEE:
TEE
→ обеспечивает аппаратную изоляцию
Attestation
→ доказывает состояние среды
TRACE
→ превращает это доказательство в переносимое runtime evidence.
Для банков это потенциально очень интересно с точки зрения AI Governance.
Обычный audit log говорит:
«Агент вызвал API».
TRACE пытается дать возможность доказать:
«Вот этот workload, в этой аппаратно подтверждённой среде, под этой policy, обработал данные такого класса и вызвал именно этот инструмент».
Это может стать основой технически проверяемого аудита AI-агентов. | 391 |
| 6 |  3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно.
Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам:
➡️ Blast radius – насколько далеко распространятся последствия ошибки
➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба.
Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine.
Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему:
➡️ Read L4, чтобы самостоятельно анализировать правила
➡️ Write L3, чтобы самостоятельно отключить правило
➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ.
Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3.
Дополнительно, Ленни предлагает фиксировать еще четыре вещи:
➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль.
➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие.
➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб.
➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено.
В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔
#ии #framework | 425 |
| 7 | В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов
Эксперты Сбера на конференции OFFZONE 2026 представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw.
Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:
1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.
👉 Подробнее | 1 137 |
| 8 |  没有文字... | 577 |
| 9 |  +2Microsoft опубликовала программную статью, в которой заявила, что традиционная архитектура кибербезопасности перестаёт соответствовать эпохе автономных ИИ-агентов. Компания представила концепцию Project Perception — нового подхода к обнаружению угроз и поиску уязвимостей с использованием нескольких ИИ-моделей. https://blogs.microsoft.com/blog/2026/07/27/rethinking-security-for-the-age-of-ai/
SOC будущего будет строиться вокруг ИИ-агентов, способных самостоятельно анализировать события, выявлять атаки и помогать аналитикам принимать решения. | 1 177 |
| 10 | NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity
Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности. | 493 |
| 11 | OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html | 329 |
| 12 |  #взлом
🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face.
• Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы.
• Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face.
• Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом.
• Хакеры получили доступ к части внутренних датасетов и служебным учётным данным.
• Какую именно модель использовали для взлома, установить не удалось.
В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов.
Ирония: хакерскую атаку обнаружил другой AI-агент.
Crypto Headlines | 452 |
| 13 | Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627 | 1 693 |
| 14 |  Отчет "Безопасность ИИ в России: практика, риски, зрелость"
https://k2tech.io/2dn | 589 |
| 15 | Практически все организации уже живут в реальности, где ИИ используется везде: от “безобидного” ChatGPT и Copilot до внутренних агентных систем с доступом к боевым данным и API. При этом большая часть компаний все еще находится на уровне стихийных экспериментов и запретительных политик, которые создают иллюзию контроля, но на деле лишь выталкивают ИИ “в тень” 👻
Об управлении безопасностью ИИ написано немало, и недавно на глаза попалась брошюра SANS AI Security Maturity Model (AISMM) - неплохая практическая модель, которая отвечает на три простых вопроса: насколько вы зрелы в защите ИИ, в использовании ИИ для безопасности и в управлении ИИ-зоопарком 🙊
Модель опирается на SANS Secure AI Blueprint (Protect / Utilize / Govern), стыкуется с NIST AI RMF, EU AI Act, ISO 42001, CSA AICM и OWASP AI Exchange, но главное - дает безопасникам язык и структуру для перехода от “мы что‑то делаем с ИИ” к “мы знаем, где мы, куда идем и какой риск принимаем” 👍
Ключевая идея: правильный уровень зрелости не универсален. У SaaS‑компании, которая только включает AI‑фичи в готовые продукты, приоритеты радикально отличаются от государственного подрядчика, строящего агентные системы с реальными полномочиями 🤖
Модель оценивает зрелость безопасности ИИ в организации по 5 уровням:
• Unaware / Ad Hoc: BYOAI, отсутствие инвентаризации и политик, данные обрабатываются в публичныех моделях, безопасность и IT даже не знают масштаб использования ИИ
• Reactive / Policy‑Emerging: появляется первая политика уровня “не использовать” или “использовать с осторожностью”, включается блоклист, есть немного метрик, но запреты в духе Framework of No только загоняют ИИ “в подполье” (shadow AI)
• Defined / Risk‑Informed: формальный AI Governance Council, инвентаризация систем и агентов, первые Non‑Human Identities (NHI), учёт AI‑рисков в реестре, включение ИИ в тестирование продуктов и операционную деятельность безопасности
• Managed / Integrated: AI‑security по сути встроен в SDLC и SOC, есть AI red team, MLSecOps, SOAR с автономными сценариями, количественная оценка AI‑риска и отчетность на уровне совета директоров
• Optimizing / Adaptive: AI‑native безопасность, самоадаптирующиеся защиты, chaos engineering для ИИ, Zero Trust, расширенный на агентные системы, и активный вклад в стандарты и практики индустрии
Отдельный акцент - агентный ИИ. Автор вводит принцип Least Agency: прежде чем давать агенту автономию и доступ к API, честно ответьте, нельзя ли решить задачу более простой архитектурой. Если агент действительно нужен, дальше уже обязательны NHI с минимально необходимыми привилегиями, конкретным владельцем-человеком и аудитом всех действий 🧐
Ещё одна хорошая мысль из модели: “необученный персонал с мощными AI‑инструментами - это уже не просто риск, а чрезвычайная ситуация”. Высокое проникновение ИИ при низкой грамотности сотрудников автоматически поднимает требования к зрелости по домену Govern минимум до Stage 3, независимо от того, насколько “технологичной” компанией вы себя считаете 🤨
AISMM дает и очень приземленные шаги: от “проведите BYOAI‑опрос, назначьте владельца и напишите одностраничную политику” для небольших компаний до “встройте автоматизированное adversarial‑тестирование в CICD и меряйте MTTR по AI‑инцидентам” для тех, кто идёт к Stage 4–5
Как и в CMMI, для оценки используется пятибалльная шкала доказанности (от “нет вообще” до “оптимизируем и адаптируем”), но здесь общий уровень жестко ограничивается по самому слабому домену и по уровню governance, чтобы нельзя было маскировать проблемы управления за счет “красивых” технологических внедрений 🎯 | 611 |
| 16 |  Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec
мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя
тихо, неспеша...
понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет? | 472 |
| 17 |  В догонку к прежней картинке...
#ии | 498 |
| 18 | Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами.
Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же.
Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое.
И хочется чтобы вы были в курсе всех новинок. | 584 |
| 19 | Хорошая подборка материалов по #aisec | 479 |
| 20 | 🤖 Безопасность ИИ-агентов: 4 ключевых инсайта.
Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию.
Вот 4 идеи из отчета, которые меняют правила игры:
1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы.
2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак.
3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению.
4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем.
Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением.
#AI #CyberSecurity #AIAgents | 809 |
