AI SecOps
الذهاب إلى القناة على Telegram
AI security operations. Материалы, ссылки, мероприятия
إظهار المزيد1 210
المشتركون
-224 ساعات
+47 أيام
+430 أيام
جارٍ تحميل البيانات
القنوات المماثلة
لا توجد بيانات
هل تواجه مشاكل؟ يرجى تحديث الصفحة أو الاتصال بمدير الدعم الخاص بنا.
سحابة العلامات
الإشارات الواردة والصادرة
---
---
---
---
---
---
جذب المشتركين
أكتوبر '26أكتوبر '26
أكتوبر '26
+964
في 0 قنوات
سبتمبر '260
في 1 قنوات
Get PRO
أغسطس '260
في 3 قنوات
Get PRO
يوليو '260
في 1 قنوات
Get PRO
يونيو '260
في 3 قنوات
Get PRO
مايو '260
في 0 قنوات
Get PRO
أبريل '260
في 1 قنوات
Get PRO
مارس '260
في 2 قنوات
Get PRO
فبراير '260
في 0 قنوات
Get PRO
يناير '260
في 2 قنوات
Get PRO
ديسمبر '250
في 1 قنوات
Get PRO
نوفمبر '250
في 1 قنوات
Get PRO
أكتوبر '250
في 1 قنوات
Get PRO
سبتمبر '250
في 0 قنوات
Get PRO
أغسطس '250
في 0 قنوات
Get PRO
يوليو '250
في 1 قنوات
Get PRO
يونيو '250
في 0 قنوات
Get PRO
مايو '250
في 0 قنوات
Get PRO
أبريل '25
+259
في 1 قنوات
| التاريخ | نمو المشتركين | الإشارات | القنوات | |
| 20 أكتوبر | +1 | |||
| 19 أكتوبر | +1 | |||
| 18 أكتوبر | +1 | |||
| 17 أكتوبر | +2 | |||
| 16 أكتوبر | +1 | |||
| 15 أكتوبر | +1 | |||
| 14 أكتوبر | +1 | |||
| 13 أكتوبر | +7 | |||
| 12 أكتوبر | +1 |
منشورات القناة
Repost from Pattern AI
3 новых стандарта ИИ, которые стоит сохранить
1️⃣ ISO/IEC 27090:2026 Cybersecurity — Artificial intelligence (AI) — Addressing security threats and compromises to AI systems
Новый международный стандарт, содержащий рекомендации по противодействию специфическим для ИИ угрозам безопасности на всех этапах жизненного цикла технологий ( от «отравления» данных (data poisoning) до атак типа «уклонение» (evasion attacks) и кражи моделей).
По сути, этот стандарт дополняет ISO 27001 и ISO 42001, предлагая меры по обеспечению кибербезопасности, актуальные именно для систем искусственного интеллекта.
2️⃣EN 18286:2026 Quality management system for EU AI Act regulatory purposes
Этот стандарт, впервые представленный в июле, стал первым гармонизированным стандартом в поддержку закона.
Документ посвящен системам управления качеством прежде всего для разработчиков ИИ-систем с высоким уровнем риска (согласно статье 17 Закона). Он помогает подтвердить соответствие установленным регуляторным требованиям.
3️⃣ IEEE 2863-2026 IEEE Recommended Practice for Organizational Governance of Artificial Intelligence
Помогает превратить принципы ответственного ИИ (Responsible AI) в конкретные организационные процессы управления.
Речь идет об ответственности, надзоре, этических принципах и разрешении противоречий между различными приоритетами управления.
#AIShelf
————
@pattern_ai | AI GDPR Navigator
| 2 |  Что же за документ про ИИ-агентов, который готовит организация, в аббревиатуре которой есть буквы Ф, С и Б, я упомянул в субботу?.. А вот он – "Sound Practices for Responsible Adoption of Artificial Intelligence". Документ содержит 12 рекомендаций для финансовых организаций. FSB усилил рекомендации по контролю человеком над их действиями. Особенно важны три положения:
6️⃣ Для высокорисковых вариантов использования ИИ необходим более интенсивный человеческий надзор
2️⃣ Организация должна заранее определить риск-ориентированные условия, при которых агент обязан запрашивать разрешение человека
3️⃣ Из рекомендаций удалена аналогия, предполагавшая отношение к агентам как к цифровым сотрудникам.
FSB подчеркивает, что агенты не рассуждают так же, как люди, и способны неожиданным образом интерпретировать поставленные цели. В окончательном документе подчеркнуты роль совета директоров и высшего руководства, соответствие использования ИИ корпоративному риск-аппетиту, непрерывная оценка рисков, документирование сценариев использования ИИ и контроль качества решений. Примерно об этом мы говорили и на Russia Risk Conference 2026.
Продолжим... 16 октября Reuters сообщил о решении финансовых руководителей G7 провести специальные штабные учения по сценариям кибератак с использованием ИИ – о решении рассказала министр финансов Японии Сацуки Катаяма после встречи руководителей министерств финансов и центральных банков в Бангкоке. В учениях предполагается проверять действующие процедуры реагирования, а по результатам планируется скорректировать ранее разработанные инструкции и планы действий. Отличительной особенностью этого анонса является фокусировка именно на ИИ (штабные киберучения центрабанки G7 проводили и раньше). Тем более, что аккурат в те же дни, индийский CERT-IN выпустил бюллетень про атаки со стороны ИИ-агентов, а в южнокорейской массовой эпидемии кибератак на местные банки все больше находят следов ИИ-присутствия.
И в заключение вишенка на торте, которой является интересная инициатива OpenAI, Anthropic и других ведущих ИИ-компаний, которые в закрытом режиме готовятся к последствиям первой масштабной катастрофы, вызванной искусственным интеллектом. По информации Axios, многие руководители и исследователи ведущих ИИ-компаний убеждены, что в обозримом будущем произойдет масштабный инцидент с использованием ИИ и наиболее вероятный сценарий – кибератака, которая приведет к серьезным нарушениям работы критической инфраструктуры. Причем речь идет не столько о предотвращении самой катастрофы, сколько о том, что делать на следующий день после нее, когда общество и политики потребуют запретить или радикально ограничить ИИ. Некоторые представители ИИ-индустрии ожидают подобное событие уже в ближайшие 6–12 месяцев.
В рамках данной инициативы, которую можно назвать и штабными киберучениями, рассматриваются два принципиально разных сценария. Первый – ИИ выходит из-под контроля, например, группа автономных ИИ-агентов преодолевает ограничения испытательной среды и начинает действовать за ее пределами. Второй – злоумышленники используют доступные ИИ-модели, как, например, в атаках на южнокорейские финансовые организации, в которых, по сообщениям исследователей, злоумышленник использовал китайские ИИ-модели, включая DeepSeek, а также Claude Code. Особенно интересно, что в обоих сценариях общественная и политическая реакция может оказаться одинаковой, хотя ответственность разработчиков ИИ принципиально различается.
По сведениям Axios, ИИ-компании моделируют не только технические последствия катастрофы, но и предполагают, что после первого действительно масштабного инцидента возникнет требование немедленно ограничить использование ИИ. Однако есть проблема – к моменту первой катастрофы ИИ уже настолько глубоко проникнет в экономику, что попытки его остановить сами по себе могут вызвать масштабные негативные последствия. Отдельно отмечается практически невозможная задача отключения открытых моделей, которые уже свободно распространяются по миру.
А вы предусмотрели ИИ-агентов в своей модели угроз?.. 🤔
#ии #cyberrange #регулирование | 101 |
| 3 | لا يوجد نص... | 273 |
| 4 | Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды, сообщает Bloomberg.
Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.
В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI. | 631 |
| 5 | Linux Foundation развивает TRACE как общий язык доказательств работы AI-агентов
25 августа Linux Foundation взяла под управление TRACE — Trust, Runtime Attestation and Compliance Evidence, открытый стандарт, разработанный OPAQUE совместно с AMD, Intel, Microsoft и Technology Innovation Institute.
TRACE формирует аппаратно подтверждаемую запись, связывающую runtime, исполнявшийся код, политики, классы обрабатываемых данных и инструменты, которые вызывал AI-агент. Спецификация строится поверх RATS, EAT, SLSA, SCITT, SPIFFE и EAR.
Важная оговорка: TRACE пока developer preview; текущая спецификация — v0.2, поэтому её ещё рано считать зрелым production-стандартом.
Что это значит?
Появляется новый слой поверх TEE:
TEE
→ обеспечивает аппаратную изоляцию
Attestation
→ доказывает состояние среды
TRACE
→ превращает это доказательство в переносимое runtime evidence.
Для банков это потенциально очень интересно с точки зрения AI Governance.
Обычный audit log говорит:
«Агент вызвал API».
TRACE пытается дать возможность доказать:
«Вот этот workload, в этой аппаратно подтверждённой среде, под этой policy, обработал данные такого класса и вызвал именно этот инструмент».
Это может стать основой технически проверяемого аудита AI-агентов. | 391 |
| 6 |  3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно.
Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам:
➡️ Blast radius – насколько далеко распространятся последствия ошибки
➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба.
Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine.
Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему:
➡️ Read L4, чтобы самостоятельно анализировать правила
➡️ Write L3, чтобы самостоятельно отключить правило
➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ.
Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3.
Дополнительно, Ленни предлагает фиксировать еще четыре вещи:
➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль.
➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие.
➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб.
➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено.
В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔
#ии #framework | 425 |
| 7 | В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов
Эксперты Сбера на конференции OFFZONE 2026 представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw.
Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:
1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.
👉 Подробнее | 1 137 |
| 8 |  لا يوجد نص... | 577 |
| 9 |  +2Microsoft опубликовала программную статью, в которой заявила, что традиционная архитектура кибербезопасности перестаёт соответствовать эпохе автономных ИИ-агентов. Компания представила концепцию Project Perception — нового подхода к обнаружению угроз и поиску уязвимостей с использованием нескольких ИИ-моделей. https://blogs.microsoft.com/blog/2026/07/27/rethinking-security-for-the-age-of-ai/
SOC будущего будет строиться вокруг ИИ-агентов, способных самостоятельно анализировать события, выявлять атаки и помогать аналитикам принимать решения. | 1 177 |
| 10 | NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity
Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности. | 493 |
| 11 | OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.
https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html | 329 |
| 12 |  #взлом
🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face.
• Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы.
• Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face.
• Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом.
• Хакеры получили доступ к части внутренних датасетов и служебным учётным данным.
• Какую именно модель использовали для взлома, установить не удалось.
В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов.
Ирония: хакерскую атаку обнаружил другой AI-агент.
Crypto Headlines | 452 |
| 13 | Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627 | 1 693 |
| 14 |  Отчет "Безопасность ИИ в России: практика, риски, зрелость"
https://k2tech.io/2dn | 589 |
| 15 | Практически все организации уже живут в реальности, где ИИ используется везде: от “безобидного” ChatGPT и Copilot до внутренних агентных систем с доступом к боевым данным и API. При этом большая часть компаний все еще находится на уровне стихийных экспериментов и запретительных политик, которые создают иллюзию контроля, но на деле лишь выталкивают ИИ “в тень” 👻
Об управлении безопасностью ИИ написано немало, и недавно на глаза попалась брошюра SANS AI Security Maturity Model (AISMM) - неплохая практическая модель, которая отвечает на три простых вопроса: насколько вы зрелы в защите ИИ, в использовании ИИ для безопасности и в управлении ИИ-зоопарком 🙊
Модель опирается на SANS Secure AI Blueprint (Protect / Utilize / Govern), стыкуется с NIST AI RMF, EU AI Act, ISO 42001, CSA AICM и OWASP AI Exchange, но главное - дает безопасникам язык и структуру для перехода от “мы что‑то делаем с ИИ” к “мы знаем, где мы, куда идем и какой риск принимаем” 👍
Ключевая идея: правильный уровень зрелости не универсален. У SaaS‑компании, которая только включает AI‑фичи в готовые продукты, приоритеты радикально отличаются от государственного подрядчика, строящего агентные системы с реальными полномочиями 🤖
Модель оценивает зрелость безопасности ИИ в организации по 5 уровням:
• Unaware / Ad Hoc: BYOAI, отсутствие инвентаризации и политик, данные обрабатываются в публичныех моделях, безопасность и IT даже не знают масштаб использования ИИ
• Reactive / Policy‑Emerging: появляется первая политика уровня “не использовать” или “использовать с осторожностью”, включается блоклист, есть немного метрик, но запреты в духе Framework of No только загоняют ИИ “в подполье” (shadow AI)
• Defined / Risk‑Informed: формальный AI Governance Council, инвентаризация систем и агентов, первые Non‑Human Identities (NHI), учёт AI‑рисков в реестре, включение ИИ в тестирование продуктов и операционную деятельность безопасности
• Managed / Integrated: AI‑security по сути встроен в SDLC и SOC, есть AI red team, MLSecOps, SOAR с автономными сценариями, количественная оценка AI‑риска и отчетность на уровне совета директоров
• Optimizing / Adaptive: AI‑native безопасность, самоадаптирующиеся защиты, chaos engineering для ИИ, Zero Trust, расширенный на агентные системы, и активный вклад в стандарты и практики индустрии
Отдельный акцент - агентный ИИ. Автор вводит принцип Least Agency: прежде чем давать агенту автономию и доступ к API, честно ответьте, нельзя ли решить задачу более простой архитектурой. Если агент действительно нужен, дальше уже обязательны NHI с минимально необходимыми привилегиями, конкретным владельцем-человеком и аудитом всех действий 🧐
Ещё одна хорошая мысль из модели: “необученный персонал с мощными AI‑инструментами - это уже не просто риск, а чрезвычайная ситуация”. Высокое проникновение ИИ при низкой грамотности сотрудников автоматически поднимает требования к зрелости по домену Govern минимум до Stage 3, независимо от того, насколько “технологичной” компанией вы себя считаете 🤨
AISMM дает и очень приземленные шаги: от “проведите BYOAI‑опрос, назначьте владельца и напишите одностраничную политику” для небольших компаний до “встройте автоматизированное adversarial‑тестирование в CICD и меряйте MTTR по AI‑инцидентам” для тех, кто идёт к Stage 4–5
Как и в CMMI, для оценки используется пятибалльная шкала доказанности (от “нет вообще” до “оптимизируем и адаптируем”), но здесь общий уровень жестко ограничивается по самому слабому домену и по уровню governance, чтобы нельзя было маскировать проблемы управления за счет “красивых” технологических внедрений 🎯 | 611 |
| 16 |  Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec
мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя
тихо, неспеша...
понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет? | 472 |
| 17 |  В догонку к прежней картинке...
#ии | 498 |
| 18 | Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами.
Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же.
Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое.
И хочется чтобы вы были в курсе всех новинок. | 584 |
| 19 | Хорошая подборка материалов по #aisec | 479 |
| 20 | 🤖 Безопасность ИИ-агентов: 4 ключевых инсайта.
Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию.
Вот 4 идеи из отчета, которые меняют правила игры:
1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы.
2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак.
3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению.
4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем.
Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением.
#AI #CyberSecurity #AIAgents | 809 |
