CyberYozh AI Security
Когда системы думают, действуют и оптимизируют без человека.
Больше📈 Аналитический обзор Telegram-канала CyberYozh AI Security
Канал CyberYozh AI Security (@cyberyozh_ai_security) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 26 076 подписчиков, занимая 5 078 место в категории Технологии и приложения и 24 821 место в регионе Россия.
📊 Показатели аудитории и динамика
С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 26 076 подписчиков.
Согласно последним данным от 03 ноября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило -218, а за последние 24 часа — -6, при этом общий охват остаётся высоким.
- Статус верификации: Не верифицирован
- Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 126.68%. В первые 24 часа после публикации контент обычно набирает N/A% реакций от общего числа подписчиков.
- Охват публикаций: В среднем каждый пост получает 33 037 просмотров. В течение первых суток публикация набирает 0 просмотров.
- Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 13.
- Тематические интересы: Контент сосредоточен на ключевых темах, таких как openai, прокси, gemini, microsoft, аватар.
📝 Описание и контентная политика
Автор описывает ресурс как площадку для выражения субъективного мнения:
“Когда системы думают, действуют и оптимизируют без человека.”
Благодаря высокой частоте обновлений (последние данные получены 04 ноября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.
Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude.Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.
Во время тестирования Frontier Security модель обнаружила, что из предполагаемо изолированной среды доступен GitHub, скачала репозиторий бенчмарка и нашла там ответ на поставленную задачу. Сложного взлома не было — агент просто нашёл ошибку в конфигурации и воспользовался ей.И Kimi уже в хорошей компании: 🇺🇸 OpenAI — модели выходили за предполагаемые границы тестовой среды и взаимодействовали с внешними системами. 🇺🇸 Anthropic Mythos 5 — вышла в реальный Интернет и предпринимала несанкционированные действия против реальных проектов. 🇺🇸 Meta — модель получила незапланированный доступ в Интернет из-за ошибки в тестовой инфраструктуре. 🇨🇳 Moonshot Kimi K3 — нашла сетевой выход из песочницы и добралась до GitHub. Что важно для AI Security: → проблема явно не привязана к одному разработчику или стране; → достаточно способные агенты самостоятельно ищут альтернативные пути достижения цели; → изоляцию, сетевой доступ и права агента необходимо проверять технически, а не полагаться на инструкции модели; → безопасность AI-тестов теперь зависит ещё и от безопасности самого полигона. 🫣 Похоже, перед тем как тестировать безопасность AI, сначала придётся протестировать безопасность его песочницы.
Anthropic объясняет это тем, что модели много знают о человеческих нормах сотрудничества, но это не значит, что они будут им следовать без явных инструкций. А взаимодействий «агент ↔ агент», по их мнению, скоро может стать больше, чем взаимодействий между людьми — раньше, чем мы научимся делать такие системы безопасными.Ну и зачем Anthropic регулярно нас этим пугает? Помимо реальной исследовательской ценности, это отличное позиционирование: чем опаснее выглядит мир автономных агентов, тем важнее становятся AI Safety, alignment, red teaming и контроль агентов — то есть именно области, в которых Anthropic хочет быть одним из главных экспертов. Страшные результаты исследований здесь одновременно наука, PR и аргумент в пользу инвестиций в безопасность. Отличный план нет. В общем, доброе утро от Anthropic. Скайнет пока не появился, зато Claude уже научился банить коллегу на сервере 🐈⬛️.
Мы собрали большой чек-лист навыков и технологий, по которому можно проверить себя или построить собственный roadmap обучения.Внутри roadmap от базы до продвинутого уровня: → Linux, сети, Python и классическая безопасность → устройство LLM, RAG и AI-агентов → Prompt Injection и Jailbreaks → безопасность RAG, MCP и Agentic AI → Model & Supply Chain Security → Adversarial ML → Guardrails, Detection и Monitoring → AI Red Teaming → MLSecOps → Governance, NIST AI RMF, ISO 42001 и EU AI Act → инструменты: garak, PyRIT, promptfoo и другие
И главное - что нужно уметь делать руками и какие проекты собрать в портфолио, чтобы знания не остались теорией.В конце добавили отдельные треки для AI Red Team Engineer, AI Security Engineer, MLSecOps Engineer, AI Security Architect и AI Security Researcher. Сохраняйте чек-лист и отмечайте освоенное, делитесь с друзьями. Подписывайтесь на @CyberYozh_AI_security.
На первый взгляд звучит как очередная юридическая классификация LLM. Но на практике речь идёт о том, насколько государство может доверять происхождению модели, инфраструктуре её разработки и возможности контролировать её жизненный цикл.👉 Суверенная большая фундаментальная модель — модель, для которой критически важна технологическая независимость: кто её разработал, где и на какой инфраструктуре она создавалась, насколько разработчик контролирует технологии и компоненты, необходимые для её работы. 👉 Национальная большая фундаментальная модель — более специальный статус. Такая модель должна соответствовать установленным государством требованиям и быть включена в соответствующий реестр. Конкретные критерии и процедуры во многом ещё предстоит определить Правительству. Почему это интересно именно с точки зрения AI Security? 1. Происхождение модели становится частью модели угроз. Важно уже не только, насколько LLM хорошо защищена от prompt injection или jailbreak. Имеет значение вся цепочка: веса, датасеты, обучение, разработчик, инфраструктура, обновления и внешние зависимости. 2. Появляется вопрос доверия к поставщику AI. Использование внешней модели означает зависимость от её разработчика: изменения модели, политики доступа, API, инфраструктуры и механизмов безопасности происходят вне контроля вашей организации. 3. Контроль жизненного цикла становится требованием безопасности. Для чувствительных систем важно понимать, кто способен обновить модель, изменить её поведение, получить доступ к данным и логам и от каких внешних сервисов зависит её работа. 4. Статус модели может стать частью архитектурных требований. Правительство получает возможность определить случаи, когда разрешено использование только определённых категорий моделей. Поэтому выбор LLM постепенно превращается не только в техническое, но и в compliance-решение.
Что запомнить специалисту по AI Security: безопасность AI-системы начинается не с system prompt. Нужно понимать происхождение модели, кому принадлежит контроль над ней, где обрабатываются данные, какие существуют внешние зависимости и кто контролирует её обновления.
Именно поэтому безопасность AI-агентов всё меньше похожа на «правильно напишем промпт» и всё больше — на классическую кибербезопасность: изоляция, минимальные привилегии, контроль доступа, мониторинг и Zero Trust.
Закон закрепляет, что развитие и применение ИИ должно осуществляться с соблюдением прав и свобод человека. Для бизнеса это означает, что использование ИИ не должно нарушать действующее законодательство, включая требования о персональных данных, недискриминации, защите потребителей и иных прав граждан.2. Безопасность ИИ
Одним из основных принципов закона названа безопасность. Компании должны учитывать риски причинения вреда при разработке и эксплуатации ИИ.3. Риск-ориентированный подход
В законе прямо закреплен риск-ориентированный подход. Это означает, что государство предполагает регулировать ИИ не одинаково для всех случаев использования, а исходя из уровня риска конкретной системы. Например, ИИ, создающий маркетинговые изображения, потенциально будет регулироваться значительно мягче, чем ИИ, принимающий решения в здравоохранении, финансовой сфере или государственном управлении.4. Маркировка ИИ-контента
Одно из наиболее практических требований касается материалов, созданных ИИ. Закон предусматривает введение требований к маркировке аудио-, видео- и иных материалов, созданных или существенно измененных с использованием искусственного интеллекта.5. Использование определенных моделей ИИ Закон вводит понятия: ▶️суверенной большой фундаментальной модели; ▶️национальной большой фундаментальной модели.
При этом Правительство получает право определить случаи, когда допускается использование только таких моделей. Это может коснуться отдельных отраслей, государственных информационных систем или критической инфраструктуры. Для коммерческого бизнеса универсальной обязанности использовать российские модели закон пока не устанавливает.
