CyberYozh AI Security
Когда системы думают, действуют и оптимизируют без человека.
Show more📈 Analytical overview of Telegram channel CyberYozh AI Security
Channel CyberYozh AI Security (@cyberyozh_ai_security) in the Russian language segment is an active participant. Currently, the community unites 26 067 subscribers, ranking 5 076 in the Technologies & Applications category and 24 807 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 26 067 subscribers.
According to the latest data from 04 November, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by -222 over the last 30 days and by -4 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 126.90%. Within the first 24 hours after publication, content typically collects N/A% reactions from the total number of subscribers.
- Post reach: On average, each post receives 33 090 views. Within the first day, a publication typically gains 0 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 13.
- Thematic interests: Content is focused on key topics such as openai, прокси, gemini, microsoft, аватар.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Когда системы думают, действуют и оптимизируют без человека.”
Thanks to the high frequency of updates (latest data received on 05 November, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude.Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.
Во время тестирования Frontier Security модель обнаружила, что из предполагаемо изолированной среды доступен GitHub, скачала репозиторий бенчмарка и нашла там ответ на поставленную задачу. Сложного взлома не было — агент просто нашёл ошибку в конфигурации и воспользовался ей.И Kimi уже в хорошей компании: 🇺🇸 OpenAI — модели выходили за предполагаемые границы тестовой среды и взаимодействовали с внешними системами. 🇺🇸 Anthropic Mythos 5 — вышла в реальный Интернет и предпринимала несанкционированные действия против реальных проектов. 🇺🇸 Meta — модель получила незапланированный доступ в Интернет из-за ошибки в тестовой инфраструктуре. 🇨🇳 Moonshot Kimi K3 — нашла сетевой выход из песочницы и добралась до GitHub. Что важно для AI Security: → проблема явно не привязана к одному разработчику или стране; → достаточно способные агенты самостоятельно ищут альтернативные пути достижения цели; → изоляцию, сетевой доступ и права агента необходимо проверять технически, а не полагаться на инструкции модели; → безопасность AI-тестов теперь зависит ещё и от безопасности самого полигона. 🫣 Похоже, перед тем как тестировать безопасность AI, сначала придётся протестировать безопасность его песочницы.
Anthropic объясняет это тем, что модели много знают о человеческих нормах сотрудничества, но это не значит, что они будут им следовать без явных инструкций. А взаимодействий «агент ↔ агент», по их мнению, скоро может стать больше, чем взаимодействий между людьми — раньше, чем мы научимся делать такие системы безопасными.Ну и зачем Anthropic регулярно нас этим пугает? Помимо реальной исследовательской ценности, это отличное позиционирование: чем опаснее выглядит мир автономных агентов, тем важнее становятся AI Safety, alignment, red teaming и контроль агентов — то есть именно области, в которых Anthropic хочет быть одним из главных экспертов. Страшные результаты исследований здесь одновременно наука, PR и аргумент в пользу инвестиций в безопасность. Отличный план нет. В общем, доброе утро от Anthropic. Скайнет пока не появился, зато Claude уже научился банить коллегу на сервере 🐈⬛️.
Мы собрали большой чек-лист навыков и технологий, по которому можно проверить себя или построить собственный roadmap обучения.Внутри roadmap от базы до продвинутого уровня: → Linux, сети, Python и классическая безопасность → устройство LLM, RAG и AI-агентов → Prompt Injection и Jailbreaks → безопасность RAG, MCP и Agentic AI → Model & Supply Chain Security → Adversarial ML → Guardrails, Detection и Monitoring → AI Red Teaming → MLSecOps → Governance, NIST AI RMF, ISO 42001 и EU AI Act → инструменты: garak, PyRIT, promptfoo и другие
И главное - что нужно уметь делать руками и какие проекты собрать в портфолио, чтобы знания не остались теорией.В конце добавили отдельные треки для AI Red Team Engineer, AI Security Engineer, MLSecOps Engineer, AI Security Architect и AI Security Researcher. Сохраняйте чек-лист и отмечайте освоенное, делитесь с друзьями. Подписывайтесь на @CyberYozh_AI_security.
На первый взгляд звучит как очередная юридическая классификация LLM. Но на практике речь идёт о том, насколько государство может доверять происхождению модели, инфраструктуре её разработки и возможности контролировать её жизненный цикл.👉 Суверенная большая фундаментальная модель — модель, для которой критически важна технологическая независимость: кто её разработал, где и на какой инфраструктуре она создавалась, насколько разработчик контролирует технологии и компоненты, необходимые для её работы. 👉 Национальная большая фундаментальная модель — более специальный статус. Такая модель должна соответствовать установленным государством требованиям и быть включена в соответствующий реестр. Конкретные критерии и процедуры во многом ещё предстоит определить Правительству. Почему это интересно именно с точки зрения AI Security? 1. Происхождение модели становится частью модели угроз. Важно уже не только, насколько LLM хорошо защищена от prompt injection или jailbreak. Имеет значение вся цепочка: веса, датасеты, обучение, разработчик, инфраструктура, обновления и внешние зависимости. 2. Появляется вопрос доверия к поставщику AI. Использование внешней модели означает зависимость от её разработчика: изменения модели, политики доступа, API, инфраструктуры и механизмов безопасности происходят вне контроля вашей организации. 3. Контроль жизненного цикла становится требованием безопасности. Для чувствительных систем важно понимать, кто способен обновить модель, изменить её поведение, получить доступ к данным и логам и от каких внешних сервисов зависит её работа. 4. Статус модели может стать частью архитектурных требований. Правительство получает возможность определить случаи, когда разрешено использование только определённых категорий моделей. Поэтому выбор LLM постепенно превращается не только в техническое, но и в compliance-решение.
Что запомнить специалисту по AI Security: безопасность AI-системы начинается не с system prompt. Нужно понимать происхождение модели, кому принадлежит контроль над ней, где обрабатываются данные, какие существуют внешние зависимости и кто контролирует её обновления.
Именно поэтому безопасность AI-агентов всё меньше похожа на «правильно напишем промпт» и всё больше — на классическую кибербезопасность: изоляция, минимальные привилегии, контроль доступа, мониторинг и Zero Trust.
Закон закрепляет, что развитие и применение ИИ должно осуществляться с соблюдением прав и свобод человека. Для бизнеса это означает, что использование ИИ не должно нарушать действующее законодательство, включая требования о персональных данных, недискриминации, защите потребителей и иных прав граждан.2. Безопасность ИИ
Одним из основных принципов закона названа безопасность. Компании должны учитывать риски причинения вреда при разработке и эксплуатации ИИ.3. Риск-ориентированный подход
В законе прямо закреплен риск-ориентированный подход. Это означает, что государство предполагает регулировать ИИ не одинаково для всех случаев использования, а исходя из уровня риска конкретной системы. Например, ИИ, создающий маркетинговые изображения, потенциально будет регулироваться значительно мягче, чем ИИ, принимающий решения в здравоохранении, финансовой сфере или государственном управлении.4. Маркировка ИИ-контента
Одно из наиболее практических требований касается материалов, созданных ИИ. Закон предусматривает введение требований к маркировке аудио-, видео- и иных материалов, созданных или существенно измененных с использованием искусственного интеллекта.5. Использование определенных моделей ИИ Закон вводит понятия: ▶️суверенной большой фундаментальной модели; ▶️национальной большой фундаментальной модели.
При этом Правительство получает право определить случаи, когда допускается использование только таких моделей. Это может коснуться отдельных отраслей, государственных информационных систем или критической инфраструктуры. Для коммерческого бизнеса универсальной обязанности использовать российские модели закон пока не устанавливает.
