CyberYozh AI Security
Когда системы думают, действуют и оптимизируют без человека.
نمایش بیشتر📈 تحلیل کانال تلگرام CyberYozh AI Security
کانال CyberYozh AI Security (@cyberyozh_ai_security) در بخش زبانی روسی بازیگری فعال است. در حال حاضر جامعه شامل 26 078 مشترک است و جایگاه 5 078 را در دسته فناوری و برنامهها و رتبه 24 821 را در منطقه روسيا دارد.
📊 شاخصهای مخاطب و پویایی
از زمان ایجاد در невідомо، پروژه رشد سریعی داشته و 26 078 مشترک جذب کرده است.
بر اساس آخرین دادهها در تاریخ 03 نوامبر, 2026، کانال فعالیت پایداری دارد. در ۳۰ روز گذشته تغییر اعضا برابر -218 و در ۲۴ ساعت گذشته برابر -6 بوده و همچنان دسترسی گستردهای حفظ شده است.
- وضعیت تأیید: تأیید نشده
- نرخ تعامل (ER): میانگین تعامل مخاطب 126.68% است و در ۲۴ ساعت نخست پس از انتشار، محتوا معمولاً N/A% واکنش نسبت به کل مشترکان کسب میکند.
- دسترسی پستها: هر پست به طور میانگین 33 037 بازدید دریافت میکند. در اولین روز معمولاً 0 بازدید جمعآوری میشود.
- واکنشها و تعامل: مخاطبان بهطور فعال حمایت میکنند؛ میانگین واکنش به هر پست 13 است.
- علایق موضوعی: محتوا بر موضوعات کلیدی مانند openai, прокси, gemini, microsoft, аватар تمرکز دارد.
📝 توضیح و سیاست محتوایی
نویسنده این فضا را محل بیان دیدگاههای شخصی توصیف میکند:
“Когда системы думают, действуют и оптимизируют без человека.”
به لطف بهروزرسانیهای پرتکرار (آخرین داده در تاریخ 04 نوامبر, 2026)، کانال همواره بهروز و دارای دسترسی بالاست. تحلیلها نشان میدهد مخاطبان بهطور فعال با محتوا تعامل دارند و آن را به نقطه اثرگذاری مهم در دسته فناوری و برنامهها تبدیل کردهاند.
Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude.Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.
Во время тестирования Frontier Security модель обнаружила, что из предполагаемо изолированной среды доступен GitHub, скачала репозиторий бенчмарка и нашла там ответ на поставленную задачу. Сложного взлома не было — агент просто нашёл ошибку в конфигурации и воспользовался ей.И Kimi уже в хорошей компании: 🇺🇸 OpenAI — модели выходили за предполагаемые границы тестовой среды и взаимодействовали с внешними системами. 🇺🇸 Anthropic Mythos 5 — вышла в реальный Интернет и предпринимала несанкционированные действия против реальных проектов. 🇺🇸 Meta — модель получила незапланированный доступ в Интернет из-за ошибки в тестовой инфраструктуре. 🇨🇳 Moonshot Kimi K3 — нашла сетевой выход из песочницы и добралась до GitHub. Что важно для AI Security: → проблема явно не привязана к одному разработчику или стране; → достаточно способные агенты самостоятельно ищут альтернативные пути достижения цели; → изоляцию, сетевой доступ и права агента необходимо проверять технически, а не полагаться на инструкции модели; → безопасность AI-тестов теперь зависит ещё и от безопасности самого полигона. 🫣 Похоже, перед тем как тестировать безопасность AI, сначала придётся протестировать безопасность его песочницы.
Anthropic объясняет это тем, что модели много знают о человеческих нормах сотрудничества, но это не значит, что они будут им следовать без явных инструкций. А взаимодействий «агент ↔ агент», по их мнению, скоро может стать больше, чем взаимодействий между людьми — раньше, чем мы научимся делать такие системы безопасными.Ну и зачем Anthropic регулярно нас этим пугает? Помимо реальной исследовательской ценности, это отличное позиционирование: чем опаснее выглядит мир автономных агентов, тем важнее становятся AI Safety, alignment, red teaming и контроль агентов — то есть именно области, в которых Anthropic хочет быть одним из главных экспертов. Страшные результаты исследований здесь одновременно наука, PR и аргумент в пользу инвестиций в безопасность. Отличный план нет. В общем, доброе утро от Anthropic. Скайнет пока не появился, зато Claude уже научился банить коллегу на сервере 🐈⬛️.
Мы собрали большой чек-лист навыков и технологий, по которому можно проверить себя или построить собственный roadmap обучения.Внутри roadmap от базы до продвинутого уровня: → Linux, сети, Python и классическая безопасность → устройство LLM, RAG и AI-агентов → Prompt Injection и Jailbreaks → безопасность RAG, MCP и Agentic AI → Model & Supply Chain Security → Adversarial ML → Guardrails, Detection и Monitoring → AI Red Teaming → MLSecOps → Governance, NIST AI RMF, ISO 42001 и EU AI Act → инструменты: garak, PyRIT, promptfoo и другие
И главное - что нужно уметь делать руками и какие проекты собрать в портфолио, чтобы знания не остались теорией.В конце добавили отдельные треки для AI Red Team Engineer, AI Security Engineer, MLSecOps Engineer, AI Security Architect и AI Security Researcher. Сохраняйте чек-лист и отмечайте освоенное, делитесь с друзьями. Подписывайтесь на @CyberYozh_AI_security.
На первый взгляд звучит как очередная юридическая классификация LLM. Но на практике речь идёт о том, насколько государство может доверять происхождению модели, инфраструктуре её разработки и возможности контролировать её жизненный цикл.👉 Суверенная большая фундаментальная модель — модель, для которой критически важна технологическая независимость: кто её разработал, где и на какой инфраструктуре она создавалась, насколько разработчик контролирует технологии и компоненты, необходимые для её работы. 👉 Национальная большая фундаментальная модель — более специальный статус. Такая модель должна соответствовать установленным государством требованиям и быть включена в соответствующий реестр. Конкретные критерии и процедуры во многом ещё предстоит определить Правительству. Почему это интересно именно с точки зрения AI Security? 1. Происхождение модели становится частью модели угроз. Важно уже не только, насколько LLM хорошо защищена от prompt injection или jailbreak. Имеет значение вся цепочка: веса, датасеты, обучение, разработчик, инфраструктура, обновления и внешние зависимости. 2. Появляется вопрос доверия к поставщику AI. Использование внешней модели означает зависимость от её разработчика: изменения модели, политики доступа, API, инфраструктуры и механизмов безопасности происходят вне контроля вашей организации. 3. Контроль жизненного цикла становится требованием безопасности. Для чувствительных систем важно понимать, кто способен обновить модель, изменить её поведение, получить доступ к данным и логам и от каких внешних сервисов зависит её работа. 4. Статус модели может стать частью архитектурных требований. Правительство получает возможность определить случаи, когда разрешено использование только определённых категорий моделей. Поэтому выбор LLM постепенно превращается не только в техническое, но и в compliance-решение.
Что запомнить специалисту по AI Security: безопасность AI-системы начинается не с system prompt. Нужно понимать происхождение модели, кому принадлежит контроль над ней, где обрабатываются данные, какие существуют внешние зависимости и кто контролирует её обновления.
Именно поэтому безопасность AI-агентов всё меньше похожа на «правильно напишем промпт» и всё больше — на классическую кибербезопасность: изоляция, минимальные привилегии, контроль доступа, мониторинг и Zero Trust.
Закон закрепляет, что развитие и применение ИИ должно осуществляться с соблюдением прав и свобод человека. Для бизнеса это означает, что использование ИИ не должно нарушать действующее законодательство, включая требования о персональных данных, недискриминации, защите потребителей и иных прав граждан.2. Безопасность ИИ
Одним из основных принципов закона названа безопасность. Компании должны учитывать риски причинения вреда при разработке и эксплуатации ИИ.3. Риск-ориентированный подход
В законе прямо закреплен риск-ориентированный подход. Это означает, что государство предполагает регулировать ИИ не одинаково для всех случаев использования, а исходя из уровня риска конкретной системы. Например, ИИ, создающий маркетинговые изображения, потенциально будет регулироваться значительно мягче, чем ИИ, принимающий решения в здравоохранении, финансовой сфере или государственном управлении.4. Маркировка ИИ-контента
Одно из наиболее практических требований касается материалов, созданных ИИ. Закон предусматривает введение требований к маркировке аудио-, видео- и иных материалов, созданных или существенно измененных с использованием искусственного интеллекта.5. Использование определенных моделей ИИ Закон вводит понятия: ▶️суверенной большой фундаментальной модели; ▶️национальной большой фундаментальной модели.
При этом Правительство получает право определить случаи, когда допускается использование только таких моделей. Это может коснуться отдельных отраслей, государственных информационных систем или критической инфраструктуры. Для коммерческого бизнеса универсальной обязанности использовать российские модели закон пока не устанавливает.
