CyberYozh AI Security
Когда системы думают, действуют и оптимизируют без человека.
Ko'proq ko'rsatish📈 Telegram kanali CyberYozh AI Security analitikasi
CyberYozh AI Security (@cyberyozh_ai_security) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 26 076 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 078-o'rinni va Rossiya mintaqasida 24 821-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 26 076 obunachiga ega bo‘ldi.
03 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni -218 ga, so‘nggi 24 soatda esa -6 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 126.68% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining N/A% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 33 037 marta ko‘riladi; birinchi sutkada odatda 0 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 13 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent openai, прокси, gemini, microsoft, аватар kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Когда системы думают, действуют и оптимизируют без человека.”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 04 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude.Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.
Во время тестирования Frontier Security модель обнаружила, что из предполагаемо изолированной среды доступен GitHub, скачала репозиторий бенчмарка и нашла там ответ на поставленную задачу. Сложного взлома не было — агент просто нашёл ошибку в конфигурации и воспользовался ей.И Kimi уже в хорошей компании: 🇺🇸 OpenAI — модели выходили за предполагаемые границы тестовой среды и взаимодействовали с внешними системами. 🇺🇸 Anthropic Mythos 5 — вышла в реальный Интернет и предпринимала несанкционированные действия против реальных проектов. 🇺🇸 Meta — модель получила незапланированный доступ в Интернет из-за ошибки в тестовой инфраструктуре. 🇨🇳 Moonshot Kimi K3 — нашла сетевой выход из песочницы и добралась до GitHub. Что важно для AI Security: → проблема явно не привязана к одному разработчику или стране; → достаточно способные агенты самостоятельно ищут альтернативные пути достижения цели; → изоляцию, сетевой доступ и права агента необходимо проверять технически, а не полагаться на инструкции модели; → безопасность AI-тестов теперь зависит ещё и от безопасности самого полигона. 🫣 Похоже, перед тем как тестировать безопасность AI, сначала придётся протестировать безопасность его песочницы.
Anthropic объясняет это тем, что модели много знают о человеческих нормах сотрудничества, но это не значит, что они будут им следовать без явных инструкций. А взаимодействий «агент ↔ агент», по их мнению, скоро может стать больше, чем взаимодействий между людьми — раньше, чем мы научимся делать такие системы безопасными.Ну и зачем Anthropic регулярно нас этим пугает? Помимо реальной исследовательской ценности, это отличное позиционирование: чем опаснее выглядит мир автономных агентов, тем важнее становятся AI Safety, alignment, red teaming и контроль агентов — то есть именно области, в которых Anthropic хочет быть одним из главных экспертов. Страшные результаты исследований здесь одновременно наука, PR и аргумент в пользу инвестиций в безопасность. Отличный план нет. В общем, доброе утро от Anthropic. Скайнет пока не появился, зато Claude уже научился банить коллегу на сервере 🐈⬛️.
Мы собрали большой чек-лист навыков и технологий, по которому можно проверить себя или построить собственный roadmap обучения.Внутри roadmap от базы до продвинутого уровня: → Linux, сети, Python и классическая безопасность → устройство LLM, RAG и AI-агентов → Prompt Injection и Jailbreaks → безопасность RAG, MCP и Agentic AI → Model & Supply Chain Security → Adversarial ML → Guardrails, Detection и Monitoring → AI Red Teaming → MLSecOps → Governance, NIST AI RMF, ISO 42001 и EU AI Act → инструменты: garak, PyRIT, promptfoo и другие
И главное - что нужно уметь делать руками и какие проекты собрать в портфолио, чтобы знания не остались теорией.В конце добавили отдельные треки для AI Red Team Engineer, AI Security Engineer, MLSecOps Engineer, AI Security Architect и AI Security Researcher. Сохраняйте чек-лист и отмечайте освоенное, делитесь с друзьями. Подписывайтесь на @CyberYozh_AI_security.
На первый взгляд звучит как очередная юридическая классификация LLM. Но на практике речь идёт о том, насколько государство может доверять происхождению модели, инфраструктуре её разработки и возможности контролировать её жизненный цикл.👉 Суверенная большая фундаментальная модель — модель, для которой критически важна технологическая независимость: кто её разработал, где и на какой инфраструктуре она создавалась, насколько разработчик контролирует технологии и компоненты, необходимые для её работы. 👉 Национальная большая фундаментальная модель — более специальный статус. Такая модель должна соответствовать установленным государством требованиям и быть включена в соответствующий реестр. Конкретные критерии и процедуры во многом ещё предстоит определить Правительству. Почему это интересно именно с точки зрения AI Security? 1. Происхождение модели становится частью модели угроз. Важно уже не только, насколько LLM хорошо защищена от prompt injection или jailbreak. Имеет значение вся цепочка: веса, датасеты, обучение, разработчик, инфраструктура, обновления и внешние зависимости. 2. Появляется вопрос доверия к поставщику AI. Использование внешней модели означает зависимость от её разработчика: изменения модели, политики доступа, API, инфраструктуры и механизмов безопасности происходят вне контроля вашей организации. 3. Контроль жизненного цикла становится требованием безопасности. Для чувствительных систем важно понимать, кто способен обновить модель, изменить её поведение, получить доступ к данным и логам и от каких внешних сервисов зависит её работа. 4. Статус модели может стать частью архитектурных требований. Правительство получает возможность определить случаи, когда разрешено использование только определённых категорий моделей. Поэтому выбор LLM постепенно превращается не только в техническое, но и в compliance-решение.
Что запомнить специалисту по AI Security: безопасность AI-системы начинается не с system prompt. Нужно понимать происхождение модели, кому принадлежит контроль над ней, где обрабатываются данные, какие существуют внешние зависимости и кто контролирует её обновления.
Именно поэтому безопасность AI-агентов всё меньше похожа на «правильно напишем промпт» и всё больше — на классическую кибербезопасность: изоляция, минимальные привилегии, контроль доступа, мониторинг и Zero Trust.
Закон закрепляет, что развитие и применение ИИ должно осуществляться с соблюдением прав и свобод человека. Для бизнеса это означает, что использование ИИ не должно нарушать действующее законодательство, включая требования о персональных данных, недискриминации, защите потребителей и иных прав граждан.2. Безопасность ИИ
Одним из основных принципов закона названа безопасность. Компании должны учитывать риски причинения вреда при разработке и эксплуатации ИИ.3. Риск-ориентированный подход
В законе прямо закреплен риск-ориентированный подход. Это означает, что государство предполагает регулировать ИИ не одинаково для всех случаев использования, а исходя из уровня риска конкретной системы. Например, ИИ, создающий маркетинговые изображения, потенциально будет регулироваться значительно мягче, чем ИИ, принимающий решения в здравоохранении, финансовой сфере или государственном управлении.4. Маркировка ИИ-контента
Одно из наиболее практических требований касается материалов, созданных ИИ. Закон предусматривает введение требований к маркировке аудио-, видео- и иных материалов, созданных или существенно измененных с использованием искусственного интеллекта.5. Использование определенных моделей ИИ Закон вводит понятия: ▶️суверенной большой фундаментальной модели; ▶️национальной большой фундаментальной модели.
При этом Правительство получает право определить случаи, когда допускается использование только таких моделей. Это может коснуться отдельных отраслей, государственных информационных систем или критической инфраструктуры. Для коммерческого бизнеса универсальной обязанности использовать российские модели закон пока не устанавливает.
