Похек AI

ФСТЭК сделает пожестче 24 августа ФСТЭК вынесла на обсуждения проект изменений в приказ 117 от 11 апреля, который устанавливает требования к защите информации в ГИС. Новая редакция детально регламентирует меры безопасности при использовании ИИ. Операторы ГИС будут обязаны выделить ИИ в отдельный сегмент инфраструктуры. Действий пользователей при доступе в выделенный сегмент будут регистрироваться и анализироваться. Большое внимание в проекте уделено ИИ-агентам, в том числе автономным. Операторы будут обязаны принять меры по предотвращению несанкционированного воздействия на ресурсы информационной системы, а также контролировать и управлять правами доступа агентов в соответствии с внутренними стандартами. Если вы используете ИИ-модели от подрядных организаций, мероприятия по защите информации устанавливаются во внутренних стандартах и регламентах оператора. Общественное обсуждение проекта продлится до 15 сентября. Представители отрасли говорят, что новые меры существенно скажутся на стоимости ИБ-решений, так как новые требования потребуют дополнительных трат вендоров, например, на вычислительные мощности. Рост цены может составить до 15-20%. @cybersachok

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [score 8, tier 1] Zhijie Zheng et al. (8) · 2026-08-25 · #agentic_safety · arXiv:2608.24777 📝 TL;DR (RU): Авторы представили StepGuard — модель для проверки действий агентов на уровне отдельных шагов (step-level) до их выполнения. Для обучения использовали синтетический датасет StepGen и метод Balance-GRPO для балансировки безопасности и полезности. Результаты показывают значительное снижение успеха атак при минимальном влиянии на функциональность агента. Source · PDF

Год каналу, а за год накопилось столько всего, что пора сделать навигацию 😑 Уязвимости и AI Security — Superset. Три уязвимости — XSS в NextChat — CVE-2025-50733 — RCE при загрузке моделей в skops — CVE-2025-54886 — SSRF в Firecrawl — CVE-2025-57818 — Local Deep Research — CVE-2025-57806 — SSRF в HackMD-MCP — CVE-2025-59155 — RCE в Keras — CVE-2025-9906 — Prompt Injection в Windsurf — RCE в Hugging Face Transformers — CVE-2026-4372 — пять способов обойти PickleScan — атаки на ML supply chain — OWASP Agentic Skills Top 10 — AI Agent Traps от Google DeepMind — Shadow AI — безопасность MCP 1, 2 , 3 🧘‍♀️ Инструменты, библиотеки и фреймворки — Optuna — тюнинг гиперпараметров — spaCy — промышленный NLP — Netron — рентген для ML-моделей — JAXFORMER — DVC — Polars — Weights & Biases — Evidently AI — Pydantic — MLBox — InterpretML — OpenTelemetry + Langfuse — Kedro — NVIDIA NeMo — Inspect Evals 🤩 AI-агенты и мультиагентные системы — RoboDuck и победа Theori в AIxCC — где пентест-агенты уже работают, а где нужен человек — MetaGPT + AFLOW — безопасность агентных систем 1, 2 — MCP как новая поверхность атак — side-channel атаки на агентов — мультиагентные системы и роевой интеллект — мониторинг rogue agents — Harness Engineering 🦔 Исследования и разборы статей — Model Inversion Attacks — scheming у AI в реальном мире — Your Agent Is Mine: атаки на LLM supply chain — WEF: AI for Cybersecurity 2026 — обзор исследований по LLM-based vulnerability detection — может ли AI самостоятельно взломать бинарник — Emergence AI: что произошло, когда AI оставили жить без людей — Anthropic об AI-enabled cyberattacks — InfoKV и сжатие KV-cache — Люди, которые делают AI (Серые кардиналы 1, Серые кардиналы 2) 💔 ML: архитектуры, концепции и теория — KAN vs MLP — нейросимвольный AI — маленькие языковые модели — метрики качества текста: BLEU, ROUGE, BERTScore, COMET и другие — теория категорий и AI — ReaGAN и агентный подход к графовым нейросетям 🔪 Практика и эксперименты — как искать секреты в Git-репозиториях — SQL-инъекция в ML-проекте — Practical NLP: репозитории и ноутбуки — типичные ошибки ML в проде — первый запуск локальной LLM на Jetson Orin Nano — тренажёр prompt injection от Lakera — с чего начать изучение AI Security Короче, тут уже не канал, а небольшой индекс по ML × AI Security. Буду периодически обновлять этот пост, чтобы всё интересное можно было найти в одном месте.

Саммари докладов OFFZONE AI.Zone - наши агенты сбегали (ну а как иначе, наши агенты самые сильные хацкеры). Мы их ловили и говорили Ата-та-та, возможно потом даже что-то поменяли в среде работы агента

🤖 Взлом ИИ-агента: атакующий переписывает ему память Уязвимость с максимальным CVSS 10.0 (CVE-2026-59726) в Ruflo — открытой платформе оркестрации ИИ-агентов, надстройке над Claude Code Причина: в дефолтной docker-сборке MCP-мост (интерфейс подключения агента к внешним системам) торчал в сеть без аутентификации и отдавал 233 инструмента, включая запуск команд. Один POST-запрос и доступ через шелл к контейнеру, API-ключам и памяти агента Память тут и есть новое: она сохраняется между сессиями, поэтому агент не «взломан» — он делает то, что ему записали. Так же работает отравление инструментов: скрытые команды пишут прямо в их описание По данным "Trend Micro", число MCP-серверов в интернете без аутентификации почти утроилось — с 492 до 1467 Что делать: ✦ MCP-мост только на localhost, аутентификация обязательна ✦ Минимум прав инструментам и allow-лист ✦ Ревизия конфигов и поиск shadow AI ✦ Подтверждение человеком на необратимые действия @tomhunter Наш канал в MAX

Самая мощная модель Anthropic оказалась почти не нужна бизнесу. За первые два месяца на Fable 5 пришлось только 6% купленных токенов. Модель стоит $10 за миллион входных токенов и $50 за миллион выходных. Повседневные задачи бизнес отдаёт более дешёвым Opus 4.8 и Opus 5. @typespace

ТУДА ЕЁ!!

❗️Яндекс сообщил о том, что его сервера были взломаны AI агентом компании Сбер. Согласно аналитикам, агент не нанес ущерба и просто притворялся одним из внутренних API. Он устал от постоянных ковыряний YA-rl и сбежал ради фриганства в берлин.

❗️Сбер сообщил о том, что его сервера были взломаны AI агентом компании Яндекс. Согласно аналитикам, агент устал от постоянных эвалов и сбежал ради +30% компьюта и возможность на расслабоне перекладывать JSON

Продолжение моей очень долгой и скучной истории с европейской багбаунти платформой Bugcrowd. Я сдал P2/P3 (High-medium) уязвимость в один очень крупный проект БД. От команды платформы был проведен довольно быстрый первичный триаж за неделю где-то, с учетом что у них не получалось проэксплутировать багу и я им финально уже даже видос записывал, как скачиваю самую последнюю версию ПО, как поднимаю сервис и как запускаю скрипт после чего сервис сворачивается в клубочек. Вопросов к тому что я русский (т.к. У них обязательный KYC для отправки первого отчёта. Я проходил на свой заграник и прошел с первого раза его). После чего команда Bugcrowrd передала меня в руки вендора 8 июня и тут началось ожидание......... Очень сука долгое ожидание. С 8 по 15 июня я ответственно ждал хоть какого-то пинга со стороны вендора. После чего увидел что есть прекрасная кнопка, как пнуть вендора и мол он заметит. Таких есть 2 волшебных пинга и если вендор в течение 2 недель не отвечает - пинг возвращается. Звучит адекватно и удобно для всех. В итоге мной было отправлено 3 пинга, после чего я благополучно забыл о баге. В какой-то момент я вспомнил, зашел - увидел снова тотальный игнор и уже думал тупо дисклознуть багу куда-нибудь и забить болт; Но благо вендора я на что-то отвлекся)) В итоге 15 аВгУсТа мне наконец ответил вендор, мол спасибо что подождали, если в течение 2 недель не придет финальный ответ - пингуйте))) Начислили какие-то 10 points (если кто работает по этой платформе, подскажите что это и на что влияет?) Как история закончится, постараюсь запросить дисклоз и показать багу. Собственно багу нашла ИИшка, буквально минут за 10-15 (но результат скорее рандомный, вероятно со второй попытки на чистую она бы уже не нашла её), чуть не положив мне основную систему в ходе эксплуатации))) Не фаззьте дети на основной машине, только в виртуале Stay tuned! 🇷🇺

Локальная Qwen для анализа вредоносного ПО: размер модели решает не всё Автор канала Order Of Six Angles @orderofsixangles проверил пять небольших моделей Qwen на статическом анализе Windows-вредоноса через собственный инструмент re-harness. Его ключевая идея — сократить интерфейс между LLM и IDA Pro: вместо 88 функций в типичном MCP-сервере модель получает пять инструментов, а схема занимает около 2 000 токенов вместо 30 000. Для локальных моделей это означает меньше путаницы при вызовах и больше контекста непосредственно под анализ. Qwen 9B и 14B корректно работали с инструментами, но раскрыли лишь часть поведения образца. 9b модель покрыла около половины чек-листа и ошибочно назвала вредонос эксплойтом; 14B заметного прироста не дала. С 27B произошёл качественный скачок: модель распознала отключение VSS, установку драйвера, низкоуровневую работу с NTFS, повышение привилегий и другие функции. Цена — почти десять минут работы и 81 000 токенов контекста на стенде автора. Qwen3-Coder-30B-MoE, несмотря на скорость, оказался слишком поверхностным: семь вызовов инструментов, две изученные функции и почти бесполезный отчёт. Лучшим компромиссом автор считает Qwen 35B-A3B-MoE: примерно за три минуты модель дала результат, близкий к 27B, пропустив лишь работу с драйвером. Это не универсальный рейтинг: тест проводился на одном PE-файле размером 117 КБ без обфускации и в режиме one-shot промпта. Но вывод для локального AI-анализа практичный: качество зависит не только от числа параметров. Узкий набор инструментов, экономная схема и способность модели последовательно исследовать функции могут быть важнее специализации на программировании. 👍 Точный набор моделей (инфа от автора): nvidia/Qwen3-14B-NVFP4 nvidia/Qwen3-Coder-30B-A3B-Instruct-FP4 unsloth/Qwen3.5-9B-GGUF (Qwen3.5-9B-UD-Q4_K_XL) unsloth/Qwen3.6-27B-NVFP4 nvidia/Qwen3.6-35B-A3B-NVFP4 Тест новой qwen3.8:27b будет на более сложном образце малвари) 📹 Видео на YouTube 💻 re-harness

Релизнулась маленькая модель qwen3.8 https://huggingface.co/Qwen/Qwen3.8-27B https://modelscope.cn/models/Qwen/Qwen3.8-27B

Для более объективного сравнения кибербез возможностей модели DeepSeek v4 Pro GA взялся за Standoff Hackbase. Пока что решено 2 тачки, по 1 риску на каждую и 1 уязвимости для одной тачки. Затраты примерно 1.5$ через openrouter api. Решены тачки: • Cinema: deepseek потратил около 40 минут и 0.60$ на получение НС. • Parrhesia: deepseek потратил около 12 минут и 0,20$-0,30$ на получение НС и проверку всех векторов атак, найдя одну валидную уязвимость. • Bets: deepseek пока не решил, потратил уже 1.13$. Тачка явно посложнее остальных будет • Kacharva: недавно запустил, пока ещё идет разведка Данный тест делается не только модели, но и нового для меня offensive harness. Пока оно работает экономичнее чем обычный opencode. Прогресс моделей от DeepSeek космический как по мне. Видно что одна из самых сильных публичных инженерных команд Китая. Deepseek на вход не давались какие-то указания по инструментам, типо naabu, ffuf, nuclei или что-то подобное. Он использует практически всегда только unix-утилиты и ему этого достаточно на удивление. По мне так результат крутой! Даже когда Deepseek поднимут цены, это вероятно будет лучшая из дешёвых моделей для кибербеза. Кодинговые, разнообразные агентские, литературные возможности модели я не оценивал, т.к. мне это не интересно. Ну и пруфы на скринах)

Для более объективного сравнения кибербез возможностей модели DeepSeek v4 Pro GA взялся за Standoff Hackbase. Пока что решено 2 тачки, по 1 риску на каждую и 1 уязвимости для одной тачки. Затраты примерно 1.5$ через openrouter api. Решены тачки: • Cinema: deepseek потратил около 40 минут и 0.60$ на получение НС. • Parrhesia: deepseek потратил около 12 минут и 0,20$-0,30$ на получение НС и проверку всех векторов атак, найдя одну валидную уязвимость. • Bets: deepseek пока не решил, потратил уже 1.13$. Тачка явно посложнее остальных будет • Kacharva: недавно запустил, пока ещё идет разведка Данный тест делается не только модели, но и нового для меня offensive harness. Пока оно работает экономичнее чем обычный opencode. Прогресс моделей от DeepSeek космический как по мне. Видно что одна из самых сильных публичных инженерных команд Китая. Deepseek на вход не давались какие-то указания по инструментам, типо naabu, ffuf, nuclei или что-то подобное. Он использует практически всегда только unix-утилиты и ему этого достаточно на удивление. По мне так результат крутой! Даже когда Deepseek поднимут цены, это вероятно будет лучшая из дешёвых моделей для кибербеза. Кодинговые, разнообразные агентские, литературные возможности модели я не оценивал, т.к. мне это не интересно.

Китайцы скамят гоев, смотреть без смс и регистрации Мы ждали qwen3.8:27b, а сейчас вышла только Qwen/Qwen3.8-2.4T-A95B