ML&|Sec Feed

AI Coding Agents as Attack Surface: MCP, Poisoning, and Miasma The core risk is a trust-boundary mismatch: coding agents ingest untrusted inputs (e.g., MCP tool outputs or repo content) but can act with developer-level privileges, so poisoning and instruction smuggling can turn “context” into autonomous actions. #MCP #AgentSecurity #AISecurity #Report https://labs.cloudsecurityalliance.org/research/ai-coding-agent-attack-surface-mcp-repository-poisoning-v1-0

Линус Торвальдс совсем не против использования ИИ в разработке. Хотя конечно он больше топит за локальные модели, чтобы не зависеть от корпораций. Говорит, что ИИ даёт 10-кратный рост производительности, но появление компиляторов в своё время дало 1000-кратный рост, просто этого уже никто не помнит, мало кто писал машинный код руками. При этом его злит когда люди говорят, что за них 99% кода пишет ИИ. Но никто же не говорит "100% моего кода написал компилятор", потому что это всего лишь инструмент, как и ИИ, и если люди говорят, что ИИ написал за них код, значит, они не понимают, то, что делают. Также он говорит, что те люди, которые писали хороший код, и с помощью ИИ смогут делать работоспособные и поддерживаемые приложения. Потому что они понимают как работает система. https://www.reddit.com/r/buildinpublic/s/t3ZEPc8t9u 🧐 Подписаться на канал

Проект OpenHuman менее чем за месяц набрал более 33 тысяч звёзд на GitHub. Одной из главных причин такого роста стала новая функция Super Context 🐸 При открытии нового чата OpenHuman сначала собирает контекст: анализирует релевантную информацию о пользователе, текущем экране и выполняемой работе. Благодаря этому уже первый ответ строится так, будто диалог длится уже несколько сообщений. OpenHuman это ИИ-ассистент с открытым исходным кодом, который работает на уровне операционной системы и интегрируется со 118 приложениями. По словам разработчиков, он использует локальные данные пользователя и со временем всё лучше адаптируется к его стилю работы Проект работает локально, поэтому данные не покидают устройство пользователя. В течение десяти дней подряд OpenHuman входил в число самых популярных репозиториев GitHub, а сейчас занимает первое место в рейтинге платформы. http://github.com/tinyhumansai/OpenHuman

SIA — это платформа самосовершенствующегося искусственного интеллекта, которая позволяет автономно повышать производительность любой системы искусственного интеллекта (модели / агента) при выполнении эталонной задачи. 🐱 GitHub

SkillSpector сканирует навыки агентов ИИ перед их установкой и помечает рискованный код, скрытые инструкции, утечки данных и другие проблемы безопасности, используя быстрые проверки и опциональный обзор ИИ. Он может сканировать папки, файлы, репозитории Git и zip-файлы, предоставляя простой рейтинг риска и четкие рекомендации, чтобы вы могли решить, безопасно ли использовать навык. 🐱 GitHub

AgentsView помогает вам просматривать, искать и отслеживать расходы для агентов по написанию кода в одном локальном приложении, без аккаунтов, и данные хранятся на вашем компьютере. Он может быстро показывать использование токенов, ежедневные расходы, детали сессий и историю чатов, доступную для поиска, по многим агентам, чтобы вы могли экономить время, контролировать расходы и быстро находить прошлую работу. 🐱 GitHub

Hivemind — это система общей памяти для кодинговых агентов, которая сохраняет промпты, вызовы инструментов и ответы, а затем превращает повторяющиеся паттерны в переиспользуемые навыки для всей команды. Это может сделать агентов быстрее и дешевле, улучшить запоминание, а также помочь вам искать прошлую работу, переиспользовать решения и хранить правила и цели команды в одном месте. 🐱 GitHub

💻 Agentic SAMM: безопасная разработка, когда разработчик уже не только человек На ISC.AI 2026 в Пекине, крупнейшем мероприятии по кибербезопасности в Китае, Сергей Гордейчик — генеральный директор СайберОК — выступил с ключевым докладом на панельной сессии. Доклад был посвещен использованию интеллектуальных агентов в разработке и вопросам Secure Software Development в новом мире. Был представлен проект стандарта OWASP Agentic SAMM — модели зрелости и методологии аудита для ИИ-агентов и иструменты проведения аудита. Расширенная версия этого доклада уже опубликована на Хабре. Фреймворк и инструмент открыты. Тестируйте, ломайте, делитесь обратной связью.

AI SOC Evaluation Framework – еще один вендор-независимый фреймворк для оценки применимости и эффективности AI SOC. На сайте проекта также есть онлайн-калькулятор. Ключевые компоненты ASEF: 🟠Shift Map (карта жизненного цикла инцидента) Позволяет оценить применимость ИИ на каждом этапе обработки данных и угроз: 🟠Evaluator Scale (шкала автономности) – каждая функция оценивается по уровню автоматизации от 0 (ручной режим) до 2 (полная автономия). Например, уровень 1A (Approve) означает, что ИИ самостоятельно сформировал план действий и ожидает только подтверждения от аналитика. 🟠Builder Mode (оценка рисков внедрения) – скоринг применимости функций под специфику конкретной команды, учитывая степень надежности реализации алгоритма (Trust), ресурсоемкость развертывания и поддержки силами внутренней команды (Complexity) и риски для бизнес-процессов в случае ошибки ИИ (Impact). 🟠Метрики эффективности (PICERL) – внедрение платформы оценивается через изменение (дельту) метрик на разных стадиях инцидента (Preparation -> Identification -> Containment -> Eradication -> Recovery -> Learning) относительно исходного состояния. Этапы выбора AI SOC платформы по методологии ASEF: 🟠Frame – самооценка слабых мест текущего SOC, фиксация базовых метрик и определение критических требований. Без фиксации базовой линии дальнейшая объективная оценка невозможна. 🟠Shortlist – фильтрация кандидатов по ключевым технологическим критериям, проверка наличия механизмов логирования и аудита, исключение заведомо незрелых решений. 🟠Evaluate – тестирование систем на собственных данных. Проводится сначала в Shadow mode (ИИ наблюдает и готовит черновики без активных действий в инфраструктуре), затем — с постепенным расширением зон контроля (тестовые хосты -> рабочие станции -> продуктивная среда). 🟠Maturity – составление итогового профиля возможностей продукта на карте Shift Map. 🟠ROI – расчет изменения метрик эффективности PICERL и оценка совокупной стоимости владения для покупателя. 🟠Decide – принятие финального решения на основе сопоставления результатов пилота с пороговыми значениями, установленными на первом этапе. Посты про другие фреймворки: ➡️SIEM and AI SOC Ratings Framework ➡️AI Response Maturity Model #framework #maturity #soc #siem #ai

🌺 Релиз Ornith-1.0 - новое семейство open-source LLM, специализированных под agentic coding. Ornith-1.0 выходит в разных размерах: • 9B Dense • 31B Dense • 35B MoE • 397B MoE Модели показывают state-of-the-art результаты среди open-source моделей сопоставимого размера на coding-бенчмарках: • Terminal-Bench 2.1 — 77.5 • SWE-Bench — 82.4 на verified, 62.2 на pro, 78.9 на Multilingual • NL2Repo — 48.2 • SWE Atlas — 41.2 на QnA, 42.6 RF, 39.1 TW • ClawEval — 77.1 Ornith-1.0 дообучали поверх Gemma 4 и Qwen 3.5. Reinforcement learning используется не только для генерации решений, но и для создания task-specific scaffolds, которые направляют эти решения. То есть модель совместно улучшает и «каркас» задачи, и итоговое решение. За счёт этого она генерирует более качественные ответы в agentic coding. Все модели выпущены под MIT-лицензией, поэтому их можно использовать и в коммерческих, и в исследовательских проектах. 📖Tech Blog: http://deep-reinforce.com/ornith_1_0.html 🤗Huggingface: http://huggingface.co/collections/deepreinforce-ai/ornith-10

Headroom — это локальный инструмент для AI-агентов, который сжимает промпты, логи, файлы и историю чатов перед их отправкой в LLM, часто сокращая количество токенов на 60–95% при сохранении того же качества ответов. Он может работать как библиотека, прокси, MCP-сервер или обертка для агента, что позволяет экономить токены, ускорять рабочие процессы и при необходимости восстанавливать исходный контент. 🐱 GitHub

🇨🇳На ISC[.]AI 2026 представили китайский Mythos На 14-й Конференции по интернет-безопасности ISC[.]AI 2026, которая открылась 24 июня 2026 года, основатель компании 360 Group Чжоу Хунъи представил 2 новые ключевые разработки в сфере ИБ. Данные решения получили общее название «Итянь Тулун» (倚天屠龙). Они призваны полностью автоматизировать процессы поиска системных уязвимостей и защиты компьютерных сетей. 1️⃣ Первой анонсированной новинкой стал интеллектуальный агент для автоматического поиска уязвимостей под названием «Тулунфэн» (图龙锋). Руководитель компании назвал этот инструмент китайским аналогом известной американской ИИ-модели Mythos от компании Anthropic. К настоящему моменту система «Тулунфэн» помогла обнаружить 3432 уязвимости. Из этого числа регулирующие органы официально подтвердили 105 уязвимостей, а национальная база данных уязвимостей классифицировала ряд из них как высокоопасные. Данная система успешно применяется для анализа открытого исходного кода, операционных систем, офисных программ и платформ для ИИ-агентов. Основатель компании 360 Group Чжоу Хунъи подчеркнул, что «Тулунфэн» уже обладает возможностями, аналогичными возможностям американской ИИ-модели Mythos. 2️⃣ Второй новинкой стала система автоматизированной сетевой защиты «Итяньчжэнь» (仪天阵). Данный комплекс предназначен для автономного управления безопасностью в реальных сетевых условиях. Система способна самостоятельно планировать задачи, оценивать сигналы тревоги и принимать скоординированные меры по устранению угроз. Даже появление китайской версии Mythos не устранит все риски, ведь уязвимости неисчерпаемы. Чжоу Хунъи считает, что единственным выходом остается противопоставление вычислительных мощностей вычислительным мощностям, что позволит перевести систему ИБ Китая от тактики привлечения огромного числа специалистов к режиму автопилота. В своем выступлении основатель компании 360 Group Чжоу Хунъи упомянул действия американской компании Anthropic, которая недавно ограничила доступ к своей самой мощной внутренней ИИ-модели Mythos. Чжоу Хунъи пояснил, что ИИ-модель Mythos превратилась в сетевое ядерное оружие эпохи ИИ и сформировала новое стратегическое сдерживание, поскольку она способна самостоятельно находить и анализировать уязвимости, а также конструировать инструменты для совершения масштабных кибератак. По мнению китайского предпринимателя, ИИ полностью меняет правила игры в сфере ИБ, которые оставались неизменными последние 30 лет. Ранее поиск уязвимостей требовал колоссальных ресурсов и усилий редких высококлассных специалистов, однако новые ИИ-модели позволяют автоматизировать и масштабировать этот процесс, оперативно выявляя даже старые и глубоко скрытые дефекты кода. При этом Чжоу Хунъи отметил, что Китаю не следует просто копировать зарубежный подход, основанный на использовании вычислительных мощностей и возможностей ИИ-моделей ради достижения результата грубой силой. В рамках конференции компания 360 Group также объявила о запуске программы сотрудничества в сфере безопасности под названием «Панши чжи дунь» (磐石之盾). Инициатива направлена на предоставление ИИ-технологий защиты ключевым отечественным ИТ-предприятиям и КИИ Китая. К проекту уже присоединился ряд ведущих китайских технологических, инфраструктурных и облачных компаний, среди которых присутствуют UnionTech (统信), Kylin (麒麟), Hillstone Networks (山石网科), Hygon (海光), Phytium (飞腾), Kingdee (金蝶), Biren Technology (壁仞), Mobile Cloud (移动云), Baoland (宝兰德) и Dameng (达梦). 👆Основатель компании 360 Group провел параллель с американским альянсом Glasswing, который использует возможности ИИ-модели Mythos для защиты критической инфраструктуры США, и призвал китайское деловое сообщество заблаговременно формировать собственные системы коллективной безопасности. ✋ @Russian_OSINT

Тренажёр по промпт инъекциям от Lakera 😃 Пора пробовать промпт инъекции руками, чтобы как минимум понять, почему они уже несколько лет остаются одной из главных угроз для LLM-приложений. 🧙‍♂️ Игра бесплатная, от простого игнорирования инструкций до многоуровневых гардрейлов, рекомендую потратить 20–30 минут. Потом и своего агента потестишь! Заодно можно изучить полезные материалы от Lakera — перспективного стартапа в области AI Security (это я еще мягко высказалась, завидую их росту). Компания занимается защитой GenAI-приложений от prompt injection, jailbreak, утечек данных и других атак на LLM и AI-агентов и тебя научит: 😔 Гайд по Prompt Injection представляет собой разбор основных техник атак и защит.  😔 Visual Prompt Injection о том, как прятать инструкции прямо в изображениях для мультимодальных моделей. Очень интересные примеры.  😔 LLM Security Playbook — хороший обзор угроз и подходов к защите AI-систем. Все! Пройдешь Гендальфа - пиши, когда начал пользоваться подсказками!  9️⃣

Анализ Exoskeleton - самого умного из быстрых агентов в ECOM1 Это архитектура Ильяса Салихова. Она набрала 71.8 очков с суммарным временем работы агента в 51 минуту и заняла первое место Speed Leaderboard (туда попадают агенты быстрее часа). На самом деле Ильяс мог выбить результат еще лучше. За время соревнования у него был прогон в 74.7 очков за 42.5 минуты, но вслепую этого заранее нельзя было знать. А еще этот агент прямо сейчас занимает первое место в пост-соревновательном лидерборде ECOM1 LIVE. Под капотом крутятся gpt-5.4-mini и gpt-5.4-nano. Nano используется для pre-flight проверок и финализации ответа, а mini используется в agent REPL loop. В цикле агент может взаимодействовать через инструменты со средой Agentic OS. При этом основная информация грузится в агента принудительно еще перед стартом через context pre-fetch (еще до pre-flight проверок). Вообще в этой архитектуре очень много делается принудительно кодом (отсюда и Exoskeleton). Помимо инструментов для взаимодействия со средой задачи очень много тяжелой логики свалено на “domain helpers” (например есть прямо отдельный solver для dispatch задачи), а за сбор grounding references отвечает еще один компонент. Дополнительно к этому есть отдельный feedback цикл, который отвечает за сбор данных и “обучение” системы (и даже мои любимые heatmaps). Он не работал во время соревнования, но внес вклад в настройку архитектуры перед выходом в PROD. Вот ссылки: на инсайт, исходники и deep dive. Ваш, @llm_under_hood 🤗 PS: У Ильяса есть свой канал про AI! А вопросы по архитектуре Exoskeleton можно задать прямо в обсуждениях этого поста - @salikhov_ilyas

Мы сейчас завершили второй поток вебинара "Разработка с AI-агентами: что реально работает" Большое спасибо всем участникам! Оставьте, пожалуйста, тут отзыв про вебинар - как оно прошло, что понравилось, какую самую интересную для себя вещь узнали. А с комьюнити я хочу поделиться самым важным слайдом из всего вебинара - про AI-Native Harness для спеков. Агенты работают с текстовыми спеками хорошо, а с исполняемыми спеками - гораздо лучше. На вторые не надо тратить контекст и время. Ваш, @llm_under_hood 🤗

Не SDD единым Сейчас в разработке (SDLC) популярна тема SDD - Spec-Driven Development. Идея простая. Берем пару скиллов, прогоняем через них наше видение того, что нужно сделать в виде кода, отвечаем на вопросы и получаем спеки (которые понятны агентам)! А потом эти спеки скармливаем агентам, и они пишут код. Ну и допускаем, что если спеки были написаны хорошо и реализовывал их агент мощный, то код будет делать то, что от него ожидают. Правда потом эти спеки будут лежать в кодовой базе мертвым грузом и источником галлюцинаций, ибо нельзя никак проверить то, что код все еще соответствует спекам. Разве только потратив кучу токенов и без каких либо гарантий. Например, регулярно делать аудит кода агентами (что плохо масштабируется) То есть у нас не спеки получаются, а просто одноразовые вайб-планы. А можно ли лучше? Да легко. Смотрим в OpenAI Harness engineering - доки должны быть актуальны, а harness должен верифицировать. Потом смотрим в древние способы разработки, задолго до SDD, когда были только буквы в начале алфавита: Behaviour-Driven Development. BDD родился задолго до LLM-ok (этак лет двадцать назад), когда перед человеческими командами стояла та же проблема - как синхронизировать работу разработчиков, продактов и тестировщиков так, чтобы требования не устаревали. И тогда придумали формат Given-When-Then - формат читаемых сценариев, который могли понимать и технари и люди от бизнеса (пару примеров скину в комментарии). Эти сценарии описывали поведение системы с точки зрения черного ящика (как она выглядит снаружи). Эти сценарии обсуждались и писались лапками - вручную, но используя определенную структуру. А потом технари делали эти сценарии исполняемыми. То есть тестовая обвязка парсила сценарии, превращая в спеки, и просто запускала как end-to-end тесты системы. Получалась такая иерархия: (1) Описание требований (2) Набор читаемых сценариев под требования (обычно их группировали в папочки по именам требований) (3) Код, который на лету парсит сценарии и прогоняет тест системы. И если код начинал нарушать сценарий какого-то требования, то это сразу приводило к ошибке билда. А если добавляли новые требования, то у нас получался обычный Test-Driven Development. Чаще всего использовали формат сценариев Gherkin, а в качестве парсеров - Cucumber, JBehave, RSpec, Behave (и еще куча других). Оно работало хорошо и в эпоху до ChatGPT, когда все делалось лапками. А сейчас агенты замечательно нарезают высокоуровневые требования в BDD сценарии, и потом реализуют код. И при этом сценарии остаются синхронизированными с требованиями, но превращаются в нормальный AI-Native Harness, который агент может запускать хоть по сто раз за сессию. Правда у меня формат Gherkin всегда вызывал аллергию (ибо парсеры у команд становились источником отдельных проблем по мере роста продукта). Я предпочитаю более специфичный формат исполняемых Given-When-Then спеков - event-driven specs. Он требует больше инвестиций на уровне архитектуры, но зато лучше масштабируется на проектах от 10k спеков и выше (это в эру до ChatGPT, работа в AI Native - это отдельная песня). Но это уже вкусовщина для отдельной беседы. А как вы тестируете в 2026 году? Ваш, @llm_under_hood 🤗

Когда языковые модели читают текст, они не просто обрабатывают токен за токеном. В каком-то смысле они испытывают от чтения эмоции. www.goodfire.ai/research/stories-in-space# Рисерчеры из GoodFire продолжают исследовать так называемую геометрию LLM. Некоторое время назад они показали, что мысли моделей организованы в виде определенных форм. Например, числа – это окружности, и складывая одно число с другим, LLM на самом деле суммируют множество бубликов: t.me/data_secrets/9223. Теперь они обнаружили новые любопытные детали. Оказывается, внутри моделей существует целый ландшафт эмоциональных состояний. Ученые взяли LLama, давали ей читать рассказы и наблюдали за состоянием активаций. Так вот по мере чтения модель как бы перемещается по некоторому многомерному пространству состояний, "испытвая" те или иные эмоции в зависимости от того, что происходит в тексте в данный момент. Причем если визуализировать соответствующие разным эмоциям состояния модели, то получается структура, очень похожая на классическую психологическую модель эмоций человека. Например, радость находится рядом с интересом, страх и гнев имеют схожую высокую интенсивность и тд. Еще по этой карте можно предсказывать дальнейшие ответы модели. И если искусственно подталкивать активации в направлении определенной эмоции, настроение и суть генераций меняется. Красиво

Про Docker sbx впервые на русском Автор параноик. Искренне было боязно ставить агента на голую систему без изоляции. Крутил виртуалки, но блин, неудобно каждый раз стартовать полноценную VM под отдельный проект. Контейнеры отпали почти сразу, потому что не сохраняется состояние между запусками. А мудрить с внешним хранилищем сессий, ну, если есть желающие это сделать, го обсудим в комментариях:) Агент, имеющий доступ к внешнему миру, будь то веб-серфинг или запуск консольных команд - это как русская рулетка с большим количеством пустых мест в барабане. Шанс отстрелить себе что-нибудь небольшой, но никогда не равен нулю. А есть еще атаки через промпт инъекции, тайпсквотиннг и цепочки поставок npm и pip, которые за прошедший год вертели вообще, кажется, все кто мог. Отвечаю на вопрос «Как сделать так, чтобы ошметки не разлетелись дальше коробки?» в новой статье Полезайте в песочницу, мистер Claude: изолируем агента

Anthropic Cybersecurity Skills — это бесплатная библиотека с открытым исходным кодом, содержащая 754 готовых навыков безопасности для ИИ-агентов в 26 областях. Она помогает ИИ действовать больше как старший аналитик безопасности, предоставляя четкие рабочие процессы, проверки и шаги верификации. 🐱 GitHub