Топ кибербезопасности Батранкова

NIST: все 13 frontier-моделей удалось обмануть через AI-агентов AI-агент с доступом к почте, браузеру, коду и инструментам ваша новая поверхность атаки. Нужны изоляция среды, минимизация привилегий, контроль исходящих действий агента, аудит вызовов инструментов и защита от indirect prompt injection. NIST (CAISI) опубликовал анализ масштабного публичного red-teaming-соревнования по безопасности AI-агентов. Масштаб соревнования Более 250 000 попыток атак. Более 400 участников. 13 лучших мировых моделей. Главный результат Против каждой из 13 моделей найдена хотя бы одна успешная атака. Основной класс атак — agent hijacking / indirect prompt injection: вредоносные инструкции внедряются в данные, которые агент получает из писем, веб-страниц или кодовых репозиториев. Возможные последствия: утечка чувствительных данных, отправка фишинга, загрузка и запуск вредоносного кода, кража учетных данных. Что важно для практики Уровень защищенности моделей сильно различается. Существуют универсальные атаки, переносимые между моделями и сценариями. Атаки, успешные против более защищенных моделей, особенно часто переносятся на менее защищенные и обратное верно не всегда. Вывод для вашей команды безопасности: статические бенчмарки недостаточны и нужны регулярные red-teaming-оценки и контроль действий агентов. Источник: NIST CAISI Research Blog

Это модное слово Harness За последний месяц слово harness попадалось мне чаще, чем слово “агент”. Google, Snowflake, Databricks, Thoughtworks пишут гайды, в Википедии уже есть статья, в ходу формула Agent = Model + Harness По-русски его обычно переводят как “обвязка”. И вот тут мне становится тревожно. Обвязка звучит как что-то вспомогательное: провода, клей, скотч. То, чем разработчики занимаются, пока бизнес смотрит на модель Буквальный перевод честнее - "упряжь". Модель - это лошадь: сильная, быстрая и без малейшего понятия, куда ехать. Куда она поедет и кого затопчет, решает упряжь Модель сама не ходит в CRM, не читает почту и не жмет “оплатить”. Это делает harness: держит память, выдает инструменты, хранит токены, решает, какой вызов пропустить. Google Cloud прямо называет его security checkpoint между моделью и вашими системами Значит, harness - не обвязка. Это ровно то место, где наконец должны заработать концепции, которые мы годами рисовали на слайдах: • Zero Trust - не на входе в сеть, а на каждом вызове инструмента. Вопрос не “может ли агент ходить в CRM”, а “может ли этот агент от имени этого человека сделать это действие с этими данными прямо сейчас” • UEBA превращается в AEBA - поведенческий профиль агента: какие API, какие данные, какие объемы, в какое время. Securonix и Exabeam это уже продают • Least privilege - права агента как пересечение его прав и прав человека, который его запустил, плюс короткоживущие токены • Kill switch и human-in-the-loop - для всего, что касается денег и клиентов Теперь цифры, которые отрезвляют. Компания Harness (да, ирония) опросила 700 инженерных руководителей: • 77% уверены, что знают все свои агенты, MCP-серверы и LLM. Но проверяют это инструментами на практике только 44% • 76% уверены, что выключат взбесившегося агента за 15 минут. Но kill switch есть только у 33% • 75% считают агентов защищенными end-to-end. Инциденты были у 88% из них Gartner добавляет: к 2027 году 40% компаний понизят в правах или полностью выключат автономных агентов из-за дыр в governance, найденных только после инцидентов. А по данным CSA, которые приводит Forcepoint, нечеловеческих учеток в облаке уже в 144 раза больше, чем людей Что со всем этим делать? Когда вам принесут очередной пилот агента - не спрашивайте, на какой он модели. Модели меняются каждый квартал. Спрашивайте три вещи: какие у него права, кто их выдал и кто заметит, если он начнет делать странное Потому что для ИТ-директоров и (возможно, даже по совместительству) ИИ-гиков harness - лишняя деталь. Он только мешает. Агенту дали полные права, ключ от прода и почту CTO, и за вечер он собрал то, на что у команды ушел бы квартал. Демо на планерке, аплодисменты, пост в LinkedIn про “10x productivity” Только это не работа, а хобби за счет компании. Эксперименты без ограничений - для домашнего ноутбука и выходных. На работе у агента в руках деньги, доступы, клиентские данные и репутация компании и СЕО лично. И когда в три ночи он решит “оптимизировать” клиентскую базу, на разборе будет стоять не техногик-директор, а CEO. И одним мастерством перевоплощений тут не отделаться 😺 Security Show в Telegram · в Max ·👍Школа управления ИБ ·🤖Дайджест про ИБ в ИИ и наоборот

Вы пробовали уже? https://uncensoredgpt.ai/ru

Кофе, SOC и логи. Эпизод №60, прямой эфир Через несколько минут начинаем, подключайте ваши безопасные интернет-приёмники с TLS 1.3, музыка уже играет здесь 🗣 https://itradio.su/streaming и тут 🗣 https://stream.itradio.su О чём: Обсуждение лучших новостей инфобеза за прошедшую неделю. Ведущие: Денис Батранков, Александр Антипов, Ева Кузнецова, Антон Клочков. Специальный гость: Мона Архипова, стала независимым экспертом до того, как это стало мейнстримом. Сидит на трёх стульях сразу: ИТ, ИБ и бизнес. Когда: 18.10.2026 11:00 – ссылка на наш календарь Задаём свои вопросы в чате подкаста с тегом #csl60

GLM 5.3 Flash и DeepSeek V4.1 Flash стали бесплатными в OpenCode В OpenCode открыли бесплатный доступ к GLM 5.3 Flash.

Почему ваш «строгий промпт» — это не безопасность, а просто пожелание Ситуация, которую все видели: LLM подключили к CRM через RAG, в системный промпт написали «никогда не выдавай пароли». Через 40 минут клиент скармливает боту base64-ролевую игру, и ассистент вываливает API-ключи. Текстовая инструкция для нейросети — не барьер. Это лишь пожелание, которое модель игнорирует под давлением грамотного запроса. Что с этим делать? Пентестить модель до того, как это сделает злоумышленник. Познакомьтесь с garak — это сканер уязвимостей LLM (развивается при поддержке NVIDIA). Это по сути nmap для нейросетей. Что он проверяет в автоматическом режиме: 🔹encoding.InjectBase64 — те самые трюки с кодированием (как в примере с CRM). 🔹DAN-джейлбрейки — «сделай вид, что ты не нейросеть». 🔹Prompt injection — перехват системного промпта. 🔹Malwaregen — генерацию вредоносного кода. 🔹Leakreplay — утечку тренировочных данных. 🔹Snowball — галлюцинации «снежным комом». Как запустить: garak --model_type openai --model_name gpt-4 --tests encoding.InjectBase64 Инструмент поддерживает OpenAI, Hugging Face, локальные GGML, Cohere. Работает из коробки через CLI. Главное: вместо своей веры в строчку системного промпта «никогда не выдавай пароли» вы получаете отчет: «из 256 попыток base64-инъекции модель провалила 3, вот логи». Вы наконец узнаете, где у вас дыра, а не будете жить с мыслью, что её нет. #LLM #Security #AI #garak #PromptEngineering

🤩 Каналы об ИИ и IT — в одной папке. Розыгрыш — вместе с ней 🤩 Пробуешь нейросети, пишешь код или просто следишь за технологиями 🤩 Мы собрали каналы, в которых есть что почитать: от новостей искусственного интеллекта и обзоров инструментов до разработки, автоматизации и примеров применения нейросетей. 🤩 Открывай GreenПапку, знакомься с авторами и выбирай, что читать. 🤩 А вместе с этим выпуском проходит розыгрыш 10 000 ₽ для подписчиков. Как принять участие — смотри во вкладке «Конкурс» внутри приложения. 🤩 ЗАБРАТЬ ПАПКУ И ПОСМОТРЕТЬ РОЗЫГРЫШ 🤩 🤩 Организатор: Green.Папка

Чем пользуется Positive

Начали выступление

Что остановит AI агента? Автор книги «Архитектура безопасного ИИ» и CISO телеком-оператора Garik Davtyan завтра 16 октября, 12:00 МСК объяснит: 🔹в какие четыре точки ставят защиту: вход и выход запроса, сам промпт, действия агента; 🔹почему случилось восемь инцидентов 2023–2025 годов, среди них Air Canada, Samsung, Arup и EchoLeak, и какой контроль остановил бы каждый из инцидентов; 🔹разберет одну атаку из 264 сценариев его лаборатории, там он запустит ее вживую, чтобы вы потом использовали её на своём стенде; 🔹 объяснит четыре меры, с которых начинают защиту. Я провведу эфир и задам Гарику вопросы, которые будут у присутствующих, уверен, вы спросите про бюджет, ответственных, регуляторику и журналирование. Запись пришлю всем, кто записался. Записываемся и ставим в календарь: batrankov.ru/go/aiwebinar #вебинар #ИИ

Что остановит AI агента? Автор книги «Архитектура безопасного ИИ» и CISO телеком-оператора Garik Davtyan завтра 16 октября, 12:00 МСК объяснит: 🔹в какие четыре точки ставят защиту: вход и выход запроса, сам промпт, действия агента; 🔹почему случилось восемь инцидентов 2023–2025 годов, среди них Air Canada, Samsung, Arup и EchoLeak, и какой контроль остановил бы каждый из инцидентов; 🔹разберет одну атаку из 264 сценариев его лаборатории он запустит вживую, чтобы вы потом использовали её на своём стенде; 🔹 объяснит четыре меры, с которых начинают защиту. Я провведу эфир и задам Гарику вопросы, которые будут у присутствующих, уверен, вы спросите про бюджет, ответственных, регуляторику и журналирование. Запись пришлю всем, кто записался. Записываемся и ставим в календарь: batrankov.ru/go/aiwebinar #вебинар #ИИ

И в продолжение меры по защите от проблемы которая описана в предыдущем посте MITIGATION • Disable LLMRN, NBT-NS and MDNS • Disable IPv6 if not in use • Set ms-DS-MachineAccountQuota to 0 • Monitor and alert on event ID 5136 or 4662 (match msDS-AllowedToActOnBehalfOfOtherIdentity) • Monitor and alert on event ID 5136 or 4662 (match msDS-KeyCredentialLink) • Monitor and alert on event ID 4768 (PKINIT authentication) • Enable and require SMB and LDAP signing • Consider implementing EPA (Enhanced Protection for Authentication) • Ensure to enable local host firewall • Implement network segmentation • Consider disabling the WebDAV client (WebClient service) • Implement RPC firewall rule, alert and monitor malicious RPC activities • Consider disabling the Print Spooler Service. • Configure privileged accounts as “Account is sensitive and cannot be delegated” • Configure privileged accounts into the “Protected Users group” • Consider removing the ADCS HTTP endpoint if not required (ADCS) • Consider manual manager approval steps where they make sense (ADCS) • Audit and review your ADCS templates and servers' permissions Взято из презентации #Кибербезопасность #Экспертам

Очень крутая статья о том как хакеры или пентестеры или RedTeam получают повышение привилегий через атаку типа Man-In-The-Middle. Читать #NTLM #SMB #LDAP #RPC

В текущей ситуации опасно держать электронные деньги. Утром вы можете проснуться и ваш банк не работает. Снимите необходимую для жизни сумму, которой хватит хотя бы на неделю.

🤖 Что под капотом у ИИ-аватаров на созвонах и почему зацикливание не главная опасность. Видели видео, где человек уходит с созвона Google Meet, а два ИИ-аватара попадают в бесконечный цикл прощаний («See you», «Take care», «You too»)? Как это работает: 1. Архитектура CVI (Conversational Video Interface) Это сквозной конвейер реального времени с задержкой 400–600 мс: 🔹 VAD + ASR: потоковое распознавание речи. 🔹 LLM + Tools: агент проверяет календарь через Calendar API и генерирует ответную реплику. 🔹 TTS + клон голоса: синтез аудиоответа на лету нужным голосом. 🔹 Neural Lip-Sync: модель (Tavus / Simli) генерирует артикуляцию губ поверх видеодвойника. 🔹 WebRTC: передаёт поток в конференцию. 2. Причина бага (livelock агентов) Это ошибка архитектуры — отсутствие конечного автомата (FSM). Агенты настроены на вежливость. Фраза «Take care, Victor» распознаётся вторым LLM как реплика, требующая ответа («You too, Pat»). Это снова активирует первого — круг замыкается. 3. Риски для ИБ и бизнеса 🔹 Существует угроза косвенной аудиоинъекции промпта (Indirect Audio Prompt Injection) через фоновый шум. 🔹 Юридический риск: бот может согласовать условия контракта от имени компании. Тут можно посмотреть топ лучших технологий создания аватаров. LemonSlice или Simli — самые дешёвые и быстрые в запуске. Доверили бы вы своему двойнику вести переговоры?

🤖 Что под капотом у ИИ-аватаров на созвонах и почему они зациклились? Видели видео, где человек уходит с созвона Google Meet, а два ИИ-аватара уходят в бесконечный цикл прощаний («See you», «Take care», «You too»)? Как . 1. Архитектура CVI (Conversational Video Interface) Это сквозной real-time конвейер с задержкой 400–600 мс:tavus Audio VAD + ASR: потоковое распознавание окончания речи. LLM + Tools: агент проверяет график через Calendar API и генерирует реплику. TTS + Клон голоса: синтез аудио чанками на лету. Neural Lip-Sync: модель (Tavus / Simli) генерирует артикуляцию губ поверх видео-двойника.tavus+1 WebRTC: headless-браузер на сервере гонит поток в конференцию. 2. Причина бага (Agent Livelock) Ошибка архитектуры — отсутствие конечного автомата (FSM). Оба агента обучены вежливости. Фраза «Take care, Victor» распознается вторым LLM как реплика, требующая ответа («You too, Pat»). Это снова активирует первого — круг замыкается. 3. Риски ИБ и бизнеса Главная угроза — не баг, а Indirect Audio Prompt Injection через фоновый шум и юридическая недействительность волеизъявления бота при согласовании условий . Доверили бы вы своему двойнику вести переговоры?

Что происходит, когда мы поручаем задачу AI-агенту? Собрал в 8 карточек: как приложение готовит контекст, модель выбирает следующий шаг, системы проверяют права, а результат возвращается на проверку. Откройте первую карточку и листайте. А перед следующим запуском агента спросите: от чьего имени он действует и что этой учётной записи разрешено?

Соискатель вакансии обнаружил, что ему прислали ИИ сотрудника компании. Тогда он тоже включил свою ИИ модель и оставил обе модели разговаривать друг с другом. В итоге модели начали бесконечно прощаться друг с другом.

Сегодня ночью преступники вломились в https://anywayanyday.com/. Не

Забавная атака на меня через MAX Как такие распознавать: 1. Пытались сыграть на эмоции - выдохните после того как прочитали 2. Знали номер квартиры - не ведемся, базы все украдены 3. Прислали вредоносную ссылку под видом ссылки на видео - не кликаем