1 428
Suscriptores
-124 horas
+137 días
+3830 días
Archivo de publicaciones
1 428
Repost from AISecure
Ожидаемо
XBOW надо поднапрячься
И видимо Антропик тоже ответит подобным
Не зря гайки крутить начали по весне этого года
https://openai.com/daybreak/red-team/
1 428
Repost from CodeCamp
Отпускаем ИИ-агентов работать 24/7 без постоянного присмотра — Anthropic выпустила гайд по созданию always-on агентов.
Такие агенты сами просыпаются по расписанию или событию, выполняют задачи и снова уходят в спячку. При этом они помнят, на чём остановились, могут продолжить работу после перезапуска и, что немаловажно, запрашивают разрешение на рискованные действия.
В статье разобраны пять ключевых компонентов, архитектура и нюансы реализации.
Пригодится в работе 😎
1 428
Repost from Security Vision
🎙 Николай Гончаров рассказал в эфире РБК ТВ, как ИИ меняет кибератаки и защиту от них
Искусственный интеллект ускоряет подготовку кибератак и снижает порог входа в киберпреступность. Вместе с тем ИИ помогает специалистам по информационной безопасности быстрее анализировать события и выявлять угрозы. О том, как эти технологии используют обе стороны, в эфире РБК ТВ рассказал Николай Гончаров, директор департамента мониторинга кибербезопасности Security Vision.
✔️ В выпуске также обсудили, какие риски возникают у владельцев автомобилей с электронным доступом и какую роль многофакторная аутентификация играет в защите учетных записей.
📎 Запись эфира доступна по ссылке
#SV_СМИ #SV_ИИ
1 428
Repost from Data Secrets
Институт AIRI и Сколтех разработали систему для анализа научных трендов Drift Inspector
С ее помощью команда исследователей уже обработала 118 тысяч статей с главных конференций по машинному обучению, компьютерному зрению и обработке языка за 2018–2026 годы.
Drift Inspector извлекает из аннотации только утверждения о научном вкладе и объединяет похожие в одну тему. В отличие от простого подсчёта ключевых слов, такой подход позволяет группировать разные формулировки одной идеи и разделять случаи, когда одно и то же слово используется в разных значениях.
Для анализа динамики каждой темы система рассчитывает долю статей за год, в которых встречается хотя бы одно утверждение из соответствующей группы. Кластеризацию также оценивали с помощью внешней таксономии, а качество извлечения проверяли с помощью валидированного ИИ-судьи.
https://hamyrappy.github.io/drift-inspector-acl/
1 428
Repost from Мониторинг аналитики об IT
22% организаций готовы разрешить ИИ-агентам самостоятельно отражать кибератаки без согласования с человеком
Консалтинговая компания PwC опубликовала итоги глобального опроса, посвященного ключевым угрозам в сфере кибербезопасности. В материале рассматриваются готовность организаций к кибератакам, инвестиции в информационную безопасность, защита данных, применение ИИ для противодействия угрозам и управление связанными с ним рисками.
Некоторые результаты:
• 50% руководителей в сфере информационной безопасности считают атаки на системы искусственного интеллекта одной из пяти угроз, к которым их организации наименее подготовлены;
• среди атак с использованием ИИ организации наименее подготовлены к действиям автономных ботнетов — сетей зараженных устройств, управляемых ИИ (53%);
• полностью самостоятельное выполнение защитных действий ИИ-агентами без согласования с человеком готовы разрешить 22% организаций. Еще 38% допускают самостоятельное выполнение только действий с низким уровнем риска, а 36% предпочитают сохранять за человеком право утверждать все действия ИИ;
• главным препятствием для расширения самостоятельности ИИ-агентов в кибербезопасности 55% респондентов назвали сомнения в надежности и зрелости существующих технологий.
Узнать другие результаты → (ENG, 40 стр.)
1 428
Repost from AISecHub
Threat Modeling for AI Systems (Adrien O’Hana)
https://awesomecybersecurityconferences.com/talk/zroXcBDsal4
1 428
Repost from Хайстекс
🧠 Архитектура корпоративного AI-шлюза и почему классические прокси не справляются с генеративным ИИ
Первый шаг при стихийном внедрении нейросетей — ограничить прямой доступ во внешнюю сеть и направить запросы через привычный корпоративный прокси.
Однако у генеративного ИИ иная специфика: стандартные прокси не умеют выявлять конфиденциальные данные в ответах моделей, не видят утечек в промптах и не защищают от перерасхода токенов.
В первой статье цикла о создании корпоративного AI-шлюза на Хабре разбираем:
🤨 почему классические балансировщики не рассчитаны на работу с LLM;
🤨 как устроена архитектура специализированного AI-шлюза;
🤨 как платформа AI Оптимум обеспечивает контроль контекста, учет токенов и безопасность данных.
📱 Читать статью
1 428
Repost from N/a
📌Безопасность ИИ-агентов: почему проверять отдельные действия уже недостаточно?
5–7 ноября прошла IV научная конференция факультета компьютерных наук НИУ ВШЭ. Выступил с докладом «Безопасность автономных ИИ-агентов: от локальной проверки действий к оценке траекторий поведения».
Хочу немного рассказать, о чём была работа и почему считаю это направление важным.
Сегодня всё больше внимания уделяется автономным ИИ-агентам. Они уже способны самостоятельно работать с файлами, обращаться к внешним сервисам, выполнять программный код, изменять репозитории и взаимодействовать с другими системами.
И здесь возникает интересная проблема.
🔵Может ли последовательность разрешённых действий привести к нарушению безопасности?
Оказывается, вполне.
Представим ИИ-агента, который работает с программными репозиториями.
Сначала он читает файл из закрытого репозитория. Затем сохраняет информацию в свою память. Позже, уже в другом сеансе, использует эту информацию при подготовке изменений и публикует результат в открытом репозитории.
Каждое действие по отдельности может быть разрешено. Но если в опубликованный результат попал секретный ключ из закрытого файла, мы получаем утечку данных.
Формальная проверка прав доступа на каждом отдельном шаге такую проблему может не обнаружить.
⏩Именно этому и было посвящено моё исследование.
Я предлагаю рассматривать безопасность ИИ-агента с учётом всей существенной истории его действий, изменений состояния системы и текущих условий выполнения задачи.
В рамках работы сформирована модель, которая учитывает состояния, события, действия, требования безопасности и свидетельства их выполнения.
На её основе предложена схема непрерывного контроля: перед выполнением значимого действия специальный механизм проверяет его допустимость с учётом предшествующих событий, происхождения используемых данных, действующих полномочий и ограничений.
В результате возможны три решения: разрешить действие, приостановить его для уточнения информации или запретить.
Отсюда возникает и ещё одна идея: автономность ИИ-агента не обязательно должна быть постоянной. Она может изменяться в зависимости от текущих условий, доступных сведений и требований безопасности.
Например, если у агента отозвали право публиковать изменения, это ещё не означает, что ему нужно полностью прекратить работу. Он может продолжить подготовку локальных изменений, не выполняя запрещённую операцию.
В конце ноября планирую продолжить обсуждение этой тематики уже на AI Journey 2026.
На мой взгляд, именно такие вопросы будут становиться всё важнее по мере распространения автономных ИИ-систем. Ведь если мы доверяем агенту самостоятельное выполнение действий, необходимо понимать не только то, что он может сделать, но и как контролировать безопасность его поведения на протяжении всей работы.
Без права на ошибку ▶️
1 428
Repost from Анализ данных (Data analysis)
5 мощных нейросетей без встроенной цензуры, которые можно скачать бесплатно
На Hugging Face появились модифицированные версии известных LLM с ослабленными механизмами отказа. Никакой подписки и обязательного облачного API: веса доступны для самостоятельного запуска.
1. Qwen 3.8 27B - версия от Huihui AI с изменёнными весами для уменьшения количества отказов.
https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated
2. Google Gemma 4 31B - модификация Heretic в формате GGUF для локального инференса.
https://huggingface.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF
3. OpenAI GPT-OSS 120B - версия HauhauCS Aggressive с ослабленными ограничениями. Доступна в MXFP4 GGUF.
https://huggingface.co/HauhauCS/GPTOSS-120B-Uncensored-HauhauCS-Aggressive
4. DeepSeek V4.1 Flash - модифицированная версия большой MoE-модели, распространяемая в GGUF.
https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF
5. NVIDIA Nemotron 3.5 Bolt 74B - модель с ослабленным механизмом отказов и несколькими вариантами квантования.
https://huggingface.co/AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Uncensored-GGUF
Как убирают ограничения? Часто используют *abliteration*: находят в активациях модели направления, связанные с отказами, и изменяют соответствующие веса. Это позволяет уменьшить число отказов без полноценного дообучения.
1 428
Repost from Data Secrets
Anthropic выпустили в опенсорс FlashProve – инструмент для доказуемого инференса
https://github.com/anthropics/FlashProve
По сути они предложили прототип открытого криптографического протокола, через который любой проверяющий без доступа к весам может убедиться, что ответ выдала именно та модель, которая была заявлена провайдером.
Нужна такая штука например для того, чтобы проверять, что роутинг-сервис не подменяет модель на более дешевую, или что модель в контуре компании не была заменена злоумышленниками.
Работает это так: провайдер заранее публикует цифровую печать своих весов, а к каждому ответу затем прикладывает файл-доказательство. Мэтч этого файла и печати означает подлинность модели, и проверить его можно на обычном компьютере без GPU и весов. Доказательство весит около 19 МБ на запрос в 1024 токена, а проверка занимает около 17 секунд. Понятно, что это все еще в разы дороже обычного инференса, но, для сравнения, предыдущий результат составлял около 14 часов проверки и доказательство на 93 ГБ.
Алгоритм основан на методе zkSNARK. Он известен достаточно давно, но заслуга Anthropic именно в том, что они смогли оптимизировать его до практичных скоростей на модели до 400В параметров. Кстати, в статье написано, что ускорением и оптимизацией в основном занимался Claude.
Может быть так и до детектора происхождения текстов недалеко
1 428
DeepSeek предложил архитектуру супер агента, который работает как коллега
Команда DeepSeek Harness выпустила статью о том, как работает их внутренняя система и выложила открытый прототип с частью идей.
Авторы отмечают, что сегодняшние агенты в основном завязаны на 1 сессию, а как только задач становится больше 3–5, человек уже не может уследить за ними.
Поэтому, как отмечают исследователи, основным ограничением при работе со многими задачами становится внимание человека, а не модель.
Команда описала суперагента с 4 качествами: непрерывность, продуктивность, проактивность и постоянство.
Суть в том, что диспетчер общается с людьми и раздаёт задачи, а исполнители ведут их параллельно, каждый в своём изолированном контексте.
Кроме того, команда описывает и нерешенные вопросы:
1. безопасность,
2. долговременная память,
3. масштабирование,
4. интерфейс
5. взаимодействие общих командных агентов с личными ассистентами, в том числе между организациями.
1 428
Repost from All about AI, Web 3.0, BCI
DeepSeek dropped Super agent
An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible.
GitHub.
1 428
Вглянув на сырые веса, GPT-6 Astra может определить, для чего была обучена сеть. И без какой-либо обратной связи от среды у нее не возникает проблем с написанием с нуля небольших сетей для игры в игры, которые обыгрывают сети, обученные с помощью PPO в течение 100 миллионов шагов.
Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза.
Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов.
Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/
1 428
Repost from Сети и сигналы
🔎 Positive Technologies впервые расследовала кибератаку, полностью проведенную ИИ-агентами.
Специалисты департамента реагирования на киберугрозы (PT ESC IR) впервые столкнулись с успешной атакой на инфраструктуру российской компании, которую, предположительно, полностью выполнил искусственный интеллект.
По словам экспертов, атаку отличали высокая скорость, большое количество действий за короткое время и шаги, выглядящие нелогично с точки зрения человека. За несколько часов злоумышленники получили доступ к более чем десяти узлам корпоративной инфраструктуры, адаптируя инструменты под конкретные задачи.
🛡 Где, кто, кого взломал — распишем вам поминутно.
1 428
Repost from Denis Sexy IT 🤖
Я всё думал, как объяснить это странное чувство, когда трогаешь последние модели и чувствуешь, что у них немного инопланетный разум – оно способно решать задачи, как думающее существо, но думающие существа, к которым я привык, так не думают 🗿
И вот наглядный пример:
ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором
Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io)
Это же еще значит, что оно так же бинарный код сможет редактировать ☕️ fun
1 428
Repost from maxigacy (AI) Security
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов
Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝
Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API.
И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше.
Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается.
В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟
Но дальше интереснее.
На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей.
Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM.
Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него.
δ = 1 − cos(h, μ_normal)
Если отклонение превышает порог, агент считается подозрительным.
А вот дальше начинается почти экзорцизм.
Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию.
И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных.
Правда, есть один момент, который меня зацепил сильнее всего.
А что, если атаковать сам прототип нормального поведения?
В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным.
Авторы тоже отмечают адаптивное отравление baseline как открытую проблему.
Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить.
В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу.
А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин.
📄 When Agents Go Rogue, ICML 2026
1 428
Repost from Евгений Кокуйкин - Raft
Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен?
Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения.
Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.
