ru
Feedback

Не попадитесь на канал ботавода! Telemetrio находит и помечает такие каналы 👉 Хотите видеть метку — оформите подписку

ML&|Sec Feed

ML&|Sec Feed

Открыть в Telegram
1 428
Подписчики
-124 часа
+137 дней
+3830 дней
Архив постов
Repost from AISecure
Ожидаемо XBOW надо поднапрячься И видимо Антропик тоже ответит подобным Не зря гайки крутить начали по весне этого года https://openai.com/daybreak/red-team/

Repost from CodeCamp
Отпускаем ИИ-агентов работать 24/7 без постоянного присмотра — Anthropic выпустила гайд по созданию always-on агентов. Такие агенты сами просыпаются по расписанию или событию, выполняют задачи и снова уходят в спячку. При этом они помнят, на чём остановились, могут продолжить работу после перезапуска и, что немаловажно, запрашивают разрешение на рискованные действия. В статье разобраны пять ключевых компонентов, архитектура и нюансы реализации. Пригодится в работе 😎

Repost from Security Vision
🎙 Николай Гончаров рассказал в эфире РБК ТВ, как ИИ меняет кибератаки и защиту от них Искусственный интеллект ускоряет подго
🎙 Николай Гончаров рассказал в эфире РБК ТВ, как ИИ меняет кибератаки и защиту от них Искусственный интеллект ускоряет подготовку кибератак и снижает порог входа в киберпреступность. Вместе с тем ИИ помогает специалистам по информационной безопасности быстрее анализировать события и выявлять угрозы. О том, как эти технологии используют обе стороны, в эфире РБК ТВ рассказал Николай Гончаров, директор департамента мониторинга кибербезопасности Security Vision. ✔️ В выпуске также обсудили, какие риски возникают у владельцев автомобилей с электронным доступом и какую роль многофакторная аутентификация играет в защите учетных записей. 📎 Запись эфира доступна по ссылке #SV_СМИ #SV_ИИ

Repost from Data Secrets
Институт AIRI и Сколтех разработали систему для анализа научных трендов Drift Inspector С ее помощью команда исследователей у
Институт AIRI и Сколтех разработали систему для анализа научных трендов Drift Inspector С ее помощью команда исследователей уже обработала 118 тысяч статей с главных конференций по машинному обучению, компьютерному зрению и обработке языка за 2018–2026 годы. Drift Inspector извлекает из аннотации только утверждения о научном вкладе и объединяет похожие в одну тему. В отличие от простого подсчёта ключевых слов, такой подход позволяет группировать разные формулировки одной идеи и разделять случаи, когда одно и то же слово используется в разных значениях. Для анализа динамики каждой темы система рассчитывает долю статей за год, в которых встречается хотя бы одно утверждение из соответствующей группы. Кластеризацию также оценивали с помощью внешней таксономии, а качество извлечения проверяли с помощью валидированного ИИ-судьи. https://hamyrappy.github.io/drift-inspector-acl/

Repost from AISecHub
photo content

22% организаций готовы разрешить ИИ-агентам самостоятельно отражать кибератаки без согласования с человеком Консалтинговая ко
22% организаций готовы разрешить ИИ-агентам самостоятельно отражать кибератаки без согласования с человеком Консалтинговая компания PwC опубликовала итоги глобального опроса, посвященного ключевым угрозам в сфере кибербезопасности. В материале рассматриваются готовность организаций к кибератакам, инвестиции в информационную безопасность, защита данных, применение ИИ для противодействия угрозам и управление связанными с ним рисками. Некоторые результаты: • 50% руководителей в сфере информационной безопасности считают атаки на системы искусственного интеллекта одной из пяти угроз, к которым их организации наименее подготовлены; • среди атак с использованием ИИ организации наименее подготовлены к действиям автономных ботнетов — сетей зараженных устройств, управляемых ИИ (53%); • полностью самостоятельное выполнение защитных действий ИИ-агентами без согласования с человеком готовы разрешить 22% организаций. Еще 38% допускают самостоятельное выполнение только действий с низким уровнем риска, а 36% предпочитают сохранять за человеком право утверждать все действия ИИ; • главным препятствием для расширения самостоятельности ИИ-агентов в кибербезопасности 55% респондентов назвали сомнения в надежности и зрелости существующих технологий. Узнать другие результаты → (ENG, 40 стр.)

Repost from AISecHub
Threat Modeling for AI Systems (Adrien O’Hana) https://awesomecybersecurityconferences.com/talk/zroXcBDsal4

Repost from Хайстекс
🧠 Архитектура корпоративного AI-шлюза и почему классические прокси не справляются с генеративным ИИ Первый шаг при стихийном
🧠 Архитектура корпоративного AI-шлюза и почему классические прокси не справляются с генеративным ИИ Первый шаг при стихийном внедрении нейросетей — ограничить прямой доступ во внешнюю сеть и направить запросы через привычный корпоративный прокси. Однако у генеративного ИИ иная специфика: стандартные прокси не умеют выявлять конфиденциальные данные в ответах моделей, не видят утечек в промптах и не защищают от перерасхода токенов. В первой статье цикла о создании корпоративного AI-шлюза на Хабре разбираем: 🤨 почему классические балансировщики не рассчитаны на работу с LLM; 🤨 как устроена архитектура специализированного AI-шлюза; 🤨 как платформа AI Оптимум обеспечивает контроль контекста, учет токенов и безопасность данных. 📱 Читать статью

Repost from N/a
📌Безопасность ИИ-агентов: почему проверять отдельные действия уже недостаточно? 5–7 ноября прошла IV научная конференция фак
📌Безопасность ИИ-агентов: почему проверять отдельные действия уже недостаточно? 5–7 ноября прошла IV научная конференция факультета компьютерных наук НИУ ВШЭ. Выступил с докладом «Безопасность автономных ИИ-агентов: от локальной проверки действий к оценке траекторий поведения». Хочу немного рассказать, о чём была работа и почему считаю это направление важным. Сегодня всё больше внимания уделяется автономным ИИ-агентам. Они уже способны самостоятельно работать с файлами, обращаться к внешним сервисам, выполнять программный код, изменять репозитории и взаимодействовать с другими системами. И здесь возникает интересная проблема. 🔵Может ли последовательность разрешённых действий привести к нарушению безопасности? Оказывается, вполне. Представим ИИ-агента, который работает с программными репозиториями. Сначала он читает файл из закрытого репозитория. Затем сохраняет информацию в свою память. Позже, уже в другом сеансе, использует эту информацию при подготовке изменений и публикует результат в открытом репозитории. Каждое действие по отдельности может быть разрешено. Но если в опубликованный результат попал секретный ключ из закрытого файла, мы получаем утечку данных. Формальная проверка прав доступа на каждом отдельном шаге такую проблему может не обнаружить. ⏩Именно этому и было посвящено моё исследование. Я предлагаю рассматривать безопасность ИИ-агента с учётом всей существенной истории его действий, изменений состояния системы и текущих условий выполнения задачи. В рамках работы сформирована модель, которая учитывает состояния, события, действия, требования безопасности и свидетельства их выполнения. На её основе предложена схема непрерывного контроля: перед выполнением значимого действия специальный механизм проверяет его допустимость с учётом предшествующих событий, происхождения используемых данных, действующих полномочий и ограничений. В результате возможны три решения: разрешить действие, приостановить его для уточнения информации или запретить. Отсюда возникает и ещё одна идея: автономность ИИ-агента не обязательно должна быть постоянной. Она может изменяться в зависимости от текущих условий, доступных сведений и требований безопасности. Например, если у агента отозвали право публиковать изменения, это ещё не означает, что ему нужно полностью прекратить работу. Он может продолжить подготовку локальных изменений, не выполняя запрещённую операцию. В конце ноября планирую продолжить обсуждение этой тематики уже на AI Journey 2026. На мой взгляд, именно такие вопросы будут становиться всё важнее по мере распространения автономных ИИ-систем. Ведь если мы доверяем агенту самостоятельное выполнение действий, необходимо понимать не только то, что он может сделать, но и как контролировать безопасность его поведения на протяжении всей работы. Без права на ошибку ▶️

Repost from GitHub Community
REA — реконструируйте все, что угодно, с помощью агентов, от поведения приложения до собственных двоичных файлов. 🐱 GitHub
REA — реконструируйте все, что угодно, с помощью агентов, от поведения приложения до собственных двоичных файлов. 🐱 GitHub

Repost from GitHub Community
Flowsint — современная платформа для наглядных, гибких и расширяемых исследований на основе графов. Для аналитиков и следоват
Flowsint — современная платформа для наглядных, гибких и расширяемых исследований на основе графов. Для аналитиков и следователей в области кибербезопасности. 🐱 GitHub

5 мощных нейросетей без встроенной цензуры, которые можно скачать бесплатно На Hugging Face появились модифицированные версии известных LLM с ослабленными механизмами отказа. Никакой подписки и обязательного облачного API: веса доступны для самостоятельного запуска. 1. Qwen 3.8 27B - версия от Huihui AI с изменёнными весами для уменьшения количества отказов. https://huggingface.co/huihui-ai/Huihui-Qwen3.8-27B-abliterated 2. Google Gemma 4 31B - модификация Heretic в формате GGUF для локального инференса. https://huggingface.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF 3. OpenAI GPT-OSS 120B - версия HauhauCS Aggressive с ослабленными ограничениями. Доступна в MXFP4 GGUF. https://huggingface.co/HauhauCS/GPTOSS-120B-Uncensored-HauhauCS-Aggressive 4. DeepSeek V4.1 Flash - модифицированная версия большой MoE-модели, распространяемая в GGUF. https://huggingface.co/huihui-ai/Huihui-DeepSeek-V4.1-Flash-1017-abliterated-GGUF 5. NVIDIA Nemotron 3.5 Bolt 74B - модель с ослабленным механизмом отказов и несколькими вариантами квантования. https://huggingface.co/AtomicChat/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-Uncensored-GGUF Как убирают ограничения? Часто используют *abliteration*: находят в активациях модели направления, связанные с отказами, и изменяют соответствующие веса. Это позволяет уменьшить число отказов без полноценного дообучения.

Repost from Data Secrets
Anthropic выпустили в опенсорс FlashProve – инструмент для доказуемого инференса https://github.com/anthropics/FlashProve По
Anthropic выпустили в опенсорс FlashProve – инструмент для доказуемого инференса https://github.com/anthropics/FlashProve По сути они предложили прототип открытого криптографического протокола, через который любой проверяющий без доступа к весам может убедиться, что ответ выдала именно та модель, которая была заявлена провайдером. Нужна такая штука например для того, чтобы проверять, что роутинг-сервис не подменяет модель на более дешевую, или что модель в контуре компании не была заменена злоумышленниками. Работает это так: провайдер заранее публикует цифровую печать своих весов, а к каждому ответу затем прикладывает файл-доказательство. Мэтч этого файла и печати означает подлинность модели, и проверить его можно на обычном компьютере без GPU и весов. Доказательство весит около 19 МБ на запрос в 1024 токена, а проверка занимает около 17 секунд. Понятно, что это все еще в разы дороже обычного инференса, но, для сравнения, предыдущий результат составлял около 14 часов проверки и доказательство на 93 ГБ. Алгоритм основан на методе zkSNARK. Он известен достаточно давно, но заслуга Anthropic именно в том, что они смогли оптимизировать его до практичных скоростей на модели до 400В параметров. Кстати, в статье написано, что ускорением и оптимизацией в основном занимался Claude. Может быть так и до детектора происхождения текстов недалеко

DeepSeek предложил архитектуру супер агента, который работает как коллега Команда DeepSeek Harness выпустила статью о том, как работает их внутренняя система и выложила открытый прототип с частью идей. Авторы отмечают, что сегодняшние агенты в основном завязаны на 1 сессию, а как только задач становится больше 3–5, человек уже не может уследить за ними. Поэтому, как отмечают исследователи, основным ограничением при работе со многими задачами становится внимание человека, а не модель. Команда описала суперагента с 4 качествами: непрерывность, продуктивность, проактивность и постоянство. Суть в том, что диспетчер общается с людьми и раздаёт задачи, а исполнители ведут их параллельно, каждый в своём изолированном контексте. Кроме того, команда описывает и нерешенные вопросы: 1. безопасность, 2. долговременная память, 3. масштабирование, 4. интерфейс 5. взаимодействие общих командных агентов с личными ассистентами, в том числе между организациями.

DeepSeek dropped Super agent An agent framework that works through a repo's GitHub issues and PRs with many agents in paralle
DeepSeek dropped Super agent An agent framework that works through a repo's GitHub issues and PRs with many agents in parallel, designed to take as little human attention as possible while delivering as much value as possible. GitHub.

Вглянув на сырые веса, GPT-6 Astra может определить, для чего была обучена сеть. И без какой-либо обратной связи от среды у нее не возникает проблем с написанием с нуля небольших сетей для игры в игры, которые обыгрывают сети, обученные с помощью PPO в течение 100 миллионов шагов. Точно так же, получив задачу улучшить Qwen3.5-0.8B в математике без использования градиентов, Astra выявляет проблему в ее весах, вызывающую циклы рассуждений, о которых предупреждает собственная карточка модели Qwen, и исправляет это путем нативного редактирования 0,016% весов. При тех же настройках сэмплирования эта коррекция весов повышает результат на MATH-500 с 7,9% до 48,1% и обобщается из коробки на следование инструкциям, повышая IFEval в 3 раза. Все это возможно без разрешения Astra писать циклы обучения. Она использует свои рассуждения, чтобы понять, что вычисляет или должна вычислять каждая часть нейронной сети, и соответствующим образом изменяет веса. Мы называем это Программированием в пространстве весов. Какая-то новая хайповая штука вышла: https://rikiyat.github.io/blog/weight-space-programming/

🔎 Positive Technologies впервые расследовала кибератаку, полностью проведенную ИИ-агентами. Специалисты департамента реагирования на киберугрозы (PT ESC IR) впервые столкнулись с успешной атакой на инфраструктуру российской компании, которую, предположительно, полностью выполнил искусственный интеллект. По словам экспертов, атаку отличали высокая скорость, большое количество действий за короткое время и шаги, выглядящие нелогично с точки зрения человека. За несколько часов злоумышленники получили доступ к более чем десяти узлам корпоративной инфраструктуры, адаптируя инструменты под конкретные задачи. 🛡 Где, кто, кого взломал — распишем вам поминутно.

Repost from Denis Sexy IT 🤖
Я всё думал, как объяснить это странное чувство, когда трогаешь последние модели и чувствуешь, что у них немного инопланетный разум – оно способно решать задачи, как думающее существо, но думающие существа, к которым я привык, так не думают 🗿 И вот наглядный пример: ресечеры попросили GPT6 Astra улучшить мелкий 0.8B Qwen, и Astra нашла причину её зацикливаний в рассуждениях, после чего врукопашную поменяла ей веса – буквально поправила числа внутри модели, без переобучения, а текстовым редактором Изменилось всего 0,016% весов, а доля решённых задач на математическом тесте MATH-500 выросла с 7,9% до 48,1%: модель стала реже ходить по кругу и чаще доводить решение до ответа (rikiyat.github.io) Это же еще значит, что оно так же бинарный код сможет редактировать ☕️ fun

🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов Вчера все пугали друг друга костюмами, а я наткнулся на ис
🎃 Хэллоуин прошёл, а у нас тут зомби-апокалипсис среди AI-агентов Вчера все пугали друг друга костюмами, а я наткнулся на исследование, в котором AI-агенты могут заражать друг друга. Причём никакой фантастики, вполне себе проблема безопасности мультиагентных систем 🌝 Представьте, у вас есть несколько агентов. Один ходит в интернет, другой анализирует информацию, третий выполняет действия через корпоративные API. И вот первому прилетает prompt injection. Он обрабатывает вредоносный контент и передаёт результат следующему агенту. Тот может принять его за доверенную информацию и передать дальше. Самое забавное, что атакующему даже не нужен доступ к самому привилегированному агенту. Достаточно найти способ повлиять на того, с кем он общается. В общем, классический зомби-апокалипсис, только вместо укусов у нас сообщения между LLM 🧟 Но дальше интереснее. На ICML 2026 представили исследование When Agents Go Rogue. Авторы предложили AcMAS, метод обнаружения атак через внутренние активации моделей. Идея довольно необычная. Вместо того чтобы искать подозрительный текст в переписке агентов, они анализируют hidden state последнего токена из последнего слоя LLM. Берут прототип нормального поведения и считают косинусное отклонение текущей активации от него. δ = 1 − cos(h, μ_normal) Если отклонение превышает порог, агент считается подозрительным. А вот дальше начинается почти экзорцизм. Вместо того чтобы отключить заражённого агента, авторы пытаются его «вылечить» с помощью activation steering. Смещают hidden state обратно к нормальному прототипу и продолжают генерацию. И это действительно дало интересные результаты. В экспериментах F1-score обнаружения достиг 0.94 для синхронных MAS и 0.93 для асинхронных. Правда, есть один момент, который меня зацепил сильнее всего. А что, если атаковать сам прототип нормального поведения? В синхронной версии AcMAS он адаптивно обновляется. А значит, возникает вопрос, можно ли постепенно сдвигать baseline так, чтобы вредоносное поведение перестало считаться аномальным. Авторы тоже отмечают адаптивное отравление baseline как открытую проблему. Ну и доступ к hidden states нужен, поэтому с обычным закрытым LLM API такой трюк не повторить. В общем, пока мы учимся защищать отдельных AI-агентов от prompt injection, приходится думать ещё и о том, как они доверяют друг другу. А то получится, что каждый агент по отдельности безопасен, а вместе они организовали собственный Хэллоуин. 📄 When Agents Go Rogue, ICML 2026

Последние три года мы много работали с атаками на GenAI-системы: изучали разные техники обхода защиты, сравнивали их эффективность, создавали собственные атаки. Но долго оставался открытым вопрос: что значит "приложение устойчиво к атакам"? Сколько тестов нужно запустить, чтобы принять решение о запуске в продакшен? Чтобы решить эту задачу, нам пришлось полностью пересмотреть методику тестирования в HiveTrace Red. Для каждого типа риска мы определяем критерии нарушения и допустимые пороги, затем рассчитываем необходимый объём проверки и подбираем целевые атаки. Ноль успешных атак из десяти и ноль из тысячи дают одинаковый показатель 0% ASR. Поэтому одной метрики успешности атак недостаточно. Нужно учитывать объём и разнообразие независимых тестовых запросов, чтобы понять, позволяют ли результаты подтвердить заданные требования к устойчивости приложения. Юрий Лебединский совместно с Сабриной Садиех и командой реализовал новый подход в продукте. Эти разработки мы скоро представим на вебинаре, а пока делимся подробным разбором в новой статье Юры на Хабре.