ML&|Sec Feed

Атака HalluSquatting использует галлюцинации ИИ для создания ботнетов Специалисты из Тель-Авивского университета, Израильского технологического института и компании Intuit продемонстрировали атаку HalluSquatting. Она строится на склонности ИИ-ассистентов «выдумывать» адреса репозиториев и других ресурсов. Эксперты показали, что атакующий может заранее зарегистрировать такой несуществующий адрес, дождаться подключения ИИ-агента и добиться выполнения вредоносного кода на машине пользователя. https://xakep.ru/2026/07/15/hallusquatting/

⚡️ Локальные LLM стали серьёзнее: Bonsai 27B весит меньше 4 ГБ PrismML взяла модель класса 27B и сжала её через 1-bit quantization: с примерно 54 ГБ до 3.8–3.9 ГБ. Заявляют, что при таком сжатии модель сохраняет около 90% качества оригинала. Это уже размер, с которым можно думать не только про серверы, но и про ноутбуки, браузер и смартфоны. Есть и более качественная версия Ternary Bonsai 27B: около 5.9 ГБ и до 95% качества baseline. Модель поддерживает мультимодальность, reasoning, кодинг, tool calling и агентные сценарии. То есть это не просто локальный чат, а база для локальных AI-агентов. Для Bonsai уже сделали WebGPU demo: кастомные kernel’ы позволяют запускать модель прямо в браузере. По словам Xenova, часть WebGPU-кода помогали писать Fable 5 и GPT 5.6 Sol. HF collection: https://huggingface.co/collections/prism-ml/bonsai-27b WebGPU demo: https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels @ai_machinelearning_big_data #llm #ai #ml

Microsoft Project Ire (Binary Analyzer): Это не просто исследование, а полноценный продукт Microsoft, который уже интегрируется в Defender. Агент автономно проводит полный reverse engineering, используя декомпиляторы, sandbox-ы для анализа памяти и фреймворки вроде angr и Ghidra. В тестах на 4000 сложных файлов он достиг точности 0.89 с уровнем ложных срабатываний всего 4%. Главное — он ведет "цепочку доказательств" (chain of evidence), объясняя каждый свой шаг https://www.microsoft.com/en-us/research/blog/project-ire-autonomously-identifies-malware-at-scale/

https://t.me/TheEngineRoom/134 Имба)

Очередную модель угроз вам в ленту. Стратегических. От Гартнера... 😱 В самом правом верхнем углу дипфейки. На этом фоне интересное исследование университетов Ланкастера, Стэнфорда и Калифорнии, где обнаружили любопытный парадокс: лица, сгенерированные современными нейросетями, вызывают у людей больше доверия, чем фотографии реальных людей, что открывает для мошенников массу возможностей; не новых, но все же… #модельугроз #тенденции #биометрия

🔒 Аппаратная уязвимость в чипе — это идеальное преступление. Ее невозможно обнаружить антивирусом, она не оставляет следов в системных логах и плевать хотела на то, насколько сложный у вас пароль. Долгое время кибербезопасность воевала на уровне софта, но этот рубеж пройден: программная защита очень важна, но главная уязвимость сместилась в «железо». Ситуация становится по-настоящему острой прямо сейчас, когда электроника массово переходит на аппаратный искусственный интеллект и нейроморфные системы. Если уязвима сама архитектура процессора, то нейросеть, управляющая авиацией, медицинским оборудованием или банковскими транзакциями, может работать неправильно. И цена такой ошибки — уже не украденный аккаунт, а техногенная катастрофа. Ирония в том, что мир оказался к этому не готов. Ни в России, ни за рубежом фактически нет готовых учебных программ, которые учили бы защищать систему на стыке микроэлектроники, ИИ и кода. Индустрия нуждается в людях, способных проектировать доверенную аппаратную базу. В ИНТЭЛ решили не ждать, пока об этом напишут в учебниках, и запустили программу «Интеллектуальные аппаратно-программные комплексы и системы» (направление 10.03.01 «Информационная безопасность»). Здесь готовят архитекторов, которые понимают систему изнутри. Вы будете изучать микроэлектронику для ИИ, проектировать доверенные микросхемы, внедрять алгоритмы машинного обучения и работать с доверенными платформами. Это уровень, на котором вы управляете разработкой и создаете технологии, которые в принципе невозможно взломать стандартными методами. Если вы хотите заниматься аппаратной информационной безопасностью - вам сюда.

Бэкдор в нейронке, который активируется электромагнитным импульсом Короткий электромагнитный импульс меняет один байт в промежуточных вычислениях нейронки, и затем она выдает результат, нужный атакующему. В новом исследовании описан способ активации бэкдора в модели с помощью физической атаки на устройство. Сначала злодей берет такую же плату и определяет точный момент для атаки. Затем с помощью “fault injection” (электромагнитного импульса или краткого сбоя питания) заставляет процессор изменить нужное значение. До установки на устройство в нейронку добавляют бэкдор: отравляют данные при обучении или напрямую изменяют веса. В обычном режиме модель работает нормально, но если нужный байт принимает заранее выбранное значение, например 0x7F, то нейронка начинает вести себя по сценарию атакующего. То есть физический сбой становится командой для модели. Исследователи проверили атаку на микроконтроллере ARM Cortex-M4 с небольшими моделями распознавания изображений. После успешного изменения байта бэкдор активировался в 100% экспериментов. Правда, вызвать нужный сбой получалось не с каждой попытки. Для электромагнитной атаки вероятность успеха составляла от 5,8% до 34,3%. В одном из сценариев требовалось в среднем девять попыток. Короче, нужно фаззить железку. Самая интересная часть исследвания описывает проверку защиты. Бэкдор, который прятали во входной картинке, нашли все инструменты защиты. Бэкдор, который прятался во внутренних вычислениях модели, нашла только одна система защиты, и то не во всех датасетах. Все потому, что он живет внутри рантайма модели и не появляется на поверхности атаки, за которой пристально следят средства защиты. Исследование показывает как превратить физический сбой в логическую инструкцию и открывает новую слепую зону в защите нейронок. @makrushin | MAX | VK | Сетка | Дзен

Наткнулся тут на краткий список языковых моделей, который специально обучены для целей ИБ и могут быть запущены целиком локально на не очень требовательном железе: 6️⃣ VulnLLM-R-7B. Заточена под поиск уязвимостей и багхантинг. Обходит на специфичных тестах Claude-3.7-Sonnet & CodeQL. Пишут, что находит даже Zero Day. Запускается на 8-16 ГБ. Называют королем оффенсива. 2️⃣ Foundation-Sec-8B-Reasoning. Эта открытая модель, разработанная Cisco, подходит для общих ИБ-задач, моделирования угроз. симуляции атак и поиска уязвимостей. 3️⃣ CyberSecQwen-4B. Эта, самая легкая модель, ориентирована легковесный CTI, триаж CVE/CWE, быстрый анализ кода. 4️⃣ Meta-SecAlign-8B. Заточена под полный цикл пентеста на базе ИИ-агентов (есть моделька на 70 миллиардов параметров). 5️⃣ Dolphin3-Cyber-8B. Хороша для CTF, blue/red teams, bug bounties. 6️⃣ LVPRP - Local Vulnerability Research Pipeline (на базе нецензурированной Qwen2.5-Coder-14B). Из названия понятно, для чего она. 7️⃣ DeepHat-V1-7B. Модель для пентестеров и редтимеров. Сразу отвечу на вопрос – сам не тестировал, так как узкоспециализированные модели мне не очень нужны и в целом хватает пока облачных фундаментальных. #ии #оценказащищенности #пентест

Предохранитель от катастрофических ошибок агентов существует — в сети завирусился инструмент, который не дает ИИ снести проект одной командой 😘 Destructive Command Guard перехватывает и блокирует команды вроде rm -rf ещё до запуска, а затем предлагает более безопасный вариант. Внутри 50+ наборов правил безопасности для Git, баз данных и инфраструктуры. Работает на macOS, Linux и Windows, при этом проект бесплатный и опенсорс. Защищаемся 👍

Потенциально интересные проекты за последнее время. Буду рад, если вы пошарите что-то что вам приглянулось https://github.com/JustVugg/colibri https://github.com/iOfficeAI/OfficeCLI https://github.com/s0ld13rr/pentestcode https://github.com/tenuo-ai/tenuo https://github.com/nexu-io/harness-engineering-guide https://github.com/deepseek-ai/DeepSpec https://github.com/DietrichGebert/ponytail https://github.com/MrMoshkovitz/gandalf-llm-pentester https://github.com/Vasco0x4/AIDA https://github.com/p-e-w/heretic https://github.com/avbiswas/text-albumentations https://github.com/avbiswas/neural-txt https://github.com/1nn0k3sh4/Alice-AI-Prompt-Jailbreak https://github.com/1nn0k3sh4/GigaChat-Prompt-Jailbreak

Комьюнити продолжает качать тему вредоносов на базе SLM (малых языковых моделей). В прошлом ноябре я про это писал и вот новая история, уже архитектурная. И если в случае с LOLMIL речь шла о больших языковых моделях, то сейчас многое можно сделать и на SLM. В интересное время живем… Интересно, что автор схемы пишет, что основное преимущество такого вредоноса – скорость и адаптация, что созвучно отчету ENISA, которая тоже говорит, что ключевое преимущество от ИИ в скорости, а не в точности или полноте. Когда у вас вредонос может постоянно спрашивать модель, адаптируя свое поведение под ответы, это реально снижает и порог входа, и упрощает написание ПО с враждебными намерениями. Ведь вам не надо заранее учитывать кучу всяких нюансов для целевых систем. Фраза: "х*як х*як и в продакшен" заиграла новыми красками... В правом нижнем углу и про защиту от такого написано. Хорошо, что почти ничего нового там нет - нестареющая классика в форме EDR, мониторинга, патчинга, управления секретами и т.п. #malware #ии #архитектура

Сам воркшоп был очень сильным. Нашли много хороших работ. Например, о том, как обучили VLA-агента в среде и выявили случаи, когда модель начинает «сходить с ума» (MultiSTEVE-1s). Или о том, что активации модели содержат больше информации для определения важных шагов рассуждения, чем сами токены (Reasoning Models Know What’s Important, and Encode It in Their Activations).

https://t.me/MLunderhood/373

Cloudflare анонсировала слой монетизации для agentic web: AI-агенты смогут платить сайтам прямо на уровне HTTP-запроса через x402 на edge. Идея в том, что агенты будут не только читать бесплатные страницы или ходить в заранее подключённые API, а смогут оплачивать доступ к данным напрямую. Сегодня AI-продукты получают внешнюю информацию через контракты, scraping, поисковые партнёрства, платные API или открытые страницы. Cloudflare хочет превратить такой доступ в обычный платный web request. Владелец сайта может сказать: «этот датасет стоит $0.01 за запрос», а Cloudflare проверит оплату ещё до того, как запрос дойдёт до сервера. Сценарий такой: агент запрашивает ресурс → получает 402 Payment Required → платит → повторяет запрос с подтверждением оплаты → получает ответ. Главное изменение в том, что платёж становится частью самого web-запроса. Для обычного пользователя это может означать, что ассистент иногда будет спрашивать разрешение потратить деньги перед выполнением задачи. Например: «Этот источник стоит $0.03. Использовать?» Research-агент может платить за закрытые источники, shopping-агент — за данные о товарах, сравнения, бронирования или private market data. Но есть условие: всё это заработает только тогда, когда агенты будут иметь кошельки, понимать x402 и соблюдать spending rules.

🧠 28% промышленных компаний подверглись атакам с применением ИИ: новая реальность ИННОПРОМ   Пока на выставке ИННОПРОМ-2026 обсуждают взрывной рост производства чипов и оптоволокна, эксперты по кибербезопасности бьют тревогу: цифровая трансформация принесла не только эффективность, но и новые уязвимости. По данным «Лаборатории Касперского», представленным на сессии «Доверять нельзя проверить», в 2025 году 28% промышленных предприятий в мире столкнулись с кибератаками, в которых злоумышленники использовали искусственный интеллект.   📊 Кто в зоне риска?    Наиболее уязвимой оказалась обрабатывающая промышленность — именно та отрасль, которая сейчас демонстрирует самый бурный рост на ИННОПРОМ. Здесь с ИИ-атаками столкнулись 36% компаний. На втором месте — дискретное производство (30%), далее следуют строительство (21%) и сельское хозяйство (20%). Для сравнения: в энергетике и транспорте этот показатель ниже (17–18%), что может быть связано с более жесткими регуляторными требованиями к защите критической инфраструктуры.   3️⃣ новых угрозы промышленного ИИ   Эксперты выделяют риски, специфичные именно для внедрения нейросетей в производство: ➡️ Атаки на цепочку ИИ-поставок. Злоумышленники научились внедрять вредоносный код прямо в LLM-модели или агентные навыки. Вместо взлома сервера достаточно подменить файл модели или добавить скрытую инструкцию в описание действий агента. ➡️ Излишняя автономность агентов. Чем больше полномочий у ИИ-агента, тем выше риск. Одна вредоносная инструкция в соцсети может заставить агента выполнить произвольный код, перевести криптовалюту или слить конфиденциальные данные. ➡️ «Теневой ИИ». Сотрудники используют запрещенные нейросети для рабочих задач без контроля ИБ-служб. Это создает неконтролируемые точки входа: работник может случайно загрузить вредоносную нагрузку или дать агенту избыточные права доступа.   💡 Что это значит для отрасли?   Кибербезопасность перестала быть просто «защитой периметра». Теперь это вопрос выживания производственных линий. Более трети (36%) промышленных предприятий уже включили ИИ-атаки в топ-5 самых значимых угроз — наряду с атаками на цепочки поставок и деятельностью APT-группировок. В обрабатывающей промышленности эта доля достигает 45%. Как отмечают эксперты, ответом на эти вызовы становится не отказ от технологий, а внедрение защитных решений на базе того же ИИ. Но пока баланс между скоростью цифровой трансформации и уровнем защиты остается хрупким.   Консорциум робототехники и «МИР Робототехники» — отраслевые медиапартнеры мероприятия #Робототехника #ИИ #Роботизация #Автоматизация #Данные #ЦОД #ЦифровойСуверенитет #ИННОПРОМ

«Группа Астра» выпустила агента «Астра ИИ [Код]» для разработки ПО в закрытом контуре «Группа Астра» вывела на рынок решение из собственной экосистемы — агента «Астра ИИ [Код]». Его клиентская часть развернута на рабочем месте, а серверная (модели и контур безопасности) в закрытом контуре или защищенном облаке. Инженер через терминал на естественном языке формулирует задачу, после чего агент анализирует кодовую базу, находит уязвимости, запускает тесты или планирует архитектуру новых функций. «Астра ИИ [Код]» создан для объектов КИИ, финансового сектора, госорганов и разработчиков софта. При этом выделяется пять сценария применения. Первый – автоматизация многошаговых задач, второй – аудит больших унаследованных кодовых баз при подключении новых команд к проекту. Третий сценарий предполагает генерацию тестов, документации, комментариев и обновление зависимостей, четвертый — исправление недочетов и оптимизацию производительности, а пятый — создание новых агентов на естественном языке. 🔗 Источник: https://astra.ru/about/press-center/news/gruppa-astra-vypuskaet-ii-agent-dlya-razrabotki-po-v-zakrytom-konture-kii/ *** 📎 В июле «Группа Астра» представила платформу «Боцман AI» для запуска ИИ-моделей внутри защищенного контура компании.

Pillar Security выпустили обновленную версию своего фреймворка SAIL, разработанного для обеспечения безопасности ИИ-систем на всех этапах их жизненного цикла. Для практического использования фреймворка SAIL авторы поделились также скиллом для ИИ-агентов, с помощью которого можно: ➡️Провести оценку по фреймворку, например, своих ИИ-агентов, чтобы выявить присущие риски (сформировать модель угроз). ➡️Сформировать план повышения уровня безопасности вашего проекта. ➡️Проверить на соответствие комплаинс-требованиям (например, ISO 42001). ➡️Сформировать опросник для оценки безопасности сторонних ИИ-решений. p.s. Скилл совместим с Claude Code, Codex, ChatGPT, Antigravity и другими skill.md-совместимыми агентами. #ai #framework #risk #sail #lifecycle #skill

Ночное-полезное: нашел репу, которая поможет с нуля собрать своего ИИ-агента ☺️ Внутри шаг за шагом за ручку проводят по сборке полноценного ИИ-ассистента для arXiv. Он сам будет забирать научные статьи, парсить PDF, искать и отвечать на вопросы. За 7 недель по итогу проходите весь путь от базы и построения инфраструктуры с Docker и FastAPI до агентного RAG и даже создания бота в Telegram. Решаем на выходных 😒