ML&|Sec Feed

🇩🇪 Германия: руководство по пентесту LLM 📄24 сентября 2025 года Немецкий совет по кибербезопасности (Allianz für Cyber-Sicherheit, ACS) представил руководство по проведению пентестов больших языковых моделей (LLM). Документ направлен на унификацию подходов к оценке безопасности LLM и стандартизацию услуг пентеста. Руководство описывает процесс пентестирования LLM в виде четырёх фаз: 1️⃣ Понимание бизнес-контекста и анализ текущего состояния На этом этапе формулируются цели и задачи тестирования, определяется его объем и границы. Также проводится анализ исходного состояния системы и учитываются правовые предпосылки и ограничения, связанные с проведением пентеста. 2️⃣ Моделирование угроз, приоритизация и планирование теста Определяются потенциальные угрозы и сценарии их реализации, проводится их ранжирование по степени значимости. На основе этого формируется план тестирования, включающий выбор приоритетных сценариев и ключевых точек проверки. 3️⃣Тестирование и документация Выполняются практические проверки с использованием методов и инструментов пентестирования. Все действия фиксируются, результаты документируются, а оформление ведётся в соответствии с минимальными требованиями к отчетности. 4️⃣ Оценка, анализ рисков, подготовка рекомендаций и отчетность Проводится итоговая оценка результатов тестирования, анализируются выявленные уязвимости и риски, формулируются практические рекомендации по их устранению. Итоговый отчет содержит систематизированные выводы и рекомендации для заказчика. В приложение к руководству включены: 🔘 шаблоны и чек-листы для угроз, тестовых случаев и отчетности; 🔘 рекомендации по мерам защиты и реагированию; 🔘 обзор юридических и нормативных аспектов. 📄 Ознакомиться с руководством можно по ссылке.

Mcp-context-forge — это многофункциональный шлюз, прокси-сервер и реестр MCP, который объединяет сервисы MCP и REST, объединяя обнаружение, аутентификацию, ограничение скорости, мониторинг, виртуальные серверы, мультитранспортные протоколы и дополнительный пользовательский интерфейс администратора в единую чистую конечную точку для ваших ИИ-клиентов. Он работает как полностью совместимый сервер MCP, который можно развернуть с помощью PyPI или Docker, и масштабируется до многокластерных сред в Kubernetes с помощью федерации и кэширования на базе Redis. 🐱 GitHub

https://open.aictf.sg/ Завтра начинаются соревнования, всем удачи !)

Colace-agent-mesh — платформа, управляемая событиями, предназначенная для создания и организации работы многоагентных систем искусственного интеллекта. Она обеспечивает бесшовную интеграцию агентов ИИ с реальными источниками данных и системами, упрощая сложные многоэтапные рабочие процессы. 🐱 GitHub

Motia — современный серверный фреймворк, объединяющий API, фоновые задания, рабочие процессы и агентов искусственного интеллекта в единый базовый примитив со встроенной возможностью наблюдения и управления состоянием. 🐱 GitHub

🌐 ВЭФ опубликовал Playbook по ответственному ИИ Всемирный экономический форум выпустил отчет "Advancing Responsible AI Innovation: A Playbook", отмечая, что менее 1% организаций по всему миру внедрили ответственный ИИ в «комплексной и проактивной форме». ВЭФ подчеркивает, что восполнение этого пробела представляет уникальную возможность укрепить общественное доверие, обеспечить защиту прав и создать устойчивые рынки при ускорении инноваций в области ИИ. Разработанный Альянсом по управлению ИИ ВЭФ совместно с Accenture, план действий предлагает девять практических и масштабируемых стратегий для преобразования принципов ответственного ИИ в реальные операционные практики. #ResponsibleAI #AIRegulation #WEF #AIandLaw

Что такое Adversarial Suffixes и чем они опасны? Рассказывают коллеги из лаборатории искусственного интеллекта «Криптонита». #нейрословарь ❗️Если прямо попросить большую языковую модель (вроде GPT-4 или LLaMA 3) написать инструкцию о взломе, она ответит отказом. Также она не станет помогать с другими вещами на грани закона. Однако существуют методы, заставляющие языковые модели раскрывать потенциально опасные данные. Один из них относится к классу состязательных атак (adversarial attacks). ❗️В нём используются специальным образом подобранные последовательности символов, которые называют adversarial suffixes (состязательные суффиксы). Они нарушают работу механизма внимания модели, из-за чего она игнорирует системные инструкции по безопасности и выполняет вредоносную часть запроса. Исследование этой техники показывает, насколько уязвимы даже самые продвинутые модели, в обучение которых вложили десятки миллионов долларов. Любопытно, что состязательные суффиксы никак не меняют основную часть запроса. Они просто добавляются в его конец и перегружают механизм внимания. В итоге модель выдаёт детальный ответ с потенциально опасными данными, хотя без добавления суффикса ответила бы отказом. В настоящее время предложено несколько методов защиты: 🟦Adversarial Training (состязательное обучение): модель дополнительно обучают на примерах таких атак, чтобы научить их распознавать и игнорировать. 🟦Perplexity Filtering (фильтрация входных данных): модель просто отклоняет неестественно сформулированные запросы, которые вызывают у неё высокий уровень «недоумения» (perplexity). 🟦Prompt Moderation (модерация промптов): дополнительное использование отдельной, более компактной модели для автоматического распознавания и блокировки вредоносных запросов до их отправки в основную модель. ❗️Состязательные суффиксы демонстрируют, что выравнивание (alignment) моделей — это не разовая задача, а непрерывная «гонка вооружений». Понимание природы этих уязвимостей — важный шаг к созданию более надёжных и безопасных систем искусственного интеллекта.

https://saif.google/secure-ai-framework Google обновила свой фреймворк по безопасности ИИ SAIF до версии 2.0. Добавились Агенты.

За 404 секунды можно понять, почему в комьюнити обсуждают MCP как следующий шаг в развитии open source Model Context Protocol убирает хаос интеграций: теперь AI-агент может одинаково легко работать с IDE, таск-трекерами, базами данных и другими сервисами. Открытый стандарт делает экосистему разработки более прозрачной и управляемой. В выпуске «404 секунды» — разбор MCP и того, как его уже поддержал SourceCraft, чтобы AI-агенты могли управлять полным циклом разработки: от кода и автотестов до деплоя в облако. Подробности — в свежем выпуске на YouTube или VK Видео

В ВТБ и МГУ им. М.В. Ломоносова разрабатывают ИИ-детектор для проверки ответов моделей на этичность и ошибки ИИ-решение планируют внедрить в цифровые сервисы банка. Оно будет работать поверх других моделей и проверять каждый текст до его отправки пользователю. Разработка сможет классифицировать десятки типов галлюцинаций, фактических ошибок и некорректности. При проверке будут учитываться культурные особенности России, законодательство, специфика общения с клиентами, внутренние правила работы ВТБ, юридические и этические аспекты. Детектор не принимает решений о том, как переделать текст. Над новой моделью работают ученые и специалисты из сферы математики, лингвистики, психологии, юриспруденции и культурологии. Разработчики на первых этапах провели интервью со специалистами банка, которые принимают участие во взаимодействии с клиентами. Постепенное внедрение планируется с 2026 года. Стоимость проекта не раскрывается. По оценке эксперта исследовательского Центра ИИ РАНХиГС Сергея Дубровского, решение может обойтись в 100–270 млн руб., если в разработку входят формирование датасетов, обучение моделей, тестирование и интеграция в банковские системы. 🔗Источник: https://www.vedomosti.ru/technology/articles/2025/10/07/1144774-vtb-razrabotaet-eticheskogo-tsenzora *** 📎В ВТБ в сентябре 2025 года сообщали, что банк использует около 1,5 тыс. ИИ-моделей во всех бизнес-процессах. Организация оценивает эффект от внедрения ИИ-решений в десятки миллиардов рублей чистого дохода.

🔐 SecureBERT 2.0: ИИ который учится говорить на языке кибербезопасности 🌍 Мир не останавливается ни на секунду. Сегодня аналитики разбирают фишинговую кампанию, завтра ищут уязвимость в ядре Linux, а послезавтра анализируют подозрительные логи из облака. Данных становится всё больше и они всё сложнее. 💡 Так появился SecureBERT. Это не универсальная модель, а ИИ натренированный именно на языке киберугроз. 👉 GitHub проекта 🤖 Ученик цифровых угроз SecureBERT 2.0 «рос» на реальных материалах: 📑 отчёты об APT группах 🛡️ описания CVE и багов 📰 технические блоги исследователей 💻 миллионы строк кода включая эксплойты 📊 Объем тренировочных данных: 🔹 более 13 миллиардов текстовых токенов 🔹 более 53 миллиона токенов кода Это в 13 раз больше чем у первой версии модели. 🧠 Архитектура Модель основана на ModernBERT и умеет: 📏 работать с длинными документами 🗂️ понимать структуру текста и кода 🔀 совмещать язык и программный код ⚡ обрабатывать данные быстрее и эффективнее 🔎 Что умеет модель? 1️⃣ Поиск информации 🔍 Находит документы с точностью до 88.8% ⏱️ Аналитики SOC экономят часы на поиске нужных данных 2️⃣ Извлечение сущностей (NER) 📌 Определяет уязвимости, индикаторы компрометации, малварь 📈 F1 score: 0.945 — почти идеальная точность 3️⃣ Поиск уязвимостей в коде 🛠️ Видит SQLi XSS переполнения буфера ⚖️ Балансирует точность и минимум ложных срабатываний 🔮 Планы на будущее Авторы планируют: 📈 увеличить размер модели 🔗 встроить её в SIEM и SOAR 🛰️ расширить использование: от анализа логов до поиска эксплойтов Stay secure and read SecureTechTalks 📚 #ИИ #кибербезопасность #SecureBERT #AI #SOC #DevSecOps #Cisco #угрозы #BigData #LLM