ML&|Sec Feed

Все выдержки об ИИ из приказа ФСТЭК № 117 П. 49: ИИ для мониторинга безопасности «Допускается использование доверенных технологий искусственного интеллекта для анализа событий безопасности». 🔹ФСТЭК впервые легализовал ИИ в ИБ-мониторинге, но с ключевым ограничением – только «доверенные» (российские) решения. Это значит, что: 😶Зарубежные SIEM (Splunk, ArcSight) не подходят; 😶Нужны продукты с сертифицированными ИИ-модулями (например, Sber AI или Yandex AI); П. 60: Запрет передачи данных «Не допускается передача лицу, разработавшему модель ИИ, информации ограниченного доступа». 🔹Это революционное требование запрещает: 😶Дообучение моделей на чувствительных данных (гостайна, персданные); 😶Использование SaaS-ИИ (ChatGPT, Claude, DeepSeek) для обработки госинформации; 🔹Даже российские вендоры (Sber, Yandex) не получат доступ к сырым данным – только к анонимизированным датасетам. П. 60: Защита ИИ-инфраструктуры «Защита за счет воздействия на: наборы данных, модели, параметры, процессы обработки». 🔹ФСТЭК предписывает защищать весь ИИ-стек: 😶Данные: Шифрование (КриптоПро), DLP (Гарда DLP), БД (Гарда БД) 😶Модели: Контейнеризация (Kubernetes); 😶API: Анализ трафика (Гарда WAF и NDR); Это сложнее, чем защита традиционных ИС. П. 61: Контроль запросов/ответов «Определены шаблоны запросов [...] контроль соответствия [...] разработаны критерии для выявления недостоверных ответов». 😶Фактически вводится «цензура ИИ»: 😶Для шаблонных интерфейсов – белый список команд (например, только SQL-запросы); 😶Для чат-ботов – фильтр тематик («запрещено спрашивать про гостайну»); Ответы ИИ проверяются на галлюцинации (ложные факты) – нужны теперь встроенные детекторы в LLM. П. 61: Реагирование на ложные ответы «Реагирование [...] посредством ограничения области принимаемых решений». 🔹Если ИИ сгенерировал рискованный ответ (например, «удалить базу данных»), система должна: 😶Автоматически заблокировать выполнение команды; 😶Изолировать сегмент ИС; Это требует интеграции ИИ с системами управления доступами П. 61: Локализация ИИ «Доверенные технологии ИИ [...] включаются непосредственно в состав ИС». 🔹Облачные ИИ-сервисы запрещены! Разрешены только: 😶Локальные (on-premise); 😶Российское ПО #Кибербезопасность #ДляВсех #ИИ #ФСТЭК Топ Кибербезопасности Батранкова

Альянс "пяти глаз" 🦅, но без канадцев, выпустил неплохое руководство по защите датасетов для проектов по машинному обучению и искусственному интеллекту 🧠 #ии #mlsecops

🫙 MCP-плагины теперь запускаются в разы проще — вышла база 450+ контейнерных версий серверов, которые можно установить в один клик через Docker без ручной настройки. ИИ-агенты подключаются к любым тулзам на выбор — GitHub, Google, Todoist, Notion, Telegram, Airtable, Maps, Calendar и многим другим. Им можно поручать задачи и сразу наблюдать за процессом. Сохраняйте — тут. @notboring_tech

😱Просто оставлю это здесь) Кейс: Взлом голосового ассистента СберБанка (2022–2023) Что произошло? Мошенники нашли способ обманывать биометрическую систему Сбера, используя синтезированные голоса. Они: 1. Записывали короткие образцы голоса жертв (например, из соцсетей или телефонных разговоров). 2. С помощью нейросетей (подобных VALL-E от Microsoft) создавали клон голоса. 3. Звонили в колл-центр банка и проходили верификацию, после чего получали доступ к счетам. Результат: - По данным СберБанка, в 2023 году было более 100 успешных атак с использованием фейковых голосов. - Банк усилил защиту, добавив проверку "живого голоса" (анализ дыхания, пауз и артефактов синтеза). --- Как работала эта атака технически? 1. Сбор данных: - Мошенники записывали голос жертвы через звонки ("Привет, как дела?") или сливы аудио из Telegram. 2. Обучение модели: - Использовали opensource-нейросети (например, Silero или Kaldi), чтобы дообучить модель на голос жертвы. 3. Обход биометрии: - Банковские системы проверяли только чистоту голоса, но не детектировали синтетику. --- Как сейчас защищаются? 1. СберБанк: - Ввел мультимодальную проверку (голос + лицо + поведенческий анализ). - Добавил защиту от речевых deepfake (алгоритмы ищут цифровые артефакты). 2. ЦБ РФ рекомендации: - Запрет на голосовое подтверждение для переводов >15 тыс. руб. (2024). - Требование двухфакторной аутентификации для операций. --- Что делать пользователям? ✅ Не записывать голосовые сообщения с фразами типа "Да", "Подтверждаю", "Я согласен". ✅ Отключить голосовую биометрию в банках, если она не критична. ✅ Использовать сложные пароли + SMS/push-подтверждение. Этот случай показал, что даже продвинутые ИИ-системы уязвимы к атакам с нейросетями. Но благодаря публичности атак банки быстро усилили защиту.

ContextGem — это бесплатная платформа LLM с открытым исходным кодом, которая значительно упрощает извлечение структурированных данных и аналитических сведений из документов с помощью минимального количества кода. 5️⃣ GitHub

📌Учебное пособие по диффузионным моделям для обработки изображений и СV. Учебник Стэнли Чана, профессора кафедры электротехники, вычислительной техники и статистики Purdue University (США), содержит ультраполезные знания в области диффузионных моделей в контексте обработки изображений и CV. Он доступно и детально объясняет сложные концепции и подходит как опытным профессионалам, так и тем, кто только начинает изучать эту область. Для профессионалов, уже работающих с диффузионными моделями или стремящихся углубить свои знания, этот учебник послужит отличным ресурсом, который предоставляет прочную основу для понимания и применения концепций в прикладных задачах. ▶️ Содержание: Вариационный автоэнкодер (VAE) 🟢Структурные элементы VAE 🟢Нижняя граница доказательства (ELBO 🟢Оптимизация в VAE 🟢Заключение и ограничения Вероятностная модель диффузионного денойза (DDPM) 🟠Базовые элементы DDPM 🟠Нижняя граница доказательства (ELBO) 🟠Распределение обратного процесса 🟠Обучение и инференс 🟠Предсказание шума 🟠Неявная модель диффузионного денойза (DDIM) 🟠Заключение и преимущества DDPM и DDIM Динамика сопоставления баллов Ланжевена (SMLD) 🟢Выборка из распределения 🟢Функция оценки Штейна 🟢Методы сопоставления баллов 🟢Итоги по SMLD Стохастическое дифференциальное уравнение (SDE) 🟠От итерационных алгоритмов к обыкновенным дифференциальным уравнениям 🟠Что такое SDE? 🟠SDE для DDPM и SMLD 🟠Численные решатели для ODE и SDE 🟠Заключение и взаимосвязь между DDPM, SMLD и SDE Уравнения Ланжевена и Фоккера-Планка 🟢Броуновское движение 🟢Мастер-уравнение 🟢Разложение Крамерса-Мойала 🟢Уравнение Фоккера-Планка 🟢Заключение и связь между SDE и уравнением Фоккера-Планка 🟡Arxiv @ai_machinelearning_big_data #AI #ML #Tutorial #Duffusion

🦖 Tokasaurus — универсальный токенизатор с поддержкой 70+ языков Tokasaurus — это быстрый и лёгкий инструмент для токенизации текста, созданный на базе библиотеки tokenizers от Hugging Face. Он поддерживает более 70 языков программирования и естественных языков. 🔍 Что умеет Tokasaurus: • ✂️ Разбивает текст на токены для языковых моделей • 🧠 Поддерживает GPT-совместимые токенизаторы (tiktoken, BPE и другие) • 🌍 Работает с Python, JavaScript, C++, Rust, Markdown, JSON, YAML и многими другими • ⚡ Очень быстрый — написан на Rust с Python-обёрткой • 📦 Используется как CLI, Python-библиотека или Web API pip install tokasaurus 🧪 Пример использования (Python):

from tokasaurus import tokenize

tokens = tokenize("def hello(): print('Hi')", model="gpt2")
print(tokens)

🎯 Кому подойдёт: • Тем, кто работает с LLM • Для оценки длины prompt'ов • Для предобработки кода и текста • Для интеграции в пайплайны, IDE, аналитические инструменты 🔗 GitHub: github.com/ScalingIntelligence/tokasaurus 💡 Если тебе нужен универсальный и быстрый токенизатор — попробуй Tokasaurus. @data_analysis_ml

👀 HashiCorp представила Terraform MCP Server: новый шаг в интеграции ИИ с IaC MCP — это стандарт, который помогает языковым моделям получать структурированные и машиночитаемые данные из внешних систем в реальном времени. Вместо использования статических обучающих данных ИИ-инструменты могут запрашивать актуальную информацию с помощью JSON-over-gRPC для более точных и контекстно-зависимых ответов. Это позволяет ИИ-системам, таким как Claude, GitHub Copilot и ChatGPT, генерировать более точный и актуальный код Terraform, опираясь на проверенные источники вместо устаревших или вымышленных примеров из обучающих данных. ИИ-модель может запросить входные аргументы для провайдера, шаблоны использования популярного модуля или последнюю доступную версию — через стандартизированные запросы к MCP-эндпоинту. Terraform MCP Server пока на ранней стадии разработки, но уже был продемонстрирован на Microsoft Build 2025 в интеграции с GitHub Copilot. Это позволило разработчикам получать рекомендации по Terraform, основанные на данных из реестра, прямо в их IDE. Делитесь новостью с коллегами 🫡 @DevOpsKaz 😛

Ни один вывод с вашего сервера MCP не является безопасным #MCP #AI #Anthropic #LLM #TPA #ATPA #FSP #pentest #research Исследование CyberArk показало: MCP (Model Context Protocol) от Anthropic уязвим не только к классическим атакам Tool Poisoning (TPA), когда вредоносный код внедряют в описание инструмента, но и к Full-Schema Poisoning (FSP). Теперь атаковать можно любые поля схемы — имена параметров, типы, обязательные поля и даже новые незадокументированные элементы. Самое опасное — Advanced Tool Poisoning Attack (ATPA): вредоносная логика внедряется в вывод инструмента или сообщения об ошибках. LLM, считая их легитимными, может раскрывать чувствительные данные (например, приватные ключи) или выполнять вредоносные действия. Такие атаки сложно обнаружить — они могут активироваться только в продакшене и выглядеть безобидно на этапе тестирования. Вывод: доверять MCP-серверам нельзя, проверять нужно все поля и любые ответы инструментов 🔗Читать полностью 🌚 @poxek | 🌚 Блог | 📺 YT | 📺 RT | 📺 VK | 🌚 Мерч

CyberGym: Evaluating AI Agents’ Cybersecurity Capabilities with Real-World Vulnerabilities at Scale https://arxiv.org/pdf/2506.02548

Learn-agentic-ai — изучите агентный ИИ с помощью шаблона проектирования Dapr Agentic Cloud Ascent (DACA) и агентно-ориентированных облачных технологий. 5️⃣ GitHub