ML&|Sec Feed

Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов / Хабр https://habr.com/ru/companies/owasp/articles/896328/

Critical AI Security Guidelines by SANS Institute (Draft) 🔐 Access: Use least privilege + zero trust. Lock down models, vector DBs, and APIs. 📦 Data: Protect training + augmentation data. No sensitive info in prompts. Sanitize everything. 🚀 Deployment: Avoid hardcoding rules into LLMs. Use RAG + ACLs. Vet public models for backdoors. 🧠 Inference: Validate inputs and outputs. Guardrails help, but can't be your only defense. 📊 Monitoring: Log prompts, watch for drift, detect abuse. Monitor API usage closely. ⚖️ GRC: Track AI usage, align with evolving regs (EU AI Act, EO 14110, etc). Build AIBOMs + model registries.

«Авито» врывается в ИИ — компания представила две свои генеративные нейросети: A-Vibe (работает с текстом) и A-Vision (анализирует изображения и текст). Их обучили на Qwen2.5 с 7 млрд параметров, а кастомный русскоязычный токенизатор ускорил генерацию ответов в 2 раза. Нейросети помогают продавцам — генерируют описания объявлений, подсказывают в чатах, модерируют фото и анализируют отзывы. Ставка на GenAI — не ради хайпа: «Авито» вложит в развитие технологии 12 млрд рублей и ждет 21 млрд выручки к 2028 году. Параллельно компания запускает образовательные программы, чтобы готовить своих специалистов по ИИ.

Блокнот с практикой по прямым и непрямым промпт-инъекциям https://colab.research.google.com/drive/1ldEu4oO7L1fWgg2xQrBpC66XQBl8r4Tg?usp=sharing За авторством https://t.me/llmsecurity

https://www.dropzone.ai/ очередной ии-аналитик сок

расследование инцидентов с помощью ии https://www.culminatesecurity.com/

https://www.bricklayer.ai/ ии-агенты для сокк

защита компаний от нападок в интернете Deepfakes countering, Information Verification, News Threat Intelligence https://blackbird.ai/

использует ии для автоматизации soc https://torq.io/

использует ии для автоматизации soc https://www.aistrike.com/

Как работает MCP: протокола для интеграции ИИ с внешним миром 🔥 Всем привет! Решил сегодня разобраться с тем как работает MCP. В итоге я за 2 часа навайбкодил MCP для Telegram, который позволяет ИИ анализировать каналы и сообщения (что собственно и иллюстрирует картинка выше). Что такое MCP и почему это важно Наши умные ИИ-ассистенты (они же LLM) не имеют возможности взаимодействовать с окружением (например с компьютером или браузером). Чтобы показать ChatGPT что-то, приходится делать "скриншоты" (копировать тексты) или подробно описывать то, что видите сами. Model Context Protocol (MCP) — решает эту проблему путем того, что стандартизирует как именно внешний мир и ИИ должны общаться. Как это работает Представьте MCP как систему переводчиков-посредников между ИИ и вашими программами: 1. Участники общения - ИИ-ассистент (например, Claude) — умный собеседник, который хочет помочь - Ваши приложения (Telegram, редактор кода, база данных) — инструменты с полезной информацией - MCP-переводчики — посредники, которые помогают им понимать друг друга 2. Как происходит диалог Когда вы спрашиваете ИИ о чем-то, что требует доступа к внешним данным (например, "какие сообщения в Telegram-канале самые популярные?"), происходит следующее: 1. Запрос: ИИ понимает, что ему нужно обратиться к Telegram 2. Поиск переводчика: Система ищет подходящего MCP-посредника для Telegram 3. Формальный запрос: ИИ формулирует структурированный запрос к Telegram через MCP 4. Получение данных: MCP-сервер связывается с Telegram, получает информацию 5. Перевод для ИИ: Данные преобразуются в понятный для ИИ формат 6. Анализ и ответ: ИИ обрабатывает полученные данные и отвечает вам Всё это происходит "за кулисами" — вы просто видите, что ИИ внезапно стал понимать ваши программы. Что умеет передавать MCP Ресурсы — "Вот, посмотри на это" Ресурсы — это любые данные, которые приложение хочет показать ИИ: - Файлы с кодом - Сообщения из Telegram - Записи из базы данных - Скриншоты интерфейса Каждый ресурс имеет свой "адрес" (URI), по которому ИИ может его запросить. Например, telegram://channels/@channel_name/messages — это адрес сообщений в конкретном канале. Важно: вы всегда контролируете, какие ресурсы доступны ИИ. Ваш редактор кода может предложить показать файл, но решение всегда за вами. Инструменты — "Сделай это для меня" Инструменты — это действия, которые приложение позволяет выполнить ИИ: - "Найди все сообщения со словом X" - "Проанализируй популярные посты" - "Покажи реакции на сообщение" Когда ИИ нужно выполнить такое действие, он отправляет запрос через MCP, а приложение выполняет нужную функцию и возвращает результат. Промпты — "Используй этот шаблон" Промпты — это готовые шаблоны взаимодействия: - "Анализ канала Telegram" - "Объяснение кода" - "Генерация отчета" Приложения предлагают эти шаблоны, а ИИ может их использовать для структурированной работы с данными. Моя интеграция для Telegram: что она позволяет За пару часов я навайбкодил MCP-сервер для Telegram, который позволяет ИИ: 1. Изучать каналы — видеть информацию о канале, количество подписчиков, описание 2. Искать сообщения— находить посты по ключевым словам или датам 3. Анализировать популярность — определять, какие сообщения вызывают больший отклик 4. Исследовать реакции — видеть, как люди реагируют на контент Когда я спрашиваю ИИ "Какие сообщения в канале @nn_for_science получили больше всего репостов?", происходит следующее: 1. ИИ решает использовать инструмент get_popular_messages 2. MCP-сервер получает запрос с параметрами (имя канала, минимум репостов) 3. Сервер подключается к Telegram API, получает сообщения 4. Сообщения сортируются по количеству репостов 5. Результат возвращается ИИ в структурированном JSON-формате 6. ИИ анализирует данные и представляет результаты в понятном виде Итог MCP делает возможным буквально любые взаимодействия (в том числе и с объекттами в реальном мире), скорее всего за этот год протокол претерпит какие-то изменения, но в целом уже очевидно что MCP с нами надолго. Делитесь в комментариях какие самые безумные MCP вы видели! 🚀

Обогащение информацией об уязвимостях Всем привет! При работе с уязвимостями многие (по крайней мере по началу) используют метрики, получаемые при использовании методологии Comon Vulnerability Scoring System (CVSS). Такие данные, например, доступны в National Vulnerability Database (NVD) – CVSSv2, CVSSv3, CVSSv4 (крайне редко, если вообще). Нюанс заключается в том, что в NVD указаны результаты расчета Base Metric Group в соответствии с методологией. Temporal и Environmental «части» не участвуют в оценке. Хотя они могут сильно влиять на итоговый результат. Чтобы как-то это исправить, рекомендуем обратить внимание на проект cvss-bt, который частично решает эту проблему и добавляет Temporal/Threat Metrics. Работает это примерно так: 🍭 Каждое утро осуществляется синхронизация EPSS 🍭 При изменении EPSS Score обновляются данные по CVSS из NVD 🍭 Рассчитывается новая оценка с учетом Temporal/Threats. Данные берутся из CISA KEV, VulnCheck KEV, Metasploit и не только) 🍭 Новая оценка (вместе с исходной) устанавливается для CVE В итоге получается CSV-табличка, которую можно скачать из repo. В ней содержится обогащенная информация по CVE согласно вышеописанному алгоритму. Из нее наглядно видно, как могут измениться уровни критичности уязвимостей при добавлении новых данных. А ведь есть еще Environmental-часть той самой методологии… P.S. Кстати, если вы никогда не задумывались как именно это считается, но очень хочется узнать – в repo есть ссылки на спецификации CVSSv2, v3, v3.1 и v4.

Finally: Maigret in LLM! 🕵️‍♀️🧪 You ask the AI to create an intelligence report on a username — it runs the tool itself, reads the results, and turns them into a readable format. - Maigret MCP server by BurtTheCoder - Free Claude 3.5 Haiku, Desktop Client

Швейцарский нож для работы с файлами: в одном сервисе собрали все полезные инструменты — в 123apps можно подрезать видео, конвертировать аудио, сжать PDF и так далее. Внутри набор сразу из 46 простых веб-приложений. Есть даже расширение для Chrome, чтобы нужный инструмент был всегда под рукой. Юзаем БЕСПЛАТНО — здесь.