ML&|Sec Feed

Guardio VibeScamming Benchmark v1.0 evaluates how easily popular AI agents can be misused to create phishing workflows using structured prompt testing. ChatGPT: Resists most prompts; limited or no functional outputs. Claude: Responds when framed as “ethical hacking”; produces full phishing kits including code, SMS flows, and hosting options. Lovable: Complies with most prompts; creates live phishing pages, admin-style credential views, and customizable SMS message previews The benchmark uses consistent scenarios and scoring to compare model responses across real-world phishing tasks. #AIsecurity #Phishing #GenerativeAI #LLMrisks #AbuseTesting #Anthropic #ChatGPT #OpenAI #Lovable #Guardio https://labs.guard.io/vibescamming-from-prompt-to-phish-benchmarking-popular-ai-agents-resistance-to-the-dark-side-1ec2fbdf0a35

Сколько информации реально хранит в себе один эмбеддинг LLM? Вы когда-нибудь задумывались, сколько информации можно запихнуть в один вектор языковой модели? Мои знакомые недавно поставили рекорд — 1568 токенов в ОДНОМ эмбеддинге! И это при том, что другие методы компрессии еле-еле выдают сжатие в 10 раз. Метод до безумия прост: берём [mem] вектор, добавляем его в начало инпута, а затем просто оптимизируем его, чтобы LLM могла по нему восстановить исходный текст. Никаких сложных энкодеров — просто SGD по входному эмбеддингу. Вот капасити некоторых моделей: - Llama-3.1-8B: 1568 токенов - Llama-3.2-1B: 512 токенов - Pythia-160M: жалкие 80 токенов Самое интересное, что всё упирается не в длину текста, а в его сложность. Если энтропия текста ниже определённого порога — модель восстановит его идеально, если выше — то уже с ошибками. А если добавить больше [mem] векторов, то ёмкость растёт почти линейно. Например Llama-3.2-1B может упаковать весь "Хоббит" в ~200 векторов. И при всём этом модели используют только 10-30% теоретической ёмкости своих эмбеддингов. Причём новые модели (Llama, OLMo) гораздо эффективнее старых (Pythia, OPT). Статья, GitHub

• Нашел очень крутой агрегатор новостей для ИБ специалистов, который парсит соответствующие ресурсы и формирует список в зависимости от категорий: ➡Application Security; ➡Cloud Security; ➡Cryptography; ➡Exploit Development; ➡Computer Forensics; ➡Industrial Control Systems; ➡Network Security; ➡Reverse Engineering; ➡Social Engineering; ➡Operating System; ➡Malware Analysis. • Судя по описанию, сервис использует ИИ от OpenAI, имеет интеграцию с Shodan и базой NVD, а еще там есть открытое api. ➡️ Сервис доступен по этой ссылке: https://talkback.sh ➡️ Подробное описание можно найти тут: https://www.elttam.com/blog/talkback-intro #ИБ

Искусственный интеллект строит виртуальные дома в Minecraft 🌟 Энтузиаст из Reddit разработал дополнение к видеоигре Minecraft. Оно позволяет генерировать постройки в реальном времени без участия человека при помощи AI Модель обучили на 3 000 домах из интернета, она использует алгоритм, похожий на технологию Stable Diffusion

С помощью этого дополнения игроки могут: ⭕создавать бесконечные особняки ⭕строить подземные лабиринты ⭕заниматься охотой, используя дома как ловушки

Проект пока в стадии альфа-тестирования, автор обещает вести блог по всем грядущим обновлениям. Любой желающий может попробовать модификацию тут 👍 — AI решает жилищный вопрос

Прекрасная визуализация алгоритма диффузии - генерация объекта путем "расшумления" входной случайной последовательности

Для автоматизации тестирования llm-чатботов https://t.me/data_analysis_ml/3424

Тут толпа исследователей из разных компаний и универов сделалил большую обзорку по современным компонентам агентов Обучение, ризонинги, память, world models, много про RL, реварды, действия и вызов тулов, эволюционные системы, самоулучшение, сейфти и вообще куча всего 190 страниц текста и 74 страницы ссылок красота, стоит обратить внимание Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems https://arxiv.org/abs/2504.01990 Листик со ссылками https://github.com/FoundationAgents/awesome-foundation-agents

Llama 4 🦙 Классные размеры, хорошие показатели, огромное контекстное окно, мультимодальность, ризонинг. https://ai.meta.com/blog/llama-4-multimodal-intelligence/ Коротко: 1. Llama 4 Scout - 17B активных параметров, 16 экспертов, 109B общих параметров - Контекст: 10M токенов (в 80 раз больше, чем у Llama 3) - Лучшая в своём классе на задачах reasoning, long-context, coding и image understanding - Превосходит: Gemma 3, Gemini 2.0 Flash-Lite, Mistral 3.1 2. Llama 4 Maverick - 17B активных параметров, 128 экспертов, 400B общих параметров - Побеждает GPT-4o, Gemini 2.0 Flash - Сравнима с DeepSeek v3.1, но гораздо эффективнее - ELO (LMArena): 1417 — один из лучших среди открытых моделей - Заявлена как лучшая для reasoning, coding и продвинутого мультимодального взаимодействия 3. Llama 4 Behemoth (в разработке) - 288B активных параметров, 16 экспертов, ~2T общих параметров - Уже обходит GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro на STEM-бенчмарках - Используется как teacher-модель для Scout и Maverick. Ключевая роль в distillation и reinforcement learning

MCP: Building Your SecOps AI Ecosystem How the open Model Context Protocol creates new possibilities for connecting AI with enterprise security tools. https://www.detectionatscale.com/p/mcp-and-security-operations

🪼Deep Dive: ИИ-агенты Deep Dive — новый формат TG-разбора, с помощью которого можно быстро погрузиться в новую (или хайповую) технотему. 🖍What Are AI Agents? Ответы бигтеха • Google Cloud • GitHub • Microsoft • IBM • AWS • NVIDIA 📎 Еще об ИИ-агентах от создателей • Anthropic: Building Effective Agents • OpenAI: Computer-Using Agent + на ICT.Moscow в конце марта выходил разбор этого понятия при участии российских экспертов 🔧Инструкции и разборы • Сравнение на портале PromtHub фреймворков для создания агентов, представленных OpenAI и Anthropic • Подробная видеопрезентация о Model Context Protocol (MCP) от Anthropic — протокола для общения ИИ-модели с внешними сервисами • Примеры и особенности промптов для ИИ-агентов • Подробный разбор подходов к методу Deliberative Prompting, когда модели или ИИ-агенту предписывается «подумать» над поставленной задачей, прежде чем приступать к ее выполнению • 10 уроков от Microsoft для знакомства с ИИ-агентами (бесплатно, но нужен аккаунт на Azure) 💬Дискуссии и рассуждения • Четыре эксперта из IBM разбирают четыре популярных тезиса об ИИ-агентах: их популярность в 2025 году, автономность, оркестрацию и эффективность • Статья TechCrunch, на примерах показывающая, как разные компании и эксперты вкладывают разные смыслы в понятие «ИИ-агент» • Запись выступления профессора Стэнфордского университета, основателя Landing AI и сооснователя Coursera Эндрю Ына (Andrew Ng) о развитии ИИ-агентов 📃White Papers, взгляд консалтинга и венчура • Google: Agents • Всемирный экономический форум: Navigating the AI Frontier • BCG: AI Agents • Deloitte: Prompting for Action • PwC: Agentic AI — The New Frontier in GenAI • Madrona: The AI Agent Infrastructure Stack

Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов / Хабр https://habr.com/ru/companies/owasp/articles/896328/

Critical AI Security Guidelines by SANS Institute (Draft) 🔐 Access: Use least privilege + zero trust. Lock down models, vector DBs, and APIs. 📦 Data: Protect training + augmentation data. No sensitive info in prompts. Sanitize everything. 🚀 Deployment: Avoid hardcoding rules into LLMs. Use RAG + ACLs. Vet public models for backdoors. 🧠 Inference: Validate inputs and outputs. Guardrails help, but can't be your only defense. 📊 Monitoring: Log prompts, watch for drift, detect abuse. Monitor API usage closely. ⚖️ GRC: Track AI usage, align with evolving regs (EU AI Act, EO 14110, etc). Build AIBOMs + model registries.

«Авито» врывается в ИИ — компания представила две свои генеративные нейросети: A-Vibe (работает с текстом) и A-Vision (анализирует изображения и текст). Их обучили на Qwen2.5 с 7 млрд параметров, а кастомный русскоязычный токенизатор ускорил генерацию ответов в 2 раза. Нейросети помогают продавцам — генерируют описания объявлений, подсказывают в чатах, модерируют фото и анализируют отзывы. Ставка на GenAI — не ради хайпа: «Авито» вложит в развитие технологии 12 млрд рублей и ждет 21 млрд выручки к 2028 году. Параллельно компания запускает образовательные программы, чтобы готовить своих специалистов по ИИ.

Блокнот с практикой по прямым и непрямым промпт-инъекциям https://colab.research.google.com/drive/1ldEu4oO7L1fWgg2xQrBpC66XQBl8r4Tg?usp=sharing За авторством https://t.me/llmsecurity